https://jason-azure.github.io/ai-blog/tags/tokenization/Recent content in Tokenization on AI 学习笔记Hugo -- 0.146.0zh-CNTue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-data-pipeline/Tue, 17 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-data-pipeline/深入了解大语言模型 (LLM) 的数据处理流程：从原始文本到 Tokenization，从 Embedding 到 Transformer，一步步拆解 LLM 的工作原理。基于 nanoGPT 实战项目。https://jason-azure.github.io/ai-blog/posts/chinese-english-llm/Tue, 03 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/chinese-english-llm/为什么 GPT-3 的中文只占训练数据的 0.1%？为什么同样一句话中文要花 13 倍的 Token？国内大模型是怎么用 15 万词表逆转这个劣势的？从训练语料、Tokenizer 到 Embedding，一篇讲透中英文 LLM 的底层差异。https://jason-azure.github.io/ai-blog/posts/see-math-1-counting/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-1-counting/从牧羊人的绳结到 GPT 的 tokenizer，数学的起点只有一个动作：用一个东西代表另一个东西。这就是抽象——人类最伟大的发明。