https://jason-azure.github.io/ai-blog/categories/llm/Recent content in LLM on AI 学习笔记Hugo -- 0.146.0zh-CNFri, 17 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-training-stages/Fri, 27 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-training-stages/你这辈子大概会读 5000 万个字。GPT 在训练时’读’过的量，相当于你读两万辈子。然后它把这些内容装进了一块硬盘里——不仅能回忆大部分内容，还能写出从未存在过的文章。这是压缩吗？是理解吗？如果互联网消失了，能靠 LLM 复原吗？https://jason-azure.github.io/ai-blog/posts/why-llm-understand-world/Fri, 13 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/why-llm-understand-world/300年的统计学理论说模型越大越差，但现实恰恰相反。Double Descent、彩票假说、Scaling Laws、奥卡姆剃刀——四条线索拼出一幅完整的图景：大模型的真正力量不是记忆力，而是压缩能力。而压缩，就是理解。https://jason-azure.github.io/ai-blog/posts/mlp-knowledge/Wed, 11 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/mlp-knowledge/很多人以为 LLM 只是"鹦鹉学舌"的概率机器。但研究证明，LLM 确实存储了海量知识——就藏在 MLP 的权重矩阵中，以一种只有模型自己能解读的"加密"方式。这篇文章拆开这个秘密。https://jason-azure.github.io/ai-blog/posts/llm-data-pipeline/Tue, 17 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-data-pipeline/深入了解大语言模型 (LLM) 的数据处理流程：从原始文本到 Tokenization，从 Embedding 到 Transformer，一步步拆解 LLM 的工作原理。基于 nanoGPT 实战项目。https://jason-azure.github.io/ai-blog/posts/why-qkv/Thu, 05 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/why-qkv/语言是对世界的压缩，但用语言解释语言是死循环。40 年的规则尝试失败后，分布式假说绕过了这个问题，而 QKV 是它的工程终局。一篇从哲学到代码、从碳基到硅基的探索之旅。https://jason-azure.github.io/ai-blog/posts/llm-pipeline-visual/Wed, 18 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-pipeline-visual/用一个真实的 4.3M 参数模型（nanoGPT + 西游记），逐步展示从输入「悟空道」到输出新字符的完整数据流。所有数值都是真实计算结果，不是模拟。https://jason-azure.github.io/ai-blog/posts/transformer-attention/Sat, 21 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/transformer-attention/用零基础也能懂的语言，拆解 Transformer 的核心：点积、缩放、Softmax、QKV、多头注意力、因果遮罩。既讲人类设计了什么，也讲机器自己学到了什么。https://jason-azure.github.io/ai-blog/posts/math-for-ai-1-vectors/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-1-vectors/从温度计上的刻度到 ChatGPT 里的词向量，理解 AI 的第一步：用一串数字描述万物。零基础线性代数系列第一篇。https://jason-azure.github.io/ai-blog/posts/math-for-ai-2-dot-product/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-2-dot-product/从超市购物到 ChatGPT 的注意力机制：理解向量加减法、点积和余弦相似度。零基础线性代数系列第二篇。https://jason-azure.github.io/ai-blog/posts/math-for-ai-3-matrices/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-3-matrices/矩阵是向量的加工机：缩放、旋转、投影。理解 Transformer 中 Q/K/V 投影的数学本质。零基础线性代数系列第三篇。https://jason-azure.github.io/ai-blog/posts/math-for-ai-4-matmul/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-4-matmul/从矩阵乘法到 Attention 完整公式：softmax(QK^T/√d)×V。把四篇数学基础组装成 Transformer 的核心引擎。零基础线性代数系列完结篇。https://jason-azure.github.io/ai-blog/posts/math-for-ai-5-activation/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-5-activation/ReLU：一行代码 max(0, x) 让深度学习成为可能。理解激活函数为什么是神经网络不可或缺的非线性魔法。https://jason-azure.github.io/ai-blog/posts/math-for-ai-6-gradient/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-6-gradient/从损失函数到反向传播：AI 训练的核心算法。理解 microgpt 和 nanoGPT 训练时 loss 为什么会下降。零基础数学系列完结篇。https://jason-azure.github.io/ai-blog/posts/chinese-english-llm/Tue, 03 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/chinese-english-llm/为什么 GPT-3 的中文只占训练数据的 0.1%？为什么同样一句话中文要花 13 倍的 Token？国内大模型是怎么用 15 万词表逆转这个劣势的？从训练语料、Tokenizer 到 Embedding，一篇讲透中英文 LLM 的底层差异。https://jason-azure.github.io/ai-blog/posts/llm-probability/Fri, 13 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-probability/零基础理解大语言模型背后的概率论：条件概率、Softmax、交叉熵、Temperature、采样策略、大数定律与中心极限定理——用最直观的类比和动图，拆解 LLM 的数学骨架。https://jason-azure.github.io/ai-blog/posts/llm-hallucination-bullshit/Fri, 17 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-hallucination-bullshit/DeepSeek 给你编一个根本不存在的 API；国产大模型给研究生伪造 8 篇参考文献；自媒体因 AI 编造权威数据被封号 12 万粉。你以为 AI 在骗你 —— 不，它比骗更糟。骗人要先知道真相再刻意背离；AI 连真相这个坐标都没有。它是在胡诌。这篇把原理讲透。