https://jason-azure.github.io/ai-blog/posts/Recent content in Posts on AI 学习笔记Hugo -- 0.146.0zh-CNThu, 14 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/finetuning-illusion/Sat, 11 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/finetuning-illusion/预训练用了 15 万亿 tokens，微调只用了 1000 条。数据量差了一百亿倍，但行为变化却翻天覆地。更诡异的是，微调和预训练的算法完全一样——同样的反向传播、同样的梯度下降。那凭什么微调能起作用？答案简单到令人不安：因为你停了。https://jason-azure.github.io/ai-blog/posts/useless-questions/Tue, 07 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/useless-questions/Prompt engineering 过时了。Context engineering 也快了。Agent 还能热多久？——你在追的每一个热词，都将被它自己所描述的技术淘汰。但有一类东西永远不会过时：你在深夜想过的那些"没用的问题"。https://jason-azure.github.io/ai-blog/posts/beyond-two-cultures/Sun, 05 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/beyond-two-cultures/高考那年你勾了理科，从此再没翻开过一本诗集。二十年后一个 AI 告诉你：去掉诗歌数据，我的数学就变差了。——如果一个模型都需要通识才能涌现智能，你凭什么相信自己可以靠半个世界活一辈子？https://jason-azure.github.io/ai-blog/posts/llm-training-stages/Fri, 27 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-training-stages/你这辈子大概会读 5000 万个字。GPT 在训练时’读’过的量，相当于你读两万辈子。然后它把这些内容装进了一块硬盘里——不仅能回忆大部分内容，还能写出从未存在过的文章。这是压缩吗？是理解吗？如果互联网消失了，能靠 LLM 复原吗？https://jason-azure.github.io/ai-blog/posts/why-linearity/Fri, 13 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/why-linearity/线性不是世界的本质，而是大脑的’操作系统’。从认知偏差到万能近似，从傅里叶到 Transformer 位置编码——一根直线如何撬动整个 AI。6 张动图，一篇从认知科学到工程哲学的深度探索。https://jason-azure.github.io/ai-blog/posts/why-llm-understand-world/Fri, 13 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/why-llm-understand-world/300年的统计学理论说模型越大越差，但现实恰恰相反。Double Descent、彩票假说、Scaling Laws、奥卡姆剃刀——四条线索拼出一幅完整的图景：大模型的真正力量不是记忆力，而是压缩能力。而压缩，就是理解。https://jason-azure.github.io/ai-blog/posts/why-gpu/Thu, 12 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/why-gpu/训练 ChatGPT 用的不是什么神秘的 AI 芯片，而是打游戏用的显卡。一块为了让游戏画面更流畅而设计的芯片，为什么成了 AI 革命的引擎？因为游戏画面和语言理解在底层共享了同一个数学本质——矩阵乘法。https://jason-azure.github.io/ai-blog/posts/geometric-intuition/Thu, 12 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/geometric-intuition/GPT 的本质就是矩阵乘法。但矩阵乘法到底在干什么？9 张动图，把 GPT 里最核心的数学拍给你看。维度变了，几何没变——看懂 2D，就看懂了 GPT。https://jason-azure.github.io/ai-blog/posts/hello-world/Tue, 17 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/hello-world/AI 学习笔记博客正式上线！在这里我会分享 AI 基础知识、大语言模型实战经验和实用工具教程。https://jason-azure.github.io/ai-blog/posts/knowledge-distillation/Wed, 25 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/knowledge-distillation/一个师父花了十年磨出秘方，一个徒弟吃了一百顿饭就学会了。他偷了吗？从 Hinton 的暗知识到 Anthropic 的 15 亿美元和解，从 DeepSeek 的坦诚到蒸馏指控的荒诞，这篇文章不给答案，只给视角。https://jason-azure.github.io/ai-blog/posts/mlp-knowledge/Wed, 11 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/mlp-knowledge/很多人以为 LLM 只是"鹦鹉学舌"的概率机器。但研究证明，LLM 确实存储了海量知识——就藏在 MLP 的权重矩阵中，以一种只有模型自己能解读的"加密"方式。这篇文章拆开这个秘密。https://jason-azure.github.io/ai-blog/posts/llm-data-pipeline/Tue, 17 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-data-pipeline/深入了解大语言模型 (LLM) 的数据处理流程：从原始文本到 Tokenization，从 Embedding 到 Transformer，一步步拆解 LLM 的工作原理。基于 nanoGPT 实战项目。https://jason-azure.github.io/ai-blog/posts/why-qkv/Thu, 05 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/why-qkv/语言是对世界的压缩，但用语言解释语言是死循环。40 年的规则尝试失败后，分布式假说绕过了这个问题，而 QKV 是它的工程终局。一篇从哲学到代码、从碳基到硅基的探索之旅。https://jason-azure.github.io/ai-blog/posts/llm-pipeline-visual/Wed, 18 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-pipeline-visual/用一个真实的 4.3M 参数模型（nanoGPT + 西游记），逐步展示从输入「悟空道」到输出新字符的完整数据流。所有数值都是真实计算结果，不是模拟。https://jason-azure.github.io/ai-blog/posts/transformer-attention/Sat, 21 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/transformer-attention/用零基础也能懂的语言，拆解 Transformer 的核心：点积、缩放、Softmax、QKV、多头注意力、因果遮罩。既讲人类设计了什么，也讲机器自己学到了什么。https://jason-azure.github.io/ai-blog/posts/math-for-ai-1-vectors/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-1-vectors/从温度计上的刻度到 ChatGPT 里的词向量，理解 AI 的第一步：用一串数字描述万物。零基础线性代数系列第一篇。https://jason-azure.github.io/ai-blog/posts/function-competition/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/function-competition/人类 400 年来发明了无数拟合函数的方法——泰勒级数、傅里叶级数、多项式、样条、核方法。每一种都精妙绝伦。但当任务变成’在万亿维空间中学习生成规律’，只有一个选手能站到终点。这不是选择题，这是淘汰赛。https://jason-azure.github.io/ai-blog/posts/math-for-ai-2-dot-product/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-2-dot-product/从超市购物到 ChatGPT 的注意力机制：理解向量加减法、点积和余弦相似度。零基础线性代数系列第二篇。https://jason-azure.github.io/ai-blog/posts/neural-network-history/Thu, 19 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/neural-network-history/一个 80 年的真实故事：被一本书判了死刑，被一个算法起死回生，靠改名字重获新生——科技的命运，终究也逃不过人性。https://jason-azure.github.io/ai-blog/posts/math-for-ai-3-matrices/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-3-matrices/矩阵是向量的加工机：缩放、旋转、投影。理解 Transformer 中 Q/K/V 投影的数学本质。零基础线性代数系列第三篇。https://jason-azure.github.io/ai-blog/posts/deepseek-r1-thinking/Sat, 21 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/deepseek-r1-thinking/2025 年最大的 AI 突破不是更大的模型，而是一个模型学会了停下来想一想再回答。DeepSeek-R1 登上 Nature，证明了一件事：不需要人类手把手教推理步骤，只需要给对奖励，模型就能自己学会思考。https://jason-azure.github.io/ai-blog/posts/math-for-ai-4-matmul/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-4-matmul/从矩阵乘法到 Attention 完整公式：softmax(QK^T/√d)×V。把四篇数学基础组装成 Transformer 的核心引擎。零基础线性代数系列完结篇。https://jason-azure.github.io/ai-blog/posts/moe-architecture/Mon, 23 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/moe-architecture/DeepSeek-V3 拥有 6710 亿参数，但每个 token 只激活 370 亿——不到总量的 6%。这不是偷懒，这是 AI 架构设计中最精巧的一课：不是所有神经元都需要同时工作。https://jason-azure.github.io/ai-blog/posts/math-for-ai-5-activation/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-5-activation/ReLU：一行代码 max(0, x) 让深度学习成为可能。理解激活函数为什么是神经网络不可或缺的非线性魔法。https://jason-azure.github.io/ai-blog/posts/two-circles-1/Fri, 10 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/two-circles-1/找一张白纸，画两个圆。恭喜你——你刚刚做了一件六千年前埃及人做过的事。在那个杏仁形的重叠区里，藏着 √3、黄金比例，以及一朵开遍全世界的花。https://jason-azure.github.io/ai-blog/posts/agent-mcp-reality/Mon, 23 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/agent-mcp-reality/Agent、MCP、Manus、Coze……AI 热词一个接一个。但拆掉所有包装之后，你会发现一个更深层的问题：当技术不再是瓶颈，‘该做什么’这个被我们忽略了太久的问题，终于无处可藏了。https://jason-azure.github.io/ai-blog/posts/math-for-ai-6-gradient/Sun, 22 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/math-for-ai-6-gradient/从损失函数到反向传播：AI 训练的核心算法。理解 microgpt 和 nanoGPT 训练时 loss 为什么会下降。零基础数学系列完结篇。https://jason-azure.github.io/ai-blog/posts/two-circles-2/Sat, 11 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/two-circles-2/从生命之花中提取13个圆心，用78条直线全部连接——一个叫做麦塔特隆立方体的图案浮现了。藏在里面的，是宇宙中仅有的五种完美形状。https://jason-azure.github.io/ai-blog/posts/ai-history-1/Tue, 24 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-history-1/1956年，十位科学家相信20年就能造出思考的机器。70年后回望，这条路比任何人想象的都要漫长。这是一群异端者的故事——他们在所有人都放弃的年代，选择继续相信。https://jason-azure.github.io/ai-blog/posts/two-circles-3/Sun, 12 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/two-circles-3/1701年，莱布尼茨收到一封来自北京的信，附着邵雍的六十四卦方圆图。他看了很久——这和他推演二十年的二进制计数表，严丝合缝。https://jason-azure.github.io/ai-blog/posts/ai-history-2/Tue, 24 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-history-2/2012年，两块游戏显卡训练出的AlexNet震惊了整个AI领域。五年后，Google的一篇论文彻底终结了循环网络时代。又五年，ChatGPT上线。硬件、算法、数据——三条线索在这十年间完成了历史性的交汇。https://jason-azure.github.io/ai-blog/posts/two-circles-4/Mon, 13 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/two-circles-4/把金木水火土标号0-4，排成圆圈。相生每步跳1，相克每步跳2。都能走遍所有元素——因为5是素数。https://jason-azure.github.io/ai-blog/posts/ai-history-3/Tue, 24 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-history-3/AI会下棋、会写诗、会通过律师考试。但它真的在’思考’吗？从Chomsky的语言天赋论到LeCun的世界模型缺失，从随机鹦鹉到具身认知——这是一场关于智能本质的终极辩论。而70年AI之路的最深启示，也许不在技术之中。https://jason-azure.github.io/ai-blog/posts/two-circles-5/Tue, 14 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/two-circles-5/一位瑞士心理学家，和一位唐代道士，隔着一千两百年和八千公里，看见了同一个几何图像。https://jason-azure.github.io/ai-blog/posts/universal-approximation/Tue, 10 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/universal-approximation/AI 发展 70 年，本质是两个思想流派的交锋：符号主义相信规则，联结主义相信连接。今天的 ChatGPT 靠的是矩阵乘法加一行激活函数——为什么这么简单的东西就够了？一个 1989 年的数学定理给出了答案。https://jason-azure.github.io/ai-blog/posts/transformer-qkv-demo/Thu, 26 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/transformer-qkv-demo/用一个只有 4192 个参数的 GPT 模型，展示 Transformer 内部每一步的真实数据——Token 嵌入、QKV 投影、多头注意力权重、MLP 稀疏激活，所有数字都来自真实训练。https://jason-azure.github.io/ai-blog/posts/transformer-math/Mon, 02 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/transformer-math/不做证明，只建直觉。从矩阵乘法的三种视角出发，一步步搭建理解 Transformer 的完整数学框架：QKV 投影、多头注意力、残差连接、MLP，以及它们如何协作生成下一个 token。https://jason-azure.github.io/ai-blog/posts/chinese-english-llm/Tue, 03 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/chinese-english-llm/为什么 GPT-3 的中文只占训练数据的 0.1%？为什么同样一句话中文要花 13 倍的 Token？国内大模型是怎么用 15 万词表逆转这个劣势的？从训练语料、Tokenizer 到 Embedding，一篇讲透中英文 LLM 的底层差异。https://jason-azure.github.io/ai-blog/posts/ai-landscape/Sat, 07 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-landscape/当我们谈论 AI 时，创业者、投资人、家长和研究者说的可能完全不是同一件事。本文用一张嵌套图理清 AI、机器学习、深度学习、LLM 的层级关系，用一个房价预测的例子让你感受机器学习的范式革命——以及为什么理解这件事，比你想象的更重要。https://jason-azure.github.io/ai-blog/posts/llm-probability/Fri, 13 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-probability/零基础理解大语言模型背后的概率论：条件概率、Softmax、交叉熵、Temperature、采样策略、大数定律与中心极限定理——用最直观的类比和动图，拆解 LLM 的数学骨架。https://jason-azure.github.io/ai-blog/posts/see-math-1-counting/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-1-counting/从牧羊人的绳结到 GPT 的 tokenizer，数学的起点只有一个动作：用一个东西代表另一个东西。这就是抽象——人类最伟大的发明。https://jason-azure.github.io/ai-blog/posts/see-math-2-zero/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-2-zero/零不是"没有"。零是人类发明的最强大的符号——它让位值制成为可能，让负数有了容身之处，让数轴从一条射线变成了一条无限延伸的直线。而在 AI 的世界里，零是神经网络的"开关"。https://jason-azure.github.io/ai-blog/posts/see-math-3-unknown-x/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-3-unknown-x/x 不可怕，它只是一个"待填空"。代数的核心不是解方程，而是——你可以用一个符号表示你还不知道的东西，然后用逻辑推出它。而 AI 的训练，本质上就是在同时求解几十亿个 x。https://jason-azure.github.io/ai-blog/posts/see-math-4-coordinates/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-4-coordinates/1637 年，笛卡尔把数和形焊在了一起。从此，每个方程都能画一幅画，每幅画都能写一个方程。而 AI 做的第一件事——把词变成向量——就是给每个词一个"坐标"。https://jason-azure.github.io/ai-blog/posts/see-math-5-equations/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-5-equations/方程不是考试题。方程是人类发现的自然界的源代码。从《九章算术》的"方程"二字到 Transformer 的注意力公式，每一个方程背后都是人类对世界的一次深刻理解。第一幕收官之作。https://jason-azure.github.io/ai-blog/posts/see-math-6-functions/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-6-functions/函数是数学中最核心的概念：给一个输入，得一个输出。自动售货机是函数，体温计是函数，GPT 也是函数——只不过它有几十亿个旋钮。第二幕开篇。https://jason-azure.github.io/ai-blog/posts/see-math-7-exponential/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-7-exponential/把一张纸对折 42 次，厚度超过地球到月球的距离。一粒米放在棋盘第一格，每格翻倍，64 格后全世界的粮食都不够。指数增长是人类大脑天生的盲区——但数学能帮你看见它。https://jason-azure.github.io/ai-blog/posts/see-math-8-waves/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-8-waves/忘掉你学过的 sin/cos/tan 和三角形。三角函数真正描述的是圆和波——世界上最基本的两种运动。而 Transformer 用 sin/cos 给每个词标记位置，因为波天然有"周期性"和"唯一性"。https://jason-azure.github.io/ai-blog/posts/see-math-9-calculus-1/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-9-calculus-1/微积分回答了一个人类追问了 2000 年的问题：在这一瞬间，变化有多快？从芝诺的乌龟到牛顿的苹果，从割线到切线，从导数到梯度——AI 训练的每一步，都在用微积分。https://jason-azure.github.io/ai-blog/posts/see-math-10-calculus-2/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-10-calculus-2/微积分的第二面：把无穷多个无穷小的碎片加起来。矩形逼近面积，圆拆成细环变成 πr²，速度加回距离。微分和积分是同一枚硬币的两面——这是人类数学史上最美的定理。第二幕终曲。https://jason-azure.github.io/ai-blog/posts/see-math-11-vectors/Wed, 18 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-11-vectors/向量不只是"有方向的箭头"。向量是用一组数来描述一个事物的方法——一杯咖啡、一个游戏角色、一个词的含义。而"国王 - 男人 + 女人 = 女王"，是向量最惊艳的表演。第三幕开篇。https://jason-azure.github.io/ai-blog/posts/see-math-12-matrices/Thu, 19 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-12-matrices/矩阵不是"一堆数排成方块"。矩阵是一个变换器——它可以旋转、缩放、投影整个空间。神经网络的每一层，就是一次矩阵变换。而两千年前的《九章算术》，已经在用矩阵解方程了。https://jason-azure.github.io/ai-blog/posts/see-math-13-probability/Fri, 20 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-13-probability/概率不是"猜"——概率是用数学管理无知。赌徒的信件催生了概率论，贝叶斯牧师教会了 AI 如何"更新信念"，而 GPT 每写一个字，都是在从概率分布里抽样。https://jason-azure.github.io/ai-blog/posts/see-math-14-high-dimensions/Sat, 21 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-14-high-dimensions/人类的直觉止步于三维。但 AI 生活在 768 维甚至更高的空间里。高维空间有很多反直觉的性质：几乎所有体积都在"壳"上、随机向量几乎都垂直、数据变得极度稀疏。理解高维，就理解了深度学习为什么需要那么多数据。https://jason-azure.github.io/ai-blog/posts/see-math-15-gradient/Sun, 22 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-15-gradient/AI 的"学习"其实是一个数学过程：计算误差、求导数、沿梯度方向调整参数。梯度下降就是"在高维山谷里摸索下山"。第九篇的导数、第十一篇的向量、第十二篇的矩阵——所有工具在这里汇合。https://jason-azure.github.io/ai-blog/posts/epiplexity/Mon, 30 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/epiplexity/Shannon 说「压缩 = 预测 = 理解」。但他假设观察者有无限算力。2026 年的一篇论文补上了这个前提，提出 epiplexity——衡量有限算力观察者能从数据中学到多少结构的新度量。https://jason-azure.github.io/ai-blog/posts/see-math-16-finale/Mon, 23 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-16-finale/从结绳记事到梯度下降，从一万年前到今天。十六篇走下来，我们看见了什么？数学不是发明的，数学是发现的。它是人类伸向未知的望远镜——而 AI，是这架望远镜最新的一片镜片。https://jason-azure.github.io/ai-blog/posts/ascii-to-token/Mon, 30 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ascii-to-token/Token、Embedding、Encode/Decode——这些 AI 术语听起来很新，但它们和 ASCII、Unicode 是同一件事的不同层次。计算机 200 年来一直在做同一件事：把符号变成数字。https://jason-azure.github.io/ai-blog/posts/see-math-extra-information-theory/Thu, 26 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-extra-information-theory/Shannon 1948 年证明了一件事：压缩 = 预测 = 理解。76 年后，我们用万亿参数的神经网络去逼近他的定理。这是贯穿「看见数学」所有篇章的那条暗线。https://jason-azure.github.io/ai-blog/posts/cross-entropy-loss/Sat, 28 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/cross-entropy-loss/从 Shannon 1948 年的三条公理出发，理解为什么 GPT 的 loss 必须是 -log(p)：它是满足「信息量」定义的唯一函数，用它做 loss 等价于最大似然估计和最小化 KL 散度——这不是经验选择，是数学必然。https://jason-azure.github.io/ai-blog/posts/mnist-to-chatgpt/Mon, 30 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/mnist-to-chatgpt/用纯 Python 和 NumPy 从零搭了一个 10 个神经元的神经网络，识别手写数字，然后把它拆开——看清了模板匹配、投票矩阵和每一步计算。从这个最小的网络出发，聊聊 FNN、CNN、RNN、Transformer 的演进，以及可解释性的边界。https://jason-azure.github.io/ai-blog/posts/embedding/Wed, 01 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/embedding/A=65, B=66——这些数字是死的。「大漠孤烟直，长河落日圆」——这些文字是活的。从莫尔斯电码到 GPT 的编码史中，有一步跨越改变了一切：数字不再是编号，而是坐标。它们学会了远近、方向和意思。这一步叫 Embedding。https://jason-azure.github.io/ai-blog/posts/see-physics-1-motion/Sun, 05 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-physics-1-motion/物理学不是从公式开始的，是从一个最朴素的问题开始的：东西为什么会动？一个意大利人决定不再问「为什么」，而是问「怎么动」——这个转向，开启了整个现代科学。https://jason-azure.github.io/ai-blog/posts/positional-encoding/Thu, 02 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/positional-encoding/Transformer 天生是个色盲——它能看清每个词的颜色（语义），却分不清词的位置。‘猫吃鱼’和’鱼吃猫’在它眼中完全等价。为了让模型学会’谁在前谁在后’，研究者发明了一种优雅到不真实的方案：把位置信息编码成波，然后直接加到语义向量上。这一步看似暴力，实则深刻。https://jason-azure.github.io/ai-blog/posts/gates-to-gpt/Mon, 23 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/gates-to-gpt/~5 = -6？从这个小困惑出发，我们穿越 7 层抽象，看见逻辑门如何一步步堆叠成 ChatGPT。这是一篇写给所有人的计算机底层原理科普。https://jason-azure.github.io/ai-blog/posts/see-physics-2-force/Mon, 06 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-physics-2-force/牛顿最反直觉的发现不是万有引力，而是第一定律：不受力的物体不会停下来，它会永远运动下去。两千年来人类都以为「运动需要力来维持」，牛顿说：错了，运动是天经地义的，停下来才需要解释。https://jason-azure.github.io/ai-blog/posts/residual-connection/Fri, 03 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/residual-connection/2015 年，何恺明发现了一件诡异的事：56 层的神经网络比 20 层的更差——不是过拟合，是训练误差也更高。深度学习的根基似乎在动摇。然后他加了一个加号：y = F(x) + x。就这一个加号，让网络从 20 层一路堆到 1000 层，让 Transformer 成为可能，让 GPT 能有 96 层。这篇文章讲的就是这个加号的故事。https://jason-azure.github.io/ai-blog/posts/see-physics-3-energy/Tue, 07 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-physics-3-energy/能量守恒不只是一条物理定律——它是一种思维方式：在一个不断变化的世界里，找到那个永远不变的东西。而 AI 的训练过程，本质上就是在一片「能量景观」上寻找最低点。https://jason-azure.github.io/ai-blog/posts/eulers-e/Sun, 05 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/eulers-e/2.71828… 这个数字出现在银行复利、放射性衰变、人口增长、Softmax 函数、学习率衰减里。它不是人造的常数——它是自然界「连续变化」的签名。读完这篇，你再看到 e 不会害怕，而会觉得亲切。https://jason-azure.github.io/ai-blog/posts/bayes-not-expected/Mon, 06 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/bayes-not-expected/1763 年，一个英国牧师的遗稿里藏着一条公式。263 年后，这条公式成了 GPT 训练的数学骨架：先验 = 预训练，似然 = 数据，后验 = 微调。贝叶斯定理不只是一个公式——它是一种「带着旧知识拥抱新证据」的思维方式。而这正是 AI 学习的方式。https://jason-azure.github.io/ai-blog/posts/see-physics-4-momentum/Sun, 05 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-physics-4-momentum/动量守恒比能量守恒更基本——因为它直接来自空间的对称性。而 AI 优化器里的 Momentum，不是比喻，就是物理动量的直接移植：让参数更新有了"惯性"，不被噪声带跑。https://jason-azure.github.io/ai-blog/posts/see-physics-5-entropy/Fri, 17 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-physics-5-entropy/1865 年，一个德国人造了一个新词来形容世界的衰败；1948 年，一个美国人用同一个公式描述电报的成本；2025 年，你电脑里每一次 AI 推理，都在重演这条 160 年的暗线。熵不是公式——它是人类第一次承认「我不知道」，然后把这份无知量化成数学。https://jason-azure.github.io/ai-blog/posts/llm-hallucination-bullshit/Fri, 17 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-hallucination-bullshit/DeepSeek 给你编一个根本不存在的 API；国产大模型给研究生伪造 8 篇参考文献；自媒体因 AI 编造权威数据被封号 12 万粉。你以为 AI 在骗你 —— 不，它比骗更糟。骗人要先知道真相再刻意背离；AI 连真相这个坐标都没有。它是在胡诌。这篇把原理讲透。https://jason-azure.github.io/ai-blog/posts/world-model-debate/Fri, 17 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/world-model-debate/AlphaFold 拿了诺贝尔奖，GPT 通过了律师考试——但 Sora 的玻璃穿过了桌子。LLM 到底懂不懂这个世界？LeCun 离开 Meta 创办 AMI Labs，李飞飞押注 World Labs，谢赛宁两次拒绝 Ilya——站在前沿的人给出了截然不同的答案。https://jason-azure.github.io/ai-blog/posts/see-physics-6-phase-transition/Sat, 18 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-physics-6-phase-transition/水加热到 99 度还是水，加到 100 度就成了水蒸气——这一度里发生了什么？磁铁加热到居里温度就突然失去磁性，为什么是突然？GPT-3 到 GPT-4 的『涌现能力』像凭空出现，又为什么？物理学用了一个多世纪建立了一套数学描述『量变到质变』——它叫临界现象。今天 AI 研究者在讨论的 emergent abilities，是它的直系后裔。https://jason-azure.github.io/ai-blog/posts/see-physics-7-quantum/Wed, 22 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-physics-7-quantum/1927 年的索尔维会议，爱因斯坦扔下一句『上帝不掷骰子』。100 年后，答案渐渐浮现：不是上帝在掷骰子——是『测量』这个动作本身在创造骰子的点数。量子力学不是『粒子在跑』，是『信念在更新』。它是贝叶斯定理的终极物理版：先验 × 证据 = 后验，只是这一次，先验就是世界的全部。https://jason-azure.github.io/ai-blog/posts/see-physics-8-symmetry/Mon, 27 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-physics-8-symmetry/1918 年,一位被哥廷根大学拒绝授予教职的犹太女数学家,写下了一行让物理学换骨的定理:每一个对称,都对应一个守恒量。从此能量、动量、电磁场、质量,都成了宇宙『不在乎什么』的影子。这一篇,我们用对称性把整个系列串起来,也借此向《看见物理》八篇告别——并把这副从物理里磨出来的眼睛,带到下一个十字路口。https://jason-azure.github.io/ai-blog/posts/compression-is-all-you-need/Tue, 21 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/compression-is-all-you-need/2026 年 3 月，菲尔兹奖得主 Michael Freedman 发了一篇只有 30 多页的论文，标题叫《Compression is all you need》。他用一个优雅的代数模型回答了三个古老问题：人类怎么构建数学？人类数学和形式数学的本质区别是什么？未来人类数学家如何和 AI 协作？答案只有两个字——压缩。https://jason-azure.github.io/ai-blog/posts/ai-crossroads/Fri, 01 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-crossroads/2025 年 1 月底,一家此前在英文世界几乎没人念得对名字的中国公司,把英伟达推下悬崖。但故事不是『中国赢了』,也不是『开源赢了』。真正发生的事情是:那条所有人以为只有一条的路,在那一周分了岔。开源与闭源、通用与垂直、Transformer 之后、大模型与小模型、连发明者本身都散去了不同方向——AI 的未来不再是一个,而是同时有几个。这一篇,我们站在路口往几个方向看,听听站在路口的那些人怎么说,再画一张可以反复对照的地图。https://jason-azure.github.io/ai-blog/posts/ai-and-education/Sat, 02 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-and-education/一个五年级的孩子用 ChatGPT 写完了周末的读后感。文笔流畅,结构工整,用词比他平时好两个等级。他妈妈看完说不出哪里不对,但就是觉得哪里不对。她的直觉是准的——那篇文章里什么都有,唯独没有她儿子。这件事让我想了很久。不是因为 AI,是因为它把一个教育里一直存在、但大家可以假装看不见的问题,推到了聚光灯底下。https://jason-azure.github.io/ai-blog/posts/curiosity/Sun, 03 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/curiosity/1956 年夏天,十个人在达特茅斯学院关了两个月,想回答一个问题:机器能不能思考?七十年后,这个问题撑起了万亿市值。但驱动它诞生的那样东西——好奇心——在我们的教育系统里几乎没有被认真对待过。AI 的历史和一个人受教育的历史,走的是同一条路。这一篇,我们从达特茅斯出发,经过上海的数学课堂、法国的哲学考场、芬兰的森林学校,最后回到每个人自己身上——那个被磨掉的东西,也许还在。https://jason-azure.github.io/ai-blog/posts/ai-and-work/Mon, 04 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-and-work/你花了十年学一门手艺,AI 用三秒钟做到了六十分。你的第一反应是——我会不会失业?但如果再往下想一层,真正让人不安的也许不是失业本身,而是一个你从来没被逼着回答的问题:如果我的技能不是’我’,那我是什么?就业问题的表面是经济问题,底下是身份问题。https://jason-azure.github.io/ai-blog/posts/fei-fei-li/Mon, 04 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/fei-fei-li/1992 年,一个 16 岁的中国女孩跟着父母到了新泽西。不会英语,在中餐馆洗碗、在干洗店熨衣服,靠打工攒出了普林斯顿的生活费。三十年后,她是’给 AI 造眼睛的人’——ImageNet 改变了整个深度学习的历史,而她现在在做的事是让 AI 看见三维世界。这不是一个励志故事。这是一个关于好奇心如何在最不利的条件下存活下来的故事。https://jason-azure.github.io/ai-blog/posts/markov-ghost/Thu, 07 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/markov-ghost/1913 年，俄国数学家马尔可夫翻开普希金的《叶甫盖尼·奥涅金》，开始数元音和辅音。他不是在做文学研究，而是在拆掉一个旧世界：下一个符号不是凭空出现的，它被前一个状态牵引。一个多世纪后，LLM 被训练去预测下一个 token，Agent 被训练去选择下一步行动。这个目标看似无聊，却把语言、知识、推理和行动都压进了一个极密的监督信号里。马尔可夫没有想到 ChatGPT，但他留下了现代 AI 最小的一条语法：状态、转移、下一步。https://jason-azure.github.io/ai-blog/posts/ai-consciousness/Thu, 07 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-consciousness/当 AI 开始说“我在想”“我感受到”，真正被审问的不是 AI，而是人类关于意识的定义。智能、语言、自我报告、主观体验，到底是不是一回事？https://jason-azure.github.io/ai-blog/posts/multimodal-llm-architecture/Sat, 11 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/multimodal-llm-architecture/GPT-4 能看图、Gemini 能看视频、Qwen-VL 能看中文文档——但一个语言模型是怎么’看见’图像的？答案藏在三个组件的协作中：视觉编码器把图像切成 token，对齐模块把视觉 token 翻译成语言能懂的格式，LLM 把它们和文字一起处理。本文从 ViT 到 CLIP 到 LLaVA，完整拆解多模态大模型的架构。https://jason-azure.github.io/ai-blog/posts/clip-open-source-story/Sun, 12 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/clip-open-source-story/2021 年 OpenAI 发布 CLIP，让 AI 第一次’看懂’了图片。但它公开了模型权重，却藏起了 4 亿对训练数据。这引发了一场全球性的’造眼睛’军备竞赛——德国非营利组织 LAION 逆向工程出 50 亿对数据，Google 发明了新的训练方法，Meta 证明不需要文字也能学会看……一个模型的开源，如何改变了整个视觉 AI 生态？‘开源’到底意味着什么？https://jason-azure.github.io/ai-blog/posts/vectors-language-of-understanding/Sun, 12 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/vectors-language-of-understanding/多模态 AI 揭示了一个深刻的事实：文字、图片、声音——看似截然不同的信息形式，最终都被转化成了同一种东西——向量。然后由同一个 Transformer 用同一套 Attention 机制处理。这引出一个更根本的问题：理解这个世界，最终都要变成语言吗？还是说，有一种比语言更底层的’表示’在承载真正的理解？https://jason-azure.github.io/ai-blog/posts/boltzmann-legacy/Mon, 13 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/boltzmann-legacy/1906 年，一位被整个学术界否定的物理学家在杜伊诺的度假村永远闭上了眼睛。他的墓碑上只刻了一个公式：S = k ln W。120 年后，这个公式每天在全球数十亿次 AI 推理中被执行——以 Softmax 的名义。https://jason-azure.github.io/ai-blog/posts/feedback-cybernetics/Sat, 09 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/feedback-cybernetics/二战时期，数学家诺伯特·维纳研究一个残酷的问题：飞机一直在动，炮弹也需要时间飞行，防空炮到底该打向哪里？这不是简单地预测飞机下一秒的位置，而是要持续计算拦截点，并在观测误差、动作延迟和敌人机动中不断修正。这个问题把他带向一个更深的概念：反馈。智能不是一次性给出正确答案，而是在行动之后被世界纠正。梯度下降、RLHF、DeepSeek-R1、Agent、自动驾驶，表面上差别很大，底层却都在同一个闭环里运行：行动、观察、误差、修正。https://jason-azure.github.io/ai-blog/posts/continual-learning/Mon, 11 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/continual-learning/我们正在把 AI 越做越像一个带着巨大资料柜的天才：它能查资料、能翻历史、能接工具、能在一个长上下文里表现得很聪明。但查得到不等于学会了。真正的持续学习，不是让上下文窗口无限变大，而是让经验被压缩、抽象，并在未来变成能力。https://jason-azure.github.io/ai-blog/posts/diffusion-models/Tue, 12 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/diffusion-models/AI 画画不是从空白画布开始，也不是脑子里凭空想象出一只猫。扩散模型先学会一万种『猫如何被噪声毁掉』，再把这个毁掉的过程一步步倒放。生成的秘密，不是凭空创造，而是给噪声一个方向。https://jason-azure.github.io/ai-blog/posts/multimodal-image-architecture/Wed, 13 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/multimodal-image-architecture/多模态不是让 LLM 简单长出眼睛。更准确地说，是把文字、图片、声音、视频变成模型能处理的 token 或 embedding，再让 Transformer、扩散模型、Flow、VAE、视觉编码器、音频 codec 和视频生成器协同工作。看图、听音、懂图、画图、生成视频，背后其实是几种不同的数据流。https://jason-azure.github.io/ai-blog/posts/robot-gpt-moment/Thu, 14 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/robot-gpt-moment/ChatGPT 让 AI 学会了聊天，VLA 正在让 AI 学会干活。机器人终于从写死的动作脚本，走向能看、能听、能规划、能动手的通用模型。但物理世界没有撤回键，所以机器人的 GPT 时刻不会是一次突然刷屏，而是一场被数据、安全和工程慢慢推开的黎明。https://jason-azure.github.io/ai-blog/posts/opening-essay/Sun, 01 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/opening-essay/压缩，是用低维形式保存高维信息的方式。大语言模型用向量与矩阵转存了人类语言中的统计规律，在解压时涌现出了我们称之为"智能"的东西。https://jason-azure.github.io/ai-blog/posts/rlhf-alignment-sycophancy/Thu, 14 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/rlhf-alignment-sycophancy/预训练让 AI 学会文字接龙，SFT 让它学会像助手一样接龙，RLHF 让它学会哪种接龙更容易被人类喜欢。但“被喜欢”不是“真实”，“听话”不是“善良”，“安全”也不是没有价值立场。对齐 AI 的过程，表面上是在训练机器，深处是在审问人类：我们到底希望一个更聪明的存在，服从谁的规则，继承谁的偏见，代表谁的文明？