AI 基础

当数字学会了远近亲疏——从查表到 Embedding 的一步跨越

A=65, B=66——这些数字是死的。「大漠孤烟直，长河落日圆」——这些文字是活的。从莫尔斯电码到 GPT 的编码史中，有一步跨越改变了一切：数字不再是编号，而是坐标。它们学会了远近、方向和意思。这一步叫 Embedding。

第一个词和第五个词有什么不同？——位置编码的数学与直觉

Transformer 天生是个色盲——它能看清每个词的颜色（语义），却分不清词的位置。‘猫吃鱼’和’鱼吃猫’在它眼中完全等价。为了让模型学会’谁在前谁在后’，研究者发明了一种优雅到不真实的方案：把位置信息编码成波，然后直接加到语义向量上。这一步看似暴力，实则深刻。

从一个取反说起——计算机如何从「只会加法」走到「AI 写诗」

~5 = -6？从这个小困惑出发，我们穿越 7 层抽象，看见逻辑门如何一步步堆叠成 ChatGPT。这是一篇写给所有人的计算机底层原理科普。

一个加号拯救了深度学习——残差连接的前世今生

2015 年，何恺明发现了一件诡异的事：56 层的神经网络比 20 层的更差——不是过拟合，是训练误差也更高。深度学习的根基似乎在动摇。然后他加了一个加号：y = F(x) + x。就这一个加号，让网络从 20 层一路堆到 1000 层，让 Transformer 成为可能，让 GPT 能有 96 层。这篇文章讲的就是这个加号的故事。

欧拉的 e——一个数字如何同时出现在复利、衰变和神经网络里

2.71828… 这个数字出现在银行复利、放射性衰变、人口增长、Softmax 函数、学习率衰减里。它不是人造的常数——它是自然界「连续变化」的签名。读完这篇，你再看到 e 不会害怕，而会觉得亲切。

贝叶斯没有想到的事——一个牧师的赌博公式，如何成为 AI 的第一性原理

1763 年，一个英国牧师的遗稿里藏着一条公式。263 年后，这条公式成了 GPT 训练的数学骨架：先验 = 预训练，似然 = 数据，后验 = 微调。贝叶斯定理不只是一个公式——它是一种「带着旧知识拥抱新证据」的思维方式。而这正是 AI 学习的方式。

世界模型之争 —— LLM 到底懂不懂这个世界？

AlphaFold 拿了诺贝尔奖，GPT 通过了律师考试——但 Sora 的玻璃穿过了桌子。LLM 到底懂不懂这个世界？LeCun 离开 Meta 创办 AMI Labs，李飞飞押注 World Labs，谢赛宁两次拒绝 Ilya——站在前沿的人给出了截然不同的答案。

压缩即是全部 —— 菲尔兹奖得主给数学和 AI 的一封信

2026 年 3 月，菲尔兹奖得主 Michael Freedman 发了一篇只有 30 多页的论文，标题叫《Compression is all you need》。他用一个优雅的代数模型回答了三个古老问题：人类怎么构建数学？人类数学和形式数学的本质区别是什么？未来人类数学家如何和 AI 协作？答案只有两个字——压缩。

马尔可夫的幽灵——从预测下一个词到预测下一步行动

1913 年，俄国数学家马尔可夫翻开普希金的《叶甫盖尼·奥涅金》，开始数元音和辅音。他不是在做文学研究，而是在拆掉一个旧世界：下一个符号不是凭空出现的，它被前一个状态牵引。一个多世纪后，LLM 被训练去预测下一个 token，Agent 被训练去选择下一步行动。这个目标看似无聊，却把语言、知识、推理和行动都压进了一个极密的监督信号里。马尔可夫没有想到 ChatGPT，但他留下了现代 AI 最小的一条语法：状态、转移、下一步。

当 AI 学会了看——多模态大模型的架构拆解

GPT-4 能看图、Gemini 能看视频、Qwen-VL 能看中文文档——但一个语言模型是怎么’看见’图像的？答案藏在三个组件的协作中：视觉编码器把图像切成 token，对齐模块把视觉 token 翻译成语言能懂的格式，LLM 把它们和文字一起处理。本文从 ViT 到 CLIP 到 LLaVA，完整拆解多模态大模型的架构。