看见数学(番外):信息论——从电报到 GPT 的一条暗线
Shannon 1948 年证明了一件事:压缩 = 预测 = 理解。76 年后,我们用万亿参数的神经网络去逼近他的定理。这是贯穿「看见数学」所有篇章的那条暗线。
Shannon 1948 年证明了一件事:压缩 = 预测 = 理解。76 年后,我们用万亿参数的神经网络去逼近他的定理。这是贯穿「看见数学」所有篇章的那条暗线。
1865 年,一个德国人造了一个新词来形容世界的衰败;1948 年,一个美国人用同一个公式描述电报的成本;2025 年,你电脑里每一次 AI 推理,都在重演这条 160 年的暗线。熵不是公式——它是人类第一次承认「我不知道」,然后把这份无知量化成数学。
DeepSeek 给你编一个根本不存在的 API;国产大模型给研究生伪造 8 篇参考文献;自媒体因 AI 编造权威数据被封号 12 万粉。你以为 AI 在骗你 —— 不,它比骗更糟。骗人要先知道真相再刻意背离;AI 连真相这个坐标都没有。它是在胡诌。这篇把原理讲透。
1906 年,一位被整个学术界否定的物理学家在杜伊诺的度假村永远闭上了眼睛。他的墓碑上只刻了一个公式:S = k ln W。120 年后,这个公式每天在全球数十亿次 AI 推理中被执行——以 Softmax 的名义。

AI 画画不是从空白画布开始,也不是脑子里凭空想象出一只猫。扩散模型先学会一万种『猫如何被噪声毁掉』,再把这个毁掉的过程一步步倒放。生成的秘密,不是凭空创造,而是给噪声一个方向。