Shannon 没有想到的事——当信息论遇上有限算力
Shannon 说「压缩 = 预测 = 理解」。但他假设观察者有无限算力。2026 年的一篇论文补上了这个前提，提出 epiplexity——衡量有限算力观察者能从数据中学到多少结构的新度量。
Shannon
看见数学（番外）：信息论——从电报到 GPT 的一条暗线
Shannon 1948 年证明了一件事：压缩 = 预测 = 理解。76 年后，我们用万亿参数的神经网络去逼近他的定理。这是贯穿「看见数学」所有篇章的那条暗线。
为什么用 -log(p) 做损失函数？—— 从信息论到 Cross-Entropy 的完整推导
从 Shannon 1948 年的三条公理出发，理解为什么 GPT 的 loss 必须是 -log(p)：它是满足「信息量」定义的唯一函数，用它做 loss 等价于最大似然估计和最小化 KL 散度——这不是经验选择，是数学必然。
看见物理（五）：熵——承认无知的勇气
1865 年，一个德国人造了一个新词来形容世界的衰败；1948 年，一个美国人用同一个公式描述电报的成本；2025 年，你电脑里每一次 AI 推理，都在重演这条 160 年的暗线。熵不是公式——它是人类第一次承认「我不知道」，然后把这份无知量化成数学。