https://jason-azure.github.io/ai-blog/tags/%E4%BF%A1%E6%81%AF%E8%AE%BA/Recent content in 信息论 on AI 学习笔记Hugo -- 0.146.0zh-CNMon, 06 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/epiplexity/Mon, 30 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/epiplexity/Shannon 说「压缩 = 预测 = 理解」。但他假设观察者有无限算力。2026 年的一篇论文补上了这个前提，提出 epiplexity——衡量有限算力观察者能从数据中学到多少结构的新度量。https://jason-azure.github.io/ai-blog/posts/ascii-to-token/Mon, 30 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ascii-to-token/Token、Embedding、Encode/Decode——这些 AI 术语听起来很新，但它们和 ASCII、Unicode 是同一件事的不同层次。计算机 200 年来一直在做同一件事：把符号变成数字。https://jason-azure.github.io/ai-blog/posts/see-math-extra-information-theory/Thu, 26 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-extra-information-theory/Shannon 1948 年证明了一件事：压缩 = 预测 = 理解。76 年后，我们用万亿参数的神经网络去逼近他的定理。这是贯穿「看见数学」所有篇章的那条暗线。https://jason-azure.github.io/ai-blog/posts/cross-entropy-loss/Sat, 28 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/cross-entropy-loss/从 Shannon 1948 年的三条公理出发，理解为什么 GPT 的 loss 必须是 -log(p)：它是满足「信息量」定义的唯一函数，用它做 loss 等价于最大似然估计和最小化 KL 散度——这不是经验选择，是数学必然。https://jason-azure.github.io/ai-blog/posts/bayes-not-expected/Mon, 06 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/bayes-not-expected/1763 年，一个英国牧师的遗稿里藏着一条公式。263 年后，这条公式成了 GPT 训练的数学骨架：先验 = 预训练，似然 = 数据，后验 = 微调。贝叶斯定理不只是一个公式——它是一种「带着旧知识拥抱新证据」的思维方式。而这正是 AI 学习的方式。