https://jason-azure.github.io/ai-blog/tags/kl%E6%95%A3%E5%BA%A6/Recent content in KL散度 on AI 学习笔记Hugo -- 0.146.0zh-CNSat, 28 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/cross-entropy-loss/Sat, 28 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/cross-entropy-loss/从 Shannon 1948 年的三条公理出发，理解为什么 GPT 的 loss 必须是 -log(p)：它是满足「信息量」定义的唯一函数，用它做 loss 等价于最大似然估计和最小化 KL 散度——这不是经验选择，是数学必然。