用 4192 个参数看透 Transformer：QKV、多头注意力、MLP 全拆解
用一个只有 4192 个参数的 GPT 模型，展示 Transformer 内部每一步的真实数据——Token 嵌入、QKV 投影、多头注意力权重、MLP 稀疏激活，所有数字都来自真实训练。
Microgpt
为什么用 -log(p) 做损失函数？—— 从信息论到 Cross-Entropy 的完整推导
从 Shannon 1948 年的三条公理出发，理解为什么 GPT 的 loss 必须是 -log(p)：它是满足「信息量」定义的唯一函数，用它做 loss 等价于最大似然估计和最小化 KL 散度——这不是经验选择，是数学必然。