https://jason-azure.github.io/ai-blog/tags/softmax/Recent content in Softmax on AI 学习笔记Hugo -- 0.146.0zh-CNFri, 17 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/transformer-attention/Sat, 21 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/transformer-attention/用零基础也能懂的语言，拆解 Transformer 的核心：点积、缩放、Softmax、QKV、多头注意力、因果遮罩。既讲人类设计了什么，也讲机器自己学到了什么。https://jason-azure.github.io/ai-blog/posts/llm-probability/Fri, 13 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-probability/零基础理解大语言模型背后的概率论：条件概率、Softmax、交叉熵、Temperature、采样策略、大数定律与中心极限定理——用最直观的类比和动图，拆解 LLM 的数学骨架。https://jason-azure.github.io/ai-blog/posts/see-math-13-probability/Fri, 20 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-13-probability/概率不是"猜"——概率是用数学管理无知。赌徒的信件催生了概率论，贝叶斯牧师教会了 AI 如何"更新信念"，而 GPT 每写一个字，都是在从概率分布里抽样。https://jason-azure.github.io/ai-blog/posts/cross-entropy-loss/Sat, 28 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/cross-entropy-loss/从 Shannon 1948 年的三条公理出发，理解为什么 GPT 的 loss 必须是 -log(p)：它是满足「信息量」定义的唯一函数，用它做 loss 等价于最大似然估计和最小化 KL 散度——这不是经验选择，是数学必然。https://jason-azure.github.io/ai-blog/posts/eulers-e/Sun, 05 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/eulers-e/2.71828… 这个数字出现在银行复利、放射性衰变、人口增长、Softmax 函数、学习率衰减里。它不是人造的常数——它是自然界「连续变化」的签名。读完这篇，你再看到 e 不会害怕，而会觉得亲切。https://jason-azure.github.io/ai-blog/posts/see-physics-5-entropy/Fri, 17 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-physics-5-entropy/1865 年，一个德国人造了一个新词来形容世界的衰败；1948 年，一个美国人用同一个公式描述电报的成本；2025 年，你电脑里每一次 AI 推理，都在重演这条 160 年的暗线。熵不是公式——它是人类第一次承认「我不知道」，然后把这份无知量化成数学。https://jason-azure.github.io/ai-blog/posts/boltzmann-legacy/Mon, 13 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/boltzmann-legacy/1906 年，一位被整个学术界否定的物理学家在杜伊诺的度假村永远闭上了眼睛。他的墓碑上只刻了一个公式：S = k ln W。120 年后，这个公式每天在全球数十亿次 AI 推理中被执行——以 Softmax 的名义。