https://jason-azure.github.io/ai-blog/tags/%E6%AD%A3%E5%BC%A6%E7%BC%96%E7%A0%81/Recent content in 正弦编码 on AI 学习笔记Hugo -- 0.146.0zh-CNThu, 02 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/positional-encoding/Thu, 02 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/positional-encoding/Transformer 天生是个色盲——它能看清每个词的颜色（语义），却分不清词的位置。‘猫吃鱼’和’鱼吃猫’在它眼中完全等价。为了让模型学会’谁在前谁在后’，研究者发明了一种优雅到不真实的方案：把位置信息编码成波，然后直接加到语义向量上。这一步看似暴力，实则深刻。