https://jason-azure.github.io/ai-blog/tags/%E9%AB%98%E7%BB%B4%E7%A9%BA%E9%97%B4/Recent content in 高维空间 on AI 学习笔记Hugo -- 0.146.0zh-CNThu, 02 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-14-high-dimensions/Sat, 21 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/see-math-14-high-dimensions/人类的直觉止步于三维。但 AI 生活在 768 维甚至更高的空间里。高维空间有很多反直觉的性质：几乎所有体积都在"壳"上、随机向量几乎都垂直、数据变得极度稀疏。理解高维，就理解了深度学习为什么需要那么多数据。https://jason-azure.github.io/ai-blog/posts/positional-encoding/Thu, 02 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/positional-encoding/Transformer 天生是个色盲——它能看清每个词的颜色（语义），却分不清词的位置。‘猫吃鱼’和’鱼吃猫’在它眼中完全等价。为了让模型学会’谁在前谁在后’，研究者发明了一种优雅到不真实的方案：把位置信息编码成波，然后直接加到语义向量上。这一步看似暴力，实则深刻。