高维空间

人类的直觉止步于三维。但 AI 生活在 768 维甚至更高的空间里。高维空间有很多反直觉的性质：几乎所有体积都在"壳"上、随机向量几乎都垂直、数据变得极度稀疏。理解高维，就理解了深度学习为什么需要那么多数据。

Transformer 天生是个色盲——它能看清每个词的颜色（语义），却分不清词的位置。‘猫吃鱼’和’鱼吃猫’在它眼中完全等价。为了让模型学会’谁在前谁在后’，研究者发明了一种优雅到不真实的方案：把位置信息编码成波，然后直接加到语义向量上。这一步看似暴力，实则深刻。