AI 的数学语言(一):用数字画地图——从数轴到高维空间
从温度计上的刻度到 ChatGPT 里的词向量,理解 AI 的第一步:用一串数字描述万物。零基础线性代数系列第一篇。
从温度计上的刻度到 ChatGPT 里的词向量,理解 AI 的第一步:用一串数字描述万物。零基础线性代数系列第一篇。
向量不只是"有方向的箭头"。向量是用一组数来描述一个事物的方法——一杯咖啡、一个游戏角色、一个词的含义。而"国王 - 男人 + 女人 = 女王",是向量最惊艳的表演。第三幕开篇。
A=65, B=66——这些数字是死的。「大漠孤烟直,长河落日圆」——这些文字是活的。从莫尔斯电码到 GPT 的编码史中,有一步跨越改变了一切:数字不再是编号,而是坐标。它们学会了远近、方向和意思。这一步叫 Embedding。
Transformer 天生是个色盲——它能看清每个词的颜色(语义),却分不清词的位置。‘猫吃鱼’和’鱼吃猫’在它眼中完全等价。为了让模型学会’谁在前谁在后’,研究者发明了一种优雅到不真实的方案:把位置信息编码成波,然后直接加到语义向量上。这一步看似暴力,实则深刻。
多模态 AI 揭示了一个深刻的事实:文字、图片、声音——看似截然不同的信息形式,最终都被转化成了同一种东西——向量。然后由同一个 Transformer 用同一套 Attention 机制处理。这引出一个更根本的问题:理解这个世界,最终都要变成语言吗?还是说,有一种比语言更底层的’表示’在承载真正的理解?