MoE：671B 参数的模型，为什么只用 37B 就够了？

上一篇《DeepSeek-R1：一个模型如何学会思考》，我们看到了推理模型的惊人突破——AI 学会了"先想再答"。

但你有没有注意到一个细节？DeepSeek-R1 的完整版有 6710 亿参数（671B），却只需要约 556 万美元就训练出来了。作为对比，GPT-4 的训练成本估计超过 1 亿美元。

秘密在于：DeepSeek-V3 的每个 token，只激活 37B 参数——不到总量的 6%。

这背后是一个叫做 Mixture of Experts（混合专家） 的架构。它的核心思想简单到令人难以置信：不是所有神经元都需要对每个问题开工。

这篇文章会告诉你：什么是"专家"？谁来决定激活哪些专家？以及——当所有 token 都挤向同一个专家时，该怎么办？

方案 A（Dense 模式）： 每接到一个客户咨询，全部 671 人都去处理这个问题——不管问题是报税、打官司还是修电脑。每个人的工时费都要算进去。

方案 B（MoE 模式）： 公司分成 256 个小组，每组是某个领域的专家。前台（路由器）先听客户的问题，然后只派 8 个最相关的小组去处理——报税问题就派财务组，打官司就派法律组。其他 248 个组该喝茶喝茶。

关键洞察： MoE 解耦了两个东西——

• 模型容量（总参数量）= 存储了多少知识
• 计算成本（活跃参数量）= 每次推理要算多少

一个 671B 的 MoE 模型拥有 671B 的知识量，但只需要 37B 的计算量。

这就像一个拥有 671 名员工的公司，知识储备是 671 人的总和，但每个项目只需要 37 人的人力成本。

类比： 256 个专家 ≠ 256 个医生。更像是一个大脑里的 256 个不同的神经通路——每个通路对不同类型的刺激最敏感。看到文字时激活阅读通路，听到音乐时激活听觉通路。

Step 1：给每个专家打分

每个专家有一个"重心向量" e_i。路由器计算 token 表示 u_t 和每个专家重心的相似度：

s(i,t) = sigmoid(u_t · e_i)

直觉：token 离哪个专家的"重心"更近，分就越高。

Step 2：选 Top-K

从 256 个分数中，选出最高的 K=8 个专家：

TopK = top_8(s(i,t) + b_i)

其中 b_i 是一个偏置项（后面会讲它的妙用）。

Step 3：归一化权重

被选中的 8 个专家的分数做归一化，确保权重总和为 1：

g(i,t) = s(i,t) / Σ s(j,t) （j 遍历 Top-8）

Step 4：加权输出

最终输出 = 共享专家的输出 + 8 个路由专家的加权输出：

output = FFN_shared(x) + Σ g(i,t) · FFN_i(x)

为什么用 sigmoid 而不是 softmax？

Softmax 让所有专家的分数互相竞争——一个高了另一个就低了。Sigmoid 让每个专家的分数独立计算，竞争只发生在 Top-K 选择阶段。

好处：把"评分"和"选择"解耦了。路由器可以先客观评估每个专家的适合程度，再从中选最好的。

恶性循环：

Expert 1 稍好 → 获得更多 token → 变得更强 → 获得更多 token → ……

最终：85% 的 token 都去了 Expert 1，其他 7 个专家几乎没有数据。

这就是"坍塌"——256 个专家变成了事实上的 1 个专家，MoE 退化为 Dense 模型，但还多了 255 个专家的参数浪费。

核心思路： 不修改损失函数，而是给每个专家加一个可调节的偏置项 b_i：

路由决策： TopK = top_8(s(i,t) + b_i) ← 偏置影响"选谁"

权重计算： g(i,t) = s(i,t) / Σ s(j,t) ← 偏置不影响"权重多大"

动态调整（每个训练步之后）：

• Expert i 太忙了？→ 减小 b_i（让它更难被选中）
• Expert i 太闲了？→ 增大 b_i（让它更容易被选中）

类比： 医院的分诊台。

传统方案（辅助损失）：硬性规定"每个科室每天必须接诊相同数量的病人"——结果骨科空着等人，而急诊排着长队。

DeepSeek 方案（偏置项）：分诊台根据各科室当前等候人数动态调整推荐——急诊太忙了？先推荐去全科看看是不是小问题。但如果病人确实需要急诊，急诊的治疗方案（权重）不会因为排队而打折扣。

共享专家的设计：

DeepSeek-V3 每个 MoE 层：
├── 共享专家 ×1（每个 token 必过，不需要路由）
│   └── 存储：语法、常见模式、通用语义
└── 路由专家 ×256（每个 token 只选 8 个）
    └── 存储：领域专业知识（数学技巧、代码模式、特定语言知识……）

共享专家 = 全科医生（人人都要先看一下） 路由专家 = 专科医生（按需转诊）

一个大型神经网络中，高达 96% 的权重可以被移除，剩下的 4% 子网络性能完全不变。

大网络之所以有效，不是因为它需要那么多参数来"记住"数据，而是因为——参数越多，越有可能在随机初始化中"碰巧"包含一个有利的小子网络。

每个子网络就是一张彩票。单张中奖概率微乎其微。但当你有几十亿张彩票时，中奖就是必然事件。

困境 1：找彩票太贵。 要找到"中奖"子网络，需要反复训练-剪枝-重置-再训练，对 LLM 来说意味着 30 倍的训练成本。

困境 2：稀疏在硬件上跑不快。 找到的子网络是"非结构化稀疏"——权重矩阵里随机散落着零。GPU 为密集矩阵优化，96% 稀疏并不会快 25 倍。

困境 3：不同问题的"中奖彩票"可能不同。 处理数学题和处理诗歌，需要的子网络可能完全不一样。一张彩票不够用。

把它们放在一起看：

彩票假说 (理论发现, 2019)
  ↓ 发现：大网络里只有一小部分参数真正干活
  ↓ 问题：怎么高效地只用那一小部分？
  ↓
  ├→ 剪枝路线：训练后删权重（太贵、不友好硬件）
  │
  └→ MoE 路线：训练时就让每个 token 只用一部分专家
     ↓
     DeepSeek-V3 (工程巅峰, 2024)
       671B 参数，每 token 只激活 37B
       不是事后剪枝，而是从架构层面实现"稀疏激活"
       路由器 = 自动找彩票的机制
       每个 token 找到自己的"中奖专家组"

但 MoE 有一个代价：内存。 虽然每个 token 只用 37B 参数，但全部 671B 参数必须同时驻留在显存中——因为你不知道下一个 token 会被路由到哪个专家。

这意味着 MoE 模型需要更多的 GPU 数量来部署（放不下就得分片），但每个 GPU 的实际计算利用率更高。

意义 1：AI 的"大脑"也需要分工

人类大脑有约 860 亿个神经元，但在任何给定时刻，只有一小部分是活跃的。看文字时视觉皮层活跃，听音乐时听觉皮层活跃，做数学时前额叶皮层活跃。

MoE 模型走向了同样的路径：不是让所有参数对所有问题都开工，而是让合适的参数处理合适的问题。 这不仅仅是工程优化——这可能是通向更大规模智能的必经之路。

意义 2：AI 平权的催化剂

如果训练一个顶级模型需要 1 亿美元，那只有 OpenAI、Google 这样的公司玩得起。但如果 MoE 把成本降到 560 万美元——大学实验室、中小企业、开源社区都有了参与前沿研究的可能。

DeepSeek-V3 的 $5.6M 训练成本不仅是技术成就，更是AI 民主化的标志性事件。

意义 3：Dense 模型可能已经到头了

当你需要更多知识容量时，Dense 模型的唯一选择是加参数——但每加一个参数，每个 token 的计算成本也增加一个参数。这是线性增长。

MoE 打破了这个约束：加参数不加计算。 你可以把模型扩展到万亿参数级别，而推理成本只是百亿级。

这就是为什么 2024 年之后，几乎所有前沿大模型——DeepSeek-V3、Qwen3、Llama 4 Maverick——都选择了 MoE 架构。 Dense 模型的时代，可能正在结束。

回到最初的问题：671B 参数的模型，为什么只用 37B 就够了？

因为——“够了"本身就是一个伪命题。 不是"37B 够了”，而是"对于这个 token，37B 是最相关的那部分"。其他 634B 参数不是多余的——它们在等待属于自己的 token。

这像是大自然早就想通的道理：你的大脑不会同时激活所有神经元，你的身体不会同时使用所有肌肉，你的公司不应该让全体员工处理每一个客户。

效率的秘密从来不是"做更多"，而是"在对的时候做对的事"。

MoE，就是 AI 学会的这个道理。

📚 延伸阅读

• DeepSeek-V3 技术报告：arXiv 2412.19437
• Switch Transformer：arXiv 2101.03961
• Mixtral 8×7B：arXiv 2401.04088
• 原始 MoE 论文：Jacobs, Jordan, Nowlan, Hinton (1991)
• 上一篇：DeepSeek-R1：一个模型如何学会思考
• 下一篇预告：从 RLHF 到 GRPO —— 大模型训练的三次革命

博客：https://Jason-Azure.github.io/ai-blog/

微信公众号：AI-lab学习笔记