来自 AI 研究立场图谱百科
混合专家联邦主义:模型应该是由专门化专家子网络组成的联邦,由路由器为每个输入只激活少数几个专家。
主张
混合专家联邦主义相信在共同宪法下的专业分工。与其让每个参数都处理每个 token,不如由一个学出来的路由器把每个 token 送给少数几个专家子网络。这样模型的总参数量、也就是能装下的知识可以大得多,而每次前向只花其中一小部分的计算。专家是各州,路由器是联邦政府,负载均衡损失则是防止某个州霸占全部流量的法律。
它位于图表最顶端、靠近 Language 边缘:MoE 作为一个模型端到端训练,内部那套带路由的专家联邦是为规模服务的,而不是取代规模,模块化始终没有离开权重。正统色号说明稀疏专家如今在前沿已是标准配置——一个几十年前的老想法,在 scaling 让计算效率变得紧迫时迎来了自己的时刻。
论据
- 稀疏激活把总参数量和每 token 计算量解耦,在相近的训练和推理成本下获得更大容量。
- 专家常常按可辨认的方式分工,比如按领域、语言或 token 类型,这支持了联邦分工的说法。
- 与激活参数规模相近的稠密模型相比,稀疏专家模型达到了很好的质量/算力权衡。
批评
- 所有专家仍得放在显存里,这让 MoE 模型不太适合本地和端侧部署。
- 路由带来训练不稳定、负载不均衡和跨设备通信开销。
- 专家分工往往不像联邦比喻说的那样可解释,削弱了模块化的论据。
代表作
- Adaptive Mixtures of Local Experts1991
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer2017
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity2021
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.70,y ≈ +0.77,范式 ≈ −0.70。