混合专家联邦主义

来自 AI 研究立场图谱百科

混合专家联邦主义:模型应该是由专门化专家子网络组成的联邦,由路由器为每个输入只激活少数几个专家。

主张

混合专家联邦主义相信在共同宪法下的专业分工。与其让每个参数都处理每个 token,不如由一个学出来的路由器把每个 token 送给少数几个专家子网络。这样模型的总参数量、也就是能装下的知识可以大得多,而每次前向只花其中一小部分的计算。专家是各州,路由器是联邦政府,负载均衡损失则是防止某个州霸占全部流量的法律。

它位于图表最顶端、靠近 Language 边缘:MoE 作为一个模型端到端训练,内部那套带路由的专家联邦是为规模服务的,而不是取代规模,模块化始终没有离开权重。正统色号说明稀疏专家如今在前沿已是标准配置——一个几十年前的老想法,在 scaling 让计算效率变得紧迫时迎来了自己的时刻。

论据

  • 稀疏激活把总参数量和每 token 计算量解耦,在相近的训练和推理成本下获得更大容量。
  • 专家常常按可辨认的方式分工,比如按领域、语言或 token 类型,这支持了联邦分工的说法。
  • 与激活参数规模相近的稠密模型相比,稀疏专家模型达到了很好的质量/算力权衡。

批评

  • 所有专家仍得放在显存里,这让 MoE 模型不太适合本地和端侧部署。
  • 路由带来训练不稳定、负载不均衡和跨设备通信开销。
  • 专家分工往往不像联邦比喻说的那样可解释,削弱了模块化的论据。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.70,y ≈ +0.77,范式 ≈ −0.70。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据