去中心化训练主义

来自 AI 研究立场图谱百科

去中心化训练主义:大模型可以、也应该在许多方拥有的、松散连接的机器上训练,而不只是在集中的数据中心里。

主张

去中心化训练主义挑战了一个默认前提:前沿规模的训练必须在一个拥有超高速互连的单一数据中心里完成。信徒们研究的算法能容忍 worker 之间又慢又不可靠的链路:低频同步、梯度压缩、先做多步本地更新再偶尔平均,以及对节点随时加入退出的容错。如果这些方法能在大规模上奏效,训练就能汇集许多独立集群、实验室甚至志愿者的算力,松动算力集中对”谁能造大模型”的控制。

它在语言-世界轴上略偏右、接近中线,因为这些技术不挑模态;又处在下半区、偏 harness 一侧,因为实质是产出模型的那套分布式系统,而不是某种具体架构。范式等级为中立:它训练的仍是主流架构,革命发生在基础设施上,而不在研究范式上。

论据

  • DiLoCo 这类每隔很多本地步才同步一次的低通信训练方法,用远低于标准数据并行的带宽训练了语言模型,质量损失不大。
  • 梯度压缩的研究表明,绝大部分梯度通信可以省掉而不影响收敛。
  • 志愿计算在科学领域有着悠久的成功记录,说明汇集起来的异构硬件能提供可观的算力。

批评

  • 去中心化训练在规模和效率上仍落后于集中式训练,而且随着前沿训练规模增长,差距可能还会拉大。
  • 异构且不可信的参与者带来验证、投毒和协调问题,这些都是数据中心从来不用面对的。
  • 即使是去中心化训练也需要组织者、数据和资本,权力可能在另一个层面重新集中。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.00,y ≈ −0.69,范式 ≈ +0.00。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据