来自 AI 研究立场图谱百科
去中心化训练主义:大模型可以、也应该在许多方拥有的、松散连接的机器上训练,而不只是在集中的数据中心里。
主张
去中心化训练主义挑战了一个默认前提:前沿规模的训练必须在一个拥有超高速互连的单一数据中心里完成。信徒们研究的算法能容忍 worker 之间又慢又不可靠的链路:低频同步、梯度压缩、先做多步本地更新再偶尔平均,以及对节点随时加入退出的容错。如果这些方法能在大规模上奏效,训练就能汇集许多独立集群、实验室甚至志愿者的算力,松动算力集中对”谁能造大模型”的控制。
它在语言-世界轴上略偏右、接近中线,因为这些技术不挑模态;又处在下半区、偏 harness 一侧,因为实质是产出模型的那套分布式系统,而不是某种具体架构。范式等级为中立:它训练的仍是主流架构,革命发生在基础设施上,而不在研究范式上。
论据
- DiLoCo 这类每隔很多本地步才同步一次的低通信训练方法,用远低于标准数据并行的带宽训练了语言模型,质量损失不大。
- 梯度压缩的研究表明,绝大部分梯度通信可以省掉而不影响收敛。
- 志愿计算在科学领域有着悠久的成功记录,说明汇集起来的异构硬件能提供可观的算力。
批评
- 去中心化训练在规模和效率上仍落后于集中式训练,而且随着前沿训练规模增长,差距可能还会拉大。
- 异构且不可信的参与者带来验证、投毒和协调问题,这些都是数据中心从来不用面对的。
- 即使是去中心化训练也需要组织者、数据和资本,权力可能在另一个层面重新集中。
代表作
- DiLoCo: Distributed Low-Communication Training of Language Models2023
- Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training2017
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.00,y ≈ −0.69,范式 ≈ +0.00。