进化联邦主义

来自 AI 研究立场图谱百科

进化联邦主义:由候选模型、程序或 agent 组成的种群,经过选择和重组,能找到比优化单个个体更好的解。

主张

进化联邦主义认为,进步来自种群,而不是神童。同时保留许多变体(权重、超参、prompt、程序乃至整个 agent),让它们在任务上竞争,留下最适者并变异,再把好点子杂交在一起。有梯度当然很好,但选择机制对任何能评估的东西都管用,包括不可微的目标、离散的程序、整套训练配方。所谓”联邦”,指的是结构:许多半独立的成员,由一个共享的选择过程松散协调,而不是由一个中央优化器统管。

它在语言-世界轴上居中,因为种群既可以进化文本和代码,也可以进化控制器和机器人身体;又深处 harness 半区,因为智能在于模型外围的”种群 + 选择”机制。范式等级为超级革命:进化计算是老传统,但把它和大模型结合起来,是对”梯度 + 规模”主流的大幅偏离。

论据

  • evolution strategies 被证明是强化学习的一种可扩展替代方案,能以极少的通信在大量 worker 上并行。
  • population-based training 同时优化模型和它的超参调度,在多个领域胜过手调的调度方案。
  • 以语言模型作为变异算子的进化式程序搜索(如 FunSearch),为开放的数学问题找到了新构造,并由自动评估器验证。

批评

  • 进化搜索很吃样本;在有梯度的地方,它通常效率低得多。
  • 结果高度依赖一个好的适应度函数,而种群很善于钻它的空子。
  • scaling 派认为,所谓”进化”大部分功劳其实是大模型干的,种群只是一个昂贵的采样器。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.29,y ≈ −0.89,范式 ≈ +0.65。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据