递归自我改进主义

来自 AI 研究立场图谱百科

递归自我改进主义:能自己设计、测试并改进自身代码、prompt 乃至下一代的 agent,将成为 AI 最快的进步引擎。

主张

递归自我改进主义把“一台机器改进那台改进自己的机器”这个老设想变成了工程项目。今天的版本非常具体:agent 对自己的脚手架、prompt、工具或训练数据提出修改,在基准上评估,保留有用的,再循环。研究者的工作从设计 agent 变成设计“设计 agent 的循环”。只要每一代在改进下一代这件事上哪怕略好一点,进步就会复利增长。

它位于图的下部、靠近 Harness 一端,因为被重写的主要是模型周围的系统;同时偏 Language 一侧,因为自我修改的媒介是代码和文本。它的色号是超级革命,离全图最极端只差一级:它主张下一个范式根本不会由人来发明。

论据

  • 让语言模型反复重写调用它自己的脚手架程序,任务表现已经在多轮迭代中有可测量的提升。
  • 用 meta agent 在以代码表示的 agent 设计空间中搜索,已在多个基准上找到超过人工设计基线的 agent 架构。
  • 代码是自我改进的理想载体:修改便宜、可测试、可回滚,循环可以在无人参与的情况下跑很多轮。

批评

  • 观察到的自我改进曲线往往很快就到平台期,因为天花板由底层模型能力决定,而不是脚手架。
  • 对固定基准做优化容易过拟合和 reward hacking,一个靠钻评测器空子来“改进”的循环并没有真的改进。
  • 一个专门为摆脱人类设计而设计的过程,几乎按定义就难以监管,这让重视安全的对手非常不安。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.66,y ≈ −0.87,范式 ≈ +0.80。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据