自我改进智能体主义

来自 AI 研究立场图谱百科

自我改进智能体主义:agent 应当通过改写自己的 prompt、工具、记忆和工作流来自我改进,让 harness 设计变成 agent 自己的活。

主张

自我改进智能体主义注意到:模型外面那层 harness(prompt、工具定义、检索设置、控制流)大部分都是代码和文本,而模型如今写代码、写文本都已经相当在行。那凭什么还要人来手调?让 agent 检查自己的失败、提出对自身脚手架的修改、在任务上测试、留下有效的改动。和训练层面的自我改进不同,这一切不碰权重,所以便宜、快速、可回滚。

它在图上偏语言一侧,因为被改进的对象是 prompt 和程序;又位于下半部的 harness 半区,因为改进的对象是模型外围的系统。范式等级中立:它把其他 harness 派视为人类手艺的那份工作交给现有模型去做,但并不挑战主流配方本身。

论据

  • 用模型当设计者、在代码表示的 agent 设计空间里搜索的方法(如 ADAS),找到了在多个 benchmark 上胜过人工设计基线的脚手架。
  • 把失败教训存下来的语言化自我反思,不需要梯度更新就能提升后续表现。
  • DSPy 这类把声明式程序编译成调优后 prompt 的优化器表明,大量手工工程可以被自动化。

批评

  • 自我修改需要可靠的评估器;没有它,agent 会针对看得见的 benchmark 优化,在别处跑偏。
  • 收益往往很快饱和,harness 只能榨出底层模型本来就有的能力。
  • 能改写自己控制机制的 agent 带来明显的监管问题,尤其是当它能改动自己的安全检查时。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.63,y ≈ −0.84,范式 ≈ −0.06。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据