Harness 虚无主义

来自 AI 研究立场图谱百科

Harness 虚无主义:Harness 极端的称号:模型只是可替换的大宗商品,一切能力都在它外面那层 harness 里。

主张

Harness 虚无主义是一个环形称号,授予纵轴得分低于 -0.85 的人,即图的最底部,与横轴位置无关。持有者把 Harness 自由主义的口号“模型是引擎,harness 是整辆车”推到极限:引擎几乎无所谓。换个模型,好的 harness 照样能用;换个 harness,同一个模型能从一无是处变成 SOTA。工具接口、记忆、上下文构造、重试、验证和工作流,才是性能真正被制造出来的地方。

这里的虚无指向的是模型,而不是进步:模型发布是噪声,基座模型排行榜是余兴节目。它坐镇图的底边,与顶边的算力神权主义遥遥相对。中立的色号说明,它颠倒了领域里惯常的等级(通常模型才算研究,系统只算工程),却并不要求新范式:它把现有模型当作可互换的部件,既不膜拜,也不打算取代。

论据

  • 设计一个更好的 agent-computer interface,配上专门的命令和反馈,就能大幅提升同一模型在真实软件工程任务上的成功率。
  • 把学到的技能以代码形式存进不断增长的技能库、并使用自动课程的 agent,表现远超没有这层脚手架、只靠 prompt 的同一模型。
  • harness 的改进几天就能上线、测试成本低、换模型时还能保留,而模型层面的提升要靠几个月的训练。

批评

  • 每一代新模型都吸收了 harness 曾经提供的技巧,从思维链 prompt 到工具选择。
  • harness 无法让模型做它根本做不到的事,天花板仍由权重决定。
  • 重度工程化的 harness 会变得脆弱、绑定特定模型、难以维护,这反过来削弱了“模型可互换”的说法。

代表作

关系

怎样测出它

在完整版或专业版里满足以下条件时获得:架构 <−0.85。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据