评测程序主义

来自 AI 研究立场图谱百科

评测程序主义:只有经过严谨、可复现的评测程序量出来的才算进展,所以做好 eval 本身就是核心研究工作。

主张

评测程序主义认为,没有好评测的结论只是轶事。程序正义很重要:held-out 划分、污染检查、多个随机种子、置信区间、清晰的指标,以及公平跑过的 baseline。benchmark 是这个领域的法院,和法院一样,需要程序才能让人信服。当一种能力难以衡量时,程序派的回答不是放弃,而是造一个更好的测试,因为无法衡量的东西会被永远争论下去。

它位于 Language 一侧、中线偏左,纵向略高于中线:今天争议最大的 benchmark 多是语言任务,而评测对单体和 harness 一视同仁。稳健色号说明它立场审慎、贴近主流:每个范式都要靠评测证明自己。它是榜单中间派的表亲,但更严格;程序派不太在乎谁排第一,而在乎这个排名到底有没有意义。

论据

  • 共享 benchmark 一再协调了领域的进展,提供共同目标,让方法之间可比。
  • 数据污染、prompt 敏感性和随机种子方差都可能大幅影响结果,严格的程序才能把真实提升和噪声分开。
  • 构建 eval 迫使人精确定义要衡量的能力,这常常反过来澄清了研究问题本身。

批评

  • benchmark 会饱和、会被过拟合,程序再严,也可能精确地量错了东西。
  • 开放式和智能体能力很难用静态评测衡量,执着于指标会让研究偏向容易打分的方向。
  • 快节奏的派别认为繁重的评测流程拖慢迭代,用户会用部署来投票。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.49,y ≈ −0.63,范式 ≈ −0.33。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据