来自 AI 研究立场图谱百科
评测程序主义:只有经过严谨、可复现的评测程序量出来的才算进展,所以做好 eval 本身就是核心研究工作。
主张
评测程序主义认为,没有好评测的结论只是轶事。程序正义很重要:held-out 划分、污染检查、多个随机种子、置信区间、清晰的指标,以及公平跑过的 baseline。benchmark 是这个领域的法院,和法院一样,需要程序才能让人信服。当一种能力难以衡量时,程序派的回答不是放弃,而是造一个更好的测试,因为无法衡量的东西会被永远争论下去。
它位于 Language 一侧、中线偏左,纵向略高于中线:今天争议最大的 benchmark 多是语言任务,而评测对单体和 harness 一视同仁。稳健色号说明它立场审慎、贴近主流:每个范式都要靠评测证明自己。它是榜单中间派的表亲,但更严格;程序派不太在乎谁排第一,而在乎这个排名到底有没有意义。
论据
- 共享 benchmark 一再协调了领域的进展,提供共同目标,让方法之间可比。
- 数据污染、prompt 敏感性和随机种子方差都可能大幅影响结果,严格的程序才能把真实提升和噪声分开。
- 构建 eval 迫使人精确定义要衡量的能力,这常常反过来澄清了研究问题本身。
批评
- benchmark 会饱和、会被过拟合,程序再严,也可能精确地量错了东西。
- 开放式和智能体能力很难用静态评测衡量,执着于指标会让研究偏向容易打分的方向。
- 快节奏的派别认为繁重的评测流程拖慢迭代,用户会用部署来投票。
代表作
- ImageNet: A large-scale hierarchical image database2009
- GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding2018
- Holistic Evaluation of Language Models2022
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.49,y ≈ −0.63,范式 ≈ −0.33。