测试时算力集权

来自 AI 研究立场图谱百科

测试时算力集权:在推理阶段投入更多算力——采样、搜索、想得更久——是与预训练同等重要的 scaling 维度。

主张

测试时算力集权认为,这个领域花了好几年只 scale 了账本的一侧。预训练算力涨了好几个数量级,而每个答案依然是每个 token 一次前向、毫不回头地生成出来的。这套教义把预算挪到推理阶段:多采样再投票,在推理树上搜索,验证后修改,或者干脆让模型多想一会儿。一个想得更努力的小模型,可以打败一个张口就答的大模型。

它位于图表上半部、明显偏左。语言倾向来自大多数 test-time 方法都在文本推理轨迹上操作。单体倾向是真实的,但比较温和:推理时搜索有时会用到验证器和简单脚手架,但核心依然是给一个模型分配更多算力。它的范式等级是稳健,离主流只差一步:推理侧 scaling 延续了当下的配方,成为主流维度也是最近的事。

论据

  • 采样多条推理路径再取多数答案,准确率稳定高于单条贪心推理链。
  • 在中间“想法”上做树状搜索,能解出单次生成解不出的规划类谜题。
  • compute-optimal 分析表明,自适应地分配 test-time 算力,其收益可以与大幅增加模型参数相当。

批评

  • 推理算力是每次查询都要付的,这条路线把成本转嫁给了用户和部署方。
  • 收益依赖于可靠的验证器,或者“一致性即正确性”成立的任务。
  • 效率派认为,端侧和对延迟敏感的应用,根本耗不起几分钟的思考。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.70,y ≈ +0.42,范式 ≈ −0.25。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据