来自 AI 研究立场图谱百科
测试时算力集权:在推理阶段投入更多算力——采样、搜索、想得更久——是与预训练同等重要的 scaling 维度。
主张
测试时算力集权认为,这个领域花了好几年只 scale 了账本的一侧。预训练算力涨了好几个数量级,而每个答案依然是每个 token 一次前向、毫不回头地生成出来的。这套教义把预算挪到推理阶段:多采样再投票,在推理树上搜索,验证后修改,或者干脆让模型多想一会儿。一个想得更努力的小模型,可以打败一个张口就答的大模型。
它位于图表上半部、明显偏左。语言倾向来自大多数 test-time 方法都在文本推理轨迹上操作。单体倾向是真实的,但比较温和:推理时搜索有时会用到验证器和简单脚手架,但核心依然是给一个模型分配更多算力。它的范式等级是稳健,离主流只差一步:推理侧 scaling 延续了当下的配方,成为主流维度也是最近的事。
论据
- 采样多条推理路径再取多数答案,准确率稳定高于单条贪心推理链。
- 在中间“想法”上做树状搜索,能解出单次生成解不出的规划类谜题。
- compute-optimal 分析表明,自适应地分配 test-time 算力,其收益可以与大幅增加模型参数相当。
批评
- 推理算力是每次查询都要付的,这条路线把成本转嫁给了用户和部署方。
- 收益依赖于可靠的验证器,或者“一致性即正确性”成立的任务。
- 效率派认为,端侧和对延迟敏感的应用,根本耗不起几分钟的思考。
代表作
- Self-Consistency Improves Chain of Thought Reasoning in Language Models2022
- Tree of Thoughts: Deliberate Problem Solving with Large Language Models2023
- Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters2024
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.70,y ≈ +0.42,范式 ≈ −0.25。