推理国家主义

来自 AI 研究立场图谱百科

推理国家主义:在可验证问题上用强化学习训练出的长思维链,是通往更强智能的主干道。

主张

推理国家主义认为,智能不只是模型知道多少,更是它能想多久、想多细。给模型留出写中间步骤的空间,最终答案对了就给奖励,它就会自己学会规划、回溯、验证和尝试其它思路。国家纲领很简单:建设越来越大的数学、代码和逻辑题库,答案都可以自动核验,然后让强化学习培育出越来越长、越来越好的思维链。

它位于图表左上角,贴着语言一端。语言倾向理所当然,因为推理发生在写出来的 token 里。单体倾向体现在推理能力被训练进一个模型的权重里,而不是由外部搜索或 agent 框架来编排。它的范式等级为主流:这条路线迅速成了前沿模型的标准做法,它的边界仍在被试探。

论据

  • 让模型输出中间步骤,能显著提升算术、常识和符号推理任务上的表现。
  • 基于可验证奖励的强化学习,训练出了自我验证、回溯等推理行为,而这些都不需要逐步监督。
  • 在难的数学题上,对每一步做过程监督,效果可以优于只监督最终答案。

批评

  • 写出来的思维链,并不保证反映了真正产生答案的那段计算。
  • 收益集中在答案可核验的领域;开放式、物理或社会类问题的奖励很难设计。
  • 长推理链在推理时代价高昂,反对者指出,有些问题需要的是工具或感知,而不是多想一会儿。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −1.00,y ≈ +0.88,范式 ≈ −0.54。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据