下一词极权主义

来自 AI 研究立场图谱百科

下一词极权主义:预测下一个 token 不是智能的代理指标,它就是智能本身,其余目标都只是脚注。

主张

下一词极权主义把朴素的语言建模 loss 奉为最高权力。要把一本物理教科书的下一个 token 预测准,模型就必须在某种意义上学会物理;要预测谈判中的下一句,就必须对人心建模。压缩即理解,交叉熵是唯一诚实的考试。规划、推理、世界知识,都被视为只要数据够多、loss 迟早会挤出来的东西。

它位于图表最左上角:语言性极强,单体性拉满。它的范式等级是铁杆正统,这本身就说明了领域变化有多快——一个当年听起来胆大包天的信条,如今已经成了所有人都得先反驳一下的默认立场。

论据

  • 仅凭在原始文本上做一个自监督目标,就出现了 in-context learning、代码生成和跨语言迁移,全程没有任何任务特定设计。
  • “预测即压缩”的视角,干净地解释了为什么 loss 越低,下游能力往往越强。
  • 同一目标可以套在任何离散化数据上,因此这套教义推广到新模态几乎零成本。

批评

  • 预测人类文本的下一个词,本质上是在模仿“平均作者”;反对者认为它可能停留在训练分布上,而不是超越它。
  • 隐空间预测派认为,去预测每一个表面细节,是把容量浪费在噪声上,而不是抽象结构上。
  • 强化学习和 test-time search 的崛起说明,即便在单体阵营内部,光靠这个 loss 也讲不完整个故事。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.96,y ≈ +1.00,范式 ≈ −1.00。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据