预训练至上主义

来自 AI 研究立场图谱百科

预训练至上主义:一切真本事都来自预训练,后训练不过是教模型懂礼貌、守格式。

主张

预训练至上主义在“能力”和“礼仪”之间划了一条清晰的线。知识、推理能力、语言功底,都是在那场漫长而昂贵、吞下数万亿 token 的预训练中锻造出来的。指令微调、偏好优化以及其余的后训练,只是在挑选这些潜在行为里哪些要展示给用户。后训练模型能做到的事,base model 本来就能做到——你只是需要用对的方式去问。

它位于图表左上方,语言优先、单体坚定:能力是权重的属性,由一次大规模训练产出。它的范式等级为正统,体现出对定义了第一代大模型时代的 Transformer 加规模配方的信仰。此后,强化学习似乎教会了模型真正新的推理行为,这一立场因此受到了挑战。

论据

  • 只用一千条左右精心挑选的指令数据,就能把一个强 base model 对齐得相当好,说明能力早就在那里了。
  • 对 base model 做 few-shot prompting,就能激发出翻译、算术和写代码的能力,完全不需要任务特定训练。
  • 已知后训练有时会降低校准度和多样性,说明它更像是在重塑,而不是在增添。

批评

  • 基于可验证奖励的强化学习带来的推理提升,单靠 prompting 很难从 base model 里激发出来。
  • “激发”和“教会”之间的边界太模糊,以至于这个论断几乎无法证伪。
  • Harness 一侧的反对者认为,能力同样存在于工具和上下文里,而不只在基座权重里。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.77,y ≈ +0.74,范式 ≈ −0.81。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据