来自 AI 研究立场图谱百科

涌现主义:模型越过某些规模后会不可预测地冒出质变能力,所以 scaling 本身就是发现的引擎。

主张

涌现主义是 scaling 运动里的浪漫派。规模律计划经济看到的是平滑、可预测的曲线,涌现主义看到的却是相变:多步算术、in-context learning、遵循指令这些能力,小模型完全没有,到了大模型却突然出现。More is different。所以正确的态度不是逐个去工程化每种能力,而是把规模做上去,然后看会冒出什么。

它位于图表最顶端、靠近 Language 一侧:偏语言,因为最著名的涌现能力大多是在语言模型上观察到的;偏单体,因为涌现是一个大网络的属性,而不是一个拼装系统的属性。它的范式等级为正统——这个想法是主流规模叙事的支柱,尽管质疑声从未断过。

论据

  • 多项任务的 benchmark 显示,小模型表现接近随机,大模型则陡然提升,符合涌现能力的描述。
  • 从少数示例中做 in-context learning 并不是设计出来的,而是在模型变大的过程中自己出现的。
  • 涌现提供了一个理由:即便眼前没有具体的目标能力,也值得继续 scale。

批评

  • 有些看似跳变的现象,可能只是精确匹配准确率这类不连续指标造成的假象;换成更平滑的指标,提升往往是渐进的。
  • “它会涌现的”可能沦为一个无法证伪的承诺,代替了对机制的理解。
  • 计划派反驳说,不可预测的能力对安全和评测来说是麻烦,不是值得庆祝的事。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.57,y ≈ +1.00,范式 ≈ −0.75。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据