语言奇点主义

来自 AI 研究立场图谱百科

语言奇点主义:Language 与 Monolith 双极端的称号:一个足够大的文本模型里已经藏着通用智能,只等被解锁。

主张

语言奇点主义是一个环形称号,授予分数同时越过两条阈值的测试者:极度偏向 Language(x 低于 -0.7),并且极度偏向 Monolith(y 高于 0.7)。这是逻各斯绝对主义不再留余地之后的样子。它相信:人类文本几乎压缩记录了人类所知所为的一切,要把文本预测好,就必须对文本背后的心智和世界建模;因此一个端到端训练的足够大的语言模型,已经走在通往通用智能的路上。每一个随规模出现的新能力,都被解读为奇点在清嗓子。

它住在图的左上角:语言是本体,单一模型是手段,工具、agent 和具身都只是临时脚手架或营销话术。铁杆正统的色号恰如其分:持有者并不想要新范式,他们相信现有范式已经越过了一道大多数人还没注意到的门槛。

论据

  • 只用 next-token prediction 训练的大语言模型,获得了从未被显式训练过的 few-shot 学习、翻译、编程和算术能力。
  • 对前沿语言模型的广泛评测发现,一个纯文本训练的系统在数学、编程、法律和医学考试题上都表现出色。
  • 文本是人类唯一把抽象、理论和推理显式写下来的模态,因此是最稠密的训练信号。

批评

  • 文本是对世界的有损、低带宽描述,在文本上训练的模型仍会在物理、空间和因果上犯低级错误。
  • 考试式的成绩可能反映记忆和数据污染,通用性的“火花”不等于可靠的通用能力。
  • 只要每一次失败都能归咎于规模不够,“门槛已经越过”的说法就是不可证伪的。

代表作

关系

怎样测出它

在完整版或专业版里满足以下条件时获得:表征 <−0.7,架构 >0.7。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据