来自 AI 研究立场图谱百科
语言奇点主义:Language 与 Monolith 双极端的称号:一个足够大的文本模型里已经藏着通用智能,只等被解锁。
主张
语言奇点主义是一个环形称号,授予分数同时越过两条阈值的测试者:极度偏向 Language(x 低于 -0.7),并且极度偏向 Monolith(y 高于 0.7)。这是逻各斯绝对主义不再留余地之后的样子。它相信:人类文本几乎压缩记录了人类所知所为的一切,要把文本预测好,就必须对文本背后的心智和世界建模;因此一个端到端训练的足够大的语言模型,已经走在通往通用智能的路上。每一个随规模出现的新能力,都被解读为奇点在清嗓子。
它住在图的左上角:语言是本体,单一模型是手段,工具、agent 和具身都只是临时脚手架或营销话术。铁杆正统的色号恰如其分:持有者并不想要新范式,他们相信现有范式已经越过了一道大多数人还没注意到的门槛。
论据
- 只用 next-token prediction 训练的大语言模型,获得了从未被显式训练过的 few-shot 学习、翻译、编程和算术能力。
- 对前沿语言模型的广泛评测发现,一个纯文本训练的系统在数学、编程、法律和医学考试题上都表现出色。
- 文本是人类唯一把抽象、理论和推理显式写下来的模态,因此是最稠密的训练信号。
批评
- 文本是对世界的有损、低带宽描述,在文本上训练的模型仍会在物理、空间和因果上犯低级错误。
- 考试式的成绩可能反映记忆和数据污染,通用性的“火花”不等于可靠的通用能力。
- 只要每一次失败都能归咎于规模不够,“门槛已经越过”的说法就是不可证伪的。
代表作
- Language Models are Few-Shot Learners2020
- Sparks of Artificial General Intelligence: Early experiments with GPT-42023
关系
亦敌亦友
怎样测出它
在完整版或专业版里满足以下条件时获得:表征 <−0.7,架构 >0.7。