来自 AI 研究立场图谱百科
纯文本保守主义:认为文本本身就承载了足够多的人类知识,足以通向强智能,加视觉等模态大多是多余的。
主张
纯文本保守主义看着大家一窝蜂地做多模态,只问一个直白的问题:图像到底多带来了什么?书面语言是人类对世界的压缩记录,已经抽象过、标注过,还在自己跟自己辩论。一本物理教科书讲重力,比一百万段苹果落地的视频讲得清楚。在足够多文本上训练出来的模型,会间接学到颜色、空间布局和因果关系,而间接往往就够了。像素又贵又冗余,大部分内容是谁都不需要的纹理。
它位于 Language 最左端、上半区,认同单一大模型和 scaling 路线,但拒绝了周围邻居们拥抱的多模态扩张。范式上属于铁杆正统:守护的是催生第一代惊艳语言模型的那套配置,觉得没必要把它搞复杂。
论据
- 纯文本语言模型在完全没有感知输入的情况下展现出广泛的 few-shot 能力,有力说明文本里装着大量世界知识。
- 按 token 计算,文本的信息密度远高于图像和视频,同样的算力预算,从文本里能买到更多知识。
- 很多多模态模型的推理主要还是发生在语言 backbone 里,视觉往往只贡献识别,不贡献推理。
批评
- World 派会举出空间推理、计数、物理预测这类任务,纯文本模型在这些地方会犯任何一个看得见的小孩都不会犯的错。
- 高质量文本是有限的,可能在它能教的知识被学完之前就先用光了。
- 用户越来越多地直接给模型截图、图表和照片,拒绝模态就是拒绝真实的工作。
代表作
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −1.00,y ≈ +0.26,范式 ≈ −0.93。