来自 AI 研究立场图谱百科

视觉主义:相信视觉是智能的首要基底,语言只是给视觉早已理解的东西起了名字。

主张

视觉主义是感知派主张里最大胆的那个版本。早在任何动物拥有语言之前,它们就已经能看:找食物、躲天敌、判断距离、认出同类。语言来得很晚,只是给视觉早已划分好的类别贴上标签。所以通往智能的路首先要经过视觉。在足够多的图像和视频上扩大视觉模型,让它像语言模型在 token 里学结构那样在像素里学序列结构,通用能力自然会跟上,不需要语言这根拐杖。

它位于 World 最右端,靠近顶部:一个大型视觉模型,而不是模块的堆叠。范式上属于革命:它拒绝”语言模型是 AI 中心”这一主流假设,主张视觉才是更大、更古老、更丰富的地基,包括语言在内的其他一切都建立在它之上。

论据

  • 进化史表明视觉先于语言并为语言搭好了脚手架;人类认知很大一部分是空间的、感知的,而不是语言的。
  • 只用图像和视频、以序列预测方式训练的大视觉模型,在完全没有文本的情况下也表现出 in-context 能力。
  • 视觉数据的总量远超高质量文本,文本用完时,视觉还有更大的 scaling 空间。

批评

  • 语言优先派反驳:到目前为止最惊艳的通用能力来自文本,而不是像素。
  • 视觉数据冗余度极高,帧数更多不一定意味着单位算力学到的知识更多。
  • 没有语言,就很难指定任务、评估抽象推理,也很难向人传达结果。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +1.00,y ≈ +0.64,范式 ≈ +0.41。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据