多模态语言主义

来自 AI 研究立场图谱百科

多模态语言主义:认为模型可以通过多种感官感知世界,但思考应该在语言中进行。

主张

多模态语言主义严格遵守命名规则:语言是本体,多模态是手段。眼睛耳朵都欢迎,但它们只是输入设备。不管进来的是图片、图表还是一段音频,都要被翻译进模型的语言工作区,推理、规划和解释都在那里发生。语言是人类拥有的最通用的表征系统,所以哪怕思考的对象是视觉的,语言也是心智最自然的思考场所。

它位于 Language 的最边缘,纵向在上半区:一个模型,感知被折叠进去。范式等级是正统,因为它描述的正是当下许多视觉语言助手的架构:image token 流入语言模型,由语言模型负责说话和思考。

论据

  • 按这种方式构建的视觉语言模型在 captioning、VQA 和文档阅读上表现不错,同时继承了 LM 广泛的推理能力和知识。
  • 语言提供了可解释的 chain of thought;用文字推理可以被检查、批评和纠正,隐藏的视觉激活做不到这一点。
  • 通过语言接口组合多个感知模型,几乎不需要联合训练,就展现出很强的 zero-shot 多模态推理。

批评

  • 它的镜像”语言多模态主义”认为,目标应该是多模态输出,而不只是用语言谈论图像。
  • 视觉优先派说,强迫感知经过语言这一关,会丢掉语言本来就描述不好的空间和几何细节。
  • 语言瓶颈会让模型信心十足地描述图中根本不存在的东西。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −1.00,y ≈ +0.17,范式 ≈ −0.70。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据