来自 AI 研究立场图谱百科
多模态语言主义:认为模型可以通过多种感官感知世界,但思考应该在语言中进行。
主张
多模态语言主义严格遵守命名规则:语言是本体,多模态是手段。眼睛耳朵都欢迎,但它们只是输入设备。不管进来的是图片、图表还是一段音频,都要被翻译进模型的语言工作区,推理、规划和解释都在那里发生。语言是人类拥有的最通用的表征系统,所以哪怕思考的对象是视觉的,语言也是心智最自然的思考场所。
它位于 Language 的最边缘,纵向在上半区:一个模型,感知被折叠进去。范式等级是正统,因为它描述的正是当下许多视觉语言助手的架构:image token 流入语言模型,由语言模型负责说话和思考。
论据
- 按这种方式构建的视觉语言模型在 captioning、VQA 和文档阅读上表现不错,同时继承了 LM 广泛的推理能力和知识。
- 语言提供了可解释的 chain of thought;用文字推理可以被检查、批评和纠正,隐藏的视觉激活做不到这一点。
- 通过语言接口组合多个感知模型,几乎不需要联合训练,就展现出很强的 zero-shot 多模态推理。
批评
- 它的镜像”语言多模态主义”认为,目标应该是多模态输出,而不只是用语言谈论图像。
- 视觉优先派说,强迫感知经过语言这一关,会丢掉语言本来就描述不好的空间和几何细节。
- 语言瓶颈会让模型信心十足地描述图中根本不存在的东西。
代表作
- Flamingo: a Visual Language Model for Few-Shot Learning2022
- Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language2022
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −1.00,y ≈ +0.17,范式 ≈ −0.70。