多模态视觉主义

来自 AI 研究立场图谱百科

多模态视觉主义:认为视觉理解才是核心目标,语言、音频等其他模态只是辅助信号。

主张

多模态视觉主义按字面理解命名规则:视觉是本体,多模态是手段。整件事的意义就是看得好:检测、分割、跟踪、理解场景。语言很有用,可以当廉价的监督信号,也方便人类说明自己要什么(“找到那个红杯子”);深度、音频、运动也能帮忙消歧。但它们都是感知的仆人,不是主人。open-vocabulary 检测器和可 prompt 的分割模型,就是它的模范公民。

它位于 World 的最远端,纵向略高于中线:一个强大的视觉系统,可以接受多种输入作为 prompt。范式等级是求新。它是计算机视觉这个学科天然的意识形态:吸收了语言监督,却没有放弃自己关于像素、框和 mask 的那些问题。

论据

  • 可 prompt 分割和 open-vocabulary 检测模型把语言和点击当作 prompt,同时保持以视觉为中心的架构,在许多领域都能泛化。
  • 从机器人到医学影像,稠密空间任务需要像素级精确的输出,以语言为中心的模型很少能给出。
  • 只把语言当弱监督,视觉模型既能从文本中获益,又不会继承它在空间细节上的短板。

批评

  • 语言优先派认为,缺乏强语言推理的视觉系统回答不了”这个场景意味着什么”这类开放问题。
  • 它的镜像”视觉多模态主义”认为,以视觉为本的模型应该去吸收所有模态,而不是只当专才。
  • 以框和 mask 为指标的 benchmark,未必能衡量下游 agent 真正需要的理解能力。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +1.00,y ≈ +0.03,范式 ≈ +0.28。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据