跨模态对齐主义

来自 AI 研究立场图谱百科

跨模态对齐主义:认为所有模态都应该映射进同一个共享 embedding 空间,靠成对数据上的对比学习把它们拉到一起。

主张

跨模态对齐主义是这张图上的外交官。文字、图像、音频、深度、动作,各说各的语言,但都可以被带到同一个 embedding 空间里会面。方法很优雅:拿天然成对的数据,比如一张图和它的 alt-text,把匹配的对拉近,把不匹配的推远,在超大 batch 上反复做。最终得到的空间里,“狗”这个词、一张狗的照片和一声狗叫彼此靠得很近,zero-shot 识别就变成了一次最近邻查找。

它在横轴上略偏右、几乎居中,既不语言优先也不视觉优先,这正是它的要义:把各模态当作平等的对象来对齐。纵向在中上部,是一个共享空间而非工具链。范式等级为中立:图文对比预训练曾是一次突破,如今已是标配,躺在许多生成式和多模态系统底下当 encoder。

论据

  • 在海量网络图文对上训练的对比模型,不用任何任务专属标签,就在许多数据集上取得了很强的 zero-shot 分类效果。
  • 一个共享空间让跨模态检索、数据过滤和评测都变得简单又便宜。
  • 把多个模态都对齐到图像上,可以把从未直接配对过的模态也绑定在一起。

批评

  • 对比 embedding 众所周知像一个”概念袋”,在词序、计数、否定和空间关系上很吃力。
  • 生成派认为对齐不等于理解:共享空间检索很强,但不能生成、解释,也不能一步步推理。
  • 网络规模的图文对把嘈杂和带偏见的 caption 直接写进了空间的几何结构。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.52,y ≈ +0.43,范式 ≈ +0.03。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据