模块化多模态主义

来自 AI 研究立场图谱百科

模块化多模态主义:多模态系统应该由分别预训练好的编码器和语言模型拼装而成,中间用轻量的 adapter 连接。

主张

模块化多模态主义像攒一台工作站那样造多模态模型:买最好的部件,再把它们连起来。一个强大的预训练视觉编码器,一个强大的预训练语言模型,加上一座小桥——投影层、query transformer,或者插进冻结层里的 cross-attention。每个部件都保留了它在各自海量预训练中学到的东西,昂贵的联合训练只限于连接器和一些指令微调。

它位于靠近 Language 的边缘,因为语言模型是其余一切桥接进来的主干;纵向靠近 Harness 一端:系统以“接缝”为特征。正统色号说明这套配方一度是构建视觉语言助手的标准做法,至今在开放研究中因为高效而依然流行。上方的原生融合和早融合派认为接缝让感知沦为二等公民;模块派回应说,接缝也让你能单独升级某个部件,而不用全部重训。

论据

  • 复用冻结的预训练编码器和语言模型,让多模态训练比从头训练便宜得多。
  • 部件可以独立替换,更好的视觉编码器或更新的语言模型都能很快换上。
  • 一个在少量配对数据上训练的小连接器,加上视觉指令微调,就足以做出能干的视觉语言助手。

批评

  • 融合派认为,把视觉硬接到语言模型上会把图像压成寥寥几个 token,丢掉细粒度信息。
  • 模块化模型往往只能输出文本,很难把理解和图像生成统一起来。
  • 编码器和语言模型的预训练目标不匹配,可能造成难以修复的接地错误。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.73,y ≈ −0.93,范式 ≈ −0.76。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据