来自 AI 研究立场图谱百科
模块化多模态主义:多模态系统应该由分别预训练好的编码器和语言模型拼装而成,中间用轻量的 adapter 连接。
主张
模块化多模态主义像攒一台工作站那样造多模态模型:买最好的部件,再把它们连起来。一个强大的预训练视觉编码器,一个强大的预训练语言模型,加上一座小桥——投影层、query transformer,或者插进冻结层里的 cross-attention。每个部件都保留了它在各自海量预训练中学到的东西,昂贵的联合训练只限于连接器和一些指令微调。
它位于靠近 Language 的边缘,因为语言模型是其余一切桥接进来的主干;纵向靠近 Harness 一端:系统以“接缝”为特征。正统色号说明这套配方一度是构建视觉语言助手的标准做法,至今在开放研究中因为高效而依然流行。上方的原生融合和早融合派认为接缝让感知沦为二等公民;模块派回应说,接缝也让你能单独升级某个部件,而不用全部重训。
论据
- 复用冻结的预训练编码器和语言模型,让多模态训练比从头训练便宜得多。
- 部件可以独立替换,更好的视觉编码器或更新的语言模型都能很快换上。
- 一个在少量配对数据上训练的小连接器,加上视觉指令微调,就足以做出能干的视觉语言助手。
批评
- 融合派认为,把视觉硬接到语言模型上会把图像压成寥寥几个 token,丢掉细粒度信息。
- 模块化模型往往只能输出文本,很难把理解和图像生成统一起来。
- 编码器和语言模型的预训练目标不匹配,可能造成难以修复的接地错误。
代表作
- Flamingo: a Visual Language Model for Few-Shot Learning2022
- BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models2023
- Visual Instruction Tuning2023
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.73,y ≈ −0.93,范式 ≈ −0.76。