来自 AI 研究立场图谱百科
原生融合集权主义:模态融合必须从预训练的第一层、第一个 token 开始,绝不能事后嫁接。
主张
原生融合集权主义反对目前最常见的多模态造法:拿一个训好的语言模型,通过一个小 adapter 接上预训练好的视觉编码器,再微调一下。在它看来,这是包办婚姻。真正的多模态,必须从零开始在混合数据上训练,让每一层都学会把图像和文本当作同一条交错的信号。融合不是可以后加的功能,而是模型“成长环境”的属性。
它位于图表顶部附近、略偏右。单体立场很严格:不要冻结的编码器,不要 adapter,不要双塔。轻微的世界倾向,说明它把感知看得和语言一样重,拒绝让视觉沦为二等输入。它的范式等级是正统:原生训练如今已是前沿构建旗舰模型的做法,尽管许多开源模型至今仍在用廉价的 adapter 配方。
论据
- 原生融合的模型既能理解图像,也能生成图像,基于 adapter 的模型通常做不到后者。
- 联合预训练避免了冻结编码器的特征与语言模型期望之间的表征错位。
- 早期的混合模态基座模型已经证明,跨文本和图像的单一 token 流可以在大规模下稳定训练。
批评
- 从零训练意味着放弃已经砸进强大单模态模型里的巨额投入。
- 混合模态预训练出了名地不稳定,对数据配比非常敏感。
- adapter 阵营往往只用一小部分成本,就能在理解类 benchmark 上打出有竞争力的成绩。
代表作
- Chameleon: Mixed-Modal Early-Fusion Foundation Models2024
- Gemini: A Family of Highly Capable Multimodal Models2023
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.57,y ≈ +0.94,范式 ≈ −0.74。