来自 AI 研究立场图谱百科
早融合国家主义:各模态应在输入层就合并,交给同一个网络共同处理,而不是让各自的编码器到后期再拼接。
主张
早融合国家主义是一套关于“模态在哪里会面”的教义。晚融合给视觉和语言各留一座塔,在顶部才合并输出;中融合在半路用 cross-attention adapter 接一下。早融合坚持会面必须发生在第一层:图像 patch 和文本 token 并排进入同一个 Transformer,从此共享每一个参数。用这个比喻来说,国家绝不允许任何一个模态自治一方。
它位于图表上部、正中一列。单体倾向来自它偏爱一个共享网络,而不是一群编码器组成的联邦。它的横向位置均衡:所有模态都进入同一条 token 流,尽管大多数早融合模型仍沿用 decoder-only 语言模型的模板。它的范式等级为稳健:早融合作为主流配方的自然延伸正在攻城略地,但实践中占主导的仍是基于 adapter 的晚融合。
论据
- 从第一层就共享参数,能捕捉到晚融合抓不住的细粒度跨模态交互。
- 把原始图像 patch 直接送进 decoder,省掉了独立的视觉编码器,架构更简洁。
- 早融合模型天然能处理任意交错的图文输入,也能生成任意一种。
批评
- 早融合放弃了强大的预训练视觉编码器,视觉特征得从头学起。
- 直接塞进原始 patch,序列长度涨得很快,算力成本随之上升。
- 模块化阵营认为,晚融合的数据效率更高,而且每种模态都能独立升级。
代表作
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.50,y ≈ +0.77,范式 ≈ −0.16。