早融合国家主义

来自 AI 研究立场图谱百科

早融合国家主义:各模态应在输入层就合并,交给同一个网络共同处理,而不是让各自的编码器到后期再拼接。

主张

早融合国家主义是一套关于“模态在哪里会面”的教义。晚融合给视觉和语言各留一座塔,在顶部才合并输出;中融合在半路用 cross-attention adapter 接一下。早融合坚持会面必须发生在第一层:图像 patch 和文本 token 并排进入同一个 Transformer,从此共享每一个参数。用这个比喻来说,国家绝不允许任何一个模态自治一方。

它位于图表上部、正中一列。单体倾向来自它偏爱一个共享网络,而不是一群编码器组成的联邦。它的横向位置均衡:所有模态都进入同一条 token 流,尽管大多数早融合模型仍沿用 decoder-only 语言模型的模板。它的范式等级为稳健:早融合作为主流配方的自然延伸正在攻城略地,但实践中占主导的仍是基于 adapter 的晚融合。

论据

  • 从第一层就共享参数,能捕捉到晚融合抓不住的细粒度跨模态交互。
  • 把原始图像 patch 直接送进 decoder,省掉了独立的视觉编码器,架构更简洁。
  • 早融合模型天然能处理任意交错的图文输入,也能生成任意一种。

批评

  • 早融合放弃了强大的预训练视觉编码器,视觉特征得从头学起。
  • 直接塞进原始 patch,序列长度涨得很快,算力成本随之上升。
  • 模块化阵营认为,晚融合的数据效率更高,而且每种模态都能独立升级。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.50,y ≈ +0.77,范式 ≈ −0.16。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据