来自 AI 研究立场图谱百科
图文交错国家主义:图文交错的网页文档才是新时代的教科书,多模态模型应在其上大规模预训练。
主张
图文交错国家主义认为,图文对数据教会了模型给图片贴标签,却没教会它“看图思考”。网上真正的知识,是以文档形式存在的:示意图挨着解释,照片穿插在文章里,截图配合着教程。在这种交错序列上训练,模型才会学会在图像和段落之间传递上下文,跟上视觉指代,并且只看上下文里的几个例子就学会新的视觉任务。国家的职责,就是在网络规模上收集、过滤并出版这些教科书。
它位于图表上部近中央、略偏语言:这些文档主要还是文本,而这套教义的野心是把语言模型预训练延伸到视觉化的网络上。单体倾向来自它的目标——一个模型从一个巨大的交错语料中学习。它的范式等级为正统:交错预训练如今已是主流的标准做法,但它到底能带来多少增益,仍有争论。
论据
- 在交错网页数据上训练的视觉语言模型,获得了很强的 few-shot 多模态学习能力,只需少量示例就能适应新任务。
- 开放的网络规模交错数据集,让这类预训练在大实验室之外也能复现。
- 交错文档天然提供多图上下文,这是图文对数据教不了的。
批评
- 网页文档噪声很大,图片常常只是装饰,或者与周围文字关系松散。
- 大规模过滤成本高昂,还可能悄悄引入过滤模型自身的偏见。
- 反对者指出,交错网页数据依然严重缺少视频、具身经验以及一切没被写到网上的东西。
代表作
- Flamingo: a Visual Language Model for Few-Shot Learning2022
- OBELICS: An Open Web-Scale Filtered Dataset of Interleaved Image-Text Documents2023
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.08,y ≈ +0.75,范式 ≈ −0.76。