图文交错国家主义

来自 AI 研究立场图谱百科

图文交错国家主义:图文交错的网页文档才是新时代的教科书,多模态模型应在其上大规模预训练。

主张

图文交错国家主义认为,图文对数据教会了模型给图片贴标签,却没教会它“看图思考”。网上真正的知识,是以文档形式存在的:示意图挨着解释,照片穿插在文章里,截图配合着教程。在这种交错序列上训练,模型才会学会在图像和段落之间传递上下文,跟上视觉指代,并且只看上下文里的几个例子就学会新的视觉任务。国家的职责,就是在网络规模上收集、过滤并出版这些教科书。

它位于图表上部近中央、略偏语言:这些文档主要还是文本,而这套教义的野心是把语言模型预训练延伸到视觉化的网络上。单体倾向来自它的目标——一个模型从一个巨大的交错语料中学习。它的范式等级为正统:交错预训练如今已是主流的标准做法,但它到底能带来多少增益,仍有争论。

论据

  • 在交错网页数据上训练的视觉语言模型,获得了很强的 few-shot 多模态学习能力,只需少量示例就能适应新任务。
  • 开放的网络规模交错数据集,让这类预训练在大实验室之外也能复现。
  • 交错文档天然提供多图上下文,这是图文对数据教不了的。

批评

  • 网页文档噪声很大,图片常常只是装饰,或者与周围文字关系松散。
  • 大规模过滤成本高昂,还可能悄悄引入过滤模型自身的偏见。
  • 反对者指出,交错网页数据依然严重缺少视频、具身经验以及一切没被写到网上的东西。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.08,y ≈ +0.75,范式 ≈ −0.76。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据