视频规模主义

来自 AI 研究立场图谱百科

视频规模主义:视频是下一个互联网级语料,在它上面 scale,模型就会像从文本学会语言那样学会世界。

主张

视频规模主义看着新鲜人类文本的供给日渐见底,转而指向一个大得多的水库:全世界的视频。成千上万小时的影像里有物理、有工具使用、有社交互动、有因果关系,这些是任何文字描述都给不了的。既然文本预训练造出了懂语言的模型,那么同等规模的视频预训练,就应该造出懂视觉和物理世界的模型。配方不变,只换语料。

它位于图表顶部附近、明显偏世界一侧:感知是它的本体,时间被当作一等维度。单体倾向来自它对 scaling 的信仰——一个大模型,一个巨型语料。它的范式等级是铁杆正统:原封不动沿用今天的 scaling 配方,只换语料。这种规模的视频会把存储、tokenization 和算力都压到极限,而回报目前仍是预测,而不是已入账的收益。

论据

  • 纯粹在图像序列和视频帧上训练的大视觉模型,已经表现出类似语言模型的 in-context 能力。
  • 视频包含时间动态和物理交互,而静态图像和文本基本缺失这些。
  • 可用视频的体量远远超过高质量文本,提供了一条越过“文本数据墙”的路。

批评

  • 视频高度冗余,大多数帧几乎不带新信息,原始规模夸大了有效信号。
  • 单位知识的算力和存储成本,远高于文本。
  • 语言优先派指出,推理真正需要的很多东西是抽象的,很少能被镜头拍到。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.79,y ≈ +0.78,范式 ≈ −0.89。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据