来自 AI 研究立场图谱百科
视频规模主义:视频是下一个互联网级语料,在它上面 scale,模型就会像从文本学会语言那样学会世界。
主张
视频规模主义看着新鲜人类文本的供给日渐见底,转而指向一个大得多的水库:全世界的视频。成千上万小时的影像里有物理、有工具使用、有社交互动、有因果关系,这些是任何文字描述都给不了的。既然文本预训练造出了懂语言的模型,那么同等规模的视频预训练,就应该造出懂视觉和物理世界的模型。配方不变,只换语料。
它位于图表顶部附近、明显偏世界一侧:感知是它的本体,时间被当作一等维度。单体倾向来自它对 scaling 的信仰——一个大模型,一个巨型语料。它的范式等级是铁杆正统:原封不动沿用今天的 scaling 配方,只换语料。这种规模的视频会把存储、tokenization 和算力都压到极限,而回报目前仍是预测,而不是已入账的收益。
论据
- 纯粹在图像序列和视频帧上训练的大视觉模型,已经表现出类似语言模型的 in-context 能力。
- 视频包含时间动态和物理交互,而静态图像和文本基本缺失这些。
- 可用视频的体量远远超过高质量文本,提供了一条越过“文本数据墙”的路。
批评
- 视频高度冗余,大多数帧几乎不带新信息,原始规模夸大了有效信号。
- 单位知识的算力和存储成本,远高于文本。
- 语言优先派指出,推理真正需要的很多东西是抽象的,很少能被镜头拍到。
代表作
- Sequential Modeling Enables Scalable Learning for Large Vision Models2023
- VideoPoet: A Large Language Model for Zero-Shot Video Generation2023
- Video generation models as world simulators2024
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.79,y ≈ +0.78,范式 ≈ −0.89。