视频原生主义

来自 AI 研究立场图谱百科

视频原生主义:认为时间是被忽视的模态,模型应该原生地从视频中学习,而不是从静态图片和文本中学习。

主张

视频原生主义觉得,这个领域一直在研究一部电影的剧照。静态图像把世界冻结在信息量最低的那一刻:没有运动,没有因果,没有前后。视频承载了动态:物体如何持续存在、碰撞、掉落、被使用,而且规模是任何文本语料都比不上的。一个把时间当作一等维度、原生从视频中学习的模型,而不是把一帧帧图片喂给 image encoder,能学到静态数据里根本没有的物理、意图和因果。

它位于 World 一侧较深处,纵向在中上部:一个大型时空模型,而不是逐帧检测器组成的流水线。范式上属于求新,偏向范式转移,认为”图像加 caption”的时代是一段弯路,下一个基座将建立在活动影像之上。

论据

  • masked video modeling 和时空预训练学到的表征对运动敏感,迁移到动作识别和机器人任务上比纯图像特征更好。
  • 视频生成模型生成的场景在物体恒存和运动上越来越一致,暗示模型从随时间变化的像素里学到了隐式的世界知识。
  • 时间预测天然提供自监督信号:下一刻永远可以拿来当标签。

批评

  • 视频的存储、处理和训练成本极高,而且帧与帧之间大量冗余。
  • 隐空间预测派认为,生成视频像素会把容量浪费在外观上,而不是动力学上。
  • 看起来合理的视频仍会以微妙的方式违反物理,“从视频学会物理”这个说法仍有争议。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.94,y ≈ +0.64,范式 ≈ +0.31。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据