自监督视觉国家主义

来自 AI 研究立场图谱百科

自监督视觉国家主义:主张视觉模型应当在海量无标注像素上自监督学习,人工标签和图像描述只是可选的补充。

主张

自监督视觉国家主义相信,像素本身就藏着足够多的信号,只要国家肯投入足够大的模型和数据集,就能学出丰富的视觉理解。mask 掉 patch 再重建、让同一张图的不同增强视图彼此对齐、让 student 去蒸馏 teacher,这些 pretext task 把全世界没标注的图片变成了免费教材。人工标签贵,只覆盖标注员想得到的类别,上限就是人的耐心;caption 好一些,但仍然让视觉先过一遍语言的滤镜。

它在图上位于 World 最右端,明确站在感知一侧,并处于上半部、靠向 Monolith:路线就是集中预训练一个大 backbone,再分发给所有人用。“国家主义”体现在规模上:这不是手工特征的作坊,而是由 GPU 小时数和精选图像库撑起来的国家工程。范式上属于中立,既不是主流配方,也不算激进,是不想依赖文本时视觉预训练的标准做法。

论据

  • masked image modeling 和 self-distillation 一个标签都不用,就能在许多迁移任务上追平甚至超过有监督预训练。
  • 自监督特征会出现涌现结构,比如 attention map 自动把物体分割出来,说明模型学的是物体本身而不是标签捷径。
  • 去掉标签就去掉了天花板:可用数据量取决于图片数量,而不是标注员数量。

批评

  • 图文派认为语言监督免费带来语义,还能 zero-shot 泛化,纯像素目标很难做到。
  • 数据增强方式、mask 比例这些选择其实偷偷塞进了人类先验,“没有人工输入”说得太满。
  • 大规模数据筛选悄悄变成了新的标注工作,也带着自己的偏差。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +1.00,y ≈ +0.60,范式 ≈ −0.12。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据