自监督自由主义

来自 AI 研究立场图谱百科

自监督自由主义:让数据自己监督自己;标签和 caption 可有可无,好的视觉特征能从原始像素里长出来。

主张

自监督自由主义认为,监督信号本来就藏在数据里。遮住图像一部分再去预测,给两个视角要求它们一致,用缓慢移动的 teacher 蒸馏 student——这些信号都来自世界本身的结构,而不是标注员或网上扒来的 caption。摆脱标签之后,模型能吃下多得多的数据,还能学到没人想过要标注的东西,比如物体边界和部件对应。

它位于 World 一侧靠右的位置,纵轴略偏上。“自由”指的是它对监督信号的放任态度和方法上的多元:masking、蒸馏、对比目标都欢迎,不规定唯一的中央损失。与上方那个国家主义表亲不同,它不坚持一个巨大 backbone 统治一切,也乐于做大系统里的一个组件。颜色属于求新,略向范式转移一侧倾斜。

论据

  • 自监督视觉 backbone 学到的特征能很好地迁移到分割、深度估计和检索,不需要任务标签。
  • 去掉标注瓶颈后,训练可以随原始图像和视频数据扩展,而这些数据比精标数据多得多。
  • 注意力图里自己冒出物体分割之类的性质,没人要求它学,这正说明应该让数据自己说话。

批评

  • caption 派和语言监督派认为,文本提供的语义结构,光靠像素学得又慢又不全。
  • 自监督配方依赖大量手工挑选的数据增强和 trick,本质上是换了个名字的监督。
  • 评估这些特征仍然靠有标签的下游任务,标签从来没真正退场。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.99,y ≈ +0.12,范式 ≈ +0.27。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据