来自 AI 研究立场图谱百科
对比自由主义:表示最好由正负样本组成的自由市场来学习:相似的视角拉近,其余的推远。
主张
对比自由主义把学习看成一个市场。每个样本被分配一个正样本(通常是同一事物的另一个视角)和一大群负样本,损失函数奖励模型把它们分开。不用重建像素,不用写标签:相似度这个“价格信号”完成了协调。这一派相信,这种简单的交换在大规模和好的数据增强下运行,就能产出把视觉世界组织得井井有条的表示。
它位于中线偏右,纵向略高于中线,关注感知而不是语言,也不在乎学出来的 encoder 是放在单体模型里还是放在 pipeline 里。求新的颜色说明:对比学习虽已是成熟实践,但只用图像的这一支仍偏离当下以语言为中心的主流配方。它和紧挨在左边的跨模态对齐派是近亲,但后者用对比把图像和文本绑在一起,自由派则满足于让图像之间自由竞争。
论据
- 对比目标不用标签就能学到很强的视觉特征,在标准 linear probe 上大幅缩小了和有监督预训练的差距。
- 它不做像素级重建,模型容量用在语义区分上,而不是纹理细节上。
- 同一个损失能推广到音频、视频和配对数据,是可复用的通用积木。
批评
- 非对比派指出,需要大量负样本使训练对 batch size 和采样很敏感,预测式方法能绕开这个问题。
- 数据增强的选择暗中定义了什么叫“同一个”,学到的不变性是设计出来的,不是发现出来的。
- 生成派认为判别式 embedding 丢掉了世界模型需要的信息。
代表作
- Representation Learning with Contrastive Predictive Coding2018
- Momentum Contrast for Unsupervised Visual Representation Learning2019
- A Simple Framework for Contrastive Learning of Visual Representations2020
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.69,y ≈ +0.00,范式 ≈ +0.36。