来自 AI 研究立场图谱百科
隐空间预测主义:主张模型应在表征空间中预测缺失或未来输入的抽象表示,而不是重建像素或 token。
主张
隐空间预测主义的出发点是一句抱怨:世界充满了既无法预测、也没必要预测的细节,比如树叶的精确纹路、地毯的绒毛。一个必须重建每个像素的模型,会把容量全花在噪声上。更好的做法是把 context 和 target 都编码进表征空间,在那里训练一个 predictor 从前者预测后者。模型学会可预测的部分,忽略不可预测的部分,最终得到一个适合做 planning 的抽象 world model。
它在图上靠近 World 一端,位于上半区、偏 Monolith:目标是一个 joint-embedding 架构,像动物一样从视频和传感器中学习,再拿它来规划。范式等级是最靠范式转移一端的逆天之革命:它公开否认自回归 token 生成和像素级生成建模是通往通用智能的道路,因此和当下大部分主流都不对付。
论据
- 在隐空间预测避免了像素重建的模糊和容量浪费;joint-embedding predictive architecture 用相对不大的算力就能学到很强的图像和视频特征。
- 规划真正需要的就是抽象预测:判断杯子会不会掉,用不着知道每个像素的颜色。
- 非生成式目标绕开了自回归模型在长时域上误差累积的问题。
批评
- joint-embedding 方法必须主动防止 representation collapse,用到的各种技巧相当脆弱。
- 生成派指出,视频生成模型已经表现出一定的物理一致性,而且好坏一眼可见;隐空间预测则很难直接审查。
- 规划那一半目前大体还停留在蓝图阶段,encoder 再强也证明不了整套主张。
代表作
- A Path Towards Autonomous Machine Intelligence2022
- Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture2023
- Revisiting Feature Prediction for Learning Visual Representations from Video2024
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.98,y ≈ +0.45,范式 ≈ +1.00。