来自 AI 研究立场图谱百科
预测编码国家主义:认为智能的本质是预测即将到来的感官信号,学习由最小化预测误差驱动。
主张
预测编码国家主义把计算神经科学里的一个理论直接定为国策:大脑,以及任何智能机器,都是一层层的预测器。高层往下发预测,低层只回传误差。感知就是模型对”是什么导致了我的感觉”的最佳猜测,学习就是慢慢降低 surprise。在它看来,语言模型的 next-token prediction 只是这个更古老、更一般原则的一个窄特例。
它在图上明显偏向 World 一侧,因为被预测的是感官流而不是文本;同时靠近 Monolith 一端,因为它想用一个目标统一全部认知。范式等级为革命:想用带循环、传误差的层级网络取代 backprop 训练的前馈堆叠,还把行动本身也看作降低预测误差的另一种手段。
论据
- 预测误差是一种随处可得、每个时间步都有的免费自监督信号,不需要标签也不需要 reward。
- 这套框架能解释不少神经科学现象,比如视觉皮层里的上下文效应,解释力不止于刷榜。
- 基于预测编码思想的视频预测网络,可以直接从原始帧学到关于运动和物体的有用表征。
批评
- 隐空间预测派认为,预测原始感官细节会把容量浪费在不可预测的噪声上,应该在表征空间里预测。
- 大规模预测编码网络在标准 benchmark 上还没追上主流架构,工程上的说服力落后于理论。
- 一旦拿来解释一切,包括行动和动机,这个理论就有变得难以证伪的风险。
代表作
- Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning2016
- The free-energy principle: a unified brain theory?2010
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.96,y ≈ +0.67,范式 ≈ +0.60。