来自 AI 研究立场图谱百科
RLHF 家长主义:模型必须由人类偏好反馈“养大”,把预训练得来的原始能力塑造成有用、诚实、安全的行为。
主张
RLHF 家长主义把预训练模型看作一个天赋异禀但不服管教的孩子。它懂得很多,什么话都敢说,所以必须好好教养:人类比较它的输出,reward model 学会人类偏好什么,再用强化学习或直接偏好目标把策略往这些偏好上引导。家长定下价值观,孩子把它内化。这套教义认为,没有这番教养,原始能力既没用,也不安全。
它位于图表左上部。语言倾向是因为反馈主要针对文本对话;单体倾向是因为它相信价值观应该训练进权重里,而不是靠外部过滤器来执行。它的范式等级为正统:基于偏好的后训练,已经成了部署模型的标准“礼仪学校”。
论据
- 从人类比较中学习 reward model,能让智能体学会那些很难用手写奖励函数描述的复杂行为。
- 经过人类反馈微调的模型,比体量大得多但没有经过这一步的模型更受用户青睐。
- DPO 让这套方法更简单、更稳定,使其远远走出了头部实验室。
批评
- 以标注员认可为优化目标,可能会奖励谄媚、啰嗦和听起来很自信的错误。
- reward model 可能被钻空子,而一小群标注员的偏好被编码成了普世价值。
- 开源权重派和反家长主义者认为,重度偏好调优让模型变得闪烁其词,行为也趋于同质化。
代表作
- Deep reinforcement learning from human preferences2017
- Training language models to follow instructions with human feedback2022
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model2023
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.68,y ≈ +0.59,范式 ≈ −0.85。