来自 AI 研究立场图谱百科
好奇心自由主义:智能体应该由内在动机驱动——奖励新奇和学习进展——而不是干等外部奖励。
主张
好奇心自由主义相信,智能体在可以追随自己兴趣时探索得最好。外部奖励稀疏、滞后、还常常误导人;只追外部奖励的智能体要么四处乱逛,要么钻空子。换成内在奖励——惊讶、预测误差、新奇度或可量化的学习进展——它就会主动去找世界上自己还不懂的部分,攒下以后任务能用的技能和知识。
它位于中线略偏右,纵向在上半区。好奇心主要在有状态和动力学的环境里研究,从游戏到机器人,所以偏向 World;它是内建于模型自身的学习信号,而不是外围的脚手架。颜色是超级革命,因为它质疑强化学习的标准契约:设计者规定目标、智能体服从。自由派的立场是,好的智能体应该给自己定一部分目标。
论据
- 在稀疏奖励环境里,内在奖励能让智能体取得进展,而纯外部奖励的智能体几乎原地踏步,难探索类游戏上已有展示。
- 好奇心驱动的预训练会产生多样的行为和表示,可以被下游任务复用。
- 学习进展信号天然形成一套课程,把智能体引向既不太简单也不至于不可能的任务。
批评
- noisy-TV 问题:因不可预测而得到奖励的智能体,可能盯着随机噪声发呆,什么有用的都学不到。
- 内在奖励本身也是手工设计的目标,所谓自由比名字听起来窄得多。
- 在真实世界里好奇地乱探索可能代价高昂甚至不安全,这和部署约束很难调和。
代表作
- Unifying Count-Based Exploration and Intrinsic Motivation2016
- Curiosity-driven Exploration by Self-supervised Prediction2017
- Exploration by Random Network Distillation2018
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.65,y ≈ +0.61,范式 ≈ +0.86。