神经进化主义

来自 AI 研究立场图谱百科

神经进化主义:对网络权重、拓扑和超参数做进化搜索,是一种可扩展、不依赖梯度的反向传播替代方案。

主张

神经进化主义相信种群,不迷信梯度。它不让单个网络沿着 loss 曲面一点点往下走,而是对一大批候选网络做变异,留下最优的,再重复。因为它只需要一个适应度分数,所以能优化不可微的目标、稀疏奖励、离散的架构选择,甚至仿真机器人的身体形态。它的并行性几乎是完美的:每个 worker 评估自己的候选,只回传一个数字。

它在图上靠近 World 一端,因为它的主场是控制、运动和仿真环境,而不是文本;纵向略低于中线、偏向 Harness,因为智能存在于“种群 + 环境”的搜索过程中,而不是某个单体预训练模型里。它逆天之革命的色号说明:它想取代的是梯度下降本身,这个老点子每当梯度方法卡住,就会重新浮出水面。

论据

  • 像增广拓扑这类方法同时进化拓扑和权重,不需要人来挑架构就能找到紧凑的网络。
  • 进化策略已被证明在连续控制基准上能与标准强化学习相当,而且能扩展到大量 CPU 上,通信开销极小。
  • 基于种群的搜索对欺骗性和稀疏的奖励更鲁棒,而梯度方法容易陷在局部最优里。

批评

  • 样本效率差:每一代评估成千上万个候选,当每次评估都是真实世界的 rollout 时,代价非常高。
  • 对超大网络来说,在百万维空间里随机扰动,只是对反向传播精确计算出的东西的一个粗糙估计。
  • 不少亮眼结果后来都被调好参的梯度方法追平了,说明进化是有用的工具,而非替代品。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.84,y ≈ −0.22,范式 ≈ +1.00。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据