AI 末日主义

来自 AI 研究立场图谱百科

AI 末日主义:谨慎维度极端的称号:先进 AI 的风险严重到应当放缓甚至暂停发展,直到安全跟上。

主张

AI 末日主义是一个环形称号,授予加速维度得分低于 -0.6 的人,是有效加速主义的对立极,位于主轴之外的右侧环上。持有者认为可解释性研究应该比能力研究获得更多资源,模型部署前应由独立机构做安全评测,agent 的自主权并不是越多越好。“暂停,现在就暂停”这句口号概括了它最强的形式:能力的进步快过我们理解、评测和控制它的能力,审慎的做法是停止竞赛。

由于这个称号关乎速度与风险而非方法,末日主义者既可能相信语言单体,也可能相信具身蜂群;关键在于他们确信下行风险可能是灾难性且不可逆的。正统的色号对一个自认为是异见者的阵营略显不公,但反映出它并不提出新的研究范式:它承认当前路线的威力,只要求放慢脚步。

论据

  • reward hacking、不安全探索、分布偏移等具体技术问题已在当前系统中有据可查,且随着系统自主性增强,后果越来越严重。
  • 可解释性和评测方法远远落后于能力,开发者常常无法解释或可靠预测模型行为。
  • 当失败可能不可逆时,常规的“部署再迭代”就不适用了,这为预防原则提供了正当性。

批评

  • 灾难情景依赖一长串难以经验检验的推测性假设。
  • 暂停在国际上难以核查和执行,可能只是把研发转移给更不谨慎的参与者。
  • 对未来灾难的持续警告,可能分散对偏见、滥用和劳动力冲击等当下具体危害的注意力。

代表作

关系

怎样测出它

在完整版或专业版里满足以下条件时获得:速度 <−0.6。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据