来自 AI 研究立场图谱百科
AI 末日主义:谨慎维度极端的称号:先进 AI 的风险严重到应当放缓甚至暂停发展,直到安全跟上。
主张
AI 末日主义是一个环形称号,授予加速维度得分低于 -0.6 的人,是有效加速主义的对立极,位于主轴之外的右侧环上。持有者认为可解释性研究应该比能力研究获得更多资源,模型部署前应由独立机构做安全评测,agent 的自主权并不是越多越好。“暂停,现在就暂停”这句口号概括了它最强的形式:能力的进步快过我们理解、评测和控制它的能力,审慎的做法是停止竞赛。
由于这个称号关乎速度与风险而非方法,末日主义者既可能相信语言单体,也可能相信具身蜂群;关键在于他们确信下行风险可能是灾难性且不可逆的。正统的色号对一个自认为是异见者的阵营略显不公,但反映出它并不提出新的研究范式:它承认当前路线的威力,只要求放慢脚步。
论据
- reward hacking、不安全探索、分布偏移等具体技术问题已在当前系统中有据可查,且随着系统自主性增强,后果越来越严重。
- 可解释性和评测方法远远落后于能力,开发者常常无法解释或可靠预测模型行为。
- 当失败可能不可逆时,常规的“部署再迭代”就不适用了,这为预防原则提供了正当性。
批评
- 灾难情景依赖一长串难以经验检验的推测性假设。
- 暂停在国际上难以核查和执行,可能只是把研发转移给更不谨慎的参与者。
- 对未来灾难的持续警告,可能分散对偏见、滥用和劳动力冲击等当下具体危害的注意力。
代表作
关系
怎样测出它
在完整版或专业版里满足以下条件时获得:速度 <−0.6。