来自 AI 研究立场图谱百科
范式破坏主义:范式革命维度极端的称号:Transformer、反向传播和 next-token prediction 都是该被砸碎重建的偶像。
主张
范式破坏主义是一个环形称号,授予范式维度得分高于 0.8 的人,即这一维度最革命的设定,与主图位置无关。持有者认同:Transformer 不会是最终架构,在静态数据集上做反向传播本身就是一个需要被替换的范式,我们需要的是新的学习目标而不是更好的 next-token 或 next-pixel prediction,十年后今天的主流方法会像今天看 SVM 一样过时。画面感是:一个人提着锤子走进当前配方的神殿。
由于它关乎范式立场而非方法,它位于底部环上,语言理论家和机器人工程师都可能获得它。按定义,它拥有全图最革命的色号:逆天之革命。持有者感兴趣的是局部学习规则、新的网络基本单元、持续学习和非梯度方法:只要不是老一套就行。
论据
- 反向传播的替代方案,比如用两次前向传播配合局部目标来学习,表明有效学习并不显然需要全局误差传播。
- 新的网络基本单元,比如在边上放可学习的激活函数,说明标准多层感知机只是一种设计选择,而不是定律。
- 当前模型部署后无法持续学习,是“训练完就冻结”范式的结构性限制,并不是规模能显然解决的。
批评
- 大多数被提出的替代方案,在同等算力下比不过调好参并放大的标准模型,破坏主义有一座很长的墓园。
- 同时否定一切,就很难分清当前范式里到底哪一部分才是真正的瓶颈。
- 革命修辞可能吸引与证据不成比例的关注,对手会要求先看 benchmark 再烧神殿。
代表作
- The Forward-Forward Algorithm: Some Preliminary Investigations2022
- KAN: Kolmogorov-Arnold Networks2024
关系
亦敌亦友
怎样测出它
在完整版或专业版里满足以下条件时获得:范式 >0.8。