范式破坏主义

来自 AI 研究立场图谱百科

范式破坏主义:范式革命维度极端的称号:Transformer、反向传播和 next-token prediction 都是该被砸碎重建的偶像。

主张

范式破坏主义是一个环形称号,授予范式维度得分高于 0.8 的人,即这一维度最革命的设定,与主图位置无关。持有者认同:Transformer 不会是最终架构,在静态数据集上做反向传播本身就是一个需要被替换的范式,我们需要的是新的学习目标而不是更好的 next-token 或 next-pixel prediction,十年后今天的主流方法会像今天看 SVM 一样过时。画面感是:一个人提着锤子走进当前配方的神殿。

由于它关乎范式立场而非方法,它位于底部环上,语言理论家和机器人工程师都可能获得它。按定义,它拥有全图最革命的色号:逆天之革命。持有者感兴趣的是局部学习规则、新的网络基本单元、持续学习和非梯度方法:只要不是老一套就行。

论据

  • 反向传播的替代方案,比如用两次前向传播配合局部目标来学习,表明有效学习并不显然需要全局误差传播。
  • 新的网络基本单元,比如在边上放可学习的激活函数,说明标准多层感知机只是一种设计选择,而不是定律。
  • 当前模型部署后无法持续学习,是“训练完就冻结”范式的结构性限制,并不是规模能显然解决的。

批评

  • 大多数被提出的替代方案,在同等算力下比不过调好参并放大的标准模型,破坏主义有一座很长的墓园。
  • 同时否定一切,就很难分清当前范式里到底哪一部分才是真正的瓶颈。
  • 革命修辞可能吸引与证据不成比例的关注,对手会要求先看 benchmark 再烧神殿。

代表作

关系

怎样测出它

在完整版或专业版里满足以下条件时获得:范式 >0.8。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据