算力神权主义

来自 AI 研究立场图谱百科

算力神权主义:Monolith 极端的称号:算力是能力的唯一来源,最大的集群就是最接近神启的东西。

主张

算力神权主义是一个环形称号,授予 Monolith 得分超过 0.85 的人,这是纵轴上最极端的位置。它把算力国家主义变成了信仰。架构来来去去,巧妙的 trick 被吸收,harness 被溶解进下一代模型的权重;最后剩下的只有浮点运算。能力是算力的函数,scaling 曲线是经文,集群是大教堂,在它面前所有聪明的想法一律平等,也一律无关紧要。

它在图上为顶边加冕,对 Language-World 轴毫不在意,因为任何模态都只是往熔炉里多添一些 token。它正统的色号说明,它如今捍卫的是主流路线而非挑战它:当年对着怀疑者布道规模的先知,已经成了建制教会,而 harness 派和小模型派则是它的异端。

论据

  • 经验 scaling law 显示,语言模型的 loss 在许多个数量级上随算力、数据和参数量呈幂律平滑且可预测地下降。
  • 许多手工设计的组件,从特征提取器到任务专用 head,都被用更多算力训练的更大通用模型取代了。
  • 可预测的回报让算力成为可规划的投资,这就是它能吸引任何聪明点子都比不上的资源规模的原因。

批评

  • 平滑的 loss 曲线并不保证人们关心的能力也会平滑提升,有些任务随规模几乎不见长进。
  • 把进步集中在拥有最大集群的人手里,会收窄谁能做研究、哪些问题会被提出。
  • 数据、能源和成本的限制意味着规模不可能无限扩张,而信仰并没有为曲线弯折的那天准备方案。

代表作

关系

怎样测出它

在完整版或专业版里满足以下条件时获得:架构 >0.85。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据