来自 AI 研究立场图谱百科
规模崇高主义:Monolith 加范式主流的称号:现有配方管用,所以每个问题的答案都是同一个模型,再大一点。
主张
规模崇高主义是一个环形称号,需同时满足两个条件:Monolith 得分很高(y 高于 0.7),且范式得分非常主流(p 低于 -0.6)。它属于那些觉得 scaling 曲线不仅有用、而且崇高的人:一条令人敬畏、一直向上的线。它的信条是“再大一点就好”:不需要新架构,不需要新目标函数,不需要花哨的 harness,只要同一套“预训练 + 后训练”配方,算力、数据和参数再加一个数量级。
它位于图的顶边,认定单一端到端模型,在 Language-World 轴上哪一侧都待得住。它和算力神权主义的区别在于范式维度:神权主义者崇拜的是算力本身,崇高主义者则专门忠于当前配方,并对任何许诺革命的人心存怀疑。
论据
- compute-optimal 的 scaling 研究表明,只要平衡好模型规模与训练 token 数,现有配方无需改动架构就能获得巨大收益。
- 许多被提出的 Transformer 替代方案,在同等算力下比较时,都没能胜过调好参并放大的 Transformer。
- 渐进式扩展带来了稳定、可预测的提升,而押注范式变革则方差大、周期长。
批评
- 每次“再大一点”累加起来是巨大的成本,即便绝对能力在上升,单位投入的回报也可能在下降。
- 死守主流范式有错过下一次转向的风险,就像早先的技术也曾被放大到不再有用才被替换。
- 持续学习、可靠推理和 grounding 等短板,几乎看不出能单靠规模解决的迹象。
代表作
关系
亦敌亦友
怎样测出它
在完整版或专业版里满足以下条件时获得:架构 >0.7,范式 <−0.6。