规模律计划经济

来自 AI 研究立场图谱百科

规模律计划经济:scaling law 让 AI 进步变得可预测,模型大小、数据和算力都应按拟合曲线有计划地分配。

主张

规模律计划经济把深度学习的经验规律写成了一份计划书。既然 loss 随参数量、数据量和算力呈幂律下降,那明年的模型就可以提前定下来:在小规模实验上拟合曲线、外推,再把预算分配到 compute-optimal 的配比上。研究变成了预测,一次训练不再是赌博,而是在执行五年计划。

它位于图表上部、中线左侧:偏语言,因为最干净的 scaling 曲线是在文本上测出来的;偏单体,因为这份计划默认只有一个大模型,而它的尺寸就是最主要的决策变量。它的范式等级为铁杆正统:compute-optimal 定尺寸如今已是标准做法,也是规模配方最纯粹的体现,只不过每拟合出新曲线,这套教义就会更新一次指标。

论据

  • 已有研究显示,测试 loss 在模型规模、数据规模和算力的多个数量级上,都遵循平滑的幂律。
  • compute-optimal 分析表明,早期很多大模型训练不足;修正后的配方用更小的模型打败了更大的模型。
  • 可预测的 scaling 让机构可以通过廉价实验外推,给巨额训练降低风险。

批评

  • 平滑的 loss 曲线并不总能转化为可预测的下游能力,后者有时会突然出现。
  • 这些规律只在特定区间内拟合成立;数据耗尽、新架构或新目标函数,都可能打破外推。
  • 小模型和效率派认为,这份计划只优化了训练成本,却忽视了推理成本和部署现实。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.55,y ≈ +0.79,范式 ≈ −1.00。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据