小模型地方主义

来自 AI 研究立场图谱百科

小模型地方主义:在本地设备上运行、训练得当的小语言模型,在大多数真实任务上比远端的巨型模型更好用。

主张

小模型地方主义认为,大多数有用的工作根本用不着前沿模型,而且“大”有隐藏成本:延迟、价格、隐私,以及对别人机房的依赖。它的路线是蒸馏、精挑数据、量化和任务微调,做出能塞进笔记本或手机、秒回的模型。它心目中的形象是经营得当的街坊小店,而不是全国连锁:货不多,但懂自己的客人。

它位于中间偏左的 Language 一侧,纵轴居中略偏下,介于单体和 harness 之间。小模型仍是一个模型,但地方派很乐意给它配检索、工具,或者在需要时回退到大模型,对系统化很务实。中立的颜色也合适:压缩和蒸馏是成熟手艺而非革命,只是“小就够了”这个说法对 scaling 共识依然是一记挑衅。

论据

  • 多次实验表明,数据质量可以替代相当一部分参数量,精选的、教科书式的语料能让小模型越级打怪。
  • 蒸馏和量化能以零头的显存和推理成本保留大模型的大部分行为。
  • 端侧推理没有网络延迟,用户数据不出设备,这对隐私、离线场景和大规模部署的成本都很关键。

批评

  • 规模派指出前沿一直在往前走:追平去年大模型的小模型,照样落后今年的。
  • 小模型常常是从大模型蒸馏来的,地方主义悄悄依赖着它批评的那些巨头。
  • 世界知识的广度确实随参数增长,小模型在长尾事实和开放任务上更容易翻车。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.59,y ≈ −0.77,范式 ≈ −0.12。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据