来自 AI 研究立场图谱百科
小模型地方主义:在本地设备上运行、训练得当的小语言模型,在大多数真实任务上比远端的巨型模型更好用。
主张
小模型地方主义认为,大多数有用的工作根本用不着前沿模型,而且“大”有隐藏成本:延迟、价格、隐私,以及对别人机房的依赖。它的路线是蒸馏、精挑数据、量化和任务微调,做出能塞进笔记本或手机、秒回的模型。它心目中的形象是经营得当的街坊小店,而不是全国连锁:货不多,但懂自己的客人。
它位于中间偏左的 Language 一侧,纵轴居中略偏下,介于单体和 harness 之间。小模型仍是一个模型,但地方派很乐意给它配检索、工具,或者在需要时回退到大模型,对系统化很务实。中立的颜色也合适:压缩和蒸馏是成熟手艺而非革命,只是“小就够了”这个说法对 scaling 共识依然是一记挑衅。
论据
- 多次实验表明,数据质量可以替代相当一部分参数量,精选的、教科书式的语料能让小模型越级打怪。
- 蒸馏和量化能以零头的显存和推理成本保留大模型的大部分行为。
- 端侧推理没有网络延迟,用户数据不出设备,这对隐私、离线场景和大规模部署的成本都很关键。
批评
- 规模派指出前沿一直在往前走:追平去年大模型的小模型,照样落后今年的。
- 小模型常常是从大模型蒸馏来的,地方主义悄悄依赖着它批评的那些巨头。
- 世界知识的广度确实随参数增长,小模型在长尾事实和开放任务上更容易翻车。
代表作
- DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter2019
- Textbooks Are All You Need2023
- TinyLlama: An Open-Source Small Language Model2024
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.59,y ≈ −0.77,范式 ≈ −0.12。