来自 AI 研究立场图谱百科
蜂群集体主义:许多小而便宜的模型通过采样、投票和协作,能以一小部分成本追平甚至超过一个巨型模型。
主张
蜂群集体主义押注群体。它不让一个前沿模型回答一次,而是同时跑很多小模型或很多次采样,让它们提议、互评、投票、聚合,然后相信集体的输出。秘诀在于错误的多样性:只要成员犯错的方式各不相同,多数投票和分层聚合就能抵消掉大部分噪声。蜂群还很容易扩容,能跑在普通硬件上,也很难被垄断。
它位于图的下半部、Harness 一侧,因为能力是整个集体及其组合协议的属性,而不是某一组权重的属性;同时位于中间偏左的 Language 一侧,因为成员之间基本靠文本交流和投票。它的求新色号偏向范式转移,来自它对“前进之路就是一个越来越大的模型”的正面挑战。
论据
- 有工作报告称,对大量 agent 实例做简单的采样加投票,准确率会随 agent 数量增加而稳步提升,在推理和编程任务上都成立。
- 分层的 mixture-of-agents 结构让模型互相改进答案,仅用开源模型就在指令遵循评测上超过了单个强模型。
- self-consistency,即对多条推理链做多数投票,是用推理算力而非参数量来换准确率的成熟做法。
批评
- 在相似数据上训练出的模型共享盲区,投票放大相关错误的频率不亚于抵消独立错误。
- 采样数增加带来的收益会饱和;在真正难的问题上,一群弱推理者很少能找到一个更强的单模型能找到的答案。
- 每个请求跑许多模型,最后的花费可能和调用一个更大的模型差不多,效率论据随之打折。
代表作
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.61,y ≈ −0.87,范式 ≈ +0.19。