来自 AI 研究立场图谱百科
开放权重公社主义:模型权重是公共品;开放发布权重,是科学研究、问责和公平分配 AI 红利的必要条件。
主张
开放权重公社主义认为,训练好的权重是公共文本和共享研究的结晶,理应归于公共领域。开放权重,任何人都可以研究模型、复现结果、审计行为、把它适配到新的语言和领域,并且无需许可就能在上面构建。信徒们认为,深度学习的进步一向建立在共享的成果(数据集、代码、checkpoint)之上,而封闭权重会把一项通用技术的控制权集中到极少数人手里。最彻底的一派不光要权重,还要求公开数据、训练代码和日志。
它在图上偏语言一侧,因为旗舰发布大多是语言模型;纵向略低于中线、偏 harness 一侧,因为开放带来了围绕共享基座模型、由微调版本、工具和部署组成的庞大去中心化生态。从治理角度看,它的范式等级是超级革命,哪怕模型本身很常规。
论据
- LLaMA 等开放发布的基础模型家族,催生了大量衍生模型、adapter 和研究,这是封闭发布不可能产生的。
- 像 OLMo 这样连数据、代码、checkpoint 一并公开的项目,支撑了数据溯源、训练动态、污染检测等研究,这些是只开权重或只给 API 做不到的。
- 开放权重让独立研究者可以验证论断、发现问题,而不必依赖开发方自己的报告。
批评
- 权重一旦发布就无法召回或打补丁,滥用风险和安全微调被移除的风险都是永久性的。
- 开放发布往往来自资金雄厚的机构,所谓”公社”权重仍然体现的是少数参与者的优先级。
- 只开权重、不开训练数据,只能算半开放,离真正的可复现还差得远。
代表作
- LLaMA: Open and Efficient Foundation Language Models2023
- BLOOM: A 176B-Parameter Open-Access Multilingual Language Model2022
- OLMo: Accelerating the Science of Language Models2024
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.70,y ≈ −0.81,范式 ≈ +0.76。