来自 AI 研究立场图谱百科
联邦学习地方主义:数据应该留在它产生的地方;让模型走到设备和机构那里去本地学习,只把更新传回来。
主张
联邦学习地方主义从尊重数据所在地出发。手机、医院、银行、工厂里都有宝贵的数据,出于隐私、监管、带宽或者单纯的所有权原因,这些数据不能也不该集中起来。那就别把数据搬到模型那里,而是把模型送到数据那里:每个客户端用自己手上的数据训练,只回传模型更新,由服务器聚合成一个共享模型。再加上 secure aggregation 和差分隐私,中心就能向所有人学习,却谁的数据都看不到。
它在图上明显偏世界一侧,因为主战场是物理世界里设备和传感器产生的数据(输入法、摄像头、医疗仪器);纵向略低于中线、偏 harness 一侧,因为智能来自横跨众多客户端的分布式协议,而不是一个集中训练的模型。范式等级为超级革命:它在工业界和学术界都已成熟,却拒绝主流那种把数据汇集起来训练一个中心模型的做法。
论据
- FedAvg 表明,深度网络可以在去中心化、非独立同分布的客户端数据上训练,所需通信轮数远少于朴素方法。
- 端侧输入法预测等生产部署证明了联邦学习可以在真实世界规模上运行。
- 原始数据留在本地降低了泄露风险,也让医疗等强监管领域更容易合规。
批评
- 模型更新本身仍可能泄露训练数据的信息,要保护隐私还得加额外防御,而这会损失精度。
- 客户端异构和数据分布偏斜,使得收敛比集中式训练更慢、模型精度也更低。
- scaling 派指出,联邦设定很难训练今天的超大模型,这条路线只适用于较小的模型。
代表作
- Communication-Efficient Learning of Deep Networks from Decentralized Data2016
- Advances and Open Problems in Federated Learning2019
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.73,y ≈ −0.42,范式 ≈ +0.69。