来自 AI 研究立场图谱百科
端侧地方主义:推理应该放在设备上,靠近传感器和用户,为了延迟、隐私、成本和韧性。
主张
端侧地方主义认为,把每一帧画面、每一句语音指令、每一个传感器读数都发到遥远的数据中心,既浪费、又慢、还脆弱。模型应该在数据诞生的地方运行:手机、摄像头、汽车、无人机、可穿戴设备,乃至单片机。这需要一门专门的手艺(高效架构、量化、剪枝、蒸馏、硬件感知设计),而地方主义者把这些约束视为优点:一个只有几 MB、几毫秒就能给出答案的模型,比一个要占一整个机柜的模型更像精心打磨的工程品。
它在图上偏世界一侧,因为端侧推理主要是在物理世界里感知和行动(视觉、音频、传感器),而不是生成长文本;又接近 harness 轴底部,因为智能分散在众多小设备上,它们与云端协作,但不依赖云端。范式等级为求新:这是一门老的工程学科,随着模型越来越大而重新变得紧迫,也在挑战以云端为中心的主流。
论据
- MobileNets 这类为移动端视觉设计的高效卷积架构表明,用几个超参就能在精度和算力之间平滑权衡。
- 剪枝、量化和权重共享可以把网络压缩很多倍而几乎不掉精度,让端侧部署成为可能。
- 本地推理可以离线工作、把个人数据留在设备上、避开网络延迟,这对安全攸关的控制很重要。
批评
- 端侧模型必然更小,能力落后于云端模型,尤其在开放式推理和生成上。
- 碎片化的硬件和工具链,让在成千上万种设备上部署和更新都非常费劲。
- scaling 派认为,推理成本不断下降、网络连接越来越好,大多数端侧妥协终将变得没有必要。
代表作
- MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications2017
- Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding2015
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.54,y ≈ −0.75,范式 ≈ +0.35。