端侧地方主义

来自 AI 研究立场图谱百科

端侧地方主义:推理应该放在设备上,靠近传感器和用户,为了延迟、隐私、成本和韧性。

主张

端侧地方主义认为,把每一帧画面、每一句语音指令、每一个传感器读数都发到遥远的数据中心,既浪费、又慢、还脆弱。模型应该在数据诞生的地方运行:手机、摄像头、汽车、无人机、可穿戴设备,乃至单片机。这需要一门专门的手艺(高效架构、量化、剪枝、蒸馏、硬件感知设计),而地方主义者把这些约束视为优点:一个只有几 MB、几毫秒就能给出答案的模型,比一个要占一整个机柜的模型更像精心打磨的工程品。

它在图上偏世界一侧,因为端侧推理主要是在物理世界里感知和行动(视觉、音频、传感器),而不是生成长文本;又接近 harness 轴底部,因为智能分散在众多小设备上,它们与云端协作,但不依赖云端。范式等级为求新:这是一门老的工程学科,随着模型越来越大而重新变得紧迫,也在挑战以云端为中心的主流。

论据

  • MobileNets 这类为移动端视觉设计的高效卷积架构表明,用几个超参就能在精度和算力之间平滑权衡。
  • 剪枝、量化和权重共享可以把网络压缩很多倍而几乎不掉精度,让端侧部署成为可能。
  • 本地推理可以离线工作、把个人数据留在设备上、避开网络延迟,这对安全攸关的控制很重要。

批评

  • 端侧模型必然更小,能力落后于云端模型,尤其在开放式推理和生成上。
  • 碎片化的硬件和工具链,让在成千上万种设备上部署和更新都非常费劲。
  • scaling 派认为,推理成本不断下降、网络连接越来越好,大多数端侧妥协终将变得没有必要。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.54,y ≈ −0.75,范式 ≈ +0.35。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据