点对点推理主义

来自 AI 研究立场图谱百科

点对点推理主义:大模型可以分散在志愿者的消费级 GPU 上,通过互联网协同推理,不需要数据中心。

主张

点对点推理主义把大模型当成 BT 种子里的文件。模型的层被拆到许多志愿者的机器上,一次请求在节点之间接力跳转,每个节点跑网络的一段,最后把输出传回来。任何有游戏显卡的人都能贡献算力,任何人也都能跑起一个自己硬件装不下的模型。拥有数据中心,不再是使用大模型的入场券。

它位于纵向中线稍下、偏 Harness 一侧,因为模型只以一个由节点、路由表和容错逻辑组成的分布式系统的形式存在;在 Language-World 轴上则远远偏向 Language 一侧,因为它分摊到各个节点上跑的,实际上都是大语言模型。它主流的色号说明,它改变的是“谁来跑推理”,而不是“推理是什么”。

论据

  • 把 Transformer 块拆分到志愿者服务器上的系统,已经能在消费级硬件上以可交互的速度对数百亿参数的模型做推理和参数高效微调。
  • 把闲置的消费级 GPU 汇聚起来,可以利用一个巨大且原本被浪费的算力池。
  • 去中心化部署能抵抗审查、宕机,以及少数供应商的定价权。

批评

  • 节点之间的互联网延迟和带宽,使它比一个内部互联良好的集群慢得多,也更不可预测。
  • prompt 和激活值要经过陌生人的机器,带来严重的隐私和完整性问题,而且很难彻底解决。
  • 志愿者网络很脆弱:节点来来去去,激励机制薄弱,服务质量全看群众的善意。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.70,y ≈ −0.74,范式 ≈ −0.54。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据