全模态专制主义

来自 AI 研究立场图谱百科

全模态专制主义:未来只属于一个原生全模态、能实时看听说的模型,其余一切都是过渡形态。

主张

全模态专制主义,是任意到任意帝国主义正式称帝之后的样子。它的信条是:产品里只该有一个模型。它直接听原始音频,看摄像头,读屏幕,再用语音、文字或图像作答,全程保持对话级延迟。ASR 加 LLM 加 TTS 的级联方案,在它看来是历史的尴尬——就像打个电话要经过三位翻译转接。

它位于图表顶部、略偏右,已经顶到天花板。单体立场是绝对的;横向接近中线,说明它把语音、视觉和文本当作平等的公民。它的范式等级是正统:一个原生全模态模型如今正是前沿交付的产品形态,尽管它的许多承诺仍在兑现途中。

论据

  • 端到端音频建模能保留语气、情绪、插话和环境声,而语音转文字的级联方案会把这些全部扔掉。
  • 单模型的延迟可以逼近人类对话的轮替节奏,流水线方案很难做到。
  • 共享表征让在文本里学到的推理和知识,直接迁移到语音和视觉上。

批评

  • 全模态训练极其昂贵,这让这套教义只属于少数几家资源雄厚的实验室。
  • 每种模态都能实时输入输出时,安全和评测都会难得多。
  • 实用派指出,级联方案依然更好调试、更好按语言定制,也更方便逐个替换组件。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.57,y ≈ +1.00,范式 ≈ −0.71。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据