来自 AI 研究立场图谱百科
语音原生主义:认为语音和声音应当端到端地原生建模,而不是先转成文字再转回来。
主张
语音原生主义提醒大家:人类说话的历史比写字长得多。语音里有语调、重音、情绪、迟疑、抢话和节奏,这些东西在转写成文字的那一刻几乎全部消失。经典的语音流水线是 ASR、文本模型、TTS 三段式,把这些信息扔掉了两次,每一跳还都增加延迟。更好的做法是直接对音频建模:学习离散或连续的音频单元,在其上训练语言模型,让一个系统实时地听和说。
它在横轴上略偏右,因为语音既是语言,也是物理信号;纵向靠近 Monolith 顶端:目标是一个端到端模型,流式基础设施只是外面薄薄一层。范式上属于革命:挑战”文本是智能的天然接口”这一假设,把口语交互当作一等目标。
论据
- 原始波形生成模型证明了神经网络可以直接从音频采样合成自然的语音。
- 自监督语音表征能从无标注音频中学到音素结构,只需少量转写数据就能实现很强的识别效果。
- 全双工语音文本模型可以低延迟地边听边说,处理打断这类级联流水线很难应付的情况。
批评
- 按单位算力计算,音频的信息密度远低于文本,从语音中获取知识很慢。
- 语言优先派指出,原生音频模型的推理能力往往不如对应的文本模型,最后还是得依赖文本 backbone。
- 评测很难:韵律、自然度和对话质量都缺乏公认的 benchmark。
代表作
- WaveNet: A Generative Model for Raw Audio2016
- wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations2020
- Moshi: a speech-text foundation model for real-time dialogue2024
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.63,y ≈ +0.82,范式 ≈ +0.52。