NVIDIA 发布了 Audex（Nemotron-Labs-Audex-30B-A3B），一个统一的音频-文本大语言模型。它既能理解也能生成音频和语音，同时保留了其骨干模型的文本智能。该模型的检查点（checkpoints）以及一个更小的 Audex-2B 版本均以非商业许可的方式发布。
大多数多模态模型都会付出“文本代价”。当实验室加入音频或视觉输出时，文本基准测试成绩通常会下降。NVIDIA 研究团队报告称，即使是仅输出语音的模型也会出现这种情况。Audex 的设计正是为了避免这种性能退化。
摘要
- Audex 是一个 30B-A3B 的 MoE 模型，支持音频输入与输出。
- 音频输入进入文本嵌入空间；音频输出被视为类似文本 token 进行处理。
- 文本得分与骨干模型相当，各基准测试有微小提升和微小下降。
- 多阶段 SFT 加上仅文本的 Cascade RL 避免了常见的多模态文本性能退化。
- 它是少数几个能够生成非语音类通用音频的开源模型之一。
什么是 Audex？
Audex 是一个单一的混合专家（MoE）Transformer 解码器。总参数量为 30B，每个 token 激活 3B 参数。其骨干网络是 Nemotron-Cascade-2-30B-A3B，一个纯文本 MoE 大语言模型。该骨干网络是一个混合 Mamba-Transformer 架构，包含 52 层，使用 128 个可路由专家和 6 个激活专家。
设计刻意保持简洁。音频输入先被编码，然后投影到文本嵌入空间。文本 token 和量化音频 token 在生成过程中被统一处理。不存在“思考者-说话者”分离，也没有模型堆叠级联。
由于设计保持简洁，Audex 可在标准 LLM 栈上运行，包括用于训练的 Megatron-LM 和用于推理的 vLLM。它支持指令模式和思考模式。上下文窗口长度可达 100 万个 token。
统一设计如何运作
LLM 骨干模型周围有三个组件：
- 音频编码器读取声音。Audex 使用来自 Audio Flamingo 3 的 AF-Whisper。它采用 Whisper Large-v3 架构并处理 16kHz 输入。
- 两层 MLP 适配器将音频特征映射到模型维度。
- 扩增词表包含离散的音频输出 token。原始词表大小从 131,072 个 token 扩展到 205,312 个。
Audex 使用两种编解码器进行输出。语音部分采用 X-Codec2，每秒 50 个 token。它应用单层有限标量量化（FSQ），码本大小为 65,536。
非语音声音使用 X-Codec，每秒 200 个 token。它使用四个展平的残差向量量化（RVQ）层。复杂声音获得的 token 预算比语音更大。下方的交互式演示可计算任意时长的这些 token 数量。
训练
Audex 无需音频预训练。它从纯文本的 SFT 检查点开始。随后训练逐步添加能力。
多阶段 SFT 课程按顺序进行：文本 SFT、音频预热、音频生成，然后是音频理解。在音频预热期间，文本 token 嵌入保持冻结。消融实验表明，解冻它们会降低文本质量。
NVIDIA 研究团队还测试了一种单阶段方案，一次性混合所有数据。该方案破坏了 NIAH 上的长上下文检索能力。多阶段训练避免了这个问题，因此成为默认方案。
在 SFT 之后，研究团队应用纯文本级联强化学习和多域在策略蒸馏（MOPD）。经过此纯文本 RL 后，音频任务表现出轻微或无倒退。同时文本分数得到提升。
数据混合规模很大。它结合了 157.4B 音频 token 和 320.5B 文本 token。任务涵盖 ASR、AST、TTS、文本转音频以及音频理解。
基准测试与性能
在文本方面，Audex 与其基础模型表现接近。它在 MMLU-Redux 上得分为 86.4，而基础模型为 86.3。它甚至在 IMO AnswerBench 上领先，81.1 对比 79.3。在 MMLU-Pro 和 GPQA-Diamond 上出现小幅下降。
Audex 还在多个推理、对齐和指令遵循基准测试上超过了纯文本的 Qwen3.5-35B-A3B。同等规模的 Qwen3-Omni-30B-A3B-Thinking 相比其自身基础模型显示出较大的推理下降。
| 基准测试 | Audex 30B-A3B | Qwen3.5-35B-A3B | Qwen3-Omni-30B-A3B-Thinking |
|---|
| HMMT Feb25 | 92.2 | 89.0 | 60.4 |
| IMO AnswerBench | 81.1 | 74.8 | 59.9 |
| LiveCodeBench v6 | 85.3 | 74.6 | 59.2 |
| ArenaHard v2 | 81.6 | 65.4 | 55.1 |
| IFBench (prompt) | 77.8 | 70.2 | 52.4 |
在语音识别方面，Audex 领先这些开源模型。它在 OpenASR 排行榜上记录了 6.82 的平均词错误率。这超越了 Step-Audio-R1.1-33B 和 Qwen3-Omni-30B-A3B-Thinking。
在音频理解方面，情况喜忧参半。Audex 在 MMAU 上领先于开源模型，但在 MMAR 和 MMSU 上与最强的音频大语言模型相比存在差距。Audex 还能生成通用音频，这是其他领先开源模型所不具备的。
| 音频评测基准 | Audex 30B-A3B | Step-Audio-R1.1-33B | Qwen3-Omni-30B-A3B-Thinking |
|---|
| MMAU | 75.6 | 73.6 | 75.4 |
| MMAR | 63.2 | 69.8 | 66.4 |
| MMSU | 63.4 | 74.1 | 70.2 |
| Audio Entailment | 95.0 | 61.6 | 61.6 |
| OpenASR（WER，越低越好） | 6.82 | 7.91 | 8.00 |
| BigBenchAudio | 90.0 | 97.6 | 未报告 |
Audex 在 MMAU、Audio Entailment 和 OpenASR 词错误率上领先。在 MMAR、MMSU 和 BigBenchAudio 上则落后于这些开源基线模型。
用例示例
- 以一个多语言呼叫中心为例。Audex 可以转录德语通话并将其翻译成英语。其语音翻译输出会列出源语言、转录文本，然后是英文翻译。
- 以无障碍工具为例。开发者可以为阅读应用添加固定语音的文本转语音功能。Seed-TTS-Eval 英语词错误率低至 1.70。
- 以音效设计或原型制作为例。像“森林中鸟儿啁啾”这样的字幕描述能生成一段 10 秒的音频片段。通用音频生成使用增强型 VAE 实现 48kHz 输出。
- 以语音助手为例。语音到语音以级联方式运行，但一个检查点即可完成所有步骤。Audex 在 BigBenchAudio 上得分为 90.0。
快速入门示例
Audex 遵循 ChatML 模板。参考容器为 vLLM 0.20.0。音频输入解码需要音频扩展。
音频理解、ASR 和翻译共用一种音频问答格式。<sound> 占位符标记音频所在位置。
[
{
"id": "sample_0",
"sound": "/path/to/audio_0.wav",
"conversations": [
{"from": "human", "value": "<sound>\nDescribe the audio in detail."},
{"from": "gpt", "value": "N/A"}
]
}
]
模型卡附带了针对此输入格式的 vLLM 音频 QA 脚本。
# add audio codecs, then run audio QA offline
python3 -m pip install "vllm"
python inference_scripts_vllm/audioqa_scripts/run_audioqa_vllm.py \
--model-path "$(pwd)/checkpoint_folder_full" \
--input-json ./inputs.json \
--output-jsonl ./results.jsonl \
--tensor-parallel-size 8
对于音频理解，研究团队推荐 top_p=0.9 和 temperature=0.7。对于识别和翻译任务，使用贪婪采样。生成任务需要无分类器引导，详见演示的配方（recipe）选项卡。
优势与不足
优势
- 相比其纯文本主干模型，文本能力几乎没有回退或完全没有回退。
- 单一统一模型，兼容 Megatron-LM 和 vLLM。
- 在最强开源模型中，只有 Audex 能生成通用音频。
- 在多项推理和对齐任务上领先 Qwen3.5-35B-A3B。
不足
- NVIDIA OneWay 非商业许可证限制了商业用途。
- 在 MMAR 和 MMSU 上，音频理解能力与顶尖音频大语言模型相比存在差距。
- 语音到语音是级联式的，而非原生全双工。
- 强化学习仅基于文本；音频-文本强化学习是未来工作。