# NVIDIA 发布 Audex（Nemotron-Labs-Audex-30B-A3B）统一音频-文本大语言模型

- 来源：MarkTechPost（RSS）
- 作者：Asif Razzaq
- 发布时间：2026-07-08 08:50
- AIHOT 分数：76
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmrbd7yfd02uyihl1bjh4eibd
- 原文链接：https://www.marktechpost.com/2026/07/07/nvidia-releases-audex-nemotron-labs-audex-30b-a3b-a-unified-audio-text-llm-that-preserves-the-text-intelligence-of-its-backbone

## 精选理由

NVIDIA 这个 Audex 模型解了一个真实痛点——给 LLM 加上音频输入输出通常会让文字智商打折，但它几乎没掉分，还把语音和通用音效统一到一个 MoE 架构里，做语音助手或音效工具的值得仔细看。

## AI 摘要

NVIDIA 发布 Audex（Nemotron-Labs-Audex-30B-A3B），一个统一音频-文本大语言模型，能理解并生成音频与语音，同时保持骨干模型的文本智能。该模型为 30B-A3B 的 MoE Transformer 解码器，总参数量 30B，每 token 激活 3B。音频输入被编码投影到文本嵌入空间，文本与音频 token 统一处理。支持指令模式与思考模式，上下文长度达 1M token。训练采用多阶段 SFT 加文本专用 Cascade RL，避免多模态文本智能退化。文本基准上，Audex 与骨干模型接近：MMLU-Redux 86.4，IMO AnswerBench 81.1。语音识别中，OpenASR 词错误率 6.82，优于 Step-Audio-R1.1-33B 和 Qwen3-Omni-30B-A3B-Thinking。Audex 还支持非语音音频生成。模型权重（含 Audex-2B）以非商业许可发布。

## 正文

NVIDIA 发布了 Audex（Nemotron-Labs-Audex-30B-A3B），一个统一的音频-文本大语言模型。它既能理解也能生成音频和语音，同时保留了其骨干模型的文本智能。该模型的检查点（checkpoints）以及一个更小的 Audex-2B 版本均以非商业许可的方式发布。

大多数多模态模型都会付出“文本代价”。当实验室加入音频或视觉输出时，文本基准测试成绩通常会下降。NVIDIA 研究团队报告称，即使是仅输出语音的模型也会出现这种情况。Audex 的设计正是为了避免这种性能退化。

摘要

Audex 是一个 30B-A3B 的 MoE 模型，支持音频输入与输出。

音频输入进入文本嵌入空间；音频输出被视为类似文本 token 进行处理。

文本得分与骨干模型相当，各基准测试有微小提升和微小下降。

多阶段 SFT 加上仅文本的 Cascade RL 避免了常见的多模态文本性能退化。

它是少数几个能够生成非语音类通用音频的开源模型之一。

什么是 Audex？

Audex 是一个单一的混合专家（MoE）Transformer 解码器。总参数量为 30B，每个 token 激活 3B 参数。其骨干网络是 Nemotron-Cascade-2-30B-A3B，一个纯文本 MoE 大语言模型。该骨干网络是一个混合 Mamba-Transformer 架构，包含 52 层，使用 128 个可路由专家和 6 个激活专家。

设计刻意保持简洁。音频输入先被编码，然后投影到文本嵌入空间。文本 token 和量化音频 token 在生成过程中被统一处理。不存在“思考者-说话者”分离，也没有模型堆叠级联。

由于设计保持简洁，Audex 可在标准 LLM 栈上运行，包括用于训练的 Megatron-LM 和用于推理的 vLLM。它支持指令模式和思考模式。上下文窗口长度可达 100 万个 token。

统一设计如何运作

LLM 骨干模型周围有三个组件：

音频编码器读取声音。Audex 使用来自 Audio Flamingo 3 的 AF-Whisper。它采用 Whisper Large-v3 架构并处理 16kHz 输入。

两层 MLP 适配器将音频特征映射到模型维度。

扩增词表包含离散的音频输出 token。原始词表大小从 131,072 个 token 扩展到 205,312 个。

Audex 使用两种编解码器进行输出。语音部分采用 X-Codec2，每秒 50 个 token。它应用单层有限标量量化（FSQ），码本大小为 65,536。

非语音声音使用 X-Codec，每秒 200 个 token。它使用四个展平的残差向量量化（RVQ）层。复杂声音获得的 token 预算比语音更大。下方的交互式演示可计算任意时长的这些 token 数量。

训练

Audex 无需音频预训练。它从纯文本的 SFT 检查点开始。随后训练逐步添加能力。

多阶段 SFT 课程按顺序进行：文本 SFT、音频预热、音频生成，然后是音频理解。在音频预热期间，文本 token 嵌入保持冻结。消融实验表明，解冻它们会降低文本质量。

NVIDIA 研究团队还测试了一种单阶段方案，一次性混合所有数据。该方案破坏了 NIAH 上的长上下文检索能力。多阶段训练避免了这个问题，因此成为默认方案。

在 SFT 之后，研究团队应用纯文本级联强化学习和多域在策略蒸馏（MOPD）。经过此纯文本 RL 后，音频任务表现出轻微或无倒退。同时文本分数得到提升。

数据混合规模很大。它结合了 157.4B 音频 token 和 320.5B 文本 token。任务涵盖 ASR、AST、TTS、文本转音频以及音频理解。

基准测试与性能

在文本方面，Audex 与其基础模型表现接近。它在 MMLU-Redux 上得分为 86.4，而基础模型为 86.3。它甚至在 IMO AnswerBench 上领先，81.1 对比 79.3。在 MMLU-Pro 和 GPQA-Diamond 上出现小幅下降。

Audex 还在多个推理、对齐和指令遵循基准测试上超过了纯文本的 Qwen3.5-35B-A3B。同等规模的 Qwen3-Omni-30B-A3B-Thinking 相比其自身基础模型显示出较大的推理下降。

基准测试Audex 30B-A3BQwen3.5-35B-A3BQwen3-Omni-30B-A3B-Thinking

HMMT Feb2592.289.060.4

IMO AnswerBench81.174.859.9

LiveCodeBench v685.374.659.2

ArenaHard v281.665.455.1

IFBench (prompt)77.870.252.4

在语音识别方面，Audex 领先这些开源模型。它在 OpenASR 排行榜上记录了 6.82 的平均词错误率。这超越了 Step-Audio-R1.1-33B 和 Qwen3-Omni-30B-A3B-Thinking。

在音频理解方面，情况喜忧参半。Audex 在 MMAU 上领先于开源模型，但在 MMAR 和 MMSU 上与最强的音频大语言模型相比存在差距。Audex 还能生成通用音频，这是其他领先开源模型所不具备的。

音频评测基准Audex 30B-A3BStep-Audio-R1.1-33BQwen3-Omni-30B-A3B-Thinking

MMAU75.673.675.4

MMAR63.269.866.4

MMSU63.474.170.2

Audio Entailment95.061.661.6

OpenASR（WER，越低越好）6.827.918.00

BigBenchAudio90.097.6未报告

Audex 在 MMAU、Audio Entailment 和 OpenASR 词错误率上领先。在 MMAR、MMSU 和 BigBenchAudio 上则落后于这些开源基线模型。

用例示例

以一个多语言呼叫中心为例。Audex 可以转录德语通话并将其翻译成英语。其语音翻译输出会列出源语言、转录文本，然后是英文翻译。

以无障碍工具为例。开发者可以为阅读应用添加固定语音的文本转语音功能。Seed-TTS-Eval 英语词错误率低至 1.70。

以音效设计或原型制作为例。像“森林中鸟儿啁啾”这样的字幕描述能生成一段 10 秒的音频片段。通用音频生成使用增强型 VAE 实现 48kHz 输出。

以语音助手为例。语音到语音以级联方式运行，但一个检查点即可完成所有步骤。Audex 在 BigBenchAudio 上得分为 90.0。

快速入门示例

Audex 遵循 ChatML 模板。参考容器为 vLLM 0.20.0。音频输入解码需要音频扩展。

音频理解、ASR 和翻译共用一种音频问答格式。<sound> 占位符标记音频所在位置。

复制代码已复制请使用其他浏览器

[
{
"id": "sample_0",
"sound": "/path/to/audio_0.wav",
"conversations": [
{"from": "human", "value": "<sound>\nDescribe the audio in detail."},
{"from": "gpt", "value": "N/A"}
]
}
]

模型卡附带了针对此输入格式的 vLLM 音频 QA 脚本。

复制代码已复制请使用其他浏览器

# add audio codecs, then run audio QA offline
python3 -m pip install "vllm"

python inference_scripts_vllm/audioqa_scripts/run_audioqa_vllm.py \
--model-path "$(pwd)/checkpoint_folder_full" \
--input-json ./inputs.json \
--output-jsonl ./results.jsonl \
--tensor-parallel-size 8

对于音频理解，研究团队推荐 top_p=0.9 和 temperature=0.7。对于识别和翻译任务，使用贪婪采样。生成任务需要无分类器引导，详见演示的配方（recipe）选项卡。

优势与不足

优势

相比其纯文本主干模型，文本能力几乎没有回退或完全没有回退。

单一统一模型，兼容 Megatron-LM 和 vLLM。

在最强开源模型中，只有 Audex 能生成通用音频。

在多项推理和对齐任务上领先 Qwen3.5-35B-A3B。

不足

NVIDIA OneWay 非商业许可证限制了商业用途。

在 MMAR 和 MMSU 上，音频理解能力与顶尖音频大语言模型相比存在差距。

语音到语音是级联式的，而非原生全双工。

强化学习仅基于文本；音频-文本强化学习是未来工作。