统一音频智能模型 Nemotron-Labs-Audex-30B-A3B 发布
阅读原文· arxiv.org多模态LLM常捡芝麻丢西瓜，Audex难得做到音频全面增强而文本智能不退化。开源模型让语音产品人可以立刻评估，不是研究Demo。
Nemotron-Labs-Audex-30B-A3B（Audex）是基于Nemotron-Cascade-2-30B-A3B的MoE大语言模型，采用单一Transformer解码器统一处理文本与量化音频token。训练使用157.4B音频token和320.5B文本token，经多阶段监督训练、文本Cascade RL和多域on-policy蒸馏优化。在音频理解、语音识别/翻译、文本转语音、音频生成及语音到语音生成任务上达SOTA，同时保持原文本LLM的推理、对齐等能力几乎无退化。模型权重已开源。
音频智能涉及对音频和语音的理解、推理与生成。在这项工作中，我们介绍了 Nemotron-Labs-Audex-30B-A3B（Audex），一个基于 Nemotron-Cascade-2-30B-A3B（一个强大的纯文本 MoE 大语言模型）构建的统一音频-文本大语言模型。Audex 采用单一 Transformer 解码器的简单统一设计：音频输入经过编码并投影到文本嵌入空间，而文本 token 和量化后的音频输出 token 在生成过程中被统一处理。这种架构实现了强大的音频-文本融合、无缝的多模态生成，以及与标准 LLM 训练和推理基础设施的兼容性。在训练方面，我们精心整理了包含 1574 亿音频 token 和 3205 亿文本 token 的音频-文本数据集。我们在这些数据集上应用了多阶段监督训练，随后进行纯文本 Cascade RL 和多域在策略知识蒸馏。Audex 在音频理解、语音识别与翻译、文本转语音、音频生成以及语音转语音生成方面达到了最先进水平，同时其纯文本大语言模型骨干网络所具备的极为出色的推理、对齐、知识、长上下文和智能体能力也得以保留，仅有极轻微或毫无退化。我们公开发布模型检查点以促进开放研究。