统一音频智能模型 Nemotron-Labs-Audex-30B-A3B 发布

HuggingFace Daily Papers(社区热门论文)·2026-07-06 08:00·49天前
AI 导读

Nemotron-Labs-Audex-30B-A3B(Audex)是基于Nemotron-Cascade-2-30B-A3B的MoE大语言模型,采用单一Transformer解码器统一处理文本与量化音频token。训练使用157.4B音频token和320.5B文本token,经多阶段监督训练、文本Cascade RL和多域on-policy蒸馏优化。在音频理解、语音识别/翻译、文本转语音、音频生成及语音到语音生成任务上达SOTA,同时保持原文本LLM的推理、对齐等能力几乎无退化。模型权重已开源。

HuggingFace Daily Papers(社区热门论文)
精选
80AI 编辑部评分,满分 100

统一音频智能模型 Nemotron-Labs-Audex-30B-A3B 发布

2026-07-06 08:00· 49天前
AI 导读

Nemotron-Labs-Audex-30B-A3B(Audex)是基于Nemotron-Cascade-2-30B-A3B的MoE大语言模型,采用单一Transformer解码器统一处理文本与量化音频token。训练使用157.4B音频token和320.5B文本token,经多阶段监督训练、文本Cascade RL和多域on-policy蒸馏优化。在音频理解、语音识别/翻译、文本转语音、音频生成及语音到语音生成任务上达SOTA,同时保持原文本LLM的推理、对齐等能力几乎无退化。模型权重已开源。

推荐理由

多模态LLM常捡芝麻丢西瓜,Audex难得做到音频全面增强而文本智能不退化。开源模型让语音产品人可以立刻评估,不是研究Demo。

正文 · AI 翻译

音频智能涉及对音频和语音的理解、推理与生成。在这项工作中,我们推出了 Nemotron-Labs-Audex-30B-A3B(Audex),这是一个基于 Nemotron-Cascade-2-30B-A3B(一个强大的纯文本 MoE 大语言模型)构建的统一音频-文本大语言模型。Audex 采用简洁的统一设计,仅使用单个 Transformer 解码器:音频输入被编码并投影到文本嵌入空间,而文本 token 和量化后的音频输出 token 在生成过程中被统一处理。这种架构实现了强大的音频-文本融合、无缝的多模态生成,以及与标准大语言模型训练和推理基础设施的兼容性。在训练方面,我们精心整理了包含 1574 亿个音频 token 和 3205 亿个文本 token 的音频-文本数据集。我们对这些数据集进行了多阶段监督训练,随后进行了纯文本 Cascade RL 和多领域在线策略蒸馏。Audex 在音频理解、语音识别与翻译、文本转语音、音频生成以及语音到语音生成方面达到了业界领先水平,同时在其纯文本大语言模型骨干网络的基础上,以极小或无性能回退的方式,保留了非常出色的推理、对齐、知识、长上下文和智能体能力。我们发布了模型检查点,以促进开放研究。