英伟达发布Audex统一音频-文本大模型：30B总参数

7月8日，英伟达于今年6月发表论文，正式推出Audex（全称Nemotron-Labs-Audex-30B-A3B）统一音频-文本大语言模型。该模型总参数量达30B，激活参数为3B，在保留核心文本智能的基础上，同时具备了理解和生成音频与语音的能力。这一设计旨在解决多模态扩展中常见的“文本能力滑坡”问题——而论文数据表明，Audex不仅守住了底线，部分文本评测指标甚至有所提升。

Audex的骨干模型为Nemotron-Cascade-2-30B-A3B，后者采用52层混合Mamba-Transformer架构，包含128个可路由专家，每次激活其中6个专家。在音频处理链路中，Audex使用AF-Whisper作为音频编码器，处理16kHz输入信号，并通过两层MLP适配器将音频特征映射到文本嵌入空间。模型的输出词表从原始的131072个Token扩展至205312个Token，以容纳音频生成所需的多模态标记。语音输出方面，Audex采用X-Codec2语音编解码器，速率为每秒50个标记，使用单层有限标量量化，码本大小为65536；非语音音频则采用X-Codec音频编解码器，速率为每秒200个标记，使用4层展平残差向量量化。

在文本评测维度，Audex的表现颇为亮眼。MMLU-Redux得分86.4，略高于骨干模型的86.3；IMO AnswerBench得分81.1，显著高于骨干的79.3。仅在MMLU-Pro与GPQA-Diamond两项上出现小幅下降。这一结果表明，Audex在多模态能力扩展的同时，并未牺牲核心语言理解能力，反而在某些推理任务上实现了提升，在业界普遍面临的多模态“能力衰减”难题中提供了新的解决思路。