英伟达开源转录模型 Nemotron 3.5 Transcribe:支持40种语言,8人抢话也能精准识别
10月29日,据报道,英伟达昨日宣布推出开放权重语音转录模型 Nemotron 3.5 Transcribe,并同步公开训练数据管线 Granary v2。该模型整合转录、说话人归属、翻译和音频问答,主要面向会议纪要、课堂录像、访谈整理和多语言客服等场景。
架构上,Nemotron 3.5 Transcribe 采用混合专家(MoE)架构,总参数约340亿、激活参数约43亿,可处理最长1小时的录音,支持40种语言转录、31种语言与英语互译,最多可区分8名说话人。它的最大亮点是应对多人同时说话的能力,官方演示中它对1940年电影《他的女友礼拜五》里语速极快、大量重叠对白的场景也能分角色生成字幕。
评测成绩上,该模型在 Hugging Face Open ASR Leaderboard 英语组以5.33%的平均词错误率位居开放权重模型第一,说话人归属方面录得18.26%的最低错误率。模型已在 Hugging Face 与 ModelScope 免费开放,量化版本后续发布,便于在 RTX Spark、DGX Spark 等本地设备运行。
Granary v2 是英伟达为多语言语音模型构建的开放数据整理管线,能把原始或已有标注的音频自动加工成多种转录、翻译、字幕、问答和指令对,公开数据清单覆盖463062小时音频、48种语言,对同一段录音至少生成三种不同书面风格的转录变体。