英伟达发布1200亿参数大模型Nemotron 3.5 Super VL：单GPU智能体吞吐量最高提升5倍
10月16日，据报道，英伟达推出开放多模态模型 Nemotron 3.5 Super VL，面向需要持续运行、执行多步骤任务的 AI 智能体。该模型采用混合专家架构，总参数量 1200 亿，激活参数 120 亿。英伟达称，在单张 GPU 上执行智能体任务时，该模型的吞吐量最高可达到同规模其他开放模型的 5 倍。
据介绍，Nemotron 3.5 Super VL 将推理、指令遵循和工具调用能力，与文本、图像、文档及视频理解能力整合到同一个模型中，可用于代码测试与调试、跨网站信息检索、文档分析、网络安全威胁识别以及视频内容检索等场景。开发者可以利用英伟达 NeMo 工具链进行后训练，并根据业务需求调整模型行为。英伟达同时公布多个企业定制案例，例如 Scale AI 为媒体娱乐公司 Skydance 定制了供应商信用处理智能体，相关工作负载的推理成本预计可降低 97.5%、延迟降低 80%；金融运营平台 Ramp 正将收据图像转换为结构化 JSON 数据，预计吞吐量最高提升 50%、延迟降低 90%；AI21 与 AI 安全公司 Alice 合作定制模型用于威胁情报和漏洞分析，相关任务准确率提升 40%。
在模型评测方面，英伟达称该模型在 CharXiv 图表推理基准测试中得分为 80.8%，高于 Nemotron 3 Nano Omni 的 63%，结合 Python 代码解释后得分达到 84%，在 Hermes Bench 和 LangChain 行为评估中分别取得 63.44% 和 87.05%。为降低推理开销，该模型采用投机解码、混合精度和上下文复用等技术，其 LiLiCorr 投机解码方法在 DGX Spark 上可将词元生成速度最高提升至 2.3 倍，同时还支持 NVFP4 量化，在 Blackwell 架构上使用 4 位权重和 4 位激活值。
除 Super VL 外，英伟达还推出两款 Nemotron 3.5 Bolt 端侧模型。Nemotron 3.5 Bolt 74B-A9B 24GB 采用 740 亿总参数、90 亿激活参数的 MoE 架构，通过原生 2 位量化将模型压缩至 24GB，面向本地智能体任务，支持 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio；Nemotron 3.5 Bolt E4B 4GB 则面向本地语音助手、交互角色和嵌入式界面等场景，计划于 10 月 23 日推出。目前 Super VL 和 Bolt 74B-A9B 24GB 已开放获取，开发者可通过 Hugging Face、OpenRouter、ModelScope 等渠道使用。
