英伟达开源 Nemotron 3.5 Super VL:120B 稀疏 MoE 只激活 12B,单卡智能体吞吐最高 5 倍

10 月 15 日,英伟达发布并开源 Nemotron 3.5 Super VL:一个 120B 参数的稀疏 MoE 多模态模型,每 token 只激活 12B,面向需要长时间运行的智能体工作流。官方称在单张 GPU 上,它的智能体任务吞吐量最高可达同尺寸其它开源模型的 5 倍,并在 Artificial Analysis 智能指数的智能体任务上、于 Baseten 端点跑出每秒 600 以上的 token。
与以往「文本模型 + 另配视觉语言模型」的做法不同,这一个模型把推理、指令跟随、工具调用与文本、图像、文档、视频理解合并在一起,团队不必再在两个模型之间来回传递任务上下文。Scale AI、Ramp 与 AI21 已经在它之上做后训练,官方给出的改善数字是推理成本降至四十分之一、延迟降至十分之一、准确率提高 40%。权重与开放数据集放在 Hugging Face,可用 NeMo 做监督微调、低秩适配与强化学习。
工程侧它用了 LiLiCorr 投机解码、NVFP4 量化配合量化感知蒸馏、多 token 预测与上下文复用来压推理成本,官方点名可在 DGX Spark 上运行。放在这条线上看:一个 120B 的开源多模态模型能在单卡上以每秒 600 以上的 token 服务智能体任务,企业把智能体从「偶尔调用」推到「常驻运行」的边际成本又降了一档。
原文链接:NVIDIA 开发者博客
核验记录
定日:官方博客 JSON-LD `datePublished 2026-10-15T15:00:00+00:00`(两处)+ `og:article:published_time` 同值 + 页内可见 `Oct 15, 2026`,本机直读 340,590 字节。第二证:HF 官方仓 `nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16` 的 `createdAt` 为 `2026-10-12T15:32:06Z`、NVFP4 仓 `2026-10-12T15:32:30Z`(**权重比官方博文早三天上架**,两仓相隔 24 秒互证),OpenRouter `nvidia/nemotron-3.5-super-vl` 的 `created` 为 10-15 23:04;中文线 IT之家 10-15 23:19 同题报道。取官方发布日 10-15,权重上架日 10-12 记在此处不写进正文。未读:NVIDIA 技术报告 PDF(本机无 PDF 解析库)。配图取官方博客 `og:image`(`developer-blogs.nvidia.com/.../Nemotron-3-5-Super-VL-e1792075881894.webp`),裸请求与带站内 Referer 均 200 / WEBP 128,972 字节。