MLPerf Inference v6.1 新增智能体基准:Vera Rubin NVL72 首测 3.7 倍于 GB300

MLCommons 发布 MLPerf Inference v6.1 结果,提交机构数量创历史新高,并新增两项测试:端到端 RAG(把嵌入、检索、重排与 LLM 推理串成一条流水线,分别测建库与问答)与边缘 Agentic 推理(多轮、累积上下文、准确率门限内计时),后者沿用即将发布的 MLPerf Agentic 数据中心基准的方法学;同时新增投机解码(Speculative Decoding)在交互场景下的支持。
硬件侧,NVIDIA Vera Rubin NVL72 首次预览提交即拿下领先成绩:在 Qwen3-VL 上吞吐最高为 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上为 2.5 倍;GB300 NVL72 的 288 卡四机柜提交实现 99% 扩展效率;v6.1 提交中的软件优化较 v6.0 带来最高 1.6 倍提升。
MLCommons 称本轮结果相对一年前的平台最高有 5.7 倍性能增益。意义:基准套件从「单次问答吞吐」转向「多步流水线与智能体负载」,评测口径第一次跟上了实际部署形态;NVIDIA 的分数仍是厂商提交口径,但基准本身的变化对全行业生效。
核验记录
MLCommons 公告页经 r.jina.ai 直读(直连 403),确认 v6.1 新增两项测试与投机解码支持;nvidianews.nvidia.com/news 列表页可见日期 September 16, 2026,NVIDIA 博客正文经 Jina 直读核对 3.7×/2.5×/99%/1.6× 数字。所有性能数字均为厂商提交口径(Closed Division),未独立复测。