NVIDIA 与普林斯顿发 ReplaySSM：SSM 状态流量减半，解码核快 1.46–1.80 倍
NVIDIA 与普林斯顿 Dao AI Lab 联合发布 ReplaySSM。混合模型把 SSM 层与少量注意力层交替排列，SSM 层用固定大小的状态替代随上下文增长的 KV 缓存；但在服务常用的批量下，SSM 层反而会在 10 万 token 上下文以内成为延迟瓶颈。ReplaySSM 把状态表示成「一个检查点 + 最近输入的缓冲区」，让输出计算与状态更新解耦。
效果上，常规解码每一步都要读写整块状态，新做法每步仍读检查点、但只在缓冲区满时写一次，主导性的状态显存流量因此大致减半。实测（NVIDIA Blackwell Ultra B300）：batch size 256 时解码核快 1.46–1.80 倍，整个 decode 步快 1.20–1.47 倍；batch 1 时没有提速，因为瓶颈不在带宽。投机解码的回滚也简化了——draft token 的输入直接追加进缓冲区、靠移动指针提交，不必为每个 draft 快照状态，120B 级模型的投机吞吐提到 1.85–2.10 倍。
精度上，检查点用高精度、供读取的副本用低精度：四个评测模型里三个在 GPQA-Diamond 上落在 FP32 的约 2 个百分点内，而四个模型共用一个 NVFP4 检查点会掉 3 到 31 个百分点。该方案已接入 TensorRT-LLM、vLLM 与 FlashInfer，官方称已在 GLM-5.3-Flash 与 Kimi-K3 上生产运行。
原文链接：NVIDIA 技术博客 / 普林斯顿
核验记录
官方页 developer.nvidia.com/blog/replayssm-… 本机直读 200（332,650 字节），页内 JSON-LD datePublished 2026-10-12T16:00:54+00:00、og article:published_time 同值、页内可见 Oct 12, 2026 三处同日。所引数字全部取自正文（页首那段标注「AI-Generated Summary」的摘要在正文中均有对应，未只采信摘要）：1.46–1.80 倍（kernel，batch 256）、1.20–1.47 倍（decode 步）、1.85–2.10 倍（120B 级投机吞吐）、GPQA-Diamond 表（Nemotron-3-Nano-4B FP32 56.7，共享 NVFP4 检查点掉 31.3 点，NVFP4 读 + FP16/FP8 recurrence 掉 6.7/5.6 点）。该页 og:image 是站点通用配图（黑底 cube），与本事件无关，故不配图，卡片走厂商名占位块。
← 上一篇苹果论文 Minions：把闲置 Mac 聚合成虚拟 GPU 云，用已有硬件跑大规模推理下一篇 →智谱发 GLM-Legal：律所全流程任务全通过率 19.2%，比底座高 12.5 个百分点