vLLM 原班人马开公司 Inferact：16 块 TPU 跑 Kimi K3 比 16 块 GB200 快 57%，megakernel 已开源
Inferact（由 vLLM 的创始人与核心维护者组成，今年拿了 a16z 领投的 1.5 亿美元种子轮、估值 8 亿美元）开源了面向 Google TPU v7 的 megakernels 集合。官方博客给出的对照是：同样 16 块芯片、同一个 vLLM 引擎、同一个模型，16× TPU v7 跑 Kimi K3 达到每秒 709 个 token，16× GB200 是 452 个，快 57%；其中推测解码的 acceptance length 为 6，单步 decode 约 8.5 毫秒。
关掉推测解码看裸速，差距没有消失：K3 与 Qwen 3.8 27B 在 batch size 1 到 8 区间约为 GB200 基线的 1.4 到 2 倍；Qwen 侧用 4 块 TPU v7 达到 1515 tok/s，同配置 GB200 为 695 tok/s。精度侧用贪心解码验证，K3 在 TPU 上的 GPQA-Diamond 为 94.4%、GSM8K 为 97.2%，与 GPU 结果完全一致。
值得注意的是速度差并不来自硬件规格。TPU v7 的 HBM 带宽 7380 GB/s，GB200 反而是更高的 8000 GB/s，带宽更大的那块跑得更慢。官方给出的解释在软件层：解码速度受内存带宽约束，megakernel 靠 TPU 独有的 64 MiB 片上向量内存（VMEM）、顺序编程模型和跨层预取显式异步流水线，把端到端性能推近理论峰值——GPU 的张量内存总量约 38 MiB 且分摊到 152 个 SM，每 SM 只剩 256 KB，难以提前暂存权重。
原文链接：Inferact 官方博客 / 量子位
核验记录
官方博客 inferact.ai/blog/tpu-megakernels 直读 200，正文头部「Engineering · September 23, 2026」为官方发布日，同时可见开箱数字 709 tok/s（16× TPU v7）对 452 tok/s（16× GB200）、acceptance length 6、单步 decode 约 8.5 毫秒、Qwen 3.8 27B 用 4 块 TPU 达 1515 tok/s 对 695 tok/s。量子位 497425（2026-09-26 15:12:05）作为中文交叉，正文数字与官方页逐项一致，并补充贪心解码验证 GPQA-Diamond 94.4%、GSM8K 97.2% 与 GPU 相同。配图 og-image.png 裸请求与带 Referer 均 200，PNG 3360×1960。去重核查：库内「megakernel」「Inferact」「TPU」均 0 命中，models.json 180 条内无相关条目。
← 上一篇DeepMind 给 Private AI Compute 加服务端记忆：数据加密存云端，密钥只留个人设备下一篇 →阿里平头哥开源 T-Head SAIL 工具链：真武 AI 芯片的软件栈从框架适配铺到通信组件