Inferact 让 Kimi K3 在 TPU 上跑出 709 tokens/s，比同卡数 GB200 快 57%

Inferact（vLLM 核心团队创立的推理公司）9 月 23 日放出 inferact/tpu-megakernels，并给出对照结果：16 块谷歌 TPU v7（Ironwood）跑 Kimi K3 达到每秒 709 个 token，同样 16 块英伟达 GB200 在同一条件下是每秒 452 个，TPU 快 57%。不加推测解码时，针对 K3 与 Qwen3.8-27B 的 megakernel 在 batch size 1 到 8 上仍比 GB200 基线高约 1.4 到 2 倍；4 卡对 4 卡时，Qwen3.8-27B 是 1,515 对 695 tokens/s。

做法是给 TPU 写 megakernel：把推理时原本要调度的几百上千个 XLA 算子焊成一个内核，把编译时间从常见的 30 分钟以上压到 90 秒以内，再叠加 DeepSeek 提出的 DSpark 推测解码——megakernel 以 batch size 8 充当验证器，每次内核启动一次评估 1 个锚点加 7 个候选续写。这条结果要放在合作背景下读：9 月 14 日 Inferact 已宣布与谷歌的工程合作，把 TPU 做成开放推理的一等目标。

它改变了什么：TPU 与 GPU 的对比通常跨引擎、跨实现，各说各话；这次两边同用 vLLM、同跑一个模型、同卡数，变量只剩芯片与底层内核。对采购决策而言，这是把「TPU 能不能承接开源前沿权重」从立场之争变成可复现实验的第一步。边界：结果由厂商自测自报（单模型、单机配置），本站未复跑，也未找到第三方复现；推测解码带来的加速幅度依赖草稿模型与接受长度，换负载后未必保持。

原文链接：Inferact 官方博客