EAGLE-4 发通用草稿模型：SGLang 单请求提速 3.42 倍

EAGLE 团队 10 月 20 日放出 EAGLE-4 的推理代码与 eagle-harness 包，第一个配套草稿模型是 Qwen3.8-27B 的 EAGLE-Corp/Qwen3.8-27B-EAGLE4（含底座约 62GB）。规格推理的老问题是收益随并发下降：单条请求能翻几倍，高并发时草稿被浪费。EAGLE-4 的卖点写成「一个 drafter 覆盖所有批量与硬件」，实现方式是把这个 drafter 同时接进 SGLang、vLLM、TokenSpeed，并给出 AMD MI355X 的 ROCm 支持，而不是为每个引擎改一遍推理栈。

README 的「Measured speedup」用 Qwen3.8-27B、温度 0、SPEED-Bench 客户端、4×B300 测，分母是同引擎不开投机的吞吐：SGLang 单请求 3.42×、8 并发 2.09×、64 并发 1.39×；vLLM 2.83× / 1.72× / 1.14×；TokenSpeed 3.09× / 2.02× / 1.41×。单张 AMD MI355X 上 SGLang 是 8 并发 2.07×、32 并发 1.56×。完整 tokens/s 与校验方式放在仓库的 support-matrix 文档里。

这组曲线本身说明了「一个 drafter 通吃」还没做到：并发越高收益越小，64 并发只剩 1.39×，与 EAGLE 系过去在高负载下的衰减是同一形状。真正变了的是工程位置——从前每个推理引擎各接一遍草稿模型，现在一个 pip 包加一个 draft 仓库就能上，连 AMD 也在首批支持里。数字全部是厂商自测，本机未做第三方复现，也未读仓库内的 EAGLE4_Paper.pdf。

原文链接：eagle-hq / GitHub