AI 资讯聚合 · 开源生态

DeepSeek 开源 DeepInfer:撑起 V4.1 Flash 线上服务的推理框架

中国开源生态推理框架开源DeepSeek · 2026-10-20 · 约2分钟 · 来源:DeepSeek 官方仓库
DeepSeek 开源 DeepInfer:撑起 V4.1 Flash 线上服务的推理框架

10 月 20 日,DeepSeek 把内部推理框架 DeepInfer 开源,同时放出与官方 API 处理逻辑对齐的 tokenizer 组件 deepseek-recipe。README 的自述很短:这是支撑 DeepSeek 大规模生产服务的推理框架,本次开源的是离线推理部分,当前只支持 DeepSeek-V4.1-Flash 一个模型。仓库 10 月 16 日建好,首个提交的时间戳是 2026-10-20T04:09Z。

放出来的东西偏工程而不是偏能力:优化过的算子(FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 与自写 TileLang kernel)、Attention DP 与平衡 CP、MoE 的 EP 加 EPLB 负载均衡、DSpark 草稿配置信度调度验证、解码阶段只重放有界后缀的 SWA bounded replay(V4.1 默认保留 140 token)、CPU 调度与设备执行重叠的异步调度,以及批量无关推理、确定性采样与 regex/JSON schema/EBNF 三种结构化输出。硬件侧写的是英伟达 SM100 与华为昇腾 950。

边界比清单更值得记:README 明确写「构成一个完整推理服务所需的组件不在本次发布内」——开源的是离线推理核心,不是线上那套调度、路由与容灾。所以它的意义不在「模型变强」,而在把「以合理成本提供超大规模服务」的中间层交出来:对自建部署的人,可复用的是并行切分、草稿验证与显存带宽的取舍;对观察者,它解释了 V4.1 Flash 的吞吐与延迟是从哪来的。

原文链接:DeepSeek 官方仓库

核验记录
定日依据本机可核的官方时间戳:GitHub API 显示 deepseek-ai/DeepInfer created_at 2026-10-16T07:47:23Z、initial commit 2026-10-20T04:09:42Z;IT之家 10-20 17:05 的稿件引述 DeepSeek「今日官宣」,与仓库时间戳同日。本机未找到 DeepSeek 官网的公告页(deepseek.com 首页最新可见日期仍是 2026-10-17),所以日期不是从渲染公告页读到的,而是官方仓库提交时间加同日中文报道交叉得到。配图用 GitHub 社交缩略图(PNG 1200×600,裸请求与带 Referer 双向 200)。