AI 资讯聚合 · 开源生态

Inco AI 开源 Mac 推理引擎 Splash:只服务两个模型,Qwen3.8-27B 解码跑到次快引擎的 2 倍

海外开源生态本地推理Apple SiliconInco AI · 2026-09-17 · 约2分钟 · 来源:Inco AI 官方博客 / GitHub
Inco AI 开源 Mac 推理引擎 Splash:只服务两个模型,Qwen3.8-27B 解码跑到次快引擎的 2 倍

9 月 17 日,Inco AI 开源面向 Apple silicon 的本地推理引擎 Splash(Apache-2.0,GitHub incoai/splash 三天内 509 star)。它的设计方向与主流引擎相反:不做「什么模型都能跑」的通用运行时,只服务极少数模型,但把每个模型的融合算子、权重与状态尺寸、显存预算、以及专门训练的 DFlash 2 草稿模型全部预先特化。按官方口径,在 48GB 的 M5 Pro 上它跑 Qwen3.8-27B 的解码速度是实测次快引擎的 2 倍、并在其测过的每个上下文长度上保持领先(至 32K),32K 前缀缓存命中时首 token 282 毫秒,四个并发子代理下提速接近 4 倍。

使用门槛写得很具体:M3 及以上 Mac、macOS 26.4 或更新、至少 36GB 统一内存(建议 48GB 以上),Homebrew 一条命令安装,首次运行会自动按本机配置调优。接口同时兼容 OpenAI Chat Completions、Responses 与 Anthropic Messages,支持流式输出、工具调用、JSON Schema 与图片输入,`splash opencode / claude / codex / hermes` 可把编码代理直接接到本地端点。Inco 同时宣布与 LM Studio 合作,Splash 在 LM Studio Bionic 中作为一等推理引擎(day-zero)提供。

它的意义在于把一个隐含问题摆到台面:本地推理的竞争点正从「支持多少模型」转向「把一个模型压榨多深」。代价是模型覆盖极窄(上线时两个),收益是把多代理并发这类真实负载算进基准——对在 Mac 上跑编码代理的人来说,问题正在从「能不能本地跑」变成「本地跑得多快」。

原文链接:Inco AI 官方博客 / GitHub

核验记录
日期核法:官方博客页 inco.ai/blog/splash 直读,页内可见日期 September 17, 2026,正文含 2×/282ms/近 4×/36GB/安装命令等全部数字;GitHub incoai/splash 经 API 直读(created_at 2026-09-18T20:01:48Z、509 star、Apache-2.0、homepage 指向该博客);HF 权重包 incoai/Qwen3.8-27B-Splash createdAt 2026-09-17T22:23:59Z,与博客同日互证。仓库创建时间比博客晚一天(9/18 vs 9/17),日期取官方博客页。**2 倍与 4 倍均为 Inco 自测口径**(原文为「the next-fastest engine we measured」),无第三方复现;模型包为 Qwen3.8-27B 的 4bit 重打包 + DFlash 2 草稿,非新基座。