Inco AI 开源 Mac 推理引擎 Splash:只服务两个模型,Qwen3.8-27B 解码跑到次快引擎的 2 倍

9 月 17 日,Inco AI 开源面向 Apple silicon 的本地推理引擎 Splash(Apache-2.0,GitHub incoai/splash 三天内 509 star)。它的设计方向与主流引擎相反:不做「什么模型都能跑」的通用运行时,只服务极少数模型,但把每个模型的融合算子、权重与状态尺寸、显存预算、以及专门训练的 DFlash 2 草稿模型全部预先特化。按官方口径,在 48GB 的 M5 Pro 上它跑 Qwen3.8-27B 的解码速度是实测次快引擎的 2 倍、并在其测过的每个上下文长度上保持领先(至 32K),32K 前缀缓存命中时首 token 282 毫秒,四个并发子代理下提速接近 4 倍。
使用门槛写得很具体:M3 及以上 Mac、macOS 26.4 或更新、至少 36GB 统一内存(建议 48GB 以上),Homebrew 一条命令安装,首次运行会自动按本机配置调优。接口同时兼容 OpenAI Chat Completions、Responses 与 Anthropic Messages,支持流式输出、工具调用、JSON Schema 与图片输入,`splash opencode / claude / codex / hermes` 可把编码代理直接接到本地端点。Inco 同时宣布与 LM Studio 合作,Splash 在 LM Studio Bionic 中作为一等推理引擎(day-zero)提供。
它的意义在于把一个隐含问题摆到台面:本地推理的竞争点正从「支持多少模型」转向「把一个模型压榨多深」。代价是模型覆盖极窄(上线时两个),收益是把多代理并发这类真实负载算进基准——对在 Mac 上跑编码代理的人来说,问题正在从「能不能本地跑」变成「本地跑得多快」。