AI 资讯聚合 · 开源生态

纯 C 推理引擎 Colibrì 上线 brio 模式:不再生成文本,只给闭集选项打分

海外开源生态开源推理引擎Colibrì(JustVugg) · 2026-09-21 · 约2分钟 · 来源:Colibrì 官方 GitHub Releases
纯 C 推理引擎 Colibrì 上线 brio 模式:不再生成文本,只给闭集选项打分

Colibrì 是一个纯 C、零引擎依赖的 MoE 推理引擎,把存储、内存与显存当成一层统一的推理层级来用——用不到的专家放在 SSD 上,需要时再流式读回。它目前覆盖九个模型家族,从 GLM-5.2/5.3(744B)、DeepSeek V4 Flash(284B)一路到 975B 的 Inkling 与 2.8T 的 Kimi K3;按官方说明,GLM-5.2 的 int4 权重约 372GB,可在最低 16GB、推荐 24GB 内存的机器上运行,GPU 不是必需品,而 2.8T 的 K3 需要约 1.6TB 硬盘、32GB 内存起步。

9 月 21 日(北京时间)的 v1.12.0 给全部九个引擎加上 brio 模式:把「答案允许取的值」交给引擎,它读每个选项 token 的概率而不采样,因此完成 token 数为 0,输出也不可能跑出给定集合;同一份状态在多问题上复用快照(两级快照下 4 个问题的 prompt 从 496 token 降到 176),官方给出 5.7 倍与 2.4 倍两档实测加速。9 月 24 日的 v1.12.1 进一步把 TypeSafe 那套 Jev API 的 POST /v1/systemone 做进服务端:为它写的客户端改一下 base URL 就能指向 colibri,noul / choice / score 三类问题与置信度公式都按文档实现。

它改变了什么:这一段决策模型(System One)的路线里,多数实现落在模型侧微调——重新训一份权重;Colibrì 把它做进引擎与接口层,同一份开源权重不动,靠「读 logits 而不生成」回答带概率的闭集问题,还顺手兼容了外部已定的接口标准。边界:结构化输出与加速比均为项目自测(九个 tiny fixture 加两个真实权重),本站未复跑;版本时间是 GitHub releases 的发布时间,不代表项目首发日,2.8T 支持等能力里程碑来自 9 月 13 日及更早的版本,不在本轮窗口内。

原文链接:Colibrì 官方 GitHub Releases

核验记录
GitHub API 直读:releases v1.12.0 published_at 2026-09-20T22:13:26Z(=北京 9/21 06:13,落在 7 天窗内)、v1.12.1 2026-09-24T22:10:40Z;repos/JustVugg/colibri created 2026-07-01、pushed 2026-09-27、stargazers 37,909。发布说明逐条取自 releases body(brio 模式、completion_tokens=0、496→176 token、5.7x/2.4x、/v1/systemone);内存与硬盘要求取自官方 README 与量子位 9/26 正文(该文写 star 数约 3.2 万,此处按 API 实测 37,909)。能力里程碑(第九家族、2.8T K3)来自 v1.11.0(9/13)及更早版本,已在该条正文中声明不在窗口内。