纯 C 推理引擎 Colibrì 上线 brio 模式:不再生成文本,只给闭集选项打分
Colibrì 是一个纯 C、零引擎依赖的 MoE 推理引擎,把存储、内存与显存当成一层统一的推理层级来用——用不到的专家放在 SSD 上,需要时再流式读回。它目前覆盖九个模型家族,从 GLM-5.2/5.3(744B)、DeepSeek V4 Flash(284B)一路到 975B 的 Inkling 与 2.8T 的 Kimi K3;按官方说明,GLM-5.2 的 int4 权重约 372GB,可在最低 16GB、推荐 24GB 内存的机器上运行,GPU 不是必需品,而 2.8T 的 K3 需要约 1.6TB 硬盘、32GB 内存起步。
9 月 21 日(北京时间)的 v1.12.0 给全部九个引擎加上 brio 模式:把「答案允许取的值」交给引擎,它读每个选项 token 的概率而不采样,因此完成 token 数为 0,输出也不可能跑出给定集合;同一份状态在多问题上复用快照(两级快照下 4 个问题的 prompt 从 496 token 降到 176),官方给出 5.7 倍与 2.4 倍两档实测加速。9 月 24 日的 v1.12.1 进一步把 TypeSafe 那套 Jev API 的 POST /v1/systemone 做进服务端:为它写的客户端改一下 base URL 就能指向 colibri,noul / choice / score 三类问题与置信度公式都按文档实现。
它改变了什么:这一段决策模型(System One)的路线里,多数实现落在模型侧微调——重新训一份权重;Colibrì 把它做进引擎与接口层,同一份开源权重不动,靠「读 logits 而不生成」回答带概率的闭集问题,还顺手兼容了外部已定的接口标准。边界:结构化输出与加速比均为项目自测(九个 tiny fixture 加两个真实权重),本站未复跑;版本时间是 GitHub releases 的发布时间,不代表项目首发日,2.8T 支持等能力里程碑来自 9 月 13 日及更早的版本,不在本轮窗口内。