Fastino Labs 发 GLiNER2.5-Decide：340M 开放权重决策模型，V100 上 p50 延迟 38.3 毫秒

Fastino Labs 9 月 24 日发布 GLiNER2.5-Decide：一个 3.4 亿参数的开放权重决策模型。输入是文本加一组带类型的问题（schema），输出不是生成的自然语言，而是合法答案集合、每个答案的概率分布、置信分以及约束可行性元数据。模型不做推理、不解释、也不回答开放问题，官方定位是运营决策专用——客服与银行意图、路由、工单分派、文档类型、内容审核、严重度分级。它以 gliner2-large-v1 为底座微调，Apache 2.0 许可，可在 CPU 上本地运行，也支持气隙隔离环境。

官方称短文档任务端到端 p50 延迟为 V100 上 38.3 毫秒、48 核 Intel Xeon Platinum 8581C 上 167.3 毫秒。在其自建的 17 数据集基准（每域 300 条留出样本、精确匹配）上平均分 60.1%，模型卡表格记为 60.2%，对照项包括 1B 版 59.6%、JevK5 57.6%、287M 多标签版 56.7%、SemIf（Qwen3.5-4B）56.4%、GLiFormer large 49.0%、Laya Router 46.6%。该套件只有英文，多语言另有 multi-Decide 版本。

它改变的是「决策」这一环的部署成本：过去把一次路由或分级交给 LLM，意味着一次生成开销和一个更大的运行体积；这里换成一个不吐 token 的编码器，把分类与规则校验合并进单次前向，官方对比对象 SemIf 本身就是建立在 Qwen3.5-4B 之上的决策模型。同一模型还支持跨相关输出的规则强制、span 与关系抽取，以及全量或 LoRA 微调。60.1% 与延迟数字均为厂商自测，未见第三方复跑；其基准集与 Laya、JevK5 的自评方式是否可比，也需等外部验证。

原文链接：Fastino Labs 官方博客