Convai 发 Laya:421M 决策模型 33 毫秒给出校准概率,覆盖 100+ 语言
Convai Innovations 在 Hugging Face 发布 Laya,一个多语种、非自回归的「系统一」决策模型。它接收状态(文本、邮件、工单或 JSON)与一组带类型的提问,在同一趟前向计算里返回类型化答案与带校准的概率——不生成任何文字,因此没有需要解析的输出,也没有可幻觉的空间。仓库内是三个检查点:英文版以 ModernBERT-large 为骨干(421M、512 上下文),多语种版用 mmBERT-base(322M、1024 可扩到 8k,官方称约快 2.2 倍),另有面向四类决策工作流的 421M 版本(准确率 0.766)。
关键设计在训练方式:Laya 用强化学习对着严格适定的评分规则(RLCD)优化,使「如实报告概率」成为唯一能最大化奖励的策略。官方在一张 T4 上做了 17,416 个问题的同题对比:英文意图分类 0.783、XNLI 英文 0.860;多语种版把 13 个非英语语种的意图分类从 0.306 拉到 0.451、14 个语种的 XNLI 从 0.521 拉到 0.731,51 种语言中「可用」(高于随机 3 倍)的从 23 种扩到 45 种;单问题延迟英文 39.5 毫秒、多语种 32.8 毫秒,10 问批处理 158.6 → 72.3 毫秒。它还内置纯 Python 路由器,在 0.5 毫秒内判定脚本与语言再分发到合适检查点。
官方也把边界写在模型卡里:英文检查点在非拉丁文字上会崩——高棉语准确率 0.000 而置信度 0.952,也就是「自信地答错」,靠置信度阈值救不回来;默认懒加载(max_loaded=1)下语言来回切换会每次重建模型,官方实测 CPU 中位 7.4 秒、T4 上 10.3 秒的重载代价,建议生产环境预加载。