Phocinae 开源 Largha:144M 编码器决策模型,一次前向零输出 token
10 月 8 日,Phocinae 项目以 Apache 2.0 放出 Largha(斑海豹):一个 144.3M 参数的双语类型化决策模型,底座是 jhu-clsp/mmBERT-small(hidden 384 × 22 层 × 6 头、256k 词表、RoPE 加滑窗与每三层全局注意力),在 typed-decisions 数据集上训练。它与同类的关键区别是路线:决策模型目前绝大多数是解码器,Largha 是编码器——答案是候选取值打分,不生成一个 token(接口返回的 usage 里 output_tokens 为 0)。
数字:typed-decisions 英文 0.906、中文 0.848(中文用机翻用例);同一协议下对照 Laya 0.766、JEV 0.727、meraGPT 0.768。速度上 GPU fp16 单决策中位 21.0 毫秒(RTX 5090)、CPU 单线程中位 1.64 秒、8 线程批处理每秒 8–20 个决策,推理显存约 1.6GB、无 GPU 也能运行;选项顺序翻转率(越低越好)CPU fp32 flip400 为 0.0217。它还把「什么时候不必叫大模型」做成可用数字:升级门取 τ=0.6 时,大模型调用减少 55%,保留集准确率从 0.906 升到 0.9936、升级率 45%。
模型卡自己披露了短板:0.906 是在该数据集训练切分上微调的「专家分」,且错误修正池里有 151 条决策取自测试行;另一份公开留出集 JevBench 231 题上只答对 126 题(54.5%),低于其自设的 58.4% 门槛。运行时需要官方 phocinae-server(纯 PyTorch 前向,只监听 127.0.0.1),仓库 config.json 的 architectures 仍是基座的 ModernBertForMaskedLM,直接用通用分类接口取到的是基座分类头、不含标定温度。
原文链接:Phocinae 官方模型卡 / 项目页