FINAL-Bench 发 Darwin-27B-ZTC：零 token 判定模型，一次前向给出校准过的选项概率
10 月 8 日，FINAL-Bench 在 Hugging Face 博客发布 Darwin-27B-ZTC（zero-token classifier）：一个 27B 的判定模型，把「让大模型给回答打分」这件事重新表述为条件概率估计——输入一段状态与一组带类型的提问，它在一次前向里直接返回每个选项上的概率向量，不进入解码循环，生成 0 个 token。它要拆掉的是生成式裁判的两个结构性欠账：一是延迟随输出长度线性增长，二是置信度只能靠 logprobs 或多轮采样迂回得到、且并不保证等于真实答对的概率。
作者把收益拆成三条：确定性（没有采样步骤，同一输入永远返回同一分布，指标是精确值而非样本估计，不需要置信区间）、成本（每次判定一次前向，延迟不随输出长度增长）、以及去混淆（温度、top-p、重复惩罚、最大长度这些设置全部退出评测，跨模型比较不再被配置差异污染）。评测集 typed-decisions 覆盖三类回答：noul（自由作答的正确性）、choice（候选中选一）、score（连续或序数量分）。
数字是零样本口径、未使用该基准的训练集：总体准确率 0.743（general 划分、2,000 次判定、0 次报错），分类型为 noul 0.847、choice 0.723、score 0.675；校准上 KL 散度为 0.204、Brier 分数 0.097。作者强调准确率与校准是两条独立的轴，并点出真正的使用场景：当判定器坐在路由器或安全闸门前，操作是「置信度高于阈值就自动放行，否则转交更大的模型或人工」，此时过度自信是致命的——高置信度的错答案会直接漏过闸门，而只报准确率看不出一件事。
原文链接：FINAL-Bench 官方博客
核验记录
时间两处互证：HF 博客单页 JSON-LD datePublished 2026-10-08T08:38:58Z 且页内可见 Published October 8, 2026；官方权重仓 FINAL-Bench/Darwin-27B-ZTC 的 createdAt 为 2026-10-08T04:11Z（同一线的 v2 为同日 15:28Z、v5 为 10-11T07:43Z）。数字逐句取自该页：总体准确率 0.743（general、2,000 次判定、0 errors）、noul 0.847 / choice 0.723 / score 0.675、KL 0.204、Brier 0.097，以及零采样方差与「一次前向」的表述。⚠ 该博客页 HTML 正文仅 9,667 字符（含图表数字较少），Leaderboard 与 reliability diagram / ECE 细节本机未逐条回读；全部为作者自测口径。同组织此前的 ZTC 探针（9-20）与 Darwin-180B-RSI（9-28、10-01）已在库，本条是新放出的 27B 判定权重与校准分析，非同一发布。配图取该页 og:image，裸请求与带站内 Referer 双 200 / image/png 404,914 字节。
← 上一篇DeepMind 的 AlphaProof Nexus 登 Science：解出 9 道开放 Erdős 问题、44 条 OEIS 猜想下一篇 →Phocinae 开源 Largha：144M 编码器决策模型，一次前向零输出 token