第二轮自我改进:Darwin-180B-RSI-R3 留出集上再涨 1.03 分
FINAL-Bench 10 月 1 日在 Hugging Face 放出 Darwin-180B-RSI-R3,是在自家 Darwin-180B-RSI(R1,9 月 28 日建仓)之上的第二轮模型级自我改进,不是从母模型重来。配方与 R1 相同:让模型去解可自动判对的问题,只留下自己答对的解来继续训练自己——这一轮用的是 3,000 道此前未用于训练的 SuperGPQA 中/难题,R1 每题解 8 次,官方只挑「边界题」(8 次里对 2 到 6 次,共 462 题),再从里面取 R1 自己答对且未被截断的解,一共 714 条;训练只动注意力路径与共享专家(LoRA 后合并),512 个路由专家、路由器和视觉编码器原封不动,全程不使用任何人写的解法或推理轨迹。
成绩给得克制:在 1,000 道从未参与训练与筛选的留出集上,R1 的 4 样本平均是 65.67,R3 是 66.70,配对差 +1.03 分,95% 置信区间 [+0.05, +2.00]——官方自己写明「提升不大但统计上显著」。GPQA Diamond(198 题、8 样本)从 85.80 升到 86.05,官方直接写明这个差落在噪声内,不做解读。R1 名下的七个 Hugging Face 榜单第一没有转给 R3:R3 未提交任何榜单,官方在请独立评测者直接来测。
这条的意义不在那 1.03 分,而在于它把「模型级自我改进的第二轮收益」量了出来:只在边界题上继续学,仍能拿到可测的增益,但已经靠近模型自身的天花板。边界同样明确:全部数字自测、无第三方复现;180B 稀疏 MoE 权重开放但需要 8 卡张量并行加专家并行才能跑;许可证沿用母模型的 Qwen Community 1.0,不是 Apache/MIT。随 R1 发布的零 Token 置信度探针是按 R1 隐状态拟合的,用在 R3 上官方只承认「粗略信号」。
原文链接:FINAL-Bench 模型卡