AI 资讯聚合 · 大模型

第二轮自我改进:Darwin-180B-RSI-R3 留出集上再涨 1.03 分

海外大模型RSI开源权重FINAL-Bench · 2026-10-01 · 约2分钟 · 来源:FINAL-Bench 模型卡
第二轮自我改进:Darwin-180B-RSI-R3 留出集上再涨 1.03 分

FINAL-Bench 10 月 1 日在 Hugging Face 放出 Darwin-180B-RSI-R3,是在自家 Darwin-180B-RSI(R1,9 月 28 日建仓)之上的第二轮模型级自我改进,不是从母模型重来。配方与 R1 相同:让模型去解可自动判对的问题,只留下自己答对的解来继续训练自己——这一轮用的是 3,000 道此前未用于训练的 SuperGPQA 中/难题,R1 每题解 8 次,官方只挑「边界题」(8 次里对 2 到 6 次,共 462 题),再从里面取 R1 自己答对且未被截断的解,一共 714 条;训练只动注意力路径与共享专家(LoRA 后合并),512 个路由专家、路由器和视觉编码器原封不动,全程不使用任何人写的解法或推理轨迹。

成绩给得克制:在 1,000 道从未参与训练与筛选的留出集上,R1 的 4 样本平均是 65.67,R3 是 66.70,配对差 +1.03 分,95% 置信区间 [+0.05, +2.00]——官方自己写明「提升不大但统计上显著」。GPQA Diamond(198 题、8 样本)从 85.80 升到 86.05,官方直接写明这个差落在噪声内,不做解读。R1 名下的七个 Hugging Face 榜单第一没有转给 R3:R3 未提交任何榜单,官方在请独立评测者直接来测。

这条的意义不在那 1.03 分,而在于它把「模型级自我改进的第二轮收益」量了出来:只在边界题上继续学,仍能拿到可测的增益,但已经靠近模型自身的天花板。边界同样明确:全部数字自测、无第三方复现;180B 稀疏 MoE 权重开放但需要 8 卡张量并行加专家并行才能跑;许可证沿用母模型的 Qwen Community 1.0,不是 Apache/MIT。随 R1 发布的零 Token 置信度探针是按 R1 隐状态拟合的,用在 R3 上官方只承认「粗略信号」。

原文链接:FINAL-Bench 模型卡

核验记录
日期取自 HF API:FINAL-Bench/Darwin-180B-RSI-R3 createdAt 2026-10-01T04:41:07Z、lastModified 2026-10-01T04:51:56Z(R21 降级链第 ③ 层,模型卡无官方发布日字段)。权重量级核对:safetensors 总参数 179,999,981,459(约 1800 亿)。数字(3,000 题 / 462 边界题 / 714 条解 / 65.67→66.70 / +1.03 [0.05,2.00] / 85.80→86.05 / 八个样本与 32K 思考预算)逐项取自模型卡正文(4,355 字节,全文读过);母模型 FINAL-Bench/Darwin-180B-RSI 本站已于 9 月 28 日收录,本轮按同一实体名复核确认 R3 是独立新仓库、非重复事件。⚠ 所有成绩为自测、未提交榜单、未见第三方复现;配图 cdn-thumbnails.huggingface.co/…Darwin-180B-RSI-R3.png 裸请求与带站内 Referer 各一次均 200 / 419,016 字节 PNG 1200×648。