Apple 发 RLTL;DR：让模型把失败写成的「洞见」内化进权重，零成功任务 Pass@1 提到 14–31%
9 月 29 日，Apple 研究者在 arXiv 公开 RLTL;DR（NeurIPS 论文，Apple 机器学习研究页 10 月 1 日上架）。它要解决的是可验证奖励强化学习（RLVR）在自我改进场景下的死结：任务难到模型的多次尝试全失败、命中率为零，又没有教师模型或范例解答可蒸馏，于是标准 GRPO 在「全部失败」的样本上拿不到有效学习信号。
做法是让模型自己写反馈：每次失败后把验证器的输出交给策略，让它写一条「TL;DR」式的洞见；下一次 rollout 以此前全部洞见为条件，如此顺序采样直到找到解；再对上下文里的这些洞见做反向传播，把「任务 → 洞见」的映射内化为权重里的一条直接映射。在筛到 Pass@128 = 0 的工具调用与代码数据集上，Qwen 3.5 9B Thinking 的 GRPO 基线 Pass@1 停在 0–1%，RLTL;DR 训练时洞见在上下文里能到 14–31%，评测时上下文里不带任何洞见仍有 12–13%。作者进一步把方法压成 SFTL;DR：只在 4,000 条「任务 + 洞见」元组上做监督微调、不看也不反传任何 rollout，几乎复现了同样的成绩。
它改变的是「零成功任务」这条边界——只要验证器能给信号，失败轨迹本身就能当训练数据，模型不必等到某次尝试碰巧成功才学得动；对部署方而言，最该记住的是内化后的 12–13%，那才是拿掉拐杖后的成绩。边界照写：全部数字来自论文自测，尚无第三方复现；实验规模限于 9B 级模型与两个数据集，更大规模与跨任务泛化未给。
原文链接：Apple 机器学习研究页
核验记录
官方研究页直读（26,328 字节），页面写 content type paper / conference NeurIPS / published October 2026 与摘要全文；论文版日期取自 arXiv 2609.37633 的 citation_date 与 citation_online_date（两者同为 2026/09/29），Apple ML 官方 RSS pubDate 为 2026-10-01 08:00（上架日，晚于论文日），故 date 取 9/29。Pass@1 0–1% → 14–31% → 12–13%、Pass@128=0 筛选、4k 元组 SFTL;DR、Qwen 3.5 9B Thinking 均逐字取自该页摘要；配图为 Apple ML 研究站通用 OG 卡，非本篇专属图（裸请求与带站内 Referer 各一次均 200）。
← 上一篇Multiverse 开源 ProvenanceGuard：专治智能体「引错源」下一篇 →Inception 把扩散 LLM 接上语音：Mercury Voice 转正，首答 token 中位 320 毫秒