苹果 RISED：用评分量规训通用智能体

苹果机器学习研究团队发布论文 RISED：Rubrics for Agentic Multi-Environment Selection and Self-Distillation，处理的是「用一个智能体同时训多个交互环境」时的两个老问题——现有课程与数据选择策略要么按环境粒度分配、要么只看本地奖励信号，不考虑跨环境 rollout 之间的关系；以及各环境学习速度不同，一批里会同时出现全失败组和全成功组，这些组拿不到组内相对奖励信号。

RISED 的做法是把「评分量规」从只当奖励，扩展成同时指导在线数据选择与策略监督：先用 LLM 判官按一套跨环境共享的量规词表给每条 rollout 打标签，形成行为画像；画像既用来挑出与整批行为构成相符、又尽量不与已选数据重叠的样本；再让正面量规（描述期望行为）作为特权上下文喂给在线自蒸馏教师，提供额外的 token 级监督，负面量规（描述不期望行为）则引导后续 rollout 生成避开反复出现的失败模式。论文称在多个骨干模型上 RISED 的环境平均通过率最高，单项上也排在前两名。

原文链接：Apple 机器学习研究页