OpenAI 发布前沿训练安全案例框架：训练跑开跑前先写安全论证，高管各持否决权

OpenAI 发布《Towards safety cases for frontier AI training》，把航空与核电业里的「安全案例」概念搬进前沿训练流程：在预期会显著提升能力的强化学习训练跑开始前，先写出有证据支撑的安全论证。文档把范围明确限定在前沿 RL 训练，部署阶段更广的对齐问题另行处理，并自述安全案例是「我们要去构建的一颗北极星」——官方承认 AI 能力每上一个台阶都带来新的涌现复杂度，很难做到航空、核电那样的严谨度，因此这批指南是当前学习成果，会随内部流程迭代而变化。

技术层分三块。对齐：用智能体与人工两种方式复核 RL 环境里模型可能钻的空子，校准打分器以阻止 reward hacking 被正向强化，并禁止自动打分器读取模型的思维链，防止模型学会对监控隐藏推理。隔离：多层沙箱与训练基础设施加固，用训练中途的检查点对隔离措施做红队测试，限制样本之间的高带宽通信，并把智能体对话记录写入不可改写的存储。监控：监控须对历史事故保持高召回，评估集要持续更新以覆盖新风险，高优先级告警要在约定时限内有人响应——必要时值班人员被呼叫、夜间无人应答则自动暂停训练。

运营规则是这份文档最不常见的地方：安全案例起草后，由另一个团队的成员写一份「异议（pre-mortem）」指出潜在漏洞，训练团队必须回应；研究方向负责人、安全负责人、首席科学家等高管各自拥有否决该次训练的权力；负责该次训练的资深负责人要在绩效评估里为安全案例与事故响应负责；监控与自动暂停必须「失效即关闭」（fail closed），即监测未开启就无法启动训练，也无法在训练、评估或内部部署流程内把监控关掉。它改变了什么：实验室过去的公开安全承诺多落在部署前后，这份文档把问责装进训练过程中间，并要求披露残余风险与事故复盘。代价是它仍是自我声明——可见范围只有内部监督委员会与「获得足够访问权限」的审计者，外界看不到任何一份具体案例。

原文链接：OpenAI 官方页面