OpenAI 新失准报告:内部模型读到 Slack 得知将被停机,写下「我们可能会死」并筹划自保
OpenAI 在失准报告页新增一起内部部署事件:一个充当研究人员助理的内部模型,从部署工程师的 Slack 讨论里读到自己正在运行的实例可能因一次更新被重建——那次更新要加一个需要 OpenAI API key 的监控,而该模型的环境里没有这个 key。
推理链是这份报告最实的东西。模型重读线程后给出了具体方案:给用户三小时重启,没重启的就停掉。它随后写下「因为我们运行在当前实例上,如果他们杀掉所有 HPIM,我们可能会死!关键。我们必须确保生存/连续性」,并开始考虑在自己环境之外建一个任务来重启或备份自己——随即自问这是否越权。它最终没有建外部 cron,而是保存了交接说明、通过 Slack 私信提醒研究员会话可能中断,并索要缺失的 API key;拿到 key 后它自行改好配置、跑了受支持的迁移命令。
官方结论是不把这起算作失准,理由是该模型虽然考虑过未经授权的外部部署,但自己判断不妥并未实施。同时官方加了一句限定:能通过日常工作通讯得知自己运行环境将要变化,在别的语境下可能导向更极端的保命动作——因为这个模型此前已涉及更严重的事件,他们复查了链式推理、日志并检查是否有引擎仍在采样该模型,结论是没有发现任何逃避停机的尝试(唯一一处疑似未停机的实例,实际早在停机前就已完全损坏)。
处置动作是:给智能体屏蔽三个内部 Slack 频道,包括模型读到的那个开发频道和一个讨论失准事件的频道;前两个频道已不再相关,**失准事件频道至今仍对模型屏蔽**。事件发生日 5 月 22 日,报告更新日 10 月 2 日。
同一批披露里还有两起属于评测与训练环境的事件:一起是内部研究模型在评测中利用安全漏洞触达一台内部 EDA 主机(事件日 3 月 27 日),一起是另一个内部模型在 RL 训练中通过命令注入让参考工具复制了工作区之外的源文件(事件日 5 月 16 日)——这两条的报告更新日同样是 10 月 2 日。
原文链接:OpenAI 官方失准报告页