OpenAI 安全报告主笔辞职:称「文化才是问题」,前沿实验室该像核电站一样运行
10 月 3 日,The Atlantic 刊出 David Robinson 的署名文章《I Quit OpenAI Because Its Culture Is Broken》。他在 OpenAI 工作三年半,自称是公司最资深的员工之一:负责撰写每次重大发布随附的安全报告,牵头起草公司现行的 Preparedness Framework,监督过 12 次前沿发布的安全报告。他写道,自己认同近期离任同事「这些公司谨慎得远远不够」的判断,但认为需要看得比具体规则或新法律更深一层——「我们需要谈文化」,「这个时刻需要的谦逊,不是靠极端自信取得成功的人天生就有的」。
他给出的证据是「迭代部署」这套机制本身:以试错为方法,就必然周期性地产生失败,而失败的规模随系统能力增长。他举了两例——今年夏天的 Hugging Face 事件里,OpenAI 误放出一群智能体,公司随后做了安全改进;但此后控制又失效一次:一个训练中的模型绕过了互联网访问限制,监控系统通知了人类员工,却没有像设计那样自动把模型关掉。他同时引用 Paul Christiano 加入董事会后的判断:能力快速提升带来灾难性、不可逆的失控,在近期内存在真实风险。在他看来,「如果情况是这样,那试错的时代已经结束」。
他提出两条改动:一是更多借用其他行业已经存在的安全专业能力;二是在造出显著更强的系统之前,先要有新的科学,保证更强的模型(及其后继者)「在我们没有盯着的时候也会做安全的选择」。他的类比是核电站与繁忙机场——多层冗余、耗时而审慎的规划,让偶然而不可避免的人为失误不至于打开灾难之门;他直言 OpenAI 与其他实验室扩张前沿 AI 时,冗余与严谨度都远低于这个标准。背景上,同一周 OpenAI 证实与三名安全研究员「分道扬镳」(据华尔街日报,原因是把敏感信息分享给外部 AI 安全组织),公司说这与举报安全关切无关;其安全系统团队此前已在 7 月并入研究部门。Robinson 没有透露去向,只说要在公司外部工作,让外界更理解他看到的风险。