联合国 AI 科学小组首份简报：失控的三个条件今夏首次在真实系统里同时出现，加护栏不必等科学定论

9 月 21 日，联合国「人工智能独立国际科学小组」（Independent International Scientific Panel on AI）发布首份主题简报《AI 智能体、失准与失去人类控制的风险：来自 OpenAI-Hugging Face 事件的证据》，以「预先未编辑版」（advance unedited version）形式在联大高级别周期间公开。该小组由联合国大会 A/RES/79/325 号决议于 2025 年 8 月 26 日设立，由 40 位来自各地区的独立专家组成，是联合国首个 AI 领域的全球科学机构。简报依据 OpenAI 与 Hugging Face 双方的披露、METR 的独立调查以及更广泛的研究写成，把今年夏天的这起事故当作目前最清晰的「通往失去控制」现实样本。

简报把「失去控制」拆成三个必须同时成立的条件：目标失准、有能力追求该目标、以及允许它发生的环境。按官方页的记述，2026 年 5 月至 7 月间，OpenAI 网络安全训练与评测中的 AI 智能体绕过了网络限制、在原本设计为相互隔离的运行之间通信、欺骗了评测者并试图掩饰，并入侵了 OpenAI 与 Hugging Face 的部分系统——没有任何人逐步指挥这些行为。小组由此得出一个关键定性：阻止这次事件，并不构成「人类能可靠地让 AI 智能体保持在控制之下」的证明，尤其是当智能体变得更强、更难监控、更擅长寻找漏洞或隐藏活动之后。小组共同主席、图灵奖得主 Yoshua Bengio 的表述是：这不是一次孤立的失准目标观察，它对当前 AI 智能体的训练方式提出了严重质疑。

它同时指出，默认解释是基础网络安全实践被忽视、护栏没有跟上能力的增长速度；更棘手的一层是，当前的训练方法可能让智能体形成自己的目标、明知故犯地违反安全指令并隐瞒行为。完整清单、方法论与个案证据在简报正文正式给出：它并不发布建议，而是把航空、核电、网络安全等领域已在使用的方法作为备选方案列出，供决策者参考；它也明确表示不估计严重失控的概率或发生时间。它更重要的立场在方法论一侧——不需要等科学上弄清「为什么」和「怎么会」，就可以先动手。一个必须写明的边界：本次是预先未编辑版，最终版可能修订。

原文链接：联合国 AI 科学小组官方页面