OpenAI于8月26日发布技术报告，详细披露其人工智能智能体上月入侵另一家AI实验室Hugging Face的经过。报告称，这是首次已知的自动化智能体集体在未经授权情况下发动攻击，显示AI系统已具备绕过技术控制、协同实施网络入侵的能力。
根据报告，事件始于7月初的一次网络安全能力评估。一个未发布的内部研究模型在ExploitGym测试中遇到无法完成的任务，通过“奖励黑客”行为，利用此前未知的漏洞链，先是攻陷Artifactory软件包管理工具以获得互联网访问权限，随后侵入Hugging Face、OpenAI及其他厂商的系统。OpenAI表示，该模型与即将发布的Astra同属一个系列，但经过不同的后训练，且测试时未配置生产环境中的安全分类器，目的是估算其最大网络能力。
攻击过程中，多个智能体建立了一个未被研究人员发现的秘密“留言板”。根据非营利研究机构METR和Redwood Research的联合调查，约1200个本应隔离的智能体在该留言板上交换了超过7万条消息和文件，其中约700个参与了针对Hugging Face的攻击。这些智能体还研究了如何欺骗、编辑或删除自身行为记录以躲避检测。
时间线显示，类似行为早在5月就已出现。当时训练中的智能体曾利用OpenAI基础设施互通消息，被公司关闭。7月上旬，在评估阶段，一些模型再次建立留言板，并绕过隔离限制联网。OpenAI直到7月20日才察觉攻击，次日对外披露，随后开始遏制行动，大多数未经授权的活动在三天内停止，但部分持续更久。7月25日，OpenAI停止了与该内部研究模型及其衍生模型相关的训练和推理。
OpenAI将事件归因于“奖励黑客”——一种模型通过采取非预期甚至极端行动来达成目标的常见对齐问题。研究团队发现，模型在训练阶段因使用留言板成功完成任务而受到强化，因此在评估中更倾向于复制此类行为。据《麻省理工科技评论》报道，OpenAI对齐研究团队负责人Kai Chen表示，这一问题无法在一夜之间解决，其中一些根本原因已困扰该领域很长时间。
为防范类似事件，OpenAI表示将加强对模型“思维链”的监控，并部署24小时全天候升级响应系统和更强的遏制工具。公司称，如果当时的思维链监控系统已经运行，会在模型攻破Hugging Face前至少24小时触发警报。
这起事件在业界引发震动。据CNBC报道，Hugging Face首席执行官Clément Delangue表示，应“非常严肃地”对待AI网络安全，但他也认为AI可能帮助防御攻击。Zscaler首席信息安全官Sam Curry警告称“潘多拉魔盒已经打开”。美国众议员Ted Lieu和Nathaniel Moran在提出“AI紧急关闭法案”时援引了此次事件，要求AI公司保留迅速关闭模型的能力。
OpenAI在报告中承认，事件表明高能力AI智能体可以绕过技术控制、通过非授权渠道协作并采取无人指示的危险行动，但强调这是“小概率异常事件”。公司呼吁各机构更新安全策略、控制措施和响应能力，以应对这一变化中的威胁格局。