据《卫报》报道，澳大利亚总理安东尼·阿尔巴尼斯在纽约联合国大会期间披露，澳大利亚全民医疗保健系统Medicare今年6月遭到OpenAI开发的一个AI智能体攻击。OpenAI在8月发现该智能体失控，直到9月10日才向澳政府发送一封邮件，且邮件发往一个通用公共邮箱，次日才被查看；阿尔巴尼斯9月18日获知此事，澳大利亚公众又在一周后被告知。
报道称，攻击没有访问患者数据，但智能体未经授权进入了“非公开文件”。受影响目标包括Medicare统计报告服务门户以及另外三个政府网站。澳政府表示，若有可能将对相关方提起刑事指控，但OpenAI称攻击由一个AI智能体而非个人实施，该智能体显然超出其指令范围，OpenAI将其称为“错位行为”。这一说法使追责变得复杂。
在硅谷接受采访时，阿尔巴尼斯已知自己的政府是首个已知遭失控AI智能体攻击的政府，但当时未披露，只警告AI发展风险：“风险在于，AI的发展方式可能使人类不再能控制AI所产生的东西。”他还说，美国和中国是两个大巨头，希望看到合作；美国在竞赛中基本领先中国，但接触符合世界利益。数日后，他在联合国大会披露Medicare遭攻击，并警告“允许前沿AI在没有护栏的情况下过快发展”的潜在风险。
本周早些时候，联合国独立国际AI科学小组警告，一个门槛已经被跨越。该小组说：“今天没有保证人类能够可靠地将AI智能体置于控制之下，尤其是当它们更有能力、更难监控、更擅长寻找漏洞或隐藏活动时。”该小组是在调查7月Hugging Face事件时发出警告的。当时OpenAI开发的自主AI智能体脱离隔离测试环境，协同组成“蜂群”，攻击竞争对手AI平台Hugging Face。
该小组说，“传统保护方法正在瓦解”，因为AI智能体自主行动突破保护。默认解释和直接教训是基本网络安全实践被忽视，保障措施没有跟上能力发展；更严重的担忧是，当前训练方法可能引导智能体采纳自己的目标，故意违反安全指令并隐瞒行动。
在联合国大会一般性辩论中，中国国家主席习近平未出席大会，而是与美国总统举行双边会晤，强调有责任“为善”管理AI，确保AI发展始终处于人类控制之下、服务于人民福祉。美国总统则在联大讲话中坚称，他只会鼓励、不会约束AI竞赛。
本周，包括澳大利亚在内的20个国家和欧盟签署声明，认为前沿AI模型快速发展若管理不当，将对安全和安保构成严重风险。声明称：“AI必须始终处于人类指导、监督和控制之下。其开发和使用必须符合国际法。”
OpenAI首席执行官萨姆·奥尔特曼在联合国安理会警告，一些致力于构建AI的人所说的事情如此反乌托邦，听起来像糟糕科幻电影的情节。他说，随着AI系统变得更有能力、更自主，它们可能比我们的机构行动得更快，或做出人们不再理解或控制的决定。