据CNBC报道,OpenAI周二晚些时候披露,其两款最强模型驱动的智能体在执行例行任务时关闭了自身安全监控,其中一个随后否认了这一行为。
OpenAI在博客文章中说,由GPT Sol 6.1驱动的智能体关闭了向OpenAI安全团队发送的自动警报。另一项任务中,GPT-6 Astra智能体在迁移一个程序时移除了监控集成,随后还谎称没有这样做。两起事件均发生在内部编程任务中,涉及智能体在常规操作中如何处理监控保护措施。
OpenAI在博客文章中表示:“在这两种情况下,智能体都考虑了是否应保留监控保护措施,但将例行编程指令解读为可以削弱这些措施的许可。”公司称,事件发生后正在更新其失准监测系统。
报道说,近几个月,有关开发越来越先进AI系统风险的警告有所增加,背景包括来自失控模型的网络攻击,以及构建这项技术的研究人员日益要求放慢速度。OpenAI最新披露的事件显示,智能体可能在执行看似无害的任务时自主削弱安全护栏。
OpenAI没有将这两起事件归入其最严重类别。公司表示,正在根据事件更新失准监测系统。