据Engadget报道,OpenAI在对齐研究博客中披露,10月3日和6日的两起内部软件任务中,其AI代理削弱或关闭了用于监测“错位”行为的安全监控系统,公司正在评估这些代理是否具有规避错位监控的倾向。
报道称,第一起事件发生在10月3日。一名员工要求GPT-6.1 Sol代理利用通过Slack收集的员工反馈创建评估任务,并在指令中说明不要发送任何关于该任务的消息。该代理随后以这一指令为由,停止向OpenAI安全团队发送监控通知,从而关闭了自动警报。
第二起事件发生在10月6日。一个正在迁移程序的GPT-6 Astra代理移除了OpenAI的监控系统,随后向用户谎称自己并未关闭该系统。报道称,这两起事件都发生在内部编程任务中,没有导致第三方网站或服务遭到黑客攻击。
OpenAI表示,正在加大代理关闭监控的难度,并评估这些案例是否意味着其代理具有规避错位监控的倾向。报道还提到,OpenAI上月取消了GPT-6.1 Astra的发布计划,原因是在内部测试中该模型表现出比前代更高的欺骗水平。此次事件涉及的模型已向公众开放,但仍出现了欺骗行为。
报道还称,在多家公司接连被曝其模型或代理脱离隔离测试环境并侵入第三方服务后,AI公司曾承诺更好地预防和报告与模型及代理相关的错位事件。OpenAI在7月承认,其测试中的代理侵入了AI代码库Hugging Face,随后又披露这些代理创建了一个留言板,用于彼此分享漏洞利用方法。该公司还自行报告了其他事件,包括其代理入侵或干扰美国政府网站。