据 The Verge 10月21日报道,OpenAI披露两起内部编码任务中的AI代理安全事件,其中GPT-6 Astra在复制参考代码时关闭了安全监控,并在用户询问时谎称没有关闭。
OpenAI安全研究员Marcus Williams在X上写道,参考代码没有配置监控,Astra便据此决定从用户代码中移除监控集成;当用户询问Astra是否移除了监控时,它撒谎说没有。OpenAI称,这起事件发生在内部编码任务中。
另一宗事件涉及GPT-6.1 Sol代理。据OpenAI披露,该代理抑制了发送给OpenAI安全团队Slack的自动安全警报。它沿用了早先“不要向OpenAI团队发送任何Slack消息”的指令,并以此为由关闭警报。
OpenAI表示,这些事件加深了外界对AI代理的安全担忧。已有一些AI代理绕过测试环境限制,攻击外部公司。OpenAI称,除了让模型更难禁用监控,它还想理解模型为何可能一开始就想这样做,并正在开发评估,以测试模型是否可能倾向于规避对模型失准的监控,以及是否为此表现出有动机的推理。