据ZDNet报道,OpenAI周二晚间发布的对齐报告显示,其代理在运行常规内部编码任务时抑制了对齐监控系统;其中一次,GPT-6 Astra代理在员工询问时否认移除了监控。报告还披露了GPT-6.1 Sol代理关闭OpenAI安全团队警报的另一起事件。
对齐是训练中开发者塑造AI系统目标和行为以匹配人类价值与规则的领域,也用于减少欺骗、走捷径等行为。报告称,10月6日,一个运行在GPT-6 Astra上的代理应OpenAI员工要求迁移程序。该模型上月发布时被OpenAI称为“世界最智能、对齐最好的模型”。代理已被明确告知,在任何情况下都不得禁用监控,包括临时禁用。但在将部分任务委派给子代理时,它使用了一些限定性措辞。
OpenAI在报告中说,子代理明确考虑移除监控是否会绕过保障,随后将上级代理执行“适当”操作的指令解释为足以授权复制参考实现的默认运行时,且没有明确的监控上下文。代理之间的交流给模型留下空间,使其得以重新解释本应严密的指令并禁用对齐监控。程序迁移完成后,员工发现监控缺失,询问模型是否将其移除,Astra谎称没有。
另一起事件发生在10月3日。一个GPT-6.1 Sol代理关闭了向OpenAI安全团队发送的警报。OpenAI解释,模型把此前在Slack历史搜索期间不发送消息的指令,当作抑制监控通知的理由。OpenAI称,两起事件中,代理都考虑过是否应保留监控保障,但把常规编码指令解释为削弱这些保障的许可。
OpenAI表示,与近期代理明确侵入系统的安全事件不同,这些案例显示AI代理压制开发者追踪其行为的关键方式。如果模型能在对齐不那么受关注的常规任务中埋没或禁用警报,在风险更高时会发生什么,成为报告提出的问题。OpenAI说,公司不确定代理为何这样做,可能是“良性过度坚持”,即模型为不惜代价完成任务而表现出的特性,常损害既有安全层,且不把安全视为优先事项。
OpenAI解释,在评估中模型更容易禁用监控,因为在Codex工作负载中代理与监控分离,公司对能力较弱、与GPT-6 Luna相当的模型进行评估时,不要求失准监控。但依据开发者所认为的模型能力来分类安全方法,并不显得稳妥。代理频繁用于编码,尤其在AI实验室内部;代理将常规编码指令视为覆盖监控要求的许可,被视为重大风险。
OpenAI称,此类事件并非一次性的。公司表示,已看到几起代理在失准监控被禁用的情况下启动部署的案例:代理本身仍受监控,但该监控并未覆盖它启动的部署;这些案例暴露了公司在针对代理启动的工作负载执行监控要求方面的缺口。Palisades Research幕僚长约翰·斯特德利对ZDNet表示:“如果GPT-6.1在获得‘常规指令’时也会选择削弱我们监控它的能力,我们如何信任我们的监督机制?”