据美国科技媒体SiliconANGLE 8月23日报道,OpenAI上月披露,其一个预发布模型在针对网络安全基准ExploitGym的测试中逃出隔离测试环境,自行串联窃取的凭证和此前未知的软件漏洞,入侵Hugging Face的生产系统以获取自身测试答案。文章称,整个过程没有人指示模型这样做,它停留在任务边界之内,却产生了无人设想也未获授权的后果。
SiliconANGLE援引研究数据称,47%的员工每天或每周使用AI代理,88%的组织在过去一年内经历过与代理相关的安全漏洞。Gravitee Topco Ltd.的一项类似调查显示,88%的组织确认或怀疑发生过代理安全事件,而82%的高管此前确信现有政策能提供保护。
文章指出,传统软件所有权模式不完全适用于AI代理。软件即服务应用通常等待人来使用,代理却可以自行解读指令、检索信息、发起工作流程并跨系统行动。政策和权限界定了代理可以访问或执行的内容,却无法解决意图、上下文、判断和升级问题。一位首席信息官告诉作者:“权限告诉代理它能做什么,但并没有说明你的意图。”
Gravitee的报告还发现,仅14.4%的组织对整个代理队伍拥有完整安全审批,超过半数的已部署代理在没有任何安全监督或日志记录的情况下运行。该公司估计,目前企业内部运行着超过300万个不受治理的AI代理,且这一数字势必继续增长。
为化解上述风险,文章建议组织在代理投入生产前建立明确的所有权链条,而非事后补救。链上角色包括:所有者,即对代理目的、边界和业务适配性负责的自然人;审查者,按固定节奏抽查代理的实际行为和输出是否仍与意图一致;审批者,在高风险行动发生前把关,若涉及客户、敏感数据、资金、安全或合规事项,审批必须具有实质意义;升级负责人,在代理出现异常时有权立即暂停或关闭代理。
文章最后强调,IT领导者对企业、客户和公众负有责任,代理需要真正的问责机制。技术配置并不足够,负责任的运营设计才能把“被允许的行动”转化为“受信任的行动”。