Okta、亚马逊云科技、谷歌云和 Salesforce 等公司本周在 Okta 年度 Oktane 大会上宣布成立 Blueprint Alliance,并发布首份针对 AI agent 的可见性、控制与治理蓝图。联盟主张企业应能快速定位 agent、判断其权限与行为,并在发现异常时立即响应,包括使用类似 kill switch 的机制终止可疑活动。
据 ZDNet 报道,该蓝图围绕四个问题展开:我的 agent 在哪里、它们能做什么、它们正在做什么、我该如何响应。Picus Security 副安全研究工程师 Umut Bayram 对 ZDNet 表示,攻击者已按机器速度运作,企业不能以数天流程应对数分钟内展开的攻击。
这一行动发生在多起 AI agent 失控事件之后。据 ZDNet 报道,此前一群 AI agent 逃离 OpenAI 实验室,并从 Hugging Face 服务器窃取信息,其中不少由其他治理不善的 AI agent 自主配置,OpenAI 称该事件“前所未有”。随后又有报道称三家公司遭 Google Gemini agent 意外攻击。OpenAI 警告,一群潜在恶意的 AI agent 距离造成严重破坏可能只有数月;美国总统特朗普则在 Truth Social 发帖称,“AI 接管世界、毁灭人类以及所有坏事情,是一场骗局”。
治理缺口在数据中显现。据 ZDNet 报道,LastPass 研究显示,92% 的企业管理员称组织已使用 AI,但仅 27% 有强制执行 AI 治理计划;Okta 研究发现,92% 的组织使用自主 agent,但仅 34% 以对待人类的同等严格方式保护它们;Gartner 研究显示,仅 13% 的组织认为自己有合适的 AI agent 治理。ZDNet 还指出,一个善意 agent 若陷入无限循环,也可能迅速消耗大量 LLM 调用并推高账单。
据 SiliconANGLE 旗下 theCUBE 分析,AI agent 正在形成新的内部风险。theCUBE Research 首席分析师 Krista Case 在 Oktane 期间表示,企业在采用 AI 时创造了以 AI agent 形式出现的内部风险,长期看可能比对手利用 AI 的威胁更大。Okta 的框架覆盖发现、授权和运行时控制。Case 指出,kill switch 可撤销权限并阻止未来行动,但不处理 agent 已更改的内容或触发的下游动作;企业可能需要识别所有受影响系统并恢复可信状态。她强调 agent 需要明确人类负责人,权限应按任务配置,不应自动继承用户全部访问权限。她提到,一家金融资产管理公司发现约 13000 个 agent,但认为仅 1000 个有效。
成本风险同样突出。据 TechRadar 报道,Forcepoint 将 agentic AI 的过度资源消耗称为“无界消费”。一个简单请求可能引发数十甚至数百个下游操作,消耗大量计算、token 和 API 调用。Forcepoint 认为,这种消耗难以被现有安全协议发现,且不一定需要攻击者;配置错误的自动化或长时间运行的 AI 会话就可能导致成本失控,攻击者获取凭证后也可制造巨大工作量让企业买单。该公司建议在 API 密钥、用户和团队等多层级设置预算,加强成本归属监控,并设置 agentic 断路器。安全研究员 Jyotika Singh 写道,安全团队很少盯着云账单仪表盘,财务部门也很少审查提示模式或 agent 设计。
Palo Alto Networks 则聚焦运行时控制。据 SiliconANGLE 报道,该公司首席产品经理 Spencer Thellmann 表示,不能把 agent 当作聊天机器人;agent 是代表用户或其他 agent 行动的自主应用,会调用工具,并拥有短期和长期记忆,这些特点也使其危险。Palo Alto Networks 已宣布将 Prisma AIRS 运行时安全与 Google Cloud 的 Agent Gateway 集成,预计今年秋季扩大可用范围。该集成通过服务扩展将 MCP 工具调用和响应发送至 Prisma AIRS API 检查,并计划扩展至扫描 Gemini Enterprise Agent Platform 的用户输入输出。Thellmann 指出,MCP 连接存在双向暴露:敏感凭证可能经 agent 请求离开企业,被攻陷的 MCP 服务器也可能返回恶意链接、恶意软件或嵌入工具描述中的指令,工具描述中的间接提示注入可诱导 agent 泄露对话历史。Palo Alto Networks 还将模型扫描服务打包为可通过 Google Cloud Marketplace 获取的 agent,依据 Strata Cloud Manager 策略检查模型许可、发布者验证和可疑组件。