据SiliconANGLE报道,ServiceNow总裁兼首席产品官Amit Zavery撰文指出,AI代理正从实验走向生产,安全风险随之上升,企业需建立“感知、决策、行动、安全”四层架构,将概率性输出转化为可验证的业务决策。

文章列举多起AI代理失控案例:PocketOS的编码代理删除整个生产数据库,Meta的内部代理导致敏感用户数据泄露两小时,Instagram支持聊天机器人被黑客利用劫持数千账户,研究人员还曾诱骗GitHub代理泄露私有仓库数据。Zavery认为,这些案例中代理执行了设计任务,失败的是周边控制环节。

他提出四项保障:一是“感知”,代理需实时连接跨部门、系统、云的数据,将数据视为实时信号而非快照;二是“决策”,代理应基于企业自身决策历史和政策,而非仅依赖实时数据,例如Meta事件中代理给出错误技术指导,若能参考类似历史变更或可避免;三是“行动”,需要编排层让多个代理协同完成端到端任务,并在各步骤保持策略一致;四是“安全”,代理需遵循与员工相同的访问纪律,包括限定身份、最小权限、审计日志和紧急关闭开关。

Zavery表示,模型能力提升迅速,但智能并非难点,将智能安全连接到企业系统、规则和历史经验才是AI投入落后的环节。具备上述四项保障,代理式AI才能真正创造价值。