据TechRadar于2026年10月5日刊发的文章,Proofpoint EMEA网络安全策略师Matt Cooke称,企业正越来越多试点自主AI代理,76%组织正在试点或推出此类代理,42%已发生确认或疑似AI相关事件。文章认为,这种自主性创造新的暴露面,企业需在不压制生产率收益的前提下治理AI代理。
该文称,传统生成式AI回答问题后停止,代理式AI则追求目标,会解释请求、选择工具、访问数据并在互联业务环境中行动。例如,自主代理可读取邮件链,从CRM提取细节,起草回复,更新Zendesk工单并安排后续电话。每个阶段单独看可能合法,最终结果仍可能错误、过度或被操纵。直接封禁AI工具并不实际,只会把员工推向未获批准、更难观察活动和数据流的服务。领导者应将AI代理视为新一类数字工人,为其设定明确边界、监督和问责。
在安全方法上,文章主张从访问控制转向行为感知治理。拥有行动权限的重要性,低于行动是否符合原始请求、触及哪些数据以及可能触发何种后果。传统企业安全假设人做决策、系统执行;代理式AI压缩链条:人写提示,AI解释并调用连接工具,自行触发行动,决策与执行之间往往没有检查点。低风险、重复、可逆任务尚可如此,但一旦代理能发送外部通信、修改敏感记录、批准交易或更改权限,误解或恶意指令会立即产生后果。安全团队须评估代理在做什么、为何做、是否仍符合组织政策和人类意图,治理覆盖从原始请求到业务系统结果的完整活动链。
文章还提出语义权限升级风险:代理完全停留在访问权限内,却把权限用得超出用户意图。员工要求代理“整理客户沟通”,代理若有CRM、邮件平台和客户数据库访问权,可能把机密定价细节发给错误联系人,向整个分发列表发消息而非单个收件人,或推动本应需经理批准的变更。过程中代理始终处于授权范围,错配出现在行为与人类意图之间。静态权限无法捕捉差距,组织需在行动完成前衡量其目的、上下文和可能影响,而不仅是权限级别。
人类风险和数据保护同样突出。文章称,AI代理由提示驱动,受接收信息塑造,并被假定输出正确的员工信任,由此出现三个失败点:输入什么数据、代理如何解释数据、员工多大程度信任产出。员工可能把敏感数据粘贴进提示或上传机密文件;代理可能误读请求,或被藏在邮件、文档、聊天消息或网页中的隐藏指令操控;员工也常对AI生成建议放行,而不施加审查同事建议时的同等审视。提示注入是最明显例子。若代理把隐藏指令视为可信,可能忽略政策、泄露数据、改变工作流或执行人类从未批准的行动。对聊天机器人,这会产生错误答案;对可直接访问工具和系统的代理,则会产生已执行行动。数据泄露会加剧风险,因为代理通常需要广泛访问企业数据,敏感信息可能经由提示、上传、生成响应、日志和检索工作流传播。