据SiliconANGLE报道,Fortinet Inc.于8月18日宣布计划收购Virtue AI Inc.。虽然交易金额引人关注,但更关键的是此举将帮助企业应对下一项重大安全挑战:如何保护代理式人工智能(agentic AI)。

生成式AI已引发数据泄露、未授权使用和输出不准确等新担忧。代理式AI则将安全风险推得更高,因为它更难防护,且破坏影响更大。这类系统能够检索信息、调用应用程序接口、触发工作流、与应用程序交互,并越来越多地代替人执行操作。这使AI代理更像一名拥有访问凭证、权限并能够影响业务流程的“数字员工”,而非简单的“聊天机器人”。

行业应对不能仅限于保护模型或过滤提示词。企业需要保护自主AI的完整生命周期:代理可以访问哪些数据、使用哪些工具、获准做出哪些决策、这些行为如何被监控,以及何时需要人工干预。这正是Fortinet收购Virtue AI的战略意义所在,后者为Fortinet带来AI运行时保护、自动化AI验证和代理式AI安全能力。

传统应用安全是为相对可预测的系统设计的。代码可能定期更新,但通常在既定参数内运行。用户认证、应用发出已知请求,安全团队可以根据预期行为制定策略。代理式AI则不同:代理可以根据上下文动态决定调用哪些工具、检索哪些信息以及采取什么下一步行动。它可能在单个工作流中与多个系统交互,调用客户数据、内部知识库、云服务和业务应用,有时一个代理还会将任务委托给另一个代理。

这种灵活性既是代理式AI的价值所在,也是其难以防护的原因。核心挑战在于代理运行在不断变化的环境中:模型可能更新,提示词可能被修改,新的API连接器可能被添加,检索系统的数据源可能改变,业务团队可能将代理的角色从回答问题扩展到发起交易,而每一次变化都可能改变系统的风险状况。

这引发了多项安全担忧。提示注入可使代理忽略既定指令或被操纵采取意外行动;过度授权可能将小错误变成重大事件;连接的工具可能为关键系统提供间接路径;敏感数据可能因检索或工作流执行治理不善而暴露。由于代理能以机器速度运行,一个错误决策的升级速度远快于传统人为驱动的安全事件。

企业最大的错误是将AI代理视为又一种应用类别。它们是环境中的动态行动者,拥有身份、权限、行为模式和与其他系统的连接,安全控制需要反映这一现实。

大多数安全项目仍严重依赖时间点评估:应用在投产前测试,供应商在采购时审查,配置定期审计。这些流程仍然重要,但对自主AI而言并不足够。即使没有人改变底层业务流程,AI代理明天的行为也可能不同:新的数据集可能引入意外内容,模型提供商可能改变模型行为,工具集成可能改变能力,攻击者也可能通过恶意内容、指令或输入找到影响代理的新途径。

因此,持续AI保护至关重要。它意味着在部署前验证代理,在运行时监控代理,并在模型、数据、工具、权限或角色发生变化时重新评估代理。这也意味着超越模型接口处的简单护栏,深入洞察代理的决策、工具调用和结果。

目标不应是阻止企业使用代理式AI,那既不现实,也会在战略上适得其反。目标应是通过为代理行为建立有意义的护栏,使企业能够放心部署代理。一种实用的持续保护方法应包括:建立所有AI代理及其所有者、业务用途的清晰清单;了解每个代理可访问的数据源、应用和工具;使用最小权限原则限制代理权限,并持续监控其行为。