谷歌云10月23日宣布推出智能体计算引擎(Agent Compute Engine),这是一项专为托管人工智能智能体而优化的基础设施服务,用隔离的沙箱环境承载智能体执行任务所需的程序与数据。据SiliconANGLE报道,该服务将在未来数月内随新版Agent Gateway一同推出。
AI智能体运行在名为沙箱的技术环境中,沙箱承载智能体完成任务所需的应用程序、数据和用户指令,同时包含阻止恶意活动的网络安全防护。谷歌将该引擎的沙箱实现称为microVM,称其结合了容器的硬件效率与传统虚拟化的安全性,并把hypervisor将虚拟机彼此隔离、阻断恶意软件扩散的能力引入其中。
这些microVM运行在专门配置的设备上。设备不保存状态,不会永久保留客户智能体使用的文件,系统留存的数据放在无法修改或删除的不可变文件系统中。谷歌用自研Titan安全芯片验证设备固件完整性,设备的中央处理器则带有针对侧信道攻击的缓解措施。侧信道攻击通过分析CPU物理状态的数据来推断其处理的信息。
在资源隔离上,运行于智能体计算引擎设备上的microVM对存储资源只有有限访问权限,攻击者即使控制某个沙箱也无法读取或删除数据。连接设备与数据中心其余部分的网络另有防护,microVM发出的流量必须经过多重代理才能到达目的地。谷歌云杰出工程师拉马纳坦·文卡塔帕西(Ramanathan Venkatapathy)和罗希特·杰纳加尔(Rohit Jnagal)在博客文章中写道,“所有进出流量都必须穿过一条隔离的点对点IPC边界”,这条边界终止于本地一个无特权的调解代理,由后者将数据包转发至外部代理,外部网关再校验请求范围并执行严格、由策略驱动的出站代理。
谷歌称,该服务会检测沙箱何时进入空闲状态并将其关闭,避免不必要的硬件占用,需要时再快速重启。上述两位工程师写道,这使“单个物理节点可承载的活跃智能体microVM数量比传统虚拟机高出数个数量级”。服务还提供克隆、快照与分叉、回退和回滚等功能,供调用框架在不复制资源的情况下使用系统。
部分智能体需要登录凭证访问其操作的应用。谷歌表示,智能体计算引擎把凭证存放在托管智能体的沙箱之外,攻击者控制沙箱后无法窃取敏感数据;智能体需要登录时,由谷歌云的Agent Gateway服务取出相关凭证并代为提交。
与智能体计算引擎一同更新的Agent Gateway用于帮助客户拦截不安全的智能体流量,将新增模型路由能力,可把每个智能体请求发送给处理效率最高的模型。该服务还增加推理成本管控工具。谷歌云副总裁尼拉夫·梅塔(Nirav Mehta)、迈克尔·巴赫曼(Michael Bachman)和凯文·哈钦斯(Kevin Hutchins)在另一篇博客文章中写道,令牌管理“提供对跨智能体和模型令牌消耗的控制,使你能够归集支出、执行预算限制,并为令牌指标提供单一可信来源”。