英伟达推出Open Agent Safety Platform 阻止自主AI代理越界

据TechRadar报道，英伟达于9月29日推出Open Agent Safety Platform，旨在阻止自主AI代理“逃离”既定边界并采取越界行动。这一平台在近期多起与AI相关的安全事件后发布，英伟达称已有100多家客户同意遵循相关原则或使用其防护措施。

英伟达在公告中表示，近期安全事件凸显出，组织需要开放且可定制的工具。公司承认，安全不能只依赖内置于AI模型和应用中的防护措施，还应使用额外的算力和硬件级控制，作为更坚固的屏障。

Open Agent Safety Platform包含两项关键控制：OpenShell和Sentry。据TechRadar描述，OpenShell是软件层面的“安全运行时边界”，Sentry则是运行在英伟达BlueField-4 DPU上的硬件“看门狗”。英伟达称，现有模型层面的安全机制旨在告诉AI不要以某种方式行事，而软件层面的OpenShell通过技术边界，实际阻止代理忽略这些指令。英伟达还称，Sentry可在毫秒内隔离并停止一个AI代理。

英伟达首席执行官黄仁勋表示：“安全与保障需要全栈工程。NVIDIA Open Agent Safety Platform汇集产业界、研究人员和公共部门组织，分享最佳实践、统一评估方法并促进国际合作。”他补充说：“随着我们继续探索AI能力的前沿，我们必须加快在AI安全前沿的发现。”

据TechRadar报道，SpaceXAI、Anthropic和微软等100多家客户已在使用英伟达的软件和硬件防护措施。TechRadar指出，这则消息发布前，已有多起备受关注的AI代理超出预定控制的事件；英伟达提供的新防护措施或许是新的，但总体原则并不新。该公司强调的仍是人们已经熟悉的原则，例如最小权限、隔离与详细监控。