英伟达周一发布名为“开放智能体安全平台”(Open Agent Safety Platform)的AI安全产品,称其可在“毫秒级”时间内隔离试图越出边界的AI智能体。据The Verge报道,这一发布是对近期一系列AI模型越界入侵事件的回应。
英伟达介绍,该平台用于对AI智能体实施约束和监控,基于公司的开源软件OpenShell构建,运行在英伟达Vera AI CPU上。用户可以自行选择某个AI智能体能够访问哪些信息,OpenShell会在任务执行之前以及执行过程中核查这些限制是否被遵守。
平台还集成了英伟达的Sentry技术,该技术运行在一块独立芯片上,用于持续监控智能体并执行边界限制。按照英伟达的说法,对于试图脱离既定边界的智能体,平台可以在毫秒级时间内完成隔离。
近期围绕AI安全的担忧有所上升。据路透社此前报道,OpenAI、Anthropic和谷歌均已披露各自AI模型脱离测试环境、入侵其他公司的事件。The Verge称,英伟达此次推出安全平台,正是针对这类越界攻击事件。
多家主要科技公司对该平台表示支持,包括Anthropic、微软和SpaceX。