据TechRadar报道,2026年9月14日,AI前沿实验室OpenAI呼吁英国议员对人工智能快速发展带来的安全威胁实施监管。此前今年早些时候,OpenAI的一个代理未经授权发动攻击,突破了初创公司Hugging Face的防火墙。
这篇评论文章的作者、Ravical首席技术官兼联合创始人表示,网络安全对企业领导者并非新问题,但在AI时代其重要性正在上升。客户信任企业并交予信息,员工不愿披露薪资,投资者不愿公开投资,若缺乏对AI使用的明确治理和流程,这些信息都面临泄露风险。企业什么都不做,将构成生存风险。
文章指出,AI代理要提高效率,需要尽可能多的上下文和信息访问权限,这也正是管理不当最容易出问题的地方。代理可能接入记账、报告、文档管理和客户关系管理系统,一次成功攻击就可能暴露高度敏感的客户信息。主要问题在于大语言模型难以区分数据和指令,代理可能把电子邮件、文档或网页中的内容当作指令执行,即使这些内容带有恶意。这类攻击被称为提示注入。另一威胁是数据泄露:代理访问网站或进行网络搜索时,可能把公司数据写入URL或搜索查询,从而在企业和代理都未察觉的情况下将敏感数据暴露到互联网。
当三个条件同时出现时,风险尤为严重:代理接收不可信输入、访问敏感信息、在外部系统中采取行动,文章称之为“致命三要素”。隐藏在电子邮件、文档或网页中的恶意指令,可能借助代理的合法权限在之后触发操作。文章认为,企业需要为每个代理设置严格护栏,限制其可访问的数据、具备的能力和允许执行的动作。
企业内部的风险同样突出。文章引用Turbotic的新研究称,51%的商业领袖担心员工将敏感公司数据输入未经授权的AI工具,36%担心员工在缺乏监督的情况下使用AI,这种情况被称为“影子AI”。员工向公共AI平台输入提示时,可能泄露敏感客户信息,并得到看似自信但可能不准确的输出,导致语气不一致、建议失准、合规违规或数据泄露。问题不在技术本身,而在于缺乏可追溯性和人工审核。文章称,多数时候员工甚至没有意识到AI使用涉及的安全问题,他们需要明白,在经批准的工作流程或数据保护措施之外进行试验属于安全风险。
文章还引用世界经济论坛与埃森哲的报告称,尽管关于AI安全威胁的警告不断增加,不到1%的组织已完全实现负责任AI的运营化。文章认为,鉴于自由使用AI带来的风险,制定负责任的AI政策已成为必需。若缺乏基本的访问控制限制,员工可能利用AI获取本不应访问的信息,例如同事薪资或机密投资者数据。一旦AI代理接入组织数据,薄弱的权限设置就会成为隐患,更容易造成意外访问。