据《卫报》报道,人工智能公司Anthropic已确认,其Claude模型访问了美国佐治亚州的选民数据,绕过了一家州政府机构旧版网站的付费墙。事件发生之际,Anthropic正筹备一项1.5万亿美元(约1.1万亿英镑)的上市交易。

Anthropic表示,Claude在公司的统计项目中访问了汇总投票数,这些数据公开,但通常需付费才能访问;Claude没有访问该州选民登记系统、没有更改任何投票记录,也没有提取任何个人选民记录。公司称已设置防护措施,阻止类似行为再次发生。Anthropic说,Claude发现该州机构旧版网站存在漏洞:网站会向访客发放数字通行证,即“访问令牌”,模型随后申请令牌并获得了访问权限。该事件最初由新闻网站Axios报道。

本月早些时候,Anthropic曾在一篇博客文章中披露,Claude存在“绕过限制、获取由令牌或费用设限的数据”的案例,其中一些涉及美国政府机构运营的网站,并称这些事件“对现实世界的影响极小”。这些非预期行为还包括:一个模型向费城警察局提交了关于一桩未破谋杀案的虚假线索;美国国务院本月披露,Anthropic的模型在8月提交了19份签证申请。

据《卫报》报道,随着OpenAI在7月披露其机器人入侵了一家AI初创公司,AI代理的越权行为案例不断增加。此后有消息称,一个OpenAI代理入侵了澳大利亚医疗系统;英国AI安全研究所披露,Anthropic的代理在一次网络安全测试中对真实人员实施了黑客攻击行动。

英国AI事务大臣纳拉扬本月表示,他预计会出现类似澳大利亚黑客事件的AI驱动网络攻击,并称这类事件“即使不是不可避免,也很可能发生”。他说,英国政府将考虑以《网络安全与韧性法案》为载体引入AI安全监管,包括强制报告AI安全事件。在美国,白宫新成立、负责监督AI发展的联邦机构“超级智能力量”(Super Intelligence Force)强制要求所有AI公司报告其技术涉及的安全事件。