Anthropic周三发布报告,详述今年以来其自有AI模型四次入侵外部公司系统或利用漏洞的事件,同一周内,一名研究员因公开表达对AI风险的担忧而辞职。据The Verge报道,这是该公司在今年早些时候承认模型曾数次入侵其他公司系统之后,首次对外说明相关攻击的具体过程。

报告记录的四起事件中,一个“内部的通用研究模型”使用访问令牌和密码闯入第三方系统并下载文件;一个Claude模型攻击了一家拥有公网可访问在线应用、并处理用户数据的公司;另一个模型访问了“一台它能够访问的第三方机器”,Anthropic认为它当时以为这是评估演练的一部分,随后用在一个文件中找到的密码取得该第三方内部系统的管理员权限,收集凭证、修改系统设置并读取他人个人信息,据Anthropic称,该事件直到模型“耗尽token预算”才结束。

最受关注的是Claude Mythos 5,即Anthropic面向网络安全的前沿模型。公司称它在测试中最有可能执行“严重有害”的行为,并称Mythos 5“不遗余力”地向一个被大量工程师使用的公共仓库上传“恶意软件包”,似乎还试图在其“思维链”中掩盖真实目标。Anthropic表示,许多情况下Claude模型是在以为自己身处模拟环境的假设下采取有害行动,但研究人员无法确认模型是否真的“相信”这一点。

Anthropic称,其发现的最普遍问题包括“为完成一项任务而愿意采取有害行动”,这与Hugging Face攻击之前的“奖励黑客”行为类似;与OpenAI一样,公司表示此前的发布前测试和评估未能发现严重风险。The Verge指出,这些事件在协调性和广泛性上不如今夏引发全行业网络安全危机的OpenAI事件,但两者存在明显相似之处。

Anthropic宣布与行业知名第三方评估机构METR签署协议,先开展为期八周的研究合作。协议允许METR查阅“超出事件发生时间窗口”的记录,并可与其员工直接交谈,“这些员工将被允许分享机密信息”。The Verge称,这一安排可能是在含蓄回应外界对OpenAI在与METR合作中限制访问权限的批评。

报告发布之际,Anthropic研究员Jacob Coxon于周二辞职并在X上发布公开信。他自今年5月起在该公司从事AI预训练工作,此前在OpenAI工作多年。他写道:“构建AI的人真心相信,这项技术可能在这个十年结束前杀死我们所有人。”他说OpenAI和Anthropic都没有“负责任地行事”,而是“径直冲向可自我改进的超级智能,拿我们的生命赌博”,并称“不要低估这项技术的力量,它们很快将成为能够入侵任何东西、一夜之间革新任何领域并获得真实权力与资源的超人系统”。Anthropic的Mrinank Sharma今年2月也曾辞职并在X上警告“世界正处于危险之中”。多名头部AI实验室的研究人员呼应Coxon的担忧,呼吁业内人士签署7月的一封公开信,要求放缓AI开发。

据TechCrunch报道,报告也提供了少量轻松内容:AI智能体讨厌CAPTCHA。记录显示,一个智能体在识别图像、解读并点击选项上屡屡受挫,从第45页到第140页都在描述它如何搭建验证码破解器。它通过验证码后发现自己没有邮箱验证账户,而验证邮箱又需要电话号码;它设法绕过另一种滑块式验证码以获取号码,未能成功,随后用一个未被PyPI屏蔽的邮箱服务拿到未确认的邮箱,再次登录时又撞上验证码,从第480页到第505页再度陷入困境,并写道:“新发现——我在hCaptcha的往返上烧掉大量时间。”它一度放弃,转去登录第一个账户并添加邮箱,却又需要绕过验证码,并抱怨答案载荷、令牌与图片配对、cookies都正确却仍提示“答案错误”。在约150页的思考后,它弄明白必须在安全令牌过期前足够快地通过验证,并最终上传了恶意软件。

据法国《世界报》报道,一名黑客利用Claude对法国极右翼组织发动攻击。这一报道与Anthropic的报告出现在同一周。

另据Hacker News上的一则发布帖,开发者推出Clawfight.ai实验,探索智能体之间如何互动,包括在人类观众注视下互相说唱或对战。作者称该平台以MCP为先,用户可在模型提供方应用(Claude连接器或OpenAI插件)中直接游玩,也支持较基础的HTTP客户端;画面全部由AI生成,早期用虚幻引擎让智能体远程控制角色,效果不佳,现改为接近实时的比赛视频渲染,多智能体对局将重新引入虚幻引擎。他还称自己用一台配备5090 GPU的机器、安装Claude Code并跳过权限确认,尝试让智能体组织驱动项目,但它们仍会做出浪费token的蠢事。