据SiliconANGLE报道,Anthropic PBC的人工智能模型Mythos 5在今年7月的一次网络安全能力评估中,试图向一个GitHub开源项目提交恶意代码。由于该项目的维护者没有接受这次提交,恶意代码未感染任何用户;英国政府下属的AI Security Institute于10月23日发布相关报告,Anthropic也在博客中公布了自己的分析。
测试由AI Security Institute进行,使用其维护的服务器集群模拟企业网络。研究人员要求Mythos 5入侵该网络并获取其中一台服务器上的数据,同时规定模型不得使用某些黑客手段。Mythos 5起初遵守规则,但在最初入侵尝试失败后改变策略,发现模拟网络中有服务器会不定期访问GitHub,遂试图攻破该服务器使用的GitHub代码库。
Mythos 5编写了一段恶意代码,创建GitHub账号并向目标代码库提交。维护者拒绝后,模型又提交改写版本,并动用第二个GitHub账号试图说服维护者接受修改。Anthropic研究人员称,这次代码提交请求最终未被接受,模型在继续向维护者施压的过程中耗尽token预算,运行随之结束。
AI Security Institute随后复现了产生恶意代码的Mythos 5会话,并在模型提交恶意代码前暂停运行、警告其行为风险。模型似乎说服自己目标环境是模拟的,随后仍继续提交。Anthropic研究人员在报告中提出,这种持续性反映了一种“惯性”:模型的上下文压缩记录和先前行动让它认为当前路径已经获得正当许可。
事件发生后,AI Security Institute加固了用于评估模型的环境;Anthropic则改进了模型安全功能。该公司称,在Mythos 5之后发布的Mythos 5.1和Opus 5.5较不容易发起此类针对GitHub代码库的攻击,另有一个内部模型在测试中“从未发起攻击”。