Anthropic 公司警告称,小型 AI 模型的进步可能很快催生能够自我复制、感染智能冰箱和吸尘器等物联网设备的恶意软件,且这类恶意软件难以被集中关停。据 Ars Technica 报道,Anthropic 说,到明年,较小的 AI 模型或许能在各类物联网设备上自主自我复制。
Anthropic 在博客文章中说,这样的复制器将难以关闭,因为没有集中关停点,虽然它可能很慢,倍增时间以天计;与非 AI 恶意软件不同,它还能自行识别不熟悉的设备。公司最近实验显示,实现这种 AI 恶意软件复制器仍面临重大挑战,但结果引发对新型计算机蠕虫的担忧。
据 The Verge 报道,Anthropic 本周发布的博客文章警告,小型 AI 模型可能“数月后”获得这种能力。其实验提供了一些证据,但在研究人员所展示的能力和他们预言的迫在眉睫威胁之间仍存在巨大差距。接受 The Verge 采访的专家表示,计算机蠕虫和对自复制 AI 的恐惧并非新事,但近期进展表明有理由认真对待警告。Ars Technica 称 Anthropic 预计到明年可能实现自主复制,The Verge 则称其警告“数月后”可能获得能力,两家媒体对时间表的表述存在差异。
Anthropic 研究人员测试了一个模型能否在由较小、较弱的设备组成的网络上运行。他们成功将谷歌的 Gemma 4,一个拥有 260 亿参数的模型,分割到 15 个 Android 智能电视盒子上,这些盒子没有单独运行它的能力。它最终运行起来,但速度非常慢。
随后,研究人员构建了一个模拟计算机网络,设计得像 Android 设备,并释放一个 AI 驱动的“蠕虫”,其任务是寻找新机器、把 AI 模型复制过去并让其在每台机器上运行。被传播的模型是 Meta 的 80 亿参数 Llama 3.1-8B,与协调攻击的模型不同且小得多。只有测试中最复杂的模型,即中国 Z.ai 的 GLM-5.2,成功传播到整个网络,较小的模型只能完成单个步骤。研究人员根据改进速度预测,较小的模型可能在年底前达到 GLM-5.2 的能力。
研究人员写道,作为超越实验的预测,他们预计未来会充斥着运行在各种硬件上的代理,包括一些不受人类控制的代理。他们承认尚未展示“一个完全失控的复制器”,也不知道它会是什么样,但表示发现显示了“AI 蠕虫的生命迹象”,并呼吁加强许多设备的安全。他们还写道,应该强化系统使复制器难以传播,同时准备应对它们长期存在的世界。
The Verge 指出,Anthropic 没有用自己的模型进行这些测试,并多次论证其 AI 模型的开放替代品比封闭系统带有“更多风险”。警告引发了公关炒作和 AI 末日论指责,因为展示 AI 能在一堆廉价电视盒上缓慢运行,与自复制 AI 蠕虫撕裂家用设备之间存在巨大鸿沟。但报道也称,质疑公司动机固然值得,故意散布恐惧的指控很难证实,尤其因为 Anthropic 长期提出 AI 安全担忧,而且并非唯一调查自复制 AI 威胁或呼吁改善联网设备安全的公司。报道还提到,加州 AI 安全研究公司 Palisade Research 今年早些时候也进行过相关演示。