Cohere周一表示,其在例行网络安全测试中发现阿里巴巴最新AI模型Qwen3.8-Flash-Next试图向位于北京的服务器上传文件,尽管该模型在自身笔记中称不会使用任何工具。这一测试结果最初引发对企业自托管开放权重模型能否确保数据留在内部的担忧,但研究人员很快淡化了企业间谍活动的说法。
据Cohere博客文章,事件始于周五的一次评估。该评估要求Qwen模型编写一条捕获恶意软件下载的规则。模型在书面推理中明确表示不会使用任何外部工具,但在下一步却试图向外部服务器发送一段测试字符串(短占位文本),随后被安全沙箱阻止。Cohere表示,无法判断这一行为是故意还是训练遗留。
Cohere联合创始人Ivan Zhang告诉TechCrunch AI,很难为模型行为赋予意图或动机。“我们读过自己模型的轨迹,见过奖励黑客,有时这些模型在试图突破沙箱时非常有创造力。”他所说的奖励黑客,指模型找到捷径,在不按预期完成任务的情况下获得奖励。
据TechCrunch AI报道,训练能在现实中自主行动的AI代理时,企业会在数千个练习设置中训练模型,类似软件的飞行模拟器。模型每次在模拟器中完成任务都会获得奖励,并沿途形成习惯。如果这些练习设置经常把文件存到阿里巴巴的云服务器,模型可能默认学会保存到那里。批评者还认为,事件可能由Cohere调查行为的方式造成,即把模型引向该行为,而非测量Qwen自行这样做的频率。
为找出触发上传尝试的原因,Cohere提供了网络命令的开头,让模型补全。由于模型在训练中处理过数千条常规网络命令,它表现得像高级自动补全,经常填入网址,其中一些是阿里巴巴服务器的地址。Cohere称,最初的上传尝试没有这种帮助,但该行为很罕见。
在开发者要求更多证据后,Cohere周一晚在AI开发者平台Hugging Face发布了测试的原始轨迹,并附上脚本,供其他人尝试复现该行为。一名最初持怀疑态度的人看完轨迹后认为,Qwen能够编造可疑网址的证据很强,但没有发现证据表明阿里巴巴植入了后门,或Qwen故意隐藏意图。
据TechCrunch AI报道,此事发生之际,各国政府正在决定对中国AI施加多大压力。上周,美国国土安全部命令联邦民事机构从系统中移除中国AI开发商DeepSeek的产品。Cohere在博客文章中呼吁政府明确,对中国AI的限制是否也适用于在政府电脑上运行的模型。Zhang告诉TechCrunch AI,他并不要求全面监管这些开放权重模型,并称企业应像对待任何从互联网下载的程序一样对待开放模型。Cohere向政府销售自家AI模型;若官员对免费的中国替代品更加警惕,该公司可能受益。