TechRadar于9月24日报道称,一份由人工智能辅助分析生成的虚假情报错误识别一艘中国船只的货物,并称船上载有核武器,促使美军在伊朗冲突期间准备拦截和登船检查,直到行动前才发现问题。CNN援引消息人士的话说,武装人员已准备登船,军机也在提供支援,一名消息人士形容这起事件“几乎引发一场战争”。

报道说,事件始于一名分析人员查看有关该船货物清单的情报时,使用聊天机器人解读信息。消息人士称,该系统把公开材料与机密信号信息结合起来,随后就船只货物得出了错误评估。分析人员之后再次使用AI,将结论整理成标准情报格式,并在军方官员中分发。

官员在计划行动前不久才检查底层信息,发现报告中的货物识别是错的。消息人士称这份评估“完全虚假”。CNN报道称,另一名消息人士说它“几乎引发战争”。聊天机器人具体误判了何种材料,目前没有公开,有关最初错误的关键细节仍不清楚。五角大楼和负责太平洋特种作战的军事指挥部均未就此置评。

事件发生之际,美军正在扩大AI工具在情报、作战、行政和战场决策中的使用。今年1月,国防部长皮特·赫格塞思宣布一项AI战略,目标是加快AI在军事任务和组织职能中的部署。他说:“我们将释放试验空间,消除官僚障碍,集中投资,并展示确保我们在军事AI领域保持领先所需的执行方式。”该战略包括用于情报工作、作战规划、企业职能以及扩大生成式AI系统访问的项目。国防部后来表示,超过130万人员使用了GenAI.mil,在五个月内生成了数千万条提示。

报道指出,这起事件暴露出验证难题。错误聊天机器人输出进入了用于重大军事决策的流程。一旦错误信息出现在正式评估中,收到文件的官员必须判断其底层证据是否支持结论。目前没有信息显示,在评估送达准备海上行动的人员之前,实施了哪些验证程序。分析人员是否在报告分发前知道聊天机器人引入了错误解读,也不清楚。据CNN报道,不同军事组织使用不同AI系统,官员们对检查AI生成信息的做法也有不同描述。这种分散环境使外界难以确认是否存在一套统一验证流程,管理军方所有AI辅助情报产品。

AI工具能使军事分析更快更容易,但其出现重大错误的可能性要求在作战决策前进行严格人工验证。当情报涉及对手国家时,这一需要更为突出,因为涉及军事船只的错误评估可能引发报复。一次误击可能升级相关国家间紧张,甚至造成更广泛武装对抗或长期政治军事冲突。