据CNN周五报道，今年春季，美国官员发现推动一次针对中国船只的武装行动的情报，竟由AI聊天机器人虚构。当时军机已经升空，行动在最后一刻被叫停，避免了一场可能与中国发生的冲突。

这份情报报告在美伊战争期间流传，称该船只载有核武器项目部件。虚假情报来自美国特种作战司令部一名分析师。该分析师向AI聊天机器人提问，要求把开源数据与机密信号情报综合起来，聊天机器人错误识别了船只的货物清单。随后，这名分析师再次使用该工具，把错误结论格式化成一份看似正式的摘要，并使其在指挥渠道中传阅。

这起险情发生之际，美国军方正竞相整合AI，以加快决策速度并保持对中国的优势。五角大楼称，AI在加快杀伤链方面带来显著优势，使指挥官能够在合适时间作出反应。但让AI具有吸引力的速度，也可能在人类监督不足时让幻觉进入流程。

GovAI研究学者、美国陆军退伍军官杰克·斯特克勒在书面回复TechCrunch时说，服役人员理解大语言模型固有的不确定性很重要，而对于可能导致使用武力的决定，例如目标选择、情报分析或作战规划，尤其关键，因为这些决定事关生死。斯特克勒表示，这一事件应被视为增加AI保障措施的呼吁，而不是回避AI的理由；这些工具在合适情境并有适当保障下可以有用，但把采用速度置于一切之上，可能导致事件，让服役人员对这些系统失去信任，最终只会拖慢采用。