今年春季，军用飞机已经在空中执行任务时，美国官员惊人地发现，对一艘中国船只的武装行动所依据的情报是由人工智能聊天机器人产生的幻觉。该行动在最后一刻被中止，险些避免了一场与中国的潜在冲突，CNN 于周五报道。

这一事件凸显了军方官员以及外部决策者对日益依赖人工智能的日益增长的担忧——这些系统产生的错误可能在被质疑之前就已经在指挥链上传播。

这份情报报告在伊朗战争期间流传，称该船携带核武器计划的部件。

这份错误情报最初来源于一名特种作战司令部的分析员，他向人工智能聊天机器人查询，以将公开来源数据与机密信号情报合成。聊天机器人误判了该船的货物清单。该分析员随后再次使用该工具，将错误的发现整理成一份官方外观的摘要，并在指挥链中流传。

这次险些冲突的发生正值美军加速整合人工智能以加快决策并保持对中国优势的关键时刻。五角大楼曾描述人工智能在加速作战链方面提供了显著优势，使指挥官能够在恰当时机作出响应。但正是这种吸引人的速度，也可能在缺乏足够人为监督的情况下导致幻觉。

“对于军人来说，了解大型语言模型（LLMs）所固有的不确定性非常重要，”GovAI的研究学者、美国陆军资深军官杰克·斯特克尔（Jake Steckler）在给 TechCrunch 的书面回复中表示。“尤其是在那些可能涉及使用武力的决策中——比如目标选择、情报分析或作战计划制定——这些决策的后果往往是生死攸关的。”

尽管如此，斯特克尔认为，这一事件应该成为加强人工智能安全防护措施的契机，而不是放弃使用人工智能的理由。“在适当的场景下，并采取必要的安全保障措施，这些技术是可以发挥作用的，”他说。“但如果过于追求技术的快速应用，反而可能导致军人对这些系统失去信任，从而进一步延缓人工智能的普及进程。”