美国军方官员在今春发现推动此次任务的情报是由 AI 聊天机器人凭空捏造后,中止了针对一艘中国船只的武装行动,而当时飞机已经升空。这份虚假情报报告在与伊朗的战争期间流传,声称这艘船载有核武器计划所需的组件——这一信息源自特种作战司令部一名分析员向 AI 系统提出的查询,而该系统错误识别了船只的货物清单。此事发生之际,五角大楼正加速将 AI 整合到军事行动中,以维持对中国的战略优势,这引发了官员和专家的担忧:错误信息可能在受到质疑前,沿着指挥链层层传递。
特种作战分析员通过两次 AI 查询生成虚假情报
虚假情报源自特种作战司令部一名分析员。他向 AI 聊天机器人发出查询,要求将开源数据与机密信号情报综合起来。该聊天机器人错误识别了船只的货物清单。随后,分析员第二次使用该工具,将错误的调查结果整理成一份看似正式的摘要,并沿着指挥链层层传递。CNN 于周五报道了这一事件。
军事专家呼吁在险些酿成事故后为 AI 增加防护措施
GovAI 研究员、美国陆军退役军官 Jake Steckler 在书面回应中表示,军人了解大语言模型固有的不确定性非常重要。Steckler 强调,对于任何可能导致使用武力的决策,例如目标打击、情报分析或作战规划,理解这一点尤其关键,并指出这些决策关系到生死。
Steckler 表示,这起事件应当成为呼吁为 AI 增加更多防护措施的契机,而不是避开 AI 的理由。他表示,在合适的场景下并配备适当防护措施时,这些工具可以发挥作用,但若将采用速度置于一切之上,很可能会导致类似事件发生,使军人失去对这些系统的信任,而这最终只会减缓其采用速度。
五角大楼整合 AI 以加快军事决策
美国军方正在整合 AI,以加快决策并维持对中国的优势。五角大楼称,AI 能够显著提升杀伤链的速度,使指挥官能够在合适的时间作出响应。正是这种让 AI 具有吸引力的速度,也可能在人工监督不足的情况下使幻觉信息得以传播。
常见问题
今年春天美国军方使用 AI 聊天机器人生成情报时发生了什么?
美国军方官员在今春发现相关情报是由 AI 聊天机器人凭空捏造后,中止了针对一艘中国船只的武装行动。发现错误时,军用飞机已经升空。虚假报告声称这艘船载有核武器计划所需的组件。
AI 聊天机器人是如何生成有关这艘中国船只的虚假情报的?
特种作战司令部一名分析员向 AI 聊天机器人发出查询,要求将开源数据与机密信号情报综合起来。该聊天机器人错误识别了船只的货物清单。分析员第二次使用该工具,将错误的调查结果整理成一份看似正式的摘要,并沿着指挥链层层传递。
这名军事专家在 AI 事件后建议采取哪些防护措施?
GovAI 研究员、美国陆军退役军官 Jake Steckler 表示,这起事件应当成为呼吁为 AI 增加更多防护措施的契机。他强调,军人必须了解大语言模型固有的不确定性,尤其是在可能导致使用武力的决策中,例如目标打击、情报分析或作战规划。