美军用AI选目标却误炸伊朗学校,Anthropic Claude嵌入Palantir系统首日建议约1000目标
阅读原文· the-decoder.comAI在战场上的首次大规模实战暴露了最可怕的失败模式,不是模型错误,而是情报系统的数据断裂让一个学校被标注为军事目标,120个孩子成了代价。这对目前在推‘AI决策’的军方和公司都是一个需要直视的案子。
美军在打击伊朗时首次大规模使用AI选择目标(Anthropic的Claude模型嵌入Palantir的Maven Smart System,首日建议约1000个目标),但对一所学校的导弹袭击导致约120名儿童死亡。调查发现,情报分析师早在2019年就通过数字工具标记该地点已变为小学,但该工具未连接军方官方目标数据库MIDB,信息从未送达指挥官。MIDB建于1980年代,依赖手动输入,替代系统MARS多年延迟。五角大楼事后宣布推出agentic AI initiative。Project Maven创建人Jack Shanahan批评目标验证不力不可原谅。
美国军方使用AI挑选了数千个目标,但忽略了一条注明其中一个是学校的备注。
对一起导弹袭击伊朗学校事件的调查,暴露了美军目标定位基础设施中的严重漏洞。AI本应弥补这些漏洞。
一条被忽视的情报分析师备注,以及互不连通的多套系统——据《洛杉矶时报》报道,这是调查人员在追查一起针对伊朗学校的导弹袭击事件时发现的两大核心失误。此次袭击发生在2月下旬,估计造成约120名儿童死亡。此次打击发生在一场战争中,根据早前报道,美军在这场战争中首次大规模使用AI进行目标筛选。Anthropic的Claude模型被嵌入Palantir的Maven Smart System中,并在第一天就建议了约1000个目标。
在袭击发生前多年,一名分析师注意到伊朗东南部米纳布市一处地点发生了变化。美国此前将该建筑归类为伊朗军事海军设施。但此时,那里已经变成了一所小学。
一条无人见证的备注
据《洛杉矶时报》报道,该分析师在2019年使用一款数字情报工具标记了这些变化。关键问题在于,该工具并未与美军用于制定打击目标的官方目标数据库相连。这些信息从未传到指挥官手中。该建筑被多次审查,但无人更新数据库。据《纽约时报》报道,所使用的影像资料是七年前的。
据《洛杉矶时报》报道,至少有两个情报数据库从未与权威目标数据库相连。在叙利亚,2010年代中期的目标数据有时是10年或20年前的。核心是一个名为MIDB的数据库,建于1980年代,仍严重依赖人工输入。它本应被一个名为MARS的自动化系统取代,但过渡工作已落后计划多年。美国政府问责局早在2020年就指出了该系统长期存在的缺陷。
这套老化的基础设施与AI在其他领域的迅猛发展形成了鲜明对比。《华尔街日报》的一篇报道指出,行动最初几天内被打击的目标数量超过3000个,并警告说,用于对人类做出致命决策进行人工审查的监督机制资金不足。即便如此,美国调查人员当时仍认为美军很可能应对那次学校袭击负责——而《洛杉矶时报》的报道如今用具体的技术故障来佐证这一结论。
AI 被指望解决那些破碎数据库无法解决的问题
据《洛杉矶时报》报道,一些目标打击专家希望,连接数字系统并引入更多AI能在未来减少失误。通过与谷歌地图等公共服务进行自动交叉核对,可以将异常情况标记出来供人工审查。五角大楼在该报道发布后确实朝着这个方向迈进,公布了一项智能体AI计划。
负责管理 MIDB 和 MARS 的国防情报局在被彭博社询问时,并未直接回应那些缺陷以及延迟的系统过渡问题。一位发言人泛泛地提到,指派的分析人员已经进行了彻底分析。
五角大楼自己的AI先驱敲响警钟
根据美国现行的目标打击条令,军事指挥官负责决定是否优先处理并打击某个目标。他们必须区分军事目标与民用设施。此外还有一项可选流程称为"目标审核",用于核查基础情报的准确性。一位前高级情报官员告诉《洛杉矶时报》,在新一轮行动的第一天打击中,指挥官跳过这一步骤是难以想象的。中央司令部在针对伊朗的行动前对目标进行了审核,但这一可选审核流程是否真正启动仍不清楚。
这份报告中最尖锐的批评来自一位引人注目的消息源。杰克·沙纳汉,一位退役的美国空军三星上将,曾是 2018 年成立的联合人工智能中心的首任主任。在此之前,他领导了人工智能项目 Project Maven。这使他成为美国军方采用人工智能的推动者之一——而正是同一支军方部队如今依赖着那个 Maven 系统。当时,沙纳汉曾预测,在中美之间任何潜在冲突中,人工智能都将发挥核心作用,并且在 20 年内,算法之间将相互竞争。
沙纳汉告诉《洛杉矶时报》,指挥层没有理由不去核实其情报的准确性。他将目标标定本身描述为一个垂死的职业领域,在过去二十年中,由于军方专注于反恐,这个领域逐渐萎缩。他说,早在 2017 年,他就几乎找不到人来填补这些岗位。
人工智能新闻,拒绝炒作——由人类精选
订阅 THE DECODER,享受无广告阅读、每周 AI 新闻简报、每年六次的独家“AI 雷达”前沿报告、全部文章归档访问权限,以及评论区的访问权限。
继续阅读以了解全貌。订阅即可获得无炒作报道。
- 访问所有 THE DECODER 文章。
- 不受干扰地阅读——无谷歌广告。
- 访问评论区和社区讨论。
- 每周 AI 新闻简报。
- 每年六期:“AI 雷达”——深入探讨关键 AI 话题。
- KI Pro 在线活动享受最高 25% 折扣。
- 访问我们完整的十年文章归档。
- 从 The Decoder 获取最新 AI 新闻。