IT之家 6 月 6 日消息，据外媒 Futurism 今天（6 日）晚间报道，北卡罗来纳大学教堂山分校和美国东北大学研究人员的一项新研究发现，主流 AI 模型在分析职业体育比赛时表现很差。这项研究目标是考察热门 AI 模型在感知、推理、模拟和自主行动能力四个方面的表现，现有测试方法很难准确评估这些能力。不过需要注意的是，其尚未经过同行评审。

为测试 AI 在这些方面究竟能做到何种程度，研究人员把职业体育比赛做成了一套新基准。新测试名为“战略视频智能”，简称 SVI-bench，数据包括 35000 小时篮球、足球和冰球比赛画面、1500 万条带标注的比赛回合、15000 小时职业分析、23000 份赛后报道，以及 10.3 万条统计记录。

AI 表现相对最好的是“看懂画面”这一步，也就是判断比赛某个时刻由哪名球员做了什么动作。但即便是最基础的感知任务，AI 也谈不上可靠。ChatGPT、谷歌 Gemini 和千问等模型的平均识别准确率大约为 74%。报道指出，放在体育解说场景里，这个水平恐怕连少年棒球赛的义务解说员都保不住位置。

到了因果推理环节，模型表现进一步下滑。研究人员要求 AI 解释一组战术或一个回合为什么会以某种方式发生，平均成功率只有约 40%。

例如，研究人员让模型判断 NBA 太阳队球员科迪 · 马丁一记三分球的异常之处。此次进球他先打到篮板顶部，随后才落入篮筐，但 ChatGPT 给出的答案是，这是“他本场比赛命中的第一个三分球”。

模拟能力同样糟糕。研究人员要求 AI 根据球员运动轨迹寻找证据，并预测球员接下来会移动到哪里。结果显示，即便表现最好的模型，在判断球员下一步动作时也接近随机猜测，一旦预测范围延长到朝球门或篮筐移动的更长路线，模型表现还会继续变差。