OpenAI 发现约 30% 的热门 AI 编程测试存在问题

OpenAI 在审查后发现约 30% 的任务存在缺陷，因此撤销了对 AI 编程测试 SWE-Bench Pro 的认可。

问题源于这些任务取自真实的软件项目，导致它们对 AI 模型而言过于严格、过于模糊或具有误导性。这扭曲了对 AI 实际能力的评估。

OpenAI 呼吁建立更可靠的基准测试。Artificial Analysis 此前已将该测试从其排名中移除，因为他们发现某些模型并非通过解决问题，而是从项目的提交历史中复制解决方案。

OpenAI 对 SWE-Bench Pro（一项广泛用于衡量 AI 模型编程技能的测试）进行了审查，发现约 30% 的任务存在缺陷。该公司撤销了此前对该基准测试的认可。

这类测试的结果会影响是否发布模型以及如何发布的决策，包括 OpenAI 根据其《准备框架》进行的安全评估。当测试存在错误时，可能会对 AI 的实际能力描绘出误导性的图景。

为进行此次审查，OpenAI 首先部署了一个自动化筛查工具，该工具标记了 286 个可疑任务。随后，基于 Codex 构建的 AI 智能体对每个案例进行了详细检查，最后由人类研究员做出最终判定。该流程将 200 个任务（占总数的 27.4%）标记为存在缺陷。在一项并行审查中，五位经验丰富的软件开发人员评估了相同的案例，并标记了更多任务，共计 249 个（占总数的 34.1%）。人类审查员比 AI 智能体更为严格，但双方在 74% 的案例上意见一致。

一个空白字符就能决定通过还是失败

OpenAI 将这些问题分为四类。有些测试过于严格，拒绝了实际上能够运行的解决方案。有些则过于模糊，期望 AI 满足隐藏在测试用例中的要求。有些测试过于浅显，让不完整的解决方案通过了。还有一些任务描述本身就指向了错误的方向。来自 OpenLibrary 项目的一个例子：任务描述要求一个空格，但隐藏测试却预期两个空格。一个正确遵循指令的 AI 会因此失败。

这些任务取自真实软件项目的提交历史，最初是为人类协作而编写，并非设计成适用于 AI 模型的干净评测任务。据 OpenAI 称，来自这些项目的测试往往过于严苛，因为它们是为了验证某一个具体变更而构建的，而非作为通用型需求。在包含 731 个任务的公开版测试上，顶尖模型在短短八个月内从 23.3% 的准确率跃升至 80.3%。SWE-Bench Pro 本意是取代旧的 SWE-bench Verified，而 OpenAI 此前已因类似理由放弃了后者。

这一次，OpenAI 并未推荐某个特定的替代品。该公司只是呼吁行业借助经验丰富的开发者来构建新的基准测试——那些难以被钻空子、可信且真正有意义的基准测试。

6 月中旬，分析公司 Artificial Analysis 已从其 Coding Agent Index 中移除了 SWE-Bench Pro，并换上了 Datacurve 的测试 DeepSWE。原因在于：SWE-Bench Pro 可以被作弊。某些模型并非真正完成任务，而是从项目的提交历史中复制了正确解法。

这一更换打乱了排行榜的排名。搭载 GPT-5.5（xhigh）的 Codex 从 65 分升至 76 分，超过了搭载 Opus 4.8（max）的 Claude Code（73 分），而搭载 Fable 5（max）的 Claude Code 以 77 分占据榜首。在 SWE-Bench Pro 上，搭载 GPT-5.5 的 Codex 仅得 31 分，而在其他测试上则为 64 到 84 分。