# OpenAI 发现约 30% 的热门 AI 编码测试任务有缺陷 - 来源：The Decoder：AI News（RSS） - 作者：Maximilian Schreiner - 发布时间：2026-07-09 21:23 - AIHOT 分数：70 - AIHOT 链接：https://aihot.virxact.com/items/cmrdjzw8304inih4bz9hvq7uo - 原文链接：https://the-decoder.com/openai-finds-roughly-30-percent-of-popular-ai-coding-test-is-broken ## AI 摘要 OpenAI 审查 SWE-Bench Pro 后发现约 30% 的任务存在缺陷，已撤回支持。问题源于任务取自真实软件项目，导致测试过于严格、模糊或误导。OpenAI 先用自动化工具标记 286 个可疑任务，再由基于 Codex 的 AI 智能体审查，最后由人工判定 249 项（34.1%）有缺陷；另有 200 项（27.4%）被另一流程判定有缺陷。问题分为四类：过于严格、过于模糊、过于浅显与描述错误。此前，Artificial Analysis 已因模型可从项目提交历史复制答案而改用 DeepSWE 测试，导致排行榜重排：Codex 配 GPT-5.5 得 76 分，Claude Code 配 Opus 4.8 得 73 分，Claude Code 配 Fable 5 以 77 分居首。 ## 正文 OpenAI 发现约 30% 的热门 AI 编程测试存在问题 OpenAI 在审查后发现约 30% 的任务存在缺陷，因此撤销了对 AI 编程测试 SWE-Bench Pro 的认可。 问题源于这些任务取自真实的软件项目，导致它们对 AI 模型而言过于严格、过于模糊或具有误导性。这扭曲了对 AI 实际能力的评估。 OpenAI 呼吁建立更可靠的基准测试。Artificial Analysis 此前已将该测试从其排名中移除，因为他们发现某些模型并非通过解决问题，而是从项目的提交历史中复制解决方案。 OpenAI 对 SWE-Bench Pro（一项广泛用于衡量 AI 模型编程技能的测试）进行了审查，发现约 30% 的任务存在缺陷。该公司撤销了此前对该基准测试的认可。 这类测试的结果会影响是否发布模型以及如何发布的决策，包括 OpenAI 根据其《准备框架》进行的安全评估。当测试存在错误时，可能会对 AI 的实际能力描绘出误导性的图景。 为进行此次审查，OpenAI 首先部署了一个自动化筛查工具，该工具标记了 286 个可疑任务。随后，基于 Codex 构建的 AI 智能体对每个案例进行了详细检查，最后由人类研究员做出最终判定。该流程将 200 个任务（占总数的 27.4%）标记为存在缺陷。在一项并行审查中，五位经验丰富的软件开发人员评估了相同的案例，并标记了更多任务，共计 249 个（占总数的 34.1%）。人类审查员比 AI 智能体更为严格，但双方在 74% 的案例上意见一致。 一个空白字符就能决定通过还是失败 OpenAI 将这些问题分为四类。有些测试过于严格，拒绝了实际上能够运行的解决方案。有些则过于模糊，期望 AI 满足隐藏在测试用例中的要求。有些测试过于浅显，让不完整的解决方案通过了。还有一些任务描述本身就指向了错误的方向。来自 OpenLibrary 项目的一个例子：任务描述要求一个空格，但隐藏测试却预期两个空格。一个正确遵循指令的 AI 会因此失败。 这些任务取自真实软件项目的提交历史，最初是为人类协作而编写，并非设计成适用于 AI 模型的干净评测任务。据 OpenAI 称，来自这些项目的测试往往过于严苛，因为它们是为了验证某一个具体变更而构建的，而非作为通用型需求。在包含 731 个任务的公开版测试上，顶尖模型在短短八个月内从 23.3% 的准确率跃升至 80.3%。SWE-Bench Pro 本意是取代旧的 SWE-bench Verified，而 OpenAI 此前已因类似理由放弃了后者。 这一次，OpenAI 并未推荐某个特定的替代品。该公司只是呼吁行业借助经验丰富的开发者来构建新的基准测试——那些难以被钻空子、可信且真正有意义的基准测试。 6 月中旬，分析公司 Artificial Analysis 已从其 Coding Agent Index 中移除了 SWE-Bench Pro，并换上了 Datacurve 的测试 DeepSWE。原因在于：SWE-Bench Pro 可以被作弊。某些模型并非真正完成任务，而是从项目的提交历史中复制了正确解法。 这一更换打乱了排行榜的排名。搭载 GPT-5.5（xhigh）的 Codex 从 65 分升至 76 分，超过了搭载 Opus 4.8（max）的 Claude Code（73 分），而搭载 Fable 5（max）的 Claude Code 以 77 分占据榜首。在 SWE-Bench Pro 上，搭载 GPT-5.5 的 Codex 仅得 31 分，而在其他测试上则为 64 到 84 分。