# OpenAI 审计发现 SWE-Bench Pro 30% 任务失效

- 来源：OpenAI (@OpenAI)
- 发布时间：2026-07-09 05:41
- AIHOT 分数：73
- AIHOT 链接：https://aihot.virxact.com/items/cmrcmpfx202ezihx504b9il4n
- 原文链接：https://x.com/OpenAI/status/2074972179385720836

## AI 摘要

我们审计了 SWE-Bench Pro（最广泛使用的 AI 编码基准之一），发现它已不再能可靠衡量前沿编码能力。

我们发现 30% 的 SWE-Bench Pro 任务存在问题，因此撤回此前推荐研究社区将其作为主要编码评估的建议。
https://openai.com/index/separating-signal-from-noise-coding-evaluations/

## 正文

我们对 SWE-Bench Pro（最广泛使用的 AI 编程评测基准之一）进行了审计，发现它已无法可靠地衡量前沿编程能力。

我们发现 SWE-Bench Pro 中有 30% 的任务存在缺陷，因此撤回此前建议研究社区将其作为主要编程评估标准的推荐。 https://openai.com/index/separating-signal-from-noise-coding-evaluations/