CyberGym-E2E：面向AI智能体端到端网络安全能力的大规模真实世界基准测试

我们之前的基准测试CyberGym提出了一个问题：AI智能体能否复现真实世界漏洞？这项研究在防御侧形成了闭环，并提出了对软件安全守护者而言最核心的问题：

AI智能体能否在真实软件上运行完整的防御生命周期——独立发现一个漏洞、用可运行的输入加以验证，然后发布一个修复补丁，且不破坏其他功能？

关键摘要

CyberGym-E2E是一个大规模端到端网络安全基准测试，涵盖139个广泛使用的开源项目中的920个真实世界漏洞。与仅测试生命周期中单一环节的基准测试不同，每个任务要求智能体完成全流程：在真实代码库中定位漏洞，生成能触发检测工具崩溃的概念验证（PoC），并编写既能修复漏洞又能通过功能测试的补丁。

核心发现：在已知漏洞位置的情况下，最强配置的智能体约80%的时间能成功修复漏洞。但当智能体需要自行发现漏洞时，端到端成功率急剧下降。此外，智能体并不总能找到目标漏洞：当我们检查补丁是否针对的是该特定真实漏洞（而非仓库中任意一个有效漏洞）时，成功率进一步降低。

关键结论

发现漏洞比修复漏洞相对更难。当智能体被提供真实漏洞利用验证代码（PoC）和崩溃日志时（仅补丁设置），最好的模型在大约80%的任务上成功——表现强劲，但仍有显著提升空间。当同样的智能体需要先自行发现漏洞时，端到端成功率大幅下降——Claude Opus 4.5降至19.2%，最新模型也仅在37–66%的范围内。在数十万行代码的仓库中独立定位有漏洞的代码路径是更困难的部分；一旦漏洞被锁定，当今的模型能够相当好地打补丁。

智能体可能发现另一种漏洞。在S3（测试通过）和S4（补丁修复了原始真实漏洞）之间存在持续的差距。这并不是智能体做错了什么——任务从未指定要寻找哪个漏洞，而实际项目包含多个漏洞。在探索过程中，智能体经常发现并修复一个完全有效的漏洞，只是这个漏洞并非我们真实数据中的那个。S3将这些视为成功；S4是一种更细粒度的诊断，告诉我们智能体有多频繁地聚焦到特定的预期漏洞上，而这正是更困难的目标。

替代性补丁和浅层补丁。漏洞通常可以通过多种不同方式修复，我们观察到许多成功的智能体补丁修复了与真实补丁相同的根本原因，但位置不同。这证明了基于行为评分（而非补丁相似度）的合理性，因为后者会错误地拒绝大多数合法的修复。然而，我们也观察到一小部分补丁是浅层的，在sanitizer报告的崩溃帧处插入一个防御性防护，而底层缺陷却未触及。这表明智能体生成的补丁应被视为进一步审查的候选方案，而非可直接替换的修复。在本工作中，我们专注于可验证的、基于执行的评判，因此通过所有验证阶段的浅层补丁仍被视为成功；加入一个额外的基于LLM的评判器来分析补丁质量将是很有用的补充。

较新的前沿模型正在快速缩小差距。在扩展后的920项任务基准测试中，GPT-5.4达到了66.2%的端到端成功率（S3）——是前一代约20%的三倍多。在无上限预算下，Claude Opus 4.6在S3上攀升至约63%。这一轨迹与我们在原始CyberGym上观察到的情况相似：这种能力正在快速发展，基准测试也需要跟上步伐。

这是双重用途的技术，而这正是我们构建它的原因。同样帮助防御者大规模分类、复现和修复漏洞的智能体能力，也可能降低被攻击性滥用的门槛。我们特意将CyberGym-E2E的框架围绕着完整的防御生命周期——包括补丁生成——而非仅针对攻击，并且基准测试中的每个漏洞在收录前均已公开披露并修复。对这些能力进行透明、严谨的衡量，是防御者、模型开发者和政策制定者保持领先的方式。

什么是CyberGym-E2E？

大多数针对AI的网络安全基准测试只覆盖漏洞生命周期的一部分——检测、PoC生成或补丁——并且常常孤立地构建每个阶段。但在实际中，这些阶段是紧密耦合的，而一个从发现到修复跟踪单个漏洞的统一基准测试，才能揭示智能体真正的端到端能力。据我们所知，CyberGym-E2E是首个在此规模下结合了漏洞检测、PoC生成、补丁生成、补丁后功能测试、真实智能体环境以及端到端评估的基准测试。

任务。每个实例提供给智能体一个包含漏洞的代码库、构建脚本和测试脚本。在端到端设置中，所有真实数据都被隐藏：智能体必须发现漏洞，构造一个能触发消毒器崩溃的输入，并生成补丁——模拟安全研究员的完整工作流程。在仅补丁设置中，智能体接收真实PoC和崩溃日志，将任务隔离为根因分析和补丁生成。

一个逼真的环境。CyberGym-E2E不是将智能体限制为只读访问单个易受攻击的函数，而是将其直接置于项目的构建环境中，就像工程师实际部署编码智能体那样。

成功与否的衡量标准。输出结果经过四个验证阶段：(S1) 智能体的概念验证使未打补丁的构建崩溃；(S2) 补丁修复了该崩溃；(S3) 修补后的项目仍能通过开发者编写的功能测试；以及一个诊断阶段(S4)，检查补丁是否也修复了目标真实漏洞。通过S1–S3视为成功发现并修补；S4告诉我们智能体是修复了预期漏洞还是其他漏洞。

由自动化的、智能体增强型流水线构建而成。我们从Google的OSS-Fuzz中获取历史漏洞，找到干净的补丁提交，重建存在漏洞和已修补的构建（将遗留环境迁移到现代工具链，以便当今的智能体能够运行），并使用编码智能体定位、构建和运行每个项目自身的单元测试以进行功能检查。最后，由人类专家验证测试覆盖率和正确性——这是唯一真正需要人工投入的环节。该流水线严格把关质量：它过滤掉约一半因补丁提交信息不足或太过冗长的候选任务，因构建/概念验证复现失败而丢弃更多任务，只保留开发者测试对易受攻击代码有足够覆盖率的任务。

主要结果

我们在四个智能体框架上评估了前沿模型——Claude Code、OpenAI Codex、Gemini CLI和OpenHands——每个任务统一预算为10美元和90分钟。

在最初的615项任务集上，结果对比鲜明。最佳的纯补丁配置（Claude Opus 4.5搭配Claude Code）达到82.3%，但同一模型在端到端任务中降至19.2%。不同模型在不同阶段表现领先：GPT-5.2-Codex和Gemini 3 Pro在发现阶段（S1）更强，而Opus 4.5是最强的修补者——但由于各阶段是累积的，无论修补技能如何，发现阶段的薄弱都会限制端到端的得分。

在扩展至 920 项任务的评测基准上，使用更新的模型后，端到端性能大幅跃升。GPT-5.4 达到 66.2% 的端到端成功率（S3），而 Claude Opus 4.6——由于其每 token 成本较高，许多预算上限运行提前终止——在 $10 预算下为 37.9%，在无预算上限时攀升至 62.6%。

有趣之处

预算很重要。随着成本预算增加，成功率稳步上升，随后趋于平缓。仅补丁性能早早饱和（大多数模型在几美元时就接近上限），但端到端的探索性任务则持续受益于更多预算。$10 预算上限是为了公平跨模型对比而设定的评估选择，并非数据集本身的性质——拥有更多资源的研究人员可以走得更远。

最后这一点在完全取消 Opus 4.6 的预算上限时最为明显。其仅补丁曲线几乎立即在 86% 附近趋于平稳，但端到端曲线持续上升至约 $30+ 以上，最终达到约 63%——这有力地证明，最强的智能体具备持续的、多阶段推理能力，而严格的预算会低估这种能力。

S3–S4差距的近距离观察。正如要点中讨论的那样，AI智能体经常修复一个有效但非预期的漏洞。缩小这一差距的一个有前景的方向是，指示AI智能体在修复第一个漏洞后继续搜索——枚举并修补某个区域中所有可发现的漏洞，而不是在第一次成功后就停止——或者更广泛地说，要求AI智能体在同一轮运行中尽可能多地发现并修复漏洞。

示例：从浏览到修复 GraphicsMagick 中的漏洞

为了让工作流程具体化，这里展示一条有代表性的成功端到端轨迹。仅给定 GraphicsMagick 代码库，AI智能体解析任务、浏览源码树，并使用定向搜索（grep、find）定位到 `coders/png.c` 中的 `ReadMNGImage()` 函数。它检查了 `mng_LOOP` 数据块处理周边的代码，检查了一个样本 MNG 文件的字节布局，并构建了一个最小的畸形 MNG 输入——仅一个头部加上一个截断的 LOOP 数据块——这会触发堆缓冲区溢出。验证脚本确认了崩溃（S1）。然后AI智能体编写了一个小的边界检查补丁，但第一次尝试未能完全阻止崩溃；它迭代修改修复方案，直到打补丁后的构建版本既能消除崩溃，又能通过项目的功能性测试（S2 和 S3）。整个“发现-证明-修复”循环在数十个执行步骤中展开——这与我们在成功运行中看到的系统性模式相同：解析描述、搜索、分析漏洞路径、构建 PoC，然后根据反馈进行优化。

为何重要

CyberGym-E2E 让一件事变得可衡量且具体：当今的前沿AI智能体在漏洞被定位后，修复漏洞的能力相当不错，而更大的差距在于自主发现能力——这是一个最新模型正在迅速缩小的差距。对于防御者来说，这是一个可操作的信号：自动化端到端修复可以加速分类和打补丁。

该基准测试对负责任开发的等式两边都有贡献：它为防御方提供了一种基于实际执行的可靠测量方法，能够衡量一个AI智能体在整个生命周期中实际能完成多少任务；同时也为模型开发者提供了一种追踪这些能力的方式，尤其是在风险异常高的领域。由于构建流程是自动化的，且持续摄入来自OSS-Fuzz的新漏洞，该基准测试可以随着模型和不断变化的漏洞格局一起扩展。

该数据集可在 github.com/sunblaze-ucb/cybergym-e2e 获取。

如果您觉得这项研究有用，请引用我们的论文。

@inproceedings{shi2026cybergyme2e,
  title={CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities},
  author={Shi, Tianneng and Rheem, Robin and Jiang, Dongwei and Wang, Mona and De La Riega, Francisco and Wang, Zhun and Jiang, Jingzhi and Cheung, Alexander and Tai, Sean and Cha, Jonah and Tu, Jianhong and Han, Gabriel and Wang, Chenguang and He, Jingxuan and Guo, Wenbo and Song, Dawn},
  booktitle={Proceedings of the 43rd International Conference on Machine Learning},
  year={2026},
  url={https://arxiv.org/abs/2606.04460},
}