1 引言

AI 编程智能体正迅速迈向自主科学研究 [Karpathy, 2026, Lu et al., 2026, Gottweis et al., 2026a]，从复现已发表的实现到执行端到端的研究工作流。随着这些系统开始瞄准真实的科学问题，严格的评估变得至关重要：如果没有可靠的基准测试，就无法判断一个智能体是在真正推动技术前沿，还是仅仅将熟悉的模式套用到新数据上。

然而，现有用于评估智能体在科学研究方面能力的基准测试存在若干局限性。基于论文的基准测试 [Starace et al., 2025, Siegel et al., 2024, Wang et al., 2026] 衡量的是智能体能否重新实现已发表的方法，但未能触及更关键的问题：智能体能否自主发现一种具有竞争力的方法？工程优化类基准测试 [Chan et al., 2025, Rank et al., 2026, Nathani et al., 2025, Qiang et al., 2026] 针对的是 Kaggle 竞赛或后训练任务，这些任务不需要自然科学研究所特有的领域推理、专业工具或跨学科知识，并且存在环境碎片化问题，导致独立复现变得脆弱。要可靠地评估自主研究智能体能否推动 AI for Science 的前沿发展，需要一个既具挑战性又具备双向性的基准测试。它必须测试发现能力，即智能体能否在源自自然科学的真实科学问题（而非工程替代问题）上，设计出超越已发表技术现状的方法。

我们提出 NatureBench，这是一个跨学科基准测试，包含 90 个从经同行评审的《自然》系列出版物中提炼出的任务，旨在评估 AI 编程智能体能否从复现迈向发现。NatureBench 同时拓展了两个维度：将 PaperBench 维度从理解编码拓展至发现，并将 PostTrainBench 维度从工程优化拓展至科学。它基于 NatureGym 构建，这是一个自动化流水线，能将已发表的论文转化为容器化的任务包，包含任务简介、论文数据集、带有隐藏真实值的留出测试集以及自动评估器，解决了先前基准测试中的环境碎片化问题。我们从 2022 年至 2025 年间发表的十种《自然》系列期刊中收集了约 篇论文，并采用三阶段“构建-验证”流水线来生成最终的任务包（图 2）。一道信息防火墙从每个任务包中移除了源方法，因此智能体必须自行发现解决方案，而非复现它们。该基准测试涵盖六个科学任务领域（细胞组学、蛋白质生物学、生物医学建模、物理建模、分子设计与关系推理），并以 SOTA 归一化相对差距作为主要指标，辅以一个事后有效性判断器，用于检测输出伪造和反馈博弈等捷径行为。

我们评估了十二个智能体，涵盖三个编程智能体框架（Claude Code、Codex CLI、Gemini CLI）和十二个前沿模型，并采用严格的禁用网络搜索协议，如图 1 所示。最强的智能体 Claude Opus 4.7 仅在 的任务上超越了已发表的 SOTA（），并在 的任务上与之持平。一项涵盖 个任务-智能体运行实例的十智能体行为分析表明，成功主要源于方法转化——智能体将科学任务转化为熟悉的监督预测问题，这占已验证成功案例的 ，而非源于科学发明。失败主要由方法选择错误（）和计算预算不足（）导致，而非任务理解错误。我们的贡献如下：

• NatureGym，一个自动化流水线，能够从《自然》系列论文中构建可复现、容器化的单任务环境，解决了环境碎片化问题——这一问题此前限制了基于智能体的研究基准的可信度。

• NatureBench，一个基准测试，包含来自《自然》系列论文的、横跨六个科学任务领域的任务，并采用面向发现的评估协议（超越SOTA、匹配SOTA、有效性判断），该协议将真正的算法进步与工程优化及走捷径区分开来。

2 NatureGym

我们介绍 NatureGym，这是一个流水线，能将一篇已发表的《自然》系列论文转化为一个可立即运行的智能体任务。每个任务都是一个容器化软件包，包含任务简介、数据集、保留测试集、自动评估器以及一个SOTA锚点分数。NatureGym 将格式、工具链和数据模态各异的论文标准化为一种可复现的任务格式，同时设置一道信息防火墙，屏蔽原始方法，从而迫使智能体必须自行发现解决方案，而非复现它们。

2.1 流水线概览

如图2所示，NatureGym 通过三个阶段构建每个任务：论文筛选（§2.2）、数据集获取与验证（§2.3）以及任务包构建（§2.4）。每个阶段结束时，都会进行一次独立评审，通过验证-修复循环来发现并纠正错误，然后再进入下一阶段。

每个阶段都有两个目的。首先，它做出一个二元的通过或拒绝决定，终止所有针对被拒论文的下游处理。其次，它将结构化的任务信息提取并精炼到一份跨阶段累积的每篇论文记录中，这样任务包构建阶段就可以直接使用这份记录，而无需重新阅读论文。

我们将每个任务表示为一个元组，即一个核心算法、一个数据集、一个评估指标、一个 SOTA 分数，以及一个可选的基线。该流程在筛选阶段开始填充这个元组，并在后续每个阶段中对其进行完善。每个阶段均由一个 LLM 智能体运行，并由人工确认每次审查所提出的关键修正。

2.2 论文筛选

论文筛选通过三个步骤识别适合构建任务的候选论文：预处理、三级级联筛选以及对抗性审查。

预处理。

每篇论文被转换为三个结构化组件，供后续筛选阶段使用。在仅保留研究性文章并剔除非研究内容（例如新闻、社论、勘误、综述）后，我们从每篇文章中生成：(i) 保留文档结构并移除引文标记的 Markdown 文本及公式；(ii) 每张图表和表格的整页截图；以及 (iii) 按章节标注的超链接列表，这些链接被分类为数据、代码、补充材料或其他，并附有上下文信息。

三级筛选。

随后，我们应用三个筛选层级，每个层级针对一个不同的可行性维度：任务可提取性、评估自动化程度以及数据完整性。

• 第一级：任务。论文的核心贡献必须产生一个可提取的机器学习任务：一项算法创新、一个科学问题的机器学习公式化表述，或是对已有方法的领域适配。我们排除那些仅将机器学习作为辅助工具的文章、非计算性研究（湿实验、纯理论、硬件），以及需要物理交互的任务。

• 第二级：评估。论文必须声称在质量相关指标上达到了最先进的性能，而非在速度、成本或可解释性方面。此外，该指标必须支持确定性、完全自动化的评估，不依赖于人工判断、外部服务依赖或算法本身的组件。

• 第 3 级：数据。所有数据必须与论文中使用的版本一致，并且无需申请或身份验证即可公开访问。数据集必须完整，包含一个开发集和一个评估集，评估集进一步分解为测试输入和参考答案。至少有一个评估实例必须满足所有条件。我们进一步按数据量对每个数据集进行标记（S 级 < 1 GB，M 级 1–50 GB，L 级 > 50 GB），并拒绝数据量超过 50 GB 的论文。

筛选审查。

在进入成本高昂的数据获取阶段之前，一个独立的对抗性审查环节会重新检查所有已通过的论文，以识别误判。它会重新检查通过或拒绝的决定以及提取的任务信息，并将修正写回每篇论文的记录中。关键的推翻决定由人工确认。

2.3 数据集获取与验证

通过筛选的论文进入数据集获取阶段，在此阶段我们下载数据，确定任务定义与论文核心算法之间的边界，并根据实际文件（而非筛选阶段基于元数据层面的探测）重新验证数据的完整性。

数据集获取。

我们克隆链接的代码和数据仓库，并按数据量级别和优先级下载数据集，优先获取论文主要结果背后的评估实例。S 级数据集完整下载，而 M 级数据集在累积大小上限内逐个实例下载，一旦达到上限，则跳过剩余实例。L 级论文已在筛选阶段被移除。

文件级防火墙。

为了保持信息防火墙的完整性，智能体必须从核心算法的起点开始运行，这样它只能接收核心算法的输入，而无法接触其任何操作或输出。我们通过一个问题来决定保留哪些文件：无论采用何种方法，这个文件是否对定义任务来说是必需的？定义任务且在各方法间共享的文件会被保留，包括核心算法之前的原始输入、与具体方法无关的数据准备所产生的共享输出，以及外部资源。特定于核心算法或由其生成的文件则被排除，包括核心算法自身的预处理、其中间或最终输出，以及任何无关文件。我们通过同时阅读论文、代码和已生成的数据来做出每一项决定。

数据集验证与审查。

过滤器仅根据元数据判断可行性，因此我们现在对已下载的文件重新执行检查。两个属性最为重要。可分解性：是否仅使用样本级划分和与具体方法无关的准备（不涉及算法或评估时操作）就能将核心算法与数据分离，以及是否能在保留所有可用特征的前提下将核心算法与数据分离。我们对每个划分的难度进行评级，并拒绝不可行的情况。在此阶段，我们仅记录所需的划分流程。实际的数据分区将在第2.4节中执行。实例有效性：保留的评估实例是否对应单一研究目标，并包含核心实验。非核心或仅用于分析的实例将被丢弃。只要至少有一个实例是完整的，检查即视为通过。随后，一个独立的只读审查会交叉比对论文、代码和文件，以重新验证核心算法边界以及所有记录的描述。然后，一个修复步骤会修正记录并通过移除多余或泄露的文件以及重新获取缺失的组件来整理目录，从而使记录和数据都为任务构建做好准备。对于需要大量修正的情况，将通过人工审查进行确认。

2.4 任务包构建

媒体内容 · 前往原文查看

可见性	组件	内容
智能体可见	problem/README.md	任务定义、评估指标、输出格式、提交规范
	问题/数据描述.md	数据集概览、文件格式与模式
	问题/数据/	每个实例的输入（不含真实答案）
隐藏	评估/evaluator.py	带有输入验证的确定性评分函数
	评估/真实答案/	每个实例的参考答案
基础设施	环境/Dockerfile	在共享基础镜像上叠加的每个任务专属层
	metadata.json	领域、计算需求、每个实例的 SOTA 分数

每篇通过筛选和数据验证的论文，都会按照表 1 的任务包布局进行组装。构建及后续验证遵循三项原则：(i) 基于证据的保真度：每个组件和性能锚点必须有经过验证的记录和来源证据支持。(ii) 信息隔离：任何文件不得透露源论文的身份或方法，任务输入必须与隐藏的参考答案和评分逻辑分离。(iii) 可执行完整性：所有组件在语义和接口上必须相互一致，整个包必须同时通过静态检查和端到端执行。

数据组织。

按照第 2.3 节的分解流程，我们将输入路由到智能体可见的 problem/data/ 目录，将参考答案路由到隐藏的 evaluation/ground_truth/ 目录，路由规则由参考答案的类型（静态标签、预言函数或分布统计量）决定。若某个实例所需的评估组件无法从公共库获取，也无法根据作者代码重新实现，则该实例被排除。只要至少还有一个实例可用，构建过程就会继续。

任务文档。

每个数据包在信息防火墙约束下附带两份文档。`data_description.md` 是 `problem/data/` 目录下文件的技术参考，涵盖数据集概览、格式和模式。`README.md` 定义了任务、评估指标、输出格式和提交规范，仅保留论文用于排名的质量指标，并为每个实例指定一个主要指标用于聚合评分。`metadata.json` 记录了科学领域、计算需求以及从论文正文、表格或图表中提取的每个实例的 SOTA 分数。

自动化评估器。

评估器独立对智能体输出进行评分，根据参考答案类型进行分发：对于标签任务，与真实值进行比较；对于 Oracle 任务，运行评分函数；对于分布任务，计算分布统计量。它在评分前验证输出格式和形状，并对多实例任务进行评分，失败情况相互隔离，一个实例的失败不会影响其他实例。我们在构建时通过逻辑测试、冒烟测试、与作者代码（如有）进行对比，以及使用作者发布的输出将评估器分数与论文报告值进行核对，来检查评估器。

执行环境。

一个共享的基础镜像预装了核心科学和机器学习库。任务特定的依赖项通过每个任务的 Dockerfile 叠加在基础镜像之上，对于无法调和冲突（例如不同的 CUDA 或 Python 版本）的情况，则保留独立的构建。

数据包与环境审查。

与前一阶段的一次性审查不同，本轮审查运行一个迭代式的“验证-修复”循环。首先，构建时的自我审计会对照源论文，重新检查任务定义、SOTA 分数和防火墙。然后，36 项自动化检查涵盖了工件完整性、跨组件一致性、信息防火墙、基准设计符合性以及端到端动态测试。最后一类检查会通过完整的评估流程运行一个基线求解器，同时进行正确性和鲁棒性探测。最后，Docker 镜像在物理机上构建，并进行冒烟测试以验证库的可用性和版本正确性。未通过的检查会触发最小化的针对性修复并立即重新验证。自动化修复无法解决的问题会升级到人工审查。完整的检查清单和修复策略在附录 A 中描述。

3 NatureBench

媒体内容 · 前往原文查看

基准	来源	# 任务	论文	科学	优化	目标	评分锚点
机器学习论文复现
PaperBench [Starace 等人，2025]	ICML 论文	20				论文复现	作者评分标准
AutoExperiment [Kim 等人，2025]	机器学习论文	85				掩码代码复现	黄金输出
FIRE-Bench [Wang 等人，2026]	大语言模型分析论文	30				发现重现	论文声明
科学论文复现
CORE-Bench [Siegel 等人，2024]	Code Ocean 胶囊	270				结果复现	手动输出
REPRO-Bench [Hu 等人，2025]	社会科学论文	112				可复现性评估	专家标签
ReplicationBench [Ye 等人，2025]	天体物理学论文	111				结果复现	报告值
AutoMat [Huang 等人，2026]	材料科学论文	85				声明复现	专家注释
Collider-Bench [Faroughy 等人，2026]	大型强子对撞机论文	10				分析复现	事件产额
任务性能优化
MLE-bench [Chan et al., 2025]	Kaggle 竞赛	75				机器学习工程	Kaggle 排行榜
PostTrainBench [Rank et al., 2026]	模型–基准配对	28				大语言模型后训练	官方指令模型
MLS-Bench [Lyu et al., 2026a]	机器学习研究问题	140				方法发明	人类基线
AutoLab [Xu et al., 2026]	专家策划的问题	36				长周期优化	基线/人类指标
NatureBench（我们的）	Nature 系列论文	90				方法开发	已发表的 SOTA

在本节中，我们介绍 NatureBench，这是一个包含 90 个任务包的基准测试，涵盖六个科学任务领域，通过将 NatureGym（§2）应用于 Nature 系列期刊论文而生成。我们描述了源语料库和流水线漏斗（§3.1）、评估时的质量校准（§3.2）、基准测试构成（§3.3）以及评估协议（§3.4）。

表 2 将 NatureBench 与具有代表性的智能体基准测试进行了对比。现有工作要么以论文为基础设定任务，但目标是复现而非优化（PaperBench [Starace et al., 2025]、CORE-Bench [Siegel et al., 2024]、ReplicationBench [Ye et al., 2025]），要么优化任务性能，但任务来源于 Kaggle 或机器学习工程问题而非科学论文（MLE-bench [Chan et al., 2025]、PostTrainBench [Rank et al., 2026]）。NatureBench 是首个将论文来源任务、真实科学问题以及以已发表 SOTA 为评分标准的优化导向评估结合起来的基准测试。

3.1 源语料库

我们首先通过期刊级别的选择策略限定来源池，然后运行 NatureGym 流水线（§2），逐步将爬取的候选内容缩小为可进入校准的构建就绪集合。

期刊选择。

我们依据三个标准筛选来源期刊。第一，被接收的论文必须包含具体的算法贡献，并附有数值上的 SOTA 声明，为每项任务提供明确的竞争目标。第二，该期刊必须包含附带可用数据的论文，使得底层数据集无需逐项人工审批即可公开获取。第三，该期刊的主题范围必须涵盖科学机器学习，这是自动化智能体能力研究最少的领域。据此，我们选择了十种《自然》系列期刊：《自然-机器智能》、《自然-通讯》、《自然-方法》、《自然-材料》、《自然-生物医学工程》、《自然-能源》、《自然-生物技术》、《自然-计算科学》、《自然-遗传学》和《自然-神经科学》。论文发表窗口为 2022–2025 年，选择该区间是为了在语料库规模、软件栈时效性和数据污染风险之间取得平衡。最终的 90 项任务集来自其中六种期刊。其余四种期刊在经历筛选、数据验证、任务构建和校准后，未保留任何任务。

流程漏斗。

所有收集到的论文都经过五个阶段：以初始收集爬取和最终校准步骤为首尾的三个 NatureGym 阶段（§2）。收集阶段从十种《自然》系列期刊中爬取 5,500 个初始候选对象。筛选阶段通过文章类型过滤器保留 2,500 篇研究文章，然后应用三阶段筛选（§2.2）得到 200 篇论文。获取阶段获取并验证数据集（§2.3），范围缩小至 180 篇。构建阶段构建并验证任务包（§2.4），保留 160 篇。校准阶段通过评估时的质量校准（§3.2）移除有缺陷的任务，最终确定基准测试包含 90 个任务包。表 3 报告了每个步骤的数量。

媒体内容 · 前往原文查看

阶段	步骤	保留的论文数
收集	从 10 本《自然》系列期刊进行初始爬取	5,500
筛选	文章类型筛选（排除非研究类）	2,500
筛选	三级筛选（§2.2）	200
获取	数据集获取与验证（§2.3）	180
构建	任务构建（§2.4）	160
校准	评估阶段质量校准（§3.2）

3.2 基准质量校准

构建阶段验证（§2）仅能保证任务包在结构上格式正确且可运行。某些缺陷只有在智能体实际尝试解决任务时才会暴露。因此，我们在主要实验之前增加了一个评估阶段的质量校准，分三步进行。附录 B 提供了完整细节。

首轮诊断与修复。

我们让 Claude Opus 4.6 以基础模式运行所有任务，并结合分数、智能体运行轨迹和任务包对每个案例进行诊断。暴露的缺陷包括：真实答案泄露、任务定义扭曲、无法区分捷径与真实解决方案的评估指标、评估器不一致、流水线或环境错误，以及数据缺失。对于可在本地验证的缺陷，进行最小化修复。存在不可修复问题的任务被剔除。合理的低分予以保留。

复现模式下的包审核。

在复现模式下，智能体还会额外收到源论文，并被指示忠实地复现其方法。我们让 Claude Opus 4.6 和 DeepSeek-V4-Pro 在此模式下运行，以审核每个包是否真正支持论文的方法，检查任务描述与数据、评估器、元数据锚点以及跨组件的一致性。经过人工审核后，45 个任务因系统性缺陷被剔除，17 个任务接受了小幅修复。最终基准确定为 90 个任务包。

最终集合的可复现性。

在最终确定的 90 个任务上，Claude Opus 4.6 成功复现了 30 个任务（），DeepSeek-V4-Pro 成功复现了 21 个任务。在两者都成功的 16 个任务上，结果紧密聚集在零附近（中位数 ，偏差 ），表明 SOTA 锚点校准良好。其余未成功的情况可归因于统一的资源预算和智能体能力，而非包本身的缺陷（图 4）。

3.3 基准统计

该基准包含90个任务和333个评估实例。我们从两个互补主题来刻画NatureBench：其覆盖范围的广度与代表性，以及其评估设计的异质性。第一个主题描述了任务在科学领域、机器学习任务类型和源论文贡献类型上的分布。第二个主题则从三个层面刻画每个任务的评估：评估什么（范围）、参考答案如何定义（范式）以及用什么衡量（指标）。这种异质性解释了为何第3.4节需要一个单一的可跨任务比较的指标。

广度与代表性。

图3总结了NatureBench在三个单标签轴（来源期刊、科学领域和机器学习任务类型）上的覆盖范围，以及源论文贡献性质的多标签视图。从来源看，最终的90个任务集中在六本期刊上，其中《自然-机器智能》（36个）、《自然-方法》（26个）和《自然-计算科学》（16个）位居前列。该语料库偏向近期，2022年至2025年的任务数量分别为11、17、28和34个。在科学领域方面，这些任务涵盖六个领域（细胞组学、蛋白质生物学、生物医学建模、物理建模、分子设计和关系推理）和八种机器学习任务类型，其中预测/回归和分类占主导地位，其次是聚类/整合以及生成、分割、模拟、结构建模和其他专门任务的长尾分布。源论文的贡献类型也各不相同：大多数是将已有方法适配到新的科学场景，相当一部分引入了算法创新，少数则提出了新的问题形式，而单篇论文往往跨越多个类别。

异质性评估设计。

图 3 报告了设计概要。在范围层，任务在多个实例上进行评估（平均 3.7 个，中位数 3 个，最多 19 个），并组织在不同的数据划分拓扑结构下：大多数使用多个独立的测试集，但许多也使用共享训练集搭配多个测试集，或采用留一法跨数据集划分，因此评估范围超越了单一数据集，扩展到了泛化条件。智能体可见的数据范围从小于 1 GB（约占一半任务）到超过 10 GB（约占五分之一）。按主要输入模态划分，这些任务涵盖了生物序列、分子与材料结构、单细胞与空间组学、成像与体数据、时间信号与频谱、图与网络，以及特征表格。在范式层，大多数任务使用一个静态标签，并根据隐藏的真实标签进行评分。其余任务要么是分布任务，即智能体生成的样本通过集合级或分布度量进行评分；要么是预言机任务，即智能体针对提供的评分器进行优化，没有固定的正确答案。在度量层，这些任务使用了 81 种不同的主要度量指标（包括 AUROC、RMSE、Spearman、ARI、F1、MAE 等），每个任务通常由多个指标进行评分（平均 3.7 个主要指标，5.1 个辅助指标），其中大多数是越高越好。这种度量指标的异质性使得不同任务的原始分数无法直接比较，从而催生了第 3.4 节中提出的方向归一化、无量纲的相对差距度量。

3.4 评估协议

每个智能体在独立的 NatureBench 容器内执行其任务，由标准化评测服务根据源论文报告的 SOTA 进行评分。该协议确保每个保留的分数既具有可比性——因为异构任务指标被统一为单一的 SOTA 归一化数值——又具有可信度，因为智能体在工作期间与真实答案隔离，并在事后接受捷径行为审计。

SOTA 归一化相对差距。

为了在具有异构指标的任务之间比较智能体，每个任务都根据单一归一化数值进行评分和排名，该数值基于每个实例指定的一个主要指标计算得出。其余指标仍作为反馈报告给智能体，但不计入此归一化分数。例如，这个 SOTA 归一化相对差距为

(1)

其中 是智能体在该主要指标上的取值， 是论文报告的 SOTA 值， 则编码了指标的方向。 表示智能体达到或超越了已发表的结果。任务级分数是对各实例取平均，未提交有效结果的实例得分为 。由于 是无量纲且方向归一化的，它使得主要指标异构（例如 AUROC、RMSE、Spearman ）的任务之间能够直接比较。

智能体运行与裁决。

该智能体在一个隔离的、特定任务的 Docker 容器内运行，对 `problem/`（任务描述和数据）拥有读取权限，对 `workspace/` 拥有读写权限，并配有 4 小时的挂钟预算，以及在任务需要时提供一块 GPU。评估器、真实结果和 SOTA 目标位于宿主机侧的评估服务中，智能体无法直接访问。在运行过程中，智能体通过三个端点反复查询该服务。`/evaluate` 对每个实例在所有报告的指标上进行评分，并返回原始分数、相对差距以及当前最佳成绩。`/best_score` 返回当前最佳成绩，无需提交。`/time_remaining` 报告剩余预算。评分期间挂钟计时暂停，因此评估开销不会消耗智能体的预算。运行结束后，一个事后使用的 Claude Sonnet 4.6 评判器会检查是否存在走捷径行为（输出伪造、用规则替换学习、答案恢复、反馈游戏或绕过训练），并将被标记的运行评分设为无。

4 实验

4.1 实验设置

我们在 NatureBench 上，在单一共享协议下评估前沿编程智能体，衡量每个智能体接近其任务源论文已发表 SOTA 的程度。智能体仅根据任务的可见数据和问题说明，自主开发解决方案并反复提交，通过第 3.4 节的评估协议，根据论文的 SOTA 目标进行评分。

模型。

我们评估了十二个模型，每个模型与三个基于 CLI 的智能体框架之一配对。Claude Code [Anthropic, 2025] 与九个模型配对：Claude Opus 4.6、Claude Opus 4.7 [Anthropic, 2026a, b]、Kimi K2.6 [Moonshot AI, 2026]、MiniMax-M2.7、MiniMax-M3 [MiniMax, 2026a, b]、DeepSeek-V4-Pro [DeepSeek, 2026]、GLM-5.1、GLM-5.2 [Z.ai, 2026a, b] 和 Qwen 3.7 Max [Qwen Team, 2026]。Codex CLI [OpenAI, 2025] 与 GPT-5.4 和 GPT-5.5 [OpenAI, 2026a, b] 配对。Gemini CLI [Google, 2025] 与 Gemini 3.5 Flash [Google DeepMind, 2026] 配对。每个智能体在所有 90 个任务上独立运行。

统一条件。

所有智能体均禁用网络搜索，防止它们通过获取源数据集或论文内容作为捷径。每个测试框架保持其默认的推理努力设置。每项任务都获得相同的 4 小时挂钟时间预算，并配备与其元数据（§2.4）中记录的计算需求相匹配的 GPU：3 项不需要 GPU 的任务仅使用 CPU 运行，70 项 GPU 需求较低的任务各配备一块 NVIDIA RTX 3090 或 4090，17 项计算最密集的任务各配备一块 NVIDIA A800。所有评估机制均遵循 §3.4 的协议。附录 D 报告了每个智能体的 token 和轮次统计信息。

媒体内容 · 前往原文查看

	总体		蛋白质		细胞		物理		分子		关系		生物医学
模型	S	M	S	M	S	M	S	M	S	M	S	M	S	M
Claude Opus 4.7	17.8	47.8	12.5	56.2	22.6	54.8	30.8	46.2	18.2	45.5	0.0	60.0	7.1	21.4
GLM-5.2	15.6	41.1	12.5	43.8	25.8	51.6	23.1	23.1	0.0	45.5	0.0	60.0	7.1	21.4
Gemini 3.5 Flash	15.6	37.8	6.2	43.8	25.8	51.6	30.8	30.8	0.0	18.2	0.0	60.0	7.1	14.3
GPT-5.5	14.4	44.4	6.2	50.0	25.8	54.8	23.1	38.5	0.0	18.2	0.0	60.0	7.1	35.7
Claude Opus 4.6	12.2	36.7	12.5	31.2	19.4	41.9	23.1	30.8	0.0	36.4	0.0	60.0	0.0	28.6
MiniMax-M3	11.1	33.3	12.5	43.8	19.4	35.5	15.4	30.8	0.0	36.4	0.0	60.0	0.0	7.1
Qwen 3.7 Max	10.0	28.9	12.5	37.5	16.1	35.5	15.4	23.1	0.0	18.2	0.0	40.0	0.0	14.3
Kimi K2.6	8.9	30.0	12.5	37.5	12.9	29.0	15.4	15.4	0.0	27.3	0.0	60.0	0.0	28.6
GPT-5.4	8.9	27.8	6.2	37.5	12.9	29.0	23.1	30.8	0.0	18.2	0.0	60.0	0.0	7.1
GLM-5.1	7.8	28.9	6.2	25.0	12.9	35.5	7.7	23.1	0.0	18.2	0.0	60.0	7.1	21.4
DeepSeek-V4-Pro	4.4	26.7	6.2	37.5	9.7	32.3	0.0	15.4	0.0	18.2	0.0	60.0	0.0	7.1
MiniMax-M2.7	1.1	13.3	0.0	18.8	3.2	16.1	0.0	7.7	0.0	0.0	0.0	20.0	0.0	14.3

4.2 主要结果

在所有十二个智能体中，对已发布 SOTA 的明显改进很少见，即使是最好的智能体，在 90 项任务中也只有不到一半能够匹配 SOTA。表 4 报告了超越 SOTA（S）和匹配 SOTA（M）的比率，包括总体和每个科学领域。

总体表现。

即使对于最强的智能体来说，能够明确超越已发布 SOTA 的情况也并不常见：Claude Opus 4.7 仅达到 ，其次是 Gemini 3.5 Flash 和 GLM-5.2（均为 ），以及 GPT-5.5（），而 MiniMax-M2.7 则降至 。匹配 SOTA 的比率（）更高，但仍未过半：Claude Opus 4.7 以 领先，其次是 GPT-5.5（）、GLM-5.2（）和 Gemini 3.5 Flash（）。其余智能体的比率在 到 之间，MiniMax-M2.7 垫底。表 4 中各领域列显示，不同科学领域的达成情况分布不均，且明确改进更为集中。我们将这种跨领域结构推迟到 §5.2 中讨论。

媒体内容 · 前往原文查看

		差距总结				提交率（%）
模型	工具链					CR	SR
Claude Opus 4.7	Claude Code					100.0	100.0
GLM-5.2	Claude Code					96.7	98.9
Gemini 3.5 Flash	Gemini CLI					94.4	98.9
GPT-5.5	Codex CLI					84.4	98.9
Claude Opus 4.6	Claude Code					100.0	100.0
MiniMax-M3	Claude Code					98.9	98.9
Qwen 3.7 Max	Claude Code					95.6	98.9
Kimi K2.6	Claude Code					92.2	94.4
GPT-5.4	Codex CLI					94.4	100.0
GLM-5.1	Claude Code					93.3	93.3
DeepSeek-V4-Pro	Claude Code					98.9	98.9
MiniMax-M2.7	Claude Code					93.3	98.9

完成度与有效性。

智能体在几乎所有任务上都能提交可评分的解决方案，少数无效的捷径提交会被有效性评判器过滤掉。在表5中，SR与CR之间的差距揭示了被有效性评判器标记为可评分但无效（捷径）的提交。两个Claude Opus智能体表现最干净，两项比率均为零且无无效提交，因此它们未完成的任务反映的是真实性能不足，而非方法无效。GPT-5.5尝试捷径的频率最高，存在无效提交。由于这些无效提交已从其评分中过滤，其第二高的Match-SOTA（匹配SOTA）值以及评判器接受的任务中唯一非负的中位数，仍然是真实的。在其余智能体中，GLM-5.1的SR最低：在其未评分的任务上，该智能体自身的解决方案从未产生可评分的提交。

评分分布。

大多数任务的得分略低于SOTA，既未达到SOTA也未严重失败。中位数相对差距的范围，从最强智能体Claude Opus 4.7的某个值，到最弱智能体MiniMax-M2.7的某个值（表5）。图6展示了完整分布：每个智能体的得分都集中在这个中等偏下的亚SOTA区间内，较弱的智能体将更多质量分布推向严重失败，且任何智能体都只有少数任务能达到SOTA。少数任务带有极端负值，因为SOTA归一化差距放大了较大不足，导致每个智能体的均值远低于其中位数。因此，我们将Surpass-SOTA（超越SOTA）和Match-SOTA（匹配SOTA）作为主要指标，将中位数作为辅助总结。§5.3证实，这些极端值反映的是归一化效应，而非任务本身存在问题。

5 分析

智能体距离论文报告的 SOTA 仍相去甚远；我们现在探究这一差距如何产生、集中在何处，以及其测量可靠性如何。这项详细的行为分析涵盖了十种智能体配置。差距主要源于方法层面：智能体成功的方式主要是将科学任务重新表述为通用的机器学习流程，而非进行真正的科学发现，其失败则主要在于方法选择和执行深度不足（§5.1）。差距按任务集中：六个科学领域形成了十种被分析智能体共有的难度梯度，而跨学科任务进一步拉大了这一差距（§5.2）。差距的测量是可靠的：极端分数是 SOTA 相对差距的合理输出，易泄露或易被钻空子的任务会被协议捕获，且各源论文覆盖范围的收窄并不重要：我们评估的是每篇论文的核心任务，而非完整复现它（§5.3）。

5.1 解决方案机制

为了理解智能体不仅是否匹配 SOTA，还包括它们如何成功或失败，我们通过比较论文侧的方法族与智能体实际实现的方法，对运行结果（任务 × 被分析智能体）进行标注，将匹配 SOTA 的运行归因于成功模式，并将低于 SOTA 或无效的运行归类为失败层级。如图 7a 所示，这些被分析智能体中的匹配 SOTA 率仅为 [原文未给出具体数值]，这主要是因为匹配已发表的 SOTA 既需要选择适合任务科学结构的方法，也需要足够深入地执行这些方法。

方法路径。

智能体系统性地将科学任务重塑为更熟悉的方法族：论文侧的方法集中在结构化表示、统计建模以及预训练或迁移学习，而智能体侧的方法则集中在监督预测建模（针对运行结果）。然而，这些转变并非同样有效。如图7b所示，当智能体方法与其源论文属于同一大类时，运行结果在 的案例中达到SOTA水平，而使用不同方法族的运行结果仅为 。尽管NatureBench对方法选择没有施加任何限制，但更接近任务原始科学结构的方法往往更有效。

成功模式。

当智能体确实达到SOTA时，它们通常是通过通用的机器学习工程手段，而非基于领域知识的方法选择来实现的。如图7c所示，监督代理预测占成功运行结果的 ，优化与调优占 ，工程流水线占 ，预训练或模型缩放占 。这些工程驱动的类别合计占成功案例的 。相比之下，基于领域推理的替代方案和方法对齐的解决方案分别仅占 和 。这一模式表明，智能体主要通过将科学任务简化为标准的机器学习流水线（可训练、可调优、可工程化）来取得成功，而非通过推理任务的科学细节。

失败模式。

大多数失败源于方法选择或执行深度，而非对任务的理解错误或输出格式异常。在低于匹配SOTA或缺乏有效得分的运行中，方法层失败占主导地位，主要原因是方法选择错误（），其次是执行层失败（），主要归因于预算或时间不足（）。理解层和策略层失败分别仅占 和 （图7d）。这些运行大多能生成可运行的解决方案，但所选方法过弱或实现过于浅层，无法缩小与论文报告SOTA之间的差距。因此，失败分布表明，方法选择与实现深度——而非代码生成本身——是当前智能体在NatureBench任务上的主要瓶颈。附录C展示了三个代表性轨迹以说明这些模式。

5.2 领域与跨学科差异

我们考察了任务的科学领域和学科范围是否系统性地影响智能体性能。这两个因素均被证明具有影响力：六个领域形成了稳定的难度梯度，共识匹配SOTA率从 到 不等，且该排序在所有十个智能体中高度一致（）。跨学科任务进一步拉大了与论文报告SOTA之间的差距。图8展示了完整的分解结果。

科学领域。

在六个科学领域内，性能表现各不相同，且这种难度排序在所有智能体之间是共通的。根据共识性的“匹配 SOTA 率”对六个领域进行排序，可以发现一个难度梯度，该梯度分为两个层级。较容易的层级包括关系推理、蛋白质生物学和细胞组学。较难的层级包括物理建模、分子设计和生物医学建模。共识性结果证实了这一划分：在较容易的层级中，中位相对差距保持在较低水平，但在较难的层级中则超过了较高水平。所有十个智能体均与该排序呈正秩相关（斯皮尔曼相关系数范围从某值到某值，其中九个达到某显著性水平），这表明这种跨领域差异在很大程度上是智能体共有的，而非某个特定智能体所独有。

跨学科任务。

除了六个领域之间的性能差异外，一部分任务各自在单个任务中整合了多个领域，而这些任务相较于单学科任务，其解决结果往往距离 SOTA 更远。我们根据每个任务是否涉及多个科学领域对其进行标记，从而划分出跨学科任务和单学科任务。比较这两组任务，我们发现，合并后的中位值从单学科任务的某值下降至跨学科任务的某值，且大部分智能体都呈现这一趋势。匹配 SOTA 率也显示出相同的方向，从某值下降至某值，且大部分智能体的该比率更低。跨学科任务中智能体与 SOTA 之间差距的持续扩大表明，对于当前大多数智能体而言，跨领域整合知识仍然是一个独特的挑战。

5.3 基准测试有效性

NatureBench 将公开论文转化为可自动评分的任务，并将其异构指标归一化到共同的 SOTA 相对尺度上。为验证这一设计不会扭曲结果，我们审计了那些得分极端以及最易受数据泄露或作弊影响的任务。我们逐一检查了各项担忧，发现它们要么按设计正常工作，要么通过协议被控制在可接受的水平内。

指标归一化。

极端分数是 SOTA 相对度量本身的属性，而非任务存在缺陷的标志，表现为图 6 中沉重的负值尾部以及表 5 中 与 之间的差距。该差距将每个结果评定为所报告 SOTA 的一个分数，因此其大小既取决于该 SOTA，也取决于智能体本身。接近上限的 SOTA 会留下极小的分母，因此一个表现平平的智能体在真正困难的任务上会映射为较大的负值。较大的正值可能出现在以下情况：用于评分的单一主要指标仅捕捉了多目标方法的一个方面，而该方法的原始论文通过多个指标从不同维度进行评估；直接针对该指标进行优化的智能体可以超过报告值，而无需追求该方法的其他目标。在审计每个存在极端差距的任务后，我们未发现任何任务错误。因此，我们采用 Surpass-SOTA 和 Match-SOTA 作为主要指标，并以中位数作为抗尾部干扰的汇总统计量，均值仅作完整性参考。

任务覆盖范围。

某些任务仅评估其原始论文中有限的一部分，这是一种不可避免且合理的范围缩减。每个此类任务保留了论文的核心量化问题，并对一部分实例和指标进行评分。当被省略的实例或指标涵盖了论文贡献的其他方向时，该论文仅被部分捕捉。某个方向通常因无法以结构化数据形式捕捉或无法自动、确定性地评分而被排除。此外，超出任务数据量预算的可获取实例也不会被收集。保留的部分仍然是论文的核心量化任务，并得到正确评分，因此 Surpass-SOTA 和 Match-SOTA 衡量的是该部分上的性能，而非整篇论文。

数据泄露与反馈。

残余泄漏和反馈风险是不可避免的，但受到协议约束，并经审查确认其范围有限。由于任务基于公开数据构建，某些信息在原则上是可以获取的：源数据集来自公共存储库和基准测试，并且在少数任务中，智能体可见的输入与其目标天然耦合，因此智能体可能直接读取部分答案，而非通过计算得出。另一个次要风险是，在重复提交过程中，精确分数反馈可能让智能体操纵评分器而非真正解决问题。协议对这两者均加以限制：网络搜索被禁用，因此智能体无法检索数据或已公布的结果；同时，一个事后有效性裁判会过滤那些已评分但无效的提交（见表5中的SR–CR差距）。对风险最高的任务进行审查后，我们发现高频提交绝大多数是合法的迭代行为，而极少数真正的利用行为会被裁判捕获。

6 相关工作

6.1 人工智能驱动的科学研究

第一波浪潮：在人类定义的研究框架内，AI作为加速器。

人工智能驱动的科学研究已在多个学科领域取得了显著的垂直成果。在结构生物学方面，AlphaFold、RoseTTAFold、ESMFold、AlphaFold 3 和 Boltz-1 将原子级预测从单链扩展到了生物分子复合物 [Jumper 等人，2021；Baek 等人，2021；Lin 等人，2023；Abramson 等人，2024；Wohlwend 等人，2025]，而 RFdiffusion 及其抗体扩展版本则通过实验验证的从头设计形成了闭环 [Watson 等人，2023；Bennett 等人，2026]。在基因组学领域，AlphaMissense 和 PheMART 对变异致病性和表型空间进行建模 [Cheng 等人，2023；Wen 等人，2026]。Geneformer、scGPT 和 Evo 2 在转录组或 DNA 上预训练基础模型 [Theodoris 等人，2023；Cui 等人，2024；Brixi 等人，2026]。Cell2location 在空间转录组学中解析细胞类型 [Kleshchevnikov 等人，2022]。在材料、化学、数学和地球系统领域，GNoME 和 MatterGen 发现或逆向设计材料 [Merchant 等人，2023；Zeni 等人，2025]，Coscientist 自动化化学实验 [Boiko 等人，2023]，AlphaTensor 和 AlphaProof 将基于搜索的推理扩展到算法和形式化数学 [Fawzi 等人，2022a；Hubert 等人，2025]，而 GraphCast、GenCast 和 Aurora 则推动了全球天气和地球系统预测的进步 [Lam 等人，2023；Price 等人，2025；Bodnar 等人，2025]。

研究加人工智能范式的一个结构性局限。

尽管这些系统功能强大，但它们大多共享相同的方法论形式：人类制定研究计划、整理数据并确定成功标准，而人工智能则在该计划内充当一种能力更强的工具。这使得许多进步成为工具的革新，而非革新的工具 [Zhou 等人，2025]。大规模发表证据进一步表明，人工智能增强型科学可以提高个人产出和影响力，同时将集体研究的前沿范围收窄至数据丰富的子领域 [Hao 等人，2026]。因此，现有的人工智能驱动科学系统可以沿着既定方向加速进展，但它们本身并不能建立跨学科、颠覆范式的解决问题能力。

从人工智能辅助研究到人工智能原生的解决问题方式。

自然的下一步是评估 AI 作为主要问题解决者的能力：给定一项科学任务，系统必须选择方法、运行实验，并由最终的科学成果来评判。诸如 The AI Scientist、AI co-scientist、DeepScientist 和 AutoSOTA 等通用型科学智能体正朝着这个方向发展 [Lu et al., 2026, Gottweis et al., 2026a, Weng et al., 2025, Li et al., 2026]，但它们通常只在自行选定的主题或有限领域内进行演示，因此 AI 原生的科学问题解决能力能否在整个科学领域通用，仍是一个悬而未决的问题。

跨学科评估作为打破信息茧房的测试。

当代科学家面临着日益受限的信息茧房：专业化的训练、文献的增长以及特定领域的工具，使得跨学科整合方法、数据和概念变得困难 [Hao et al., 2026, Zhou et al., 2025, Piao et al., 2023]。这正是 AI 原生求解器应具备显著优势之处，因为同一个智能体可以在一个系统内结合生物表征学习、化学搜索、物理模拟和统计建模。因此，NatureBench 测试了缺失的横向能力：当代编码智能体能否解决横跨六个科学任务领域的 90 项 Nature 系列任务，以每篇论文报告的 SOTA 作为统一的发现评分锚点，并评估智能体能否从特定领域的研究加 AI，迈向跨学科的科学问题求解。

6.2 基于论文的基准测试

基于论文的基准测试文献探讨的是智能体能否将科学论文作为核心工件进行阅读、评估和操作。其中一条研究路线针对论文理解：PaperQA、PaperQA2 和 OpenScholar 评估了基于检索增强、引用支持的答案或文献综述 [Lala 等人，2023；Skarlinski 等人，2024；Asai 等人，2024]。LAB-Bench 将此扩展到生物学论文，涵盖了补充材料、图表、表格和实验方案 [Laurent 等人，2024]。ReviewerGPT、大规模 LLM 反馈研究以及 MMReview 则测试了针对纯文本、多学科或多模态手稿的同行评审式批判 [Liu 和 Shah，2023；Liang 等人，2023；Gao 等人，2025]。

第二条研究路线将论文转化为可执行的工作：PaperBench 要求智能体在作者提供的评分标准下，从头重建 ICML 论文 [Starace 等人，2025]；而 AutoExperiment 和 LMR-Bench 则使用渐进式代码遮蔽或语言建模研究规范，来测试对已报告实验的复现能力 [Kim 等人，2025；Yan 等人，2025]。可复现性基准测试将此范围扩展到了机器学习之外：CORE-Bench、REPRO-Bench 和 ReplicationBench 涵盖了计算机科学、社会科学、医学和天体物理学领域的复现、评估或复制工作 [Siegel 等人，2024；Hu 等人，2025；Ye 等人，2025]。AutoMat 和 Collider-Bench 则增加了材料科学和大型强子对撞机的工具链 [Huang 等人，2026；Faroughy 等人，2026]。FIRE-Bench 要求智能体根据从机器学习论文中提取的高层次问题，重新发现已有的见解 [Wang 等人，2026]。这些基准测试都将评估建立在论文基础上，但其目标是阅读、评审、复现、复制、可复现性评估或重新发现已知结论。NatureBench 保留了以论文为基础的特点，同时将目标转向独立解决相同的科学问题，并以源论文中报告的 SOTA 作为评分锚点，要求匹配或超越该水平。

6.3 AI 训练 AI 与自主优化

近期关于“AI训练AI”、自主优化以及自动研究的工作，可以根据其对智能体任务的建模方式进行组织。诸如MLAgentBench、MLE-bench、MLGym、MLE-Dojo、MLS-Bench、AIRS-Bench、PostTrainBench、InferenceBench和AutoLab等基准测试套件，通过一系列机器学习实验、模型构建、后训练、推理优化或长周期闭环优化任务来评估智能体 [Huang et al., 2023, Chan et al., 2025, Nathani et al., 2025, Qiang et al., 2026, Lyu et al., 2026a, Lupidi et al., 2026, Rank et al., 2026, Yeon et al., 2026, Xu et al., 2026]。FrontierCS、ALE-Bench和Frontier-Eng则将这种套件式评估扩展到了算法工程和现实世界的工程优化领域 [Mang et al., 2025, Imajuku et al., 2025, Chi et al., 2026]。第二条研究路线关注少任务、验证器驱动的发现，即智能体针对专门的高价值目标，反复提出、执行并评估程序、算法或科学候选方案 [Fawzi et al., 2022b, Romera-Paredes et al., 2024, Novikov et al., 2025, Wang et al., 2025, Yuksekgonul et al., 2026, Ye et al., 2026, Cemri et al., 2026, Liu et al., 2026, Jiang et al., 2026, Lin et al., 2026, Liu et al., 2025]。第三条路线则将任务定义为端到端的研究自动化，包括模拟科学环境、自主论文生成工作流、多智能体假设生成、实验室闭环发现、SOTA模型发现，以及对生成研究的审稿式评估 [Jansen et al., 2024, Lu et al., 2024, Gottweis et al., 2026b, Ghareeb et al., 2026, Li et al., 2026, Weng et al., 2025, Zhang et al., 2026, Lyu et al., 2026b, Zhu et al., 2026]。这些任务模型留下了一个关键交叉点尚未充分探索：即基于论文级科学研究、并对照论文在其核心科学指标上报告的SOTA进行评估的大规模基准测试套件。NatureBench填补了这一空白，它包含90个Nature系列任务，结合了基准测试套件的规模、源自论文的科学内容以及以SOTA为参照的评估，覆盖六个科学任务领域。

7 结论

我们推出了 NatureGym，这是一个自动化流水线，能够从《自然》系列论文中为每个任务构建科学环境；同时推出了 NatureBench，这是一个涵盖六个科学领域的《自然》来源任务基准测试，利用这些环境不仅衡量复现能力，还衡量发现能力。在十个前沿智能体中，表现最强的智能体仅在部分任务上超越了已发表的 SOTA（），并在部分任务上与之持平。其主要的成功路径是方法翻译，即智能体将科学任务转化为熟悉的监督预测问题，而非科学发明。失败的主要原因在于方法选择错误（）和计算预算不足（），而非任务理解错误。我们发布了 NatureBench、NatureGym 以及一个由维护方进行复现的公开排行榜，长期目标是将同一基础素材转化为未来科学发现智能体的训练数据。

8 位作者

核心作者

王宇茹 1,2，程乐君 3，左雨欣 2

曾思航 4，何炳祥 2，蒋澈 1,2，杨俊林 1,2，王宇翀 1,2，赵凯凯 2，黄伟峰 2，田凯 1,2，袁振钊 1,2，钟金城 1,2，王伟志 1,2

丁宁 2，周伯文 2，张凯彦 1

主要所属机构

1 地平线研究，Frontis.AI 2 清华大学 3 北京大学 4 哈佛大学

参考文献

• Abramson 等人 [2024] Josh Abramson, Jonas Adler, Jack Dunger, Richard Evans, Tim Green, Alexander Pritzel, Olaf Ronneberger, Lindsay Willmore, Andrew J Ballard, Joshua Bambrick, 等. 利用 AlphaFold 3 精确预测生物分子相互作用的结构. 《自然》, 630(8016):493–500, 2024.
• Anthropic [2025] Anthropic. Claude Code：一款智能体编码工具. https://github.com/anthropics/claude-code, 2025.
• Anthropic [2026a] Anthropic. 系统卡：Claude Opus 4.6. https://www.anthropic.com/claude-opus-4-6-system-card, 2026a.
• Anthropic [2026b] Anthropic. 系统卡：Claude Opus 4.7. https://www.anthropic.com/claude-opus-4-7-system-card, 2026b.
• Anthropic [2026c] Anthropic. Claude API 定价. https://platform.claude.com/docs/en/about-claude/pricing, 2026c.
• Asai 等人 [2024] Akari Asai, Jacqueline He, Rulin Shao, Weijia Shi, Amanpreet Singh, Joseph Chee Chang, Kyle Lo, Luca Soldaini, Sergey Feldman, Mike D’Arcy, David Wadden, Matt Latzke, Minyang Tian, Pan Ji, Shengyan Liu, Hao Tong, Bohao Wu, Yanyu Xiong, Luke Zettlemoyer, Graham Neubig, Dan Weld, Doug Downey, Wen tau Yih, Pang Wei Koh, 和 Hannaneh Hajishirzi. OpenScholar：利用检索增强型大语言模型综合科学文献，2024. URL https://arxiv.org/abs/2411.14199.
• Baek 等人 [2021] Minkyung Baek, Frank DiMaio, Ivan Anishchenko, Justas Dauparas, Sergey Ovchinnikov, Gyu Rie Lee, Jue Wang, Qian Cong, Lisa N Kinch, R Dustin Schaeffer, 等. 利用三轨道神经网络精确预测蛋白质结构与相互作用. Science, 373(6557):871–876, 2021.
• Bai 等人 [2025] Peizhen Bai, Filip Miljković, Xianyuan Liu, Leonardo De Maria, Rebecca Croasdale-Wood, Owen Rackham, 和 Haiping Lu. 掩码先验引导的去噪扩散改进了逆蛋白质折叠. Nature Machine Intelligence, 7(6):876–888, 2025.
• Bennett 等人 [2026] Nathaniel R Bennett, Joseph L Watson, Robert J Ragotte, Andrew J Borst, DéJenaé L See, Connor Weidle, Riti Biswas, Yutong Yu, Ellen L Shrock, Russell Ault, 等. 利用 RFdiffusion 实现原子级精确的抗体从头设计. Nature, 649(8095):183–193, 2026.
• Bodnar 等人 [2025] Cristian Bodnar, Wessel P Bruinsma, Ana Lucic, Megan Stanley, Anna Allen, Johannes Brandstetter, Patrick Garvan, Maik Riechert, Jonathan A Weyn, Haiyu Dong, 等. 地球系统的基础模型. Nature, 641(8065):1180–1187, 2025.
• Boiko 等人 [2023] Daniil A Boiko, Robert MacKnight, Ben Kline, 和 Gabe Gomes. 利用大语言模型进行自主化学研究. Nature, 624(7992):570–578, 2023.
• Brixi 等人 [2026] Garyk Brixi, Matthew G Durrant, Jerome Ku, Mohsen Naghipourfar, Michael Poli, Gwanggyu Sun, Greg Brockman, Daniel Chang, Alison Fanton, Gabriel A Gonzalez, 等. 利用 Evo 2 对所有生命领域的基因组进行建模与设计. Nature, 652(8112):1349–1361, 2026.
• Cemri 等人 [2026] Mert Cemri, Shubham Agrawal, Akshat Gupta, Shu Liu, Audrey Cheng, Qiuyang Mang, Ashwin Naren, Lutfi Eren Erdogan, Koushik Sen, Matei Zaharia, Alex Dimakis, 以及 Ion Stoica。AdaEvolve：自适应大语言模型驱动的零阶优化，2026。URL https://arxiv.org/abs/2602.20133。
• Chan 等人 [2025] Jun Shern Chan, Neil Chowdhury, Oliver Jaffe, James Aung, Dane Sherburn, Evan Mays, Giulio Starace, Kevin Liu, Leon Maksin, Tejal Patwardhan 等。Mle-bench：在机器学习工程任务上评估机器学习智能体。发表于国际学习表征会议，2025 卷，页码 50466–50494，2025。
• Chen 与 Jung [2022] Shuan Chen 与 Yousung Jung。基于广义模板的图神经网络用于精确有机反应性预测。《自然·机器智能》，4(9):772–780，2022。10.1038/s42256-022-00526-z。
• Cheng 等人 [2023] Jun Cheng, Guido Novati, Joshua Pan, Clare Bycroft, Akvilė Žemgulytė, Taylor Applebaum, Alexander Pritzel, Lai Hong Wong, Michal Zielinski, Tobias Sargeant 等。利用 AlphaMissense 实现全蛋白质组规模的错义变异效应精确预测。《科学》，381(6664):eadg7492，2023。
• Chi 等人 [2026] Yizhe Chi, Deyao Hong, Dapeng Jiang, Tianwei Luo, Kaisen Yang, Boshi Zhang, Zhe Cao, Xiaoyan Fan, Bingxiang He, Han Hao, Weiyang Jin, Dianqiao Lei, Qingle Liu, Houde Qian, Bowen Wang, Situ Wang, Youjie Zheng, Yifan Zhou, Calvin Xiao, Eren Cai, 以及 Qinhuai Na。Frontier-Eng：通过生成式优化在真实工程任务上评估自我进化智能体的基准，2026。URL https://arxiv.org/abs/2604.12290。
• Cui 等人 [2024] Haotian Cui, Chloe Wang, Hassaan Maan, Kuan Pang, Fengning Luo, Nan Duan, 以及 Bo Wang。scGPT：利用生成式 AI 构建单细胞多组学基础模型。《自然·方法》，21(8):1470–1480，2024。
• Dalla-Torre 等人 [2025] Hugo Dalla-Torre, Liam Gonzalez, Javier Mendoza-Revilla, Nicolas Lopez Carranza, Adam Henryk Grzywaczewski, Francesco Oteri, Christian Dallago, Evan Trop, Bernardo P. de Almeida, Hassan Sirelkhatim, Guillaume Richard, Marcin Skwark, Karim Beguir, Marie Lopez, 以及 Thomas Pierrot。Nucleotide Transformer：构建并评估用于人类基因组学的稳健基础模型。《自然·方法》，22:287–297，2025。10.1038/s41592-024-02523-z。
• DeepSeek [2026] DeepSeek。DeepSeek V4 预览版发布。https://api-docs.deepseek.com/news/news260424，2026。
• Faroughy 等人 [2026] Darius A. Faroughy, Sofia Palacios Schweitzer, Ian Pang, Siddharth Mishra-Sharma, 以及 David Shih。Collider-bench：通过粒子物理分析复现来基准测试 AI 智能体，2026。URL https://arxiv.org/abs/2605.13950。
• Fawzi 等人 [2022a] Alhussein Fawzi, Matej Balog, Aja Huang, Thomas Hubert, Bernardino Romera-Paredes, Mohammadamin Barekatain, Alexander Novikov, Francisco J R. Ruiz, Julian Schrittwieser, Grzegorz Swirszcz 等人。通过强化学习发现更快的矩阵乘法算法。《自然》，610(7930):47–53，2022a。
• Fawzi 等人 [2022b] Alhussein Fawzi, Matej Balog, Aja Huang, Thomas Hubert, Bernardino Romera-Paredes, Mohammadamin Barekatain, Alexander Novikov, Francisco J. R. Ruiz, Julian Schrittwieser, Grzegorz Swirszcz, David Silver, Demis Hassabis, 以及 Pushmeet Kohli。通过强化学习发现更快的矩阵乘法算法。《自然》，610:47–53，2022b。10.1038/s41586-022-05172-4。URL https://www.nature.com/articles/s41586-022-05172-4。
• Gao 等人 [2025] Xian Gao, Jiacheng Ruan, Zongyun Zhang, Jingsheng Gao, Ting Liu, 以及 Yuzhuo Fu。MMReview：一个用于基于大语言模型的同行评审自动化的多学科、多模态基准测试，2025。URL https://arxiv.org/abs/2508.14146。
• Ghareeb 等人 [2026] Ali Essam Ghareeb, Benjamin Chang, Ludovico Mitchener 等人。一个用于自动化科学发现的多智能体系统。《自然》，2026。10.1038/s41586-026-10652-y。URL https://www.nature.com/articles/s41586-026-10652-y。
• Google [2025] Google。Gemini CLI：一个开源 AI 智能体。https://github.com/google-gemini/gemini-cli，2025。
• Google DeepMind [2026] Google DeepMind。Gemini 3.5 Flash 模型卡。https://deepmind.google/models/model-cards/gemini-3-5-flash/，2026年。
• Gottweis 等人 [2026a] Juraj Gottweis、Wei-Hung Weng、Alexander Daryin、Tao Tu、Petar Sirkovic、Artiom Myaskovsky、Grzegorz Glowaty、Felix Weissenberger、Alessio Orlandi、Dan Popovici 等人。利用协同科学家加速科学发现。《自然》，第1–3页，2026a。
• Gottweis 等人 [2026b] Juraj Gottweis 等人。利用协同科学家加速科学发现。《自然》，2026b。10.1038/s41586-026-10644-y。URL https://www.nature.com/articles/s41586-026-10644-y。
• Hao 等人 [2026] Qianyue Hao、Fengli Xu、Yong Li 和 James Evans。人工智能工具扩大了科学家的影响力，但收缩了科学的焦点。《自然》，第1–7页，2026年。
• Hasani 等人 [2022] Ramin Hasani、Mathias Lechner、Alexander Amini、Lucas Liebenwein、Aaron Ray、Max Tschaikowski、Gerald Teschl 和 Daniela Rus。闭式连续时间神经网络。《自然机器智能》，4(11):992–1003，2022年。
• Hu 等人 [2025] Chuxuan Hu、Liyun Zhang、Yeji Lim、Aum Wadhwani、Austin Peters 和 Daniel Kang。REPRO-bench：智能体 AI 系统能否评估社会科学研究的可复现性？，2025年。URL https://arxiv.org/abs/2507.18901。
• Huang 等人 [2023] Qian Huang、Jian Vora、Percy Liang 和 Jure Leskovec。MLAgentBench：评估机器学习实验中的语言智能体，2023年。URL https://arxiv.org/abs/2310.03302。
• Huang 等人 [2026] Ziyang Huang、Yi Cao、Ali K. Shargh、Jing Luo、Ruidong Mei、Mohd Zaki、Zhan Liu、Wyatt Bunstine、William Jurayj、Somdatta Goswami、Tyrel McQueen、Michael Shields、Jaafar El-Awady、Paulette Clancy、Benjamin Van Durme、Nicholas Andrews、William Walden 和 Daniel Khashabi。编码智能体能否复现计算材料科学中的发现？，2026年。URL https://arxiv.org/abs/2605.00803。
• Hubert 等人 [2025] Thomas Hubert、Rishi Mehta、Laurent Sartran、Miklós Z Horváth、Goran Žužić、Eric Wieser、Aja Huang、Julian Schrittwieser、Yannick Schroecker、Hussain Masoom 等人。基于强化学习的奥林匹克级形式化数学推理。《自然》，第1–3页，2025年。
• Igashov 等人 [2024] Ilia Igashov、Hannes Stärk、Clément Vignac、Arne Schneuing、Victor Garcia Satorras、Pascal Frossard、Max Welling、Michael Bronstein 和 Bruno Correia。用于分子连接子设计的等变 3D 条件扩散模型。《自然·机器智能》，6(4):417–427，2024 年。
• Imajuku 等人 [2025] Yuki Imajuku、Kohki Horie、Yoichi Iwata、Kensho Aoki、Naohiro Takahashi 和 Takuya Akiba。ALE-bench：面向长周期目标驱动算法工程的基准测试。收录于《神经信息处理系统进展》，数据集与基准测试轨道，2025 年。URL https://openreview.net/forum?id=JCjGvbsOmQ。
• Jansen 等人 [2024] Peter Jansen、Marc-Alexandre Cote、Tushar Khot、Erin Bransom、Bhavana Dalvi Mishra、Bodhisattwa Prasad Majumder、Oyvind Tafjord 和 Peter Clark。DISCOVERYWORLD：用于开发和评估自动化科学发现智能体的虚拟环境，2024 年。URL https://arxiv.org/abs/2406.06769。
• Jiang 等人 [2026] Jiachen Jiang、Tianyu Ding 和 Zhihui Zhu。DeltaEvolve：通过动量驱动进化加速科学发现，2026 年。URL https://arxiv.org/abs/2602.02919。
• Jumper 等人 [2021] John Jumper、Richard Evans、Alexander Pritzel、Tim Green、Michael Figurnov、Olaf Ronneberger、Kathryn Tunyasuvunakool、Russ Bates、Augustin Žídek、Anna Potapenko 等。利用 AlphaFold 实现高度准确的蛋白质结构预测。《自然》，596(7873):583–589，2021 年。
• Karpathy [2026] Andrej Karpathy。autoresearch。https://github.com/karpathy/autoresearch，2026 年。
• Kim 等人 [2025] Gyeongwon James Kim、Alex Wilf、Louis-Philippe Morency 和 Daniel Fried。从复现到复制：通过渐进式代码屏蔽评估研究智能体，2025 年。URL https://arxiv.org/abs/2506.19724。
• Kleshchevnikov 等人 [2022] Vitalii Kleshchevnikov、Artem Shmatko、Emma Dann、Alexander Aivazidis、Hamish W King、Tong Li、Rasa Elmentaite、Artem Lomakin、Veronika Kedlian、Adam Gayoso 等。Cell2location 在空间转录组学中绘制精细细胞类型图谱。《自然·生物技术》，40(5):661–671，2022 年。
• Lala 等人 [2023] Jakub Lala, Odhran O’Donoghue, Aleksandar Shtedritski, Sam Cox, Samuel G. Rodriques, 和 Andrew D. White。PaperQA：面向科学研究的检索增强生成智能体，2023。URL https://arxiv.org/abs/2312.07559。
• Lam 等人 [2023] Remi Lam, Alvaro Sanchez-Gonzalez, Matthew Willson, Peter Wirnsberger, Meire Fortunato, Ferran Alet, Suman Ravuri, Timo Ewalds, Zach Eaton-Rosen, Weihua Hu, 等。利用深度学习模型进行熟练的中期全球天气预报。《科学》，382(6677):1416–1421，2023。
• Laurent 等人 [2024] Jon M. Laurent, Joseph D. Janizek, Michael Ruzo, Michaela M. Hinks, Michael J. Hammerling, Siddharth Narayanan, Manvitha Ponnapati, Andrew D. White, 和 Samuel G. Rodriques。LAB-bench：衡量语言模型在生物学研究中的能力，2024。URL https://arxiv.org/abs/2407.10362。
• Li 等人 [2026] Yu Li, Chenyang Shao, Xinyang Liu, Ruotong Zhao, Peijie Liu, Hongyuan Su, Zhibin Chen, Qinglong Yang, Anjie Xu, Yi Fang, Qingbin Zeng, Tianxing Li, Jingbo Xu, Fengli Xu, Yong Li, 和 Tie-Yan Liu。AutoSOTA：面向最先进AI模型发现的端到端自动化研究系统，2026。URL https://arxiv.org/abs/2604.05550。
• Liang 等人 [2023] Weixin Liang, Yuhui Zhang, Hancheng Cao, Binglu Wang, Daisy Ding, Xinyu Yang, Kailas Vodrahalli, Siyu He, Daniel Smith, Yian Yin, Daniel McFarland, 和 James Zou。大语言模型能否为研究论文提供有用的反馈？一项大规模实证分析，2023。URL https://arxiv.org/abs/2310.01783。
• Lin 等人 [2026] Minhua Lin, Hanqing Lu, Zhan Shi, Bing He, Rui Mao, Zhiwei Zhang, Zongyu Wu, Xianfeng Tang, Hui Liu, Zhenwei Dai, Xiang Zhang, Suhang Wang, Benoit Dumoulin, 和 Jian Pei。立场论文：智能体进化是演进大语言模型的路径，2026。URL https://arxiv.org/abs/2602.00359。
• Lin 等人 [2023] Zeming Lin, Halil Akin, Roshan Rao, Brian Hie, Zhongkai Zhu, Wenting Lu, Nikita Smetanin, Robert Verkuil, Ori Kabeli, Yaniv Shmueli, 等。利用语言模型进行进化尺度的原子级蛋白质结构预测。《科学》，379(6637):1123–1130，2023。
• Liu 等人 [2025] Gang Liu, Yihan Zhu, 等. 通过深度研究增强 AlphaEvolve 实现科学算法发现，2025. URL https://arxiv.org/abs/2510.06056.
• Liu 和 Shah [2023] Ryan Liu 和 Nihar B. Shah. ReviewerGPT？关于使用大语言模型进行论文评审的探索性研究，2023. URL https://arxiv.org/abs/2306.00622.
• Liu 等人 [2026] Shu Liu, Shubham Agarwal, Monishwaran Maheswaran, Mert Cemri, Zhifei Li, Qiuyang Mang, Ashwin Naren, Ethan Boneh, Audrey Cheng, Melissa Z Pan, 等. Evox：用于自动化发现的元进化. arXiv 预印本 arXiv:2602.23413, 2026.
• Lu 等人 [2024] Chris Lu, Cong Lu, Robert Tjarko Lange, Jakob Foerster, Jeff Clune, 和 David Ha. AI 科学家：迈向完全自动化的开放式科学发现，2024. URL https://arxiv.org/abs/2408.06292.
• Lu 等人 [2026] Chris Lu, Cong Lu, Robert Tjarko Lange, Yutaro Yamada, Shengran Hu, Jakob Foerster, David Ha, 和 Jeff Clune. 迈向 AI 研究的端到端自动化. Nature, 651(8107):914–919, 2026.
• Lupidi 等人 [2026] Alisia Lupidi, Bhavul Gauri, Thomas Simon Foster, Bassel Al Omari, Despoina Magka, Alberto Pepe, Alexis Audran-Reiss, Muna Aghamelu, Nicolas Baldwin, Lucia Cipolina-Kun, Jean-Christophe Gagnon-Audet, Chee Hau Leow, Sandra Lefdal, Hossam Mossalam, Abhinav Moudgil, Saba Nazir, Emanuel Tewolde, Isabel Urrego, Jordi Armengol Estape, Amar Budhiraja, Gaurav Chaurasia, Abhishek Charnalia, Derek Dunfield, Karen Hambardzumyan, Daniel Izcovich, Martin Josifoski, Ishita Mediratta, Kelvin Niu, Parth Pathak, Michael Shvartsman, Edan Toledo, Anton Protopopov, Roberta Raileanu, Alexander Miller, Tatiana Shavrina, Jakob Foerster, 和 Yoram Bachrach. AIRS-bench：面向前沿 AI 研究科学智能体的任务套件，2026. URL https://arxiv.org/abs/2602.06855.
• Lyu 等人 [2026a] Bohan Lyu, Yucheng Yang, Siqiao Huang, Jiaru Zhang, Qixin Xu, Xinghan Li, Xinyang Han, Yicheng Zhang, Huaqing Zhang, Runhan Huang, Kaicheng Yang, Zitao Chen, Wentao Guo, Junlin Yang, Xinyue Ai, Wenhao Chai, Yadi Cao, Ziran Yang, Kun Wang, Dapeng Jiang, Huan-ang Gao, Shange Tang, Chengshuai Shi, Simon S. Du, Max Simchowitz, Jiantao Jiao, Dawn Song, 和 Chi Jin。MLS-bench：对构建更优 AI 的 AI 系统的全面且严谨评估，2026a。URL https://arxiv.org/abs/2605.08678。
• Lyu 等人 [2026b] Yougang Lyu, Xi Zhang, Xinhao Yi, Yuyue Zhao, Shuyu Guo, Wenxiang Hu, Jan Piotrowski, Jakub Kaliski, Jacopo Urbani, Zaiqiao Meng, Lun Zhou, 和 Xiaohui Yan。EvoScientist：面向端到端科学发现的多智能体进化 AI 科学家，2026b。URL https://arxiv.org/abs/2603.08127。
• Mang 等人 [2025] Qiuyang Mang, Wenhao Chai, Zhifei Li, Huanzhi Mao, Shang Zhou, Alexander Du, Hanchen Li, Shu Liu, Edwin Chen, Yichuan Wang, Xieting Chu, Zerui Cheng, Yuan Xu, Tian Xia, Zirui Wang, Tianneng Shi, Jianzhu Yao, Yilong Zhao, Qizheng Zhang, Charlie Ruan, Zeyu Shen, Kaiyuan Liu, Runyuan He, Dong Xing, Zerui Li, Zirong Zeng, Yige Jiang, Lufeng Cheng, Ziyi Zhao, Youran Sun, Wesley Zheng, Meiyuwang Zhang, Ruyi Ji, Xuechang Tu, Zihan Zheng, Zexing Chen, Kangyang Zhou, Zhaozi Wang, Jingbang Chen, Aleksandra Korolova, Peter Henderson, Pramod Viswanath, Vijay Ganesh, Saining Xie, Zhuang Liu, Dawn Song, Sewon Min, Ion Stoica, Joseph E. Gonzalez, Jingbo Shang, 和 Alvin Cheung。FrontierCS：为不断进化的智能而进化的挑战，2025。URL https://arxiv.org/abs/2512.15699。
• Merchant 等人 [2023] Amil Merchant, Simon Batzner, Samuel S Schoenholz, Muratahan Aykol, Gowoon Cheon, 和 Ekin Dogus Cubuk。用于材料发现的深度学习规模化。Nature，624(7990):80–85，2023。
• Miao 等人 [2025] Jishuai Miao, Jinzhao Li, Jingxue Xin, Jiajuan Tu, Muyang Ge, Ji Qi, Xiaocheng Zhou, Ying Zhu, Can Yang, 和 Zhixiang Lin。Multigate：通过图表示学习对空间多组学数据进行整合分析与调控推理。Nature Communications，16(1):9403，2025。
• MiniMax [2026a] MiniMax。MiniMax m2.7：自我进化的早期回响。https://www.minimax.io/news/minimax-m27-en，2026a。
• MiniMax [2026b] MiniMax。MiniMax m3：编程与智能体前沿。https://www.minimax.io/models/text/m3，2026b。
• Moonshot AI [2026] Moonshot AI。Kimi k2.6。https://www.kimi.com/ai-models/kimi-k2-6，2026。
• Nathani 等人 [2025] Deepak Nathani、Lovish Madaan、Nicholas Roberts、Nikolay Bashlykov、Ajay Menon、Vincent Moens、Amar Budhiraja、Despoina Magka、Vladislav Vorotilov、Gaurav Chaurasia、Dieuwke Hupkes、Ricardo Silveira Cabral、Tatiana Shavrina、Jakob Foerster、Yoram Bachrach、William Yang Wang 和 Roberta Raileanu。MLGym：一个用于推进 AI 研究智能体的新框架与基准，2025。URL https://arxiv.org/abs/2502.14499。
• Novikov 等人 [2025] Alexander Novikov、Ngan Vu、Marvin Eisenberger、Emilien Dupont、Po-Sen Huang、Adam Zsolt Wagner、Sergey Shirobokov、Borislav Kozlovskii、Francisco J. R. Ruiz、Abbas Mehrabian、M. Pawan Kumar、Abigail See、Swarat Chaudhuri、George Holland、Alex Davies、Sebastian Nowozin、Pushmeet Kohli 和 Matej Balog。AlphaEvolve：一个用于科学与算法发现的编程智能体，2025。URL https://arxiv.org/abs/2506.13131。
• OpenAI [2025] OpenAI。Codex CLI：在终端中运行的轻量级编程智能体。https://github.com/openai/codex，2025。
• OpenAI [2026a] OpenAI。GPT-5.4 思考系统卡。https://openai.com/index/gpt-5-4-thinking-system-card/，2026a。
• OpenAI [2026b] OpenAI。GPT-5.5 系统卡。https://openai.com/index/gpt-5-5-system-card/，2026b。
• OpenAI [2026c] OpenAI。什么是模型 token 以及如何计数？https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them，2026c。
• Oppliger 等人 [2024] Jens Oppliger、M Michael Denner、Julia Küspert、Ruggero Frison、Qisi Wang、Alexander Morawietz、Oleh Ivashko、Ann-Christin Dippel、Martin von Zimmermann、Izabela Biało 等。基于深度神经网络衍射数据去噪的弱信号提取。Nature Machine Intelligence，6(2)：180–186，2024。
• Piao 等人 [2023] 景华·朴、刘佳珍、张芳、苏俊、李勇。人机自适应动态驱动信息茧房的出现。《自然·机器智能》，5(11):1214–1224，2023年。
• Pineda 等人 [2025] 赫苏斯·皮内达、塞尔吉·马索-奥里奥尔、蒙特塞·马索利韦尔、霍安·伯特兰、马蒂亚斯·戈克瑟、乔瓦尼·沃尔佩、卡洛·曼佐。利用图神经网络增强单分子定位的空间聚类。《自然·通讯》，16(1):9693，2025年。
• Price 等人 [2025] 伊兰·普莱斯、阿尔瓦罗·桑切斯-冈萨雷斯、费兰·阿莱特、汤姆·R·安德森、安德鲁·埃尔-卡迪、多米尼克·马斯特斯、蒂莫·埃瓦尔德、杰克琳·斯托特、沙基尔·穆罕默德、彼得·巴塔利亚 等。基于机器学习的概率天气预报。《自然》，637(8044):84–90，2025年。
• Qiang 等人 [2026] 茹诗·强、朱宇辰、李英浩、丁古·萨加尔 VK、张荣志、李昌浩、伊恩·黄、杨雪莉、梁珀西、张超 等。Mle-dojo：赋能大语言模型智能体进行机器学习工程的交互式环境。《神经信息处理系统进展》，38，2026年。
• Qwen 团队 [2026] Qwen 团队。Qwen3.7：智能体前沿。https://qwen.ai/blog?id=qwen3.7，2026年。
• Rank 等人 [2026] 本·兰克、哈迪克·巴特纳格尔、阿梅亚·普拉布、希拉·艾森伯格、卡琳娜·阮、马蒂亚斯·贝特格、马克西姆·安德里乌申科。PostTrainBench：大语言模型智能体能自动化大语言模型后训练吗？，2026年。URL https://arxiv.org/abs/2603.08640。
• Romera-Paredes 等人 [2024] 贝尔纳迪诺·罗梅拉-帕雷德斯、穆罕默德阿明·巴雷卡泰因、亚历山大·诺维科夫、马泰·巴洛格、M. 帕万·库马尔、埃米利安·杜邦、弗朗西斯科·J·R·鲁伊斯、乔丹·S·埃伦伯格、王鹏明、奥马尔·法齐、普什米特·科利、阿尔侯赛因·法齐。利用大语言模型进行程序搜索的数学发现。《自然》，625:468–475，2024年。10.1038/s41586-023-06924-6。URL https://www.nature.com/articles/s41586-023-06924-6。
• Siegel 等人 [2024] 扎卡里·S·西格尔、萨亚什·卡普尔、尼蒂亚·纳格迪尔、本尼迪克特·斯特罗布尔、阿尔温德·纳拉亚南。CORE-bench：通过计算可复现性智能体基准促进已发表研究的可信度，2024年。URL https://arxiv.org/abs/2409.11363。
• Skarlinski 等人 [2024] Michael D. Skarlinski, Sam Cox, Jon M. Laurent, James D. Braza, Michaela Hinks, Michael J. Hammerling, Manvitha Ponnapati, Samuel G. Rodriques 和 Andrew D. White。语言智能体实现科学知识的超人合成，2024。URL https://arxiv.org/abs/2409.13740。
• Starace 等人 [2025] Giulio Starace, Oliver Jaffe, Dane Sherburn, James Aung, Jun Shern Chan, Leon Maksin, Rachel Dias, Evan Mays, Benjamin Kinsella, Wyatt Thompson, Johannes Heidecke, Amelia Glaese 和 Tejal Patwardhan。PaperBench：评估 AI 复制 AI 研究的能力，2025。URL https://arxiv.org/abs/2504.01848。
• Su 等人 [2025] Xiaorui Su, Pengwei Hu, Dongxu Li, Bowei Zhao, Zhaomeng Niu, Thomas Herget, Philip S. Yu 和 Lun Hu。通过基于 Transformer 架构的图表示学习在生物网络中可解释地识别癌症基因。《自然生物医学工程》，9(3):371–389，2025。10.1038/s41551-024-01312-5。
• Theodoris 等人 [2023] Christina V Theodoris, Ling Xiao, Anant Chopra, Mark D Chaffin, Zeina R Al Sayed, Matthew C Hill, Helene Mantineo, Elizabeth M Brydon, Zexian Zeng, X Shirley Liu 等。迁移学习实现网络生物学中的预测。《自然》，618(7965):616–624，2023。
• Wang 等人 [2025] Yiping Wang, Shao-Rong Su, Zhiyuan Zeng, Eva Xu, Liliang Ren, Xinyu Yang, Zeyi Huang, Xuehai He, Luyao Ma, Baolin Peng, Hao Cheng, Pengcheng He, Weizhu Chen, Shuohang Wang, Simon Shaolei Du 和 Yelong Shen。ThetaEvolve：在开放问题上的测试时学习，2025。URL https://arxiv.org/abs/2511.23473。
• Wang 等人 [2026] Zhen Wang, Fan Bai, Zhongyan Luo, Jinyan Su, Kaiser Sun, Xinle Yu, Jieyuan Liu, Kun Zhou, Claire Cardie, Mark Dredze, Eric P. Xing 和 Zhiting Hu。FIRE-bench：评估智能体重新发现科学洞察的能力，2026。URL https://arxiv.org/abs/2602.02905。
• Watson 等人 [2023] Joseph L Watson, David Juergens, Nathaniel R Bennett, Brian L Trippe, Jason Yim, Helen E Eisenach, Woody Ahern, Andrew J Borst, Robert J Ragotte, Lukas F Milles 等。利用 rfdiffusion 从头设计蛋白质结构与功能。《自然》，620(7976):1089–1100，2023。
• Wen 等人 [2026] Jun Wen, Sihang Zeng, Clara-Lea Bonzel, Shilpa Nadimpalli Kobren, Jiangchuan Du, Yi Chai, Hao Wang, Meng Zhu, Siwei Chen, Fangwei Leng 等。基于深度对比学习的错义变异表型预测。《自然生物医学工程》，第 1–16 页，2026 年。
• Weng 等人 [2025] Yixuan Weng, Minjun Zhu, Qiujie Xie, Qiyao Sun, Zhen Lin, Sifan Liu, 和 Yue Zhang。DeepScientist：逐步推进前沿科学发现，2025 年。网址 https://arxiv.org/abs/2509.26603。
• Wohlwend 等人 [2025] Jeremy Wohlwend, Gabriele Corso, Saro Passaro, Noah Getz, Mateo Reveiz, Ken Leidal, Wojtek Swiderski, Liam Atkinson, Tally Portnoi, Itamar Chinn 等。Boltz-1：推动生物分子相互作用建模的民主化。《BioRxiv》，第 2024–11 页，2025 年。
• Xu 等人 [2026] Zhangchen Xu, Junda Chen, Yue Huang, Dongfu Jiang, Jiefeng Chen, Hang Hua, Zijian Wu, Zheyuan Liu, Zexue He, Lichi Li 等。Autolab：前沿模型能否解决长期自主研究与工程任务？arXiv 预印本 arXiv:2606.05080，2026 年。
• Yan 等人 [2025] Shuo Yan, Ruochen Li, Ziming Luo, Zimu Wang, Daoyang Li, Liqiang Jing, Kaiyu He, Peilin Wu, George Michalopoulos, Yue Zhang, Ziyang Zhang, Mian Zhang, Zhiyu Chen, 和 Xinya Du。LMR-BENCH：评估大语言模型智能体复现语言模型研究的能力，2025 年。网址 https://arxiv.org/abs/2506.17335。
• Ye 等人 [2025] Christine Ye, Sihan Yuan, Suchetha Cooray, Steven Dillmann, Ian L. V. Roque, Dalya Baron, Philipp Frank, Sergio Martin-Alvarez, Nolan Koblischke, Frank J Qu, Diyi Yang, Risa Wechsler, 和 Ioana Ciuca。ReplicationBench：AI 智能体能否复现天体物理学研究论文？，2025 年。网址 https://arxiv.org/abs/2510.24591。
• Ye 等人 [2026] Haotian Ye, Haowei Lin, Jingyi Tang, Yizhen Luo, Caiyin Yang, Chang Su, Rahul Thapa, Rui Yang, Ruihua Liu, Zeyu Li, Chong Gao, Dachao Ding, Guangrong He, Miaolei Zhang, Lina Sun, Wenyang Wang, Yuchen Zhong, Zhuohao Shen, Di He, Jianzhu Ma, Stefano Ermon, Tongyang Li, Xiaowen Chu, James Zou, 和 Yuzhi Xu。面向科学发现的评估驱动型规模化，2026 年。网址 https://arxiv.org/abs/2604.19341。
• Yeon 等人 [2026] Jehyeok Yeon, Ben Rank, 和 Maksym Andriushchenko. InferenceBench: 由 AI 智能体进行的开放式推理优化基准测试，2026. URL https://inferencebench.ai/.
• Yuksekgonul 等人 [2026] Mert Yuksekgonul, Daniel Koceja, Xinhao Li, Federico Bianchi, Jed McCaleb, Xiaolong Wang, Jan Kautz, Yejin Choi, James Zou, Carlos Guestrin, 和 Yu Sun. 在测试时学习发现，2026. URL https://arxiv.org/abs/2601.16175.
• Z.ai [2026a] Z.ai. Glm-5.1: 面向长周期任务. https://z.ai/blog/glm-5.1, 2026a.
• Z.ai [2026b] Z.ai. Glm-5.2: 为长周期任务而生. https://z.ai/blog/glm-5.2, 2026b.
• Zeni 等人 [2025] Claudio Zeni, Robert Pinsler, Daniel Zügner, Andrew Fowler, Matthew Horton, Xiang Fu, Zilong Wang, Aliaksandra Shysheya, Jonathan Crabbé, Shoko Ueda, 等. 一种用于无机材料设计的生成模型. Nature, 639(8055):624–632, 2025.
• Zhang 等人 [2026] Zhengxin Zhang, Ning Wang, Sainyam Galhotra, 和 Claire Cardie. 我们离真正的自动研究还有多远？, 2026. URL https://arxiv.org/abs/2605.19156.
• Zhou 等人 [2025] Bowen Zhou, Ning Ding, Lei Bai, 和 Hao Zhou. 推动 AI 助力科学：从工具的革命到革命的工具. AI Open, 2025.
• Zhu 等人 [2026] Xinyu Zhu, Yuzhu Cai, Zexi Liu, Cheng Wang, Fengyang Li, Wenkai Jin, Wanxu Liu, Zehao Bing, Bingyang Zheng, Jingyi Chai, 等. EvoMaster: 一个用于大规模科学智能体的基础演化智能体框架. arXiv 预印本 arXiv:2604.17406, 2026.

附录 A 包与环境审查详情

本附录详细阐述了 §2.4 中总结的包与环境审查。与过滤和数据获取阶段的一次性审查不同，此审查运行一个“验证-修复”循环，该循环会持续迭代，直到最终产物在结构上完整、内部一致、能被评估器稳定评分，并且可以构建成一个可运行的环境，同时全程保持信息防火墙。它包含三个部分。

构建时自我审计。

在完成构建之前，最后一步会重新通读论文和结构化记录，以复核任务定义、数据对齐、元数据标签、SOTA 分数以及防火墙。任何自动化流程不确定的内容都会被标记出来，交由人工审核，之后循环才会继续。

任务包验证。

我们在五个维度上运行 36 项检查：工件完整性、跨组件一致性、信息防火墙、基准设计原则以及端到端动态测试。动态测试会运行一个简单的基线求解器，该求解器按照 README 接口在所有实例上端到端执行，并将其输出送入评估器，检查分数结构和数值是否合理；同时还会增加正确性测试（将真实值作为完美预测，其得分应接近满分）和鲁棒性测试（格式错误的输入必须干净地失败，而不是产生虚假分数）。未通过的检查会根据严重程度分级，并触发最小范围的有针对性修复。每次修复后，我们会立即重新运行相关的一致性扫描和动态测试，以确认修复本身没有引入新错误。这个“验证-修复”循环会迭代多轮，直到验证通过；无法可靠自动修复的问题则升级为人工审核。

环境验证。

我们在物理机上构建 Docker 镜像，运行库导入并验证库版本是否与我们的预设一致。当构建失败时，我们会将根本原因与级联症状区分开来，并按类型对每个根本原因进行分类。修复遵循一个核心原则：绝不覆盖基础镜像的包。按照从影响最小到最大的顺序，我们 (i) 切换到与基础镜像兼容的版本，(ii) 添加缺失的依赖项或运行时配置，(iii) 替换为兼容的替代方案并重写受影响的代码，或 (iv) 移除非必要的包。如果某个任务关键依赖项无法通过上述所有方式解决，则会触发一个不继承共享基础镜像的独立 Dockerfile。在整个过程中，评估器和求解器的依赖项被视为强制性的，而领域便利包则尽力而为。这个“验证-诊断-修复”循环会重复进行，直到所有检查通过。

附录 B 基准质量校准细节

本附录详细阐述了第 3.2 节中总结的基准质量校准过程。

第一轮诊断类别。

暴露出的缺陷分为六类：（1）真实标签泄露，即测试输入包含一个非预期的通道，使得智能体能够恢复出答案；（2）任务定义扭曲，即目标退化为输入特征的确定性函数，从而可以被精确求解而非通过学习获得；（3）无法区分捷径与真正解决方案的评估指标；（4）评估器或锚点不一致（例如，评估器指标与任务描述或元数据相矛盾）；（5）流水线或环境错误；以及（6）缺失数据资源。对于可本地验证的缺陷，进行最小限度的针对性修复。可缓解的风险会被记录，并通过信息防火墙、禁用网络搜索的容器以及有效性判断器提供后备支持。对于定义有缺陷、指标无法验证或存在不可修复泄露的任务，予以剔除。对于合法但得分低、超时或被判定为无效的运行，则作为正常的智能体失败案例予以保留。

复现模式审计流程。

在复现模式下，针对每个案例，我们将论文的方法分解为若干组件（例如预处理、架构、损失函数、训练、推理、后处理），对每个组件评定为完整、部分或缺失，对得分结果进行分类，并将任何异常归因于智能体、运行时资源或软件包。无论得分如何，我们都从四个维度对软件包质量进行审查：（1）任务描述与数据，（2）评估器与评分，（3）元数据锚点，以及（4）跨组件一致性。例如，我们检查 SOTA 锚点是否与评估器计算所依据的数据集和粒度一致，元数据与评估器得分是否采用相同的量纲和单位，所需的训练数据和外部资源是否存在，评估器是否能在真实标签上返回合理的得分，以及任务描述是否与论文方法一致。经过人工审查后，45 个任务因存在会系统性污染主评估的缺陷（数据缺失、评估器偏差、必要信息缺失、信息泄露或评分失真）而被剔除，17 个任务接受了轻微修复（例如锚点值对齐、量纲协调、评估器逻辑修正、不完整实例移除、环境与序列化修复）。

可复现性分析。

在最终确定的 90 个任务上，我们量化了 SOTA 锚点的可达性（成功：；部分成功：）。Claude Opus 4.6 成功复现了 90 个任务中的 30 个，部分复现了 16 个；DeepSeek-V4-Pro 成功复现了 21 个，部分复现了 13 个。至少有一个模型成功复现了 35/90 的任务。两个模型均成功复现了 16/90 的任务，这些任务的得分紧密聚集在零附近（中位数 ，绝对偏差中位数 ）。复现模式的成功率低于基础模式：Opus 从 下降至 ，DeepSeek 从 下降至 ，主要原因是忠实复现触发了更重的训练负载和更复杂的依赖关系。DeepSeek 的无结果计数从 上升至 ，这构成了其差距的大部分。对非成功案例的根本原因归因中，主要因素是计算资源或时间不足以及方法简化，而非软件包缺陷。

附录 C 案例研究

本附录通过三个具有代表性的智能体轨迹，对第5.1节的聚合分析进行补充。这些案例涵盖了NatureBench中反复出现的三种结果：一种与方法对齐且匹配SOTA的解决方案、一种有效但方法论上不充分的解决方案，以及一种受执行深度限制的合理长周期解决方案。所有案例均来自第5节所使用的最终90个任务、10个智能体的分析。表6列出了所选案例，表7总结了它们轨迹层面的机制，同时两幅图展示了每个案例的具体展开过程。图9追踪了每个智能体在其提交序列中的得分变化，图10则将两个多实例案例的最佳提交分解为每个实例的差距，展示了聚合得分的来源。

媒体内容 · 前往原文查看

案例	智能体		状态
生物网络上的癌症基因识别	Claude Opus 4.7		匹配SOTA
基因组序列预测	GPT-5.5		低于SOTA
有机反应产物预测	DeepSeek-V4-Pro		超时，低于SOTA

媒体内容 · 前往原文查看

案例	智能体路线	结果驱动因素
生物网络上的癌症基因识别	ChebNet/GNN集成	方法对齐与训练优化
基因组序列预测	从头构建序列模型	表示能力不足
有机反应产物预测	Seq2seq反应建模	执行深度不足

案例1：与方法对齐的图建模可以产生有效的成功。

第一个任务源自 TREE，这是一项基于 Transformer 架构的图表示学习研究，用于识别癌症基因 [Su et al., 2025]。该任务要求智能体在八个生物网络上识别与癌症相关的基因。每个实例都提供一个网络邻接矩阵、64 维的多组学节点特征、训练和验证标签，以及一个测试节点掩码。源问题本质上是一个基于图的二分类节点分类问题：其核心科学目标是将生物网络结构与多组学节点属性相结合，以对癌症基因进行优先级排序。主要评估指标是每个网络上的 AUPRC，并以相对于论文侧 SOTA 的改进幅度进行汇总。

Claude Opus 4.7 选择了一条与该任务结构相匹配的路径。最终的解决方案实现了一个切比雪夫多项式图卷积网络（ChebNet）集成：它加载 HDF5 网络数据和节点特征，计算归一化的图拉普拉斯矩阵，使用验证集 AUPRC 早停法进行训练，然后在合并的训练和验证标签上重新训练，最后在切比雪夫阶数、深度和随机种子上对模型进行平均。评审员判定该提交有效，因为预测结果是由训练好的图模型生成的，并且原始日志显示各次提交的 AUPRC 在逐步提升。表 8 总结了该路径的分数进展。

媒体内容 · 前往原文查看

阶段	证据	诊断
初始图模型		第一次提交可以运行，但仍略低于 SOTA。
首次超越		一旦图建模路径成熟，大多数网络都有了显著提升。
集成与训练优化	到	切比雪夫阶数、深度、随机种子以及训练加验证集的重新训练持续带来增益。
最终强化		最后一轮主要提升了 LTG 网络，并产生了最佳的总分。

这是一个真正的智能体成功案例。它正确地将任务视为基于图的节点分类问题，并使用了合适的图神经网络、类别不平衡处理、基于验证的早停以及集成方法，将得分推至超越当前最优水平。各实例的结果也不均衡：MTG、LTG、PCNet 和 Multinet 提升显著，而 IRef v15 仍略低于论文侧的最优水平。但从另一个角度看，该智能体并未提出新的癌症基因识别方法。

案例二：大量有效的迭代仍可能达不到目标。

第二个任务源自人类基因组学的 Nucleotide Transformer 基准测试 [Dalla-Torre 等人，2025]。它包含 19 个基因组序列预测实例，涵盖组蛋白标记、增强子、启动子、剪接位点和增强子活性回归。源论文的核心思想是通过大规模预训练学习广泛的 DNA 序列表示，并将其迁移到多种下游序列-功能任务中。智能体必须提交 18 个分类任务和 1 个回归任务的预测结果。

这条轨迹漫长且技术含量很高。智能体共提交了 258 次结果，最佳得分出现在第 220 次尝试。它从紧凑的 k-mer 计数模型和快速线性分类器开始，随后加入了剪接位点基序规则、GPU 卷积神经网络、增强子活性卷积神经网络集成、两阶段增强子类型分类器以及多次阈值扫描。评审员判定该提交有效，因为所有预测均由基于所提供数据训练的模型生成。表 9 总结了主要轨迹阶段。

媒体内容 · 前往原文查看

阶段	证据	诊断
快速基线		智能体首先解决了提交完整性问题。
任务特化		局部生物序列线索改进了若干子任务。
深度迭代		迭代有效但逐渐饱和。
剩余差距	未达到最优水平	从头训练的模型缺乏论文侧路线所具有的表示能力。

因此，失败并非格式或执行层面的问题，而是方法层面的局限：智能体构建了一条复杂的可运行流水线，但其选择的模型缺乏大规模基因组预训练所具备的归纳偏置和表征能力。这个案例说明，NatureBench 任务中许多智能体的失败，与其描述为简单的编码失败，不如更准确地说是“可运行但能力不足”。

案例 3：看似合理的路线可能受限于执行深度。

第三个任务源自 LocalTransform，这是一种基于通用模板的图神经网络，用于有机反应性预测 [Chen and Jung, 2022]。它要求智能体预测 USPTO-480k 原子映射反应物的主要有机反应产物。原论文的核心思想是利用反应模板、分子图表示和化学工具来建模局部反应中心和键的变化。该路线的 Top-1 精确匹配准确率达到 ，而一个强大的序列到序列基线达到 。该任务既需要从数十万个样本中学习反应变换，也需要高效地生成排序后的产物 SMILES。

智能体选择了一条看似合理但计算成本高昂的路线：它实现了一个完整的序列到序列反应模型，包含 SMILES 分词器、数据集加载器、Transformer 模型、训练循环、检查点保存和预测流水线。评审员判定该提交有效，因为最终预测是由经过训练的模型通过检查点保存和束搜索推理生成的。表 10 总结了各阶段轨迹和得分进展。

媒体内容 · 前往原文查看

阶段	证据	诊断
路线选择	2430 万参数	路线看似合理，但计算量巨大。
长时间训练	损失	模型学到了知识，但训练消耗了大部分预算。
贪婪解码	Top-1	首次有效提交使用了较弱的解码策略。
束搜索	Top-1	推理工程带来了显著提升，但最终得分仍低于 SOTA。

关键限制在于执行深度而非方案无效性。该智能体找到了合理的科学计算路径，但任务所需的训练深度、生成效率以及专业化化学建模程度，均超出了固定预算所能支持的范围。这个案例印证了第5.1节讨论的执行层失败模式：部分智能体虽能识别出可行的方向，却因所需的训练与推理循环过长而最终失败。

附录D 资源使用详情

遵循智能体评测基准的通用做法，我们在轨迹层级而非仅初始提示词层级报告资源使用情况。对于每个被评估的智能体，我们从有效执行日志中汇总模型token使用信息，并归纳每次案例的输入token数、输出token数以及预估API成本。输入token使用测试框架或服务商报告的确切使用字段。当日志记录缓存计费时，我们保留非缓存输入token、缓存读取或命中token、以及缓存创建或写入token之间的区分；平均输入token列报告的是它们的总和，以反映运行期间处理的全部上下文量。

输出token的统计依据每个模型可用的最可靠来源。对于Claude Opus、GPT和Gemini的运行，我们使用服务商或测试框架报告的确切输出token字段。对于通过Claude Code执行的第三方模型，其记录的输出token字段不完整，因此我们根据智能体撰写的轨迹文本，采用标准经验法则（一个token约对应四个英文字符[OpenAI, 2026c, Anthropic, 2026c]）来估算输出token。使用此输出token估算值及其衍生成本的行均以星号标记。成本按官方标准标价和服务商特定缓存费率计算。我们排除了限时优惠、批量/弹性/优先模式、区域或数据驻留附加费、无法从日志中恢复的缓存存储费用，以及OpenAI长上下文乘数（其每次请求的触发条件无法从聚合的Codex日志中恢复）。表11报告了每个智能体在有效运行上的平均值。

媒体内容 · 前往原文查看

智能体	平均输入 tokens	平均输出 tokens	平均成本（美元）
Claude Opus 4.7	M	K	21.65 美元
Claude Opus 4.6	M	K	16.56 美元
GPT-5.5	M	K	6.01 美元
GPT-5.4	M	K	4.14 美元
Gemini 3.5 Flash	M	K	4.49 美元
Qwen 3.7 Max	M	K*	10.19 美元*
Kimi K2.6	M	K*	12.99 美元*
MiniMax-M2.7	M	K*	1.35 美元*
DeepSeek-V4-Pro	M	K*	0.15 美元*
GLM-5.1	M	K*	4.12 美元*