摘要

深度研究要求智能体找到同时满足多个约束条件的答案。发现此类答案成本高昂，而验证候选答案通常可以分解为易于处理的逐约束检查。这种“发现-验证”的不对称性表明，研究智能体不应仅仅延长搜索时间，更应通过验证中间结果，并利用部分验证的状态来引导后续改进，从而递归地优化其当前答案。我们提出了AREX，一个递归自改进（RSI）深度研究智能体家族。AREX在内部研究循环（收集证据并构建初步答案）与外部自改进循环（逐约束审计答案、识别未解决的声明、发起针对性的后续研究）之间交替进行。为了在长时间跨度内维持RSI，AREX学习了一个自主上下文更新工具，该工具将不断增长的交互历史压缩为紧凑的改进状态，在保留已验证证据和未解决约束的同时，不依赖外部模型。我们通过智能体中期训练和长视界强化学习，在验证过的合成任务和高品质轨迹上训练AREX。为缓解长视界学习中最终奖励稀疏的问题，我们强调那些获取决定性证据或纠正错误研究方向的关键步骤。我们实例化了一个稠密的4B模型和一个122B-A10B的混合专家（MoE）模型。在BrowseComp、WideSearch、DeepSearchQA、Humanity's Last Exam（HLE）以及其他推理和工具使用基准测试中，AREX显著优于同等规模的基线模型，并且与使用更多激活参数的模型相比仍具竞争力。

[应用]https://arex-research.com \metadata[主页]https://vectorspacelab.github.io/arex-model/ \metadata[模型]https://huggingface.co/collections/BAAI/arex

1 引言

深度研究之所以具有挑战性，不仅因为相关证据难以定位，更因为一个有效的答案往往需要同时满足多个相互耦合的约束条件。智能体必须发现可行的候选方案，整合分散且可能相互冲突的证据，并验证每一项必要条件是否都得到了充分支撑（react; webgpt; deepresearch_survey）。许多现有系统通过扩展单条搜索轨迹，增加额外的推理、工具交互或上下文来应对这一挑战（deepresearch; searchr1; webdancer; beyond_ten_turns）。尽管增加推理时计算量可以拓宽探索范围，但这并不能保证系统性的进展：早期错误可能持续存在，已穷尽的搜索方向可能被重复访问，部分有效的候选方案也可能被过早接受。因此，关键挑战不仅仅在于搜索得更久，而在于识别哪些约束条件仍未得到解决，并利用这一诊断结果来制定更有针对性的下一轮研究问题。

我们观察到，深度研究任务表现出一种根本性的“发现—验证不对称性”。发现一个同时满足所有约束条件的答案成本高昂，因为这需要在庞大且信息稀疏的搜索空间中进行导航；而评估一个候选方案则往往可以分解为显著更简单的逐约束检查。这种验证不仅能揭示当前答案是否正确，还能指出哪些论断已得到支持、哪些仍未解决，以及现有证据在何处存在冲突。现有工作利用验证来对已完成的候选轨迹进行排序，或在进行中的轨迹内优化决策（zeng2025pushing; team2026mirothinker）。我们的关键洞察在于，验证同样可以定义研究轮次之间的转换。通过将临时答案转化为部分验证的状态，智能体可以保留已取得的进展，隔离剩余的不确定性，并制定更有针对性的下一轮研究问题。

我们提出 AREX，一个递归自改进（RSI）深度研究智能体家族，它反复将部分验证的解决方案转化为更具针对性的研究问题。AREX 在内部研究循环与外部自改进循环之间交替运行：内部循环负责收集证据、评估候选方案并构建初步答案，外部循环则对照任务约束审查答案，并将后续研究引向尚未解决或证据薄弱的论断。经过验证的进展会在各轮之间保留，而基于约束的置信度估计同时控制着继续与终止：不确定的条件会触发针对性的后续研究，一旦所需论断获得充分支持，流程即告终止。通过这种方式，验证成为递归精炼智能体研究状态与解决方案的主动控制信号，而非搜索结束后才应用的最终过滤器。

要在长时间跨度上维持这种递归，智能体需要保持简洁且可操作的研究状态。在内部研究循环中，交互历史会不断累积已验证的证据、失败的查询、推测性假设、重复观察以及过时的计划。保留完整历史可能干扰后续推理，而不加区分地截断则可能丢弃后续验证所需的证据（memgpt; hiagent; mem1; resum; supo; memory_as_action）。因此，AREX 学会在研究过程中自主调用专门的上下文更新工具，将自身的交互历史转化为紧凑的改进状态。该状态保留已验证的证据与引用，记录约束满足情况，标出未解决的信息缺口，并指明下一步研究计划。与由外部模型执行的通用摘要或压缩不同，这一更新由 AREX 自身生成，并围绕其当前研究目标组织。这种自主上下文管理使压缩后的状态与智能体不断演化的信念和未来行动保持一致。

我们在经过验证的合成任务和高质量轨迹上训练 AREX，通过监督式能力获取、智能体中期训练，以及面向长程研究的强化学习来实现。这些阶段逐步教会模型进行搜索、使用工具、构建初步答案、逐条验证约束条件、更新上下文，并决定何时继续或终止。长轨迹还会带来稀疏的信用分配问题：最终奖励无法揭示哪些中间动作产生了决定性进展。因此，我们会识别并增加对关键步骤的训练暴露，例如获取关键证据、解决矛盾、或纠正错误研究方向的步骤（lets_verify；math_shepherd；ragen；turn_credit）。

我们将 AREX 实例化为一个稠密 4B 模型（Turbo）和一个总参数 122B、激活参数 10B 的混合专家模型（Base）。我们在涵盖深度搜索、广度搜索、多约束信息检索以及工具辅助推理的基准上对其进行评估，包括 BrowseComp（browsecomp）、WideSearch（widesearch）、DeepSearchQA（deepsearchqa）、Humanity’s Last Exam（带工具）（hle）、GAIA（gaia）和 xbench-DeepSearch-2510（xbench_deepsearch_2510）。在这些场景中，AREX 显著优于同规模基线模型，并且与使用更多激活参数的模型相比仍具竞争力，这表明递归改进研究状态是通往能力强且高效的深度研究智能体的有效路径。

• 我们将多约束深度研究表述为一个递归自改进过程，其动机源于发现—验证不对称性：部分验证的解决方案会被递归地转化为更有针对性的研究问题。

• 我们引入了 AREX，它将研究循环与逐约束自改进循环相结合。信念估计控制着有针对性的继续和基于证据的终止，而一个学习到的上下文更新工具则在长时程上维护紧凑的改进状态。

• 我们基于经过验证的合成任务与高质量轨迹，构建了一个多阶段训练框架，并结合关键区间暴露机制，以改善长研究轨迹中的信用分配问题。

• 我们开发了稠密的 4B 和 122B-A10B MoE 变体，并在深度研究、广泛搜索、推理和工具使用等基准测试中，展现出相较于同等规模基线模型的一致性能提升。

2 递归自我改进

2.1 总体框架

我们采用 Qwen3.5-4B（qwen35）作为 AREX-Turbo 的骨干模型，采用 Qwen3.5-122B-A10B（qwen35）作为 AREX-Base 的骨干模型。如图 2 所示，AREX 通过一个分层的、双层递归自我改进过程来实现深度研究，该过程包含内部研究循环和外部自我改进循环。给定一个输入查询，它首先推导出一个研究目标。内部研究循环执行研究动作、整合检索到的证据，并更新当前答案，直到目标得到充分解决。随后，它输出一个阶段性答案，并附上支撑证据和答案级别的置信度分数。$x$$q^{\left(1\right)}$

外部自我改进循环使用置信度分数来评估阶段性结果。如果分数超过预设阈值，则接受该答案。否则，循环会评估当前研究轨迹是否可恢复：有用的发现会被保留并转化为针对性的优化目标，而嘈杂或无信息量的轨迹则会触发从原始问题重新开始。

2.2 内部研究循环

内部研究循环通过分析当前研究目标、调用搜索或浏览工具、整合返回的证据，并确定下一步研究动作，来逐步构建答案。在第一次递归轮次中，目标源自原始问题。在后续轮次中，外部循环可能提供有针对性的目标，例如验证一个不受支持的约束条件、解决相互冲突的证据、检查时间有效性，或在某个候选方案被否定后探索替代方案。$q^{\left(1\right)}$$x$$q^{\left(k\right)}$

在递归轮次的某一步中，交互轨迹被定义为$t$$k$$h_t^{\left(k\right)}$

$h_t^{\left(k\right)}={\left[(m_i^{\left(k\right)},a_i^{\left(k\right)},o_i^{\left(k\right)})\right]}_{i=1}^t,$

(1)

其中 表示模型的中间分析， 表示一个研究动作， 表示相应的观察结果。$m_i^{\left(k\right)}$$a_i^{\left(k\right)}$$o_i^{\left(k\right)}$

该轨迹作为模型在递归轮次中的工作研究状态。基于原始问题、当前研究目标和累积的轨迹，模型识别未解决的约束条件，并生成中间分析以及相应的研究动作：$h_t^{\left(k\right)}$$k$$x$$q^{\left(k\right)}$$h_t^{\left(k\right)}$

$(m_{t+1}^{\left(k\right)},a_{t+1}^{\left(k\right)})={\pi }_{\theta }(x,q^{\left(k\right)},h_t^{\left(k\right)}),o_{t+1}^{\left(k\right)}=𝒯\left(a_{t+1}^{\left(k\right)}\right),$

(2)

其中 表示由 参数化的研究策略， 表示外部研究环境，包括搜索和浏览工具。产生的交互被追加到轨迹中：${\pi }_{\theta }$$\theta$$𝒯$

$h_{t+1}^{\left(k\right)}=h_t^{\left(k\right)}\oplus (m_{t+1}^{\left(k\right)},a_{t+1}^{\left(k\right)},o_{t+1}^{\left(k\right)}),$

(3)

其中 表示按时间顺序拼接。$\oplus$

随着新证据在轨迹中不断累积，研究策略会相应调整。支持性的观察结果引导模型走向剩余的约束条件，而矛盾的观察结果可能使当前候选方案失效，并将调查转向替代方案。当来源之间发生冲突时，模型会寻求具有更强权威性、更直接来源或更高时间相关性的证据。如果不再存在合理的候选方案，它可能会扩大搜索空间、分解目标，或重新表述搜索查询。

在长周期研究中，模型可能会调用 `update_context` 将累积的轨迹整合为更紧凑的研究状态，使后续步骤能够在刷新后的上下文上运行，同时保留关键证据和未解决的约束条件。当当前目标已被充分探究，或进一步搜索不太可能带来实质性收益时，循环即终止。随后，模型调用 `finish` 将初步答案、支撑证据以及答案级置信度分数外部化。以下两种机制分别描述了执行过程中轨迹如何被刷新，以及终止轨迹如何被转换为答案级表示以供外层循环评估。

2.2.1 自主上下文更新

随着研究的推进，轨迹会累积搜索结果、中间结论、被否决的候选方案、相互矛盾的发现以及不断演变的计划。保留完整轨迹会引入冗余，并可能掩盖与后续决策相关的信息。

现有方法通常使用固定启发式规则来管理上下文，例如根据预定义规则丢弃工具响应（team2026mirothinker），或在固定 token 阈值触发摘要（liu2025deepseek）。虽然这些策略能缩短上下文长度，但它们主要将上下文管理视为预算控制问题，而非研究状态维护问题。因此，它们可能会移除或稀释与决策相关的信息，包括来源出处、负面证据、未解决的约束、相互矛盾的发现，以及某些候选方案被否决的原因。

在长周期研究中，这一局限性变得更加严重，因为下一个有效行动取决于语义进展，而非消息位置或 token 数量。模型必须跟踪哪些约束已满足、哪些假设仍然可行，以及哪些不确定性应指导进一步搜索。固定启发式规则与这些研究状态转换并不对齐，因此可能导致模型重新访问已失效的候选方案、重新发现先前结论，或丢失后续细化所需的信息。

为解决这一问题，AREX 提供了一个显式的 update_context 工具。基于累积的轨迹，该工具会构建一个刷新后的研究状态：$h_t^{\left(k\right)}$

$z_t^{\left(k\right)}=f_{\theta }\left(h_t^{\left(k\right)}\right).$

（4）

刷新后的状态保留已验证的发现及其来源标识符、当前候选方案、未解决的约束条件、有效性疑虑、被否决的候选方案以及下一步计划。冗余的观察、已被取代的结论和过时的计划则会被移除。

在调用 update_context 之后，模型不再需要依赖完整的轨迹。我们用 表示模型在第 步时可用的有效上下文。如果最近一次 update_context 调用发生在第 步，那么$h_t^{\left(k\right)}$$t$${\overline{h}}_t^{\left(k\right)}$$\tau \le t$

${\overline{h}}_t^{\left(k\right)}=z_{\tau }^{\left(k\right)}\oplus {\left[(m_i^{\left(k\right)},a_i^{\left(k\right)},o_i^{\left(k\right)})\right]}_{i=\tau +1}^t.$

（5）

如果尚未发生任何上下文更新，有效上下文就是完整的轨迹：

${\overline{h}}_t^{\left(k\right)}=h_t^{\left(k\right)}.$

（6）

后续动作由有效上下文生成：

$(m_{t+1}^{\left(k\right)},a_{t+1}^{\left(k\right)})={\pi }_{\theta }(x,q^{\left(k\right)},{\overline{h}}_t^{\left(k\right)}).$

（7）

模型自主决定何时调用 update_context，例如在解决一个有意义的子问题、排除一个主要候选方案、调和相互矛盾的证据，或改变其研究计划之后。因此，该工具可能在内循环中被多次调用，也可能完全不调用。

自主上下文更新并非进行泛化的摘要，而是执行轨迹整合与研究状态刷新。它使得长时程研究成为可能，而无需模型从完整的交互历史中反复重建进展，并允许有用的发现和未解决的约束条件在递归轮次之间被复用。

2.2.2 结构化答案外部化

自主上下文更新在研究过程中维护轨迹，但由此产生的状态本身并不是答案。一旦当前目标已被充分研究，模型便会调用一个结构化的完成接口。

设 表示内循环产生的最终有效上下文，其中 是递归轮次 的最终研究步骤。在递归轮次 中，内循环的输出为${\overline{h}}_{T_k}^{\left(k\right)}$$T_k$$k$$k$

$r^{\left(k\right)}=F_{\theta }\left({\overline{h}}_{T_k}^{\left(k\right)}\right)=(y^{\left(k\right)},{ℰ}^{\left(k\right)},s^{\left(k\right)}),$

（8）

其中 是最终步骤， 是对原始问题的暂定答案， 包含支持性证据和文档标识符，而 是答案级别的置信度分数。$T_k$$y^{\left(k\right)}$${ℰ}^{\left(k\right)}$$s^{\left(k\right)}\in [0,100]$

置信度分数反映了答案在完整性、一致性、来源可靠性和时间有效性方面的估计水平。与可能包含已放弃方向、过时计划和原始工具响应的完整轨迹不同，它仅保留外层循环评估所需的答案级信息。$r^{\left(k\right)}$

调用 finish 会终止当前内层循环，而非整个递归过程。外层循环根据原始问题评估临时答案、证据和置信度分数，要么接受该答案，要么为另一轮研究制定有针对性的目标。

2.3 外层自我改进循环

在递归轮次中，外层自我改进循环接收结构化结果以及有效的终止上下文。然后，它决定是终止递归过程、优化当前轨迹，还是重新开始调查。$k$$r^{\left(k\right)}$${\overline{h}}_{T_k}^{\left(k\right)}$

外层循环将置信度分数作为内层循环构建的、基于证据的信念状态的紧凑摘要，其中包含已验证的发现、相互矛盾的证据和未解决的约束。设 表示置信度阈值。如果 ，则当前答案被接受并作为最终答案返回。否则，模型会评估当前研究轨迹是否包含可用于支持进一步改进的有用信息。$\tau$$s^{\left(k\right)}\ge \tau$

对于低置信度结果，轨迹评估定义为

$g^{\left(k\right)}=G_{\theta }(x,r^{\left(k\right)},{\overline{h}}_{T_k}^{\left(k\right)})=(v^{\left(k\right)},{𝒫}^{\left(k\right)},{ℐ}^{\left(k\right)},q^{\left(k+1\right)}),$

(9)

其中 表示轨迹是否可恢复、是否包含应保留的信息、是否包含需要进一步调查或修订的问题，以及 是下一递归轮次的研究目标。$v^{\left(k\right)}\in \{0,1\}$${𝒫}^{\left(k\right)}$${ℐ}^{\left(k\right)}$$q^{\left(k+1\right)}$

完整的决策规则为

$d^{\left(k\right)}=\{\begin{array}{cc}\text{Accept},& s^{\left(k\right)}\ge \tau ,\\ \text{Refine},& s^{\left(k\right)}<\tau \wedge v^{\left(k\right)}=1,\\ \text{Restart},& s^{\left(k\right)}<\tau \wedge v^{\left(k\right)}=0.\end{array}$

(10)

当选择 Refine 时，当前轨迹被认为包含有意义的进展。外层循环将可靠的发现和可复用的证据保留在 中，识别 中剩余的问题，并将其转化为有针对性的目标 。下一递归轮次从刷新后的状态开始：${𝒫}^{\left(k\right)}$${ℐ}^{\left(k\right)}$$q^{\left(k+1\right)}$

$h_0^{\left(k+1\right)}=\mathrm{Refresh}({\overline{h}}_{T_k}^{\left(k\right)},{𝒫}^{\left(k\right)},{ℐ}^{\left(k\right)}).$

(11)

这使得下一轮能够复用有用的进展，同时专注于答案中仍不确定或不完整的部分。

当选择“重启”时，模型判定当前轨迹噪声过大、具有误导性或信息量不足，无法支撑进一步细化。因此，累积的轨迹会被丢弃，下一轮递归仅从原始问题重新初始化：

$h_0^{\left(k+1\right)}=\mathrm{Init}\left(x\right).$

(12)

随后，内层循环开始新一轮调查，不继承上一轮轨迹的任何信息。

每轮递归结束后，外层循环重复相同的基于置信度的决策流程。整个过程受预设的最大轮数限制。若没有任何答案达到置信度阈值，系统将返回置信度得分最高的已完成答案。

3 训练数据构建

为使 AREX 具备递归研究能力，我们构建了一个专门的训练数据集，其中包含具有挑战性的研究任务、多步骤调查轨迹以及基于证据的解决方案。该流程分为两个阶段：递归研究任务合成与带质量控制的教师轨迹收集。第一阶段生成需要深度研究的可验证问题，第二阶段则从与 AREX 处于相同研究环境中的强教师模型中收集高质量轨迹。

3.1 递归研究任务合成

任务合成的目标是构建需要迭代信息收集、多源证据整合、中间假设验证以及自适应研究规划的问题。我们考虑三类任务：需要跨来源综合信息的浏览密集型问题、涉及多步规划或演绎的推理密集型问题，以及需要整合学术论文的科学文献类问题。

针对每个类别，人类专家定义模板，明确答案格式、可用来源、推理要求及验证标准。随后，从真实世界来源（包括网页、科学文献、结构化知识库和公开代码仓库）生成具体实例。

我们首先提取一个目标实体或解决方案作为潜在答案，并确定一组相关约束条件：$y$

$𝒞\left(y\right)=\{c_1,c_2,\dots ,c_n\},$

(13)

其中每个约束都代表一个可验证的研究目标。这些约束可以描述时间关系、数值属性、实体关系、技术属性或证据要求。它们的组合迫使模型从多个来源收集信息并进行推理，而不是依赖关键词匹配。

为了避免简单的检索任务，我们对约束进行抽象和转换，将其转化为需要多跳搜索和推理的间接描述。最终查询的生成方式为

$x=f(y,{𝒞}^{\prime }),$

(14)

其中 表示转换后的约束。一个有效的任务必须满足三个条件：答案不能直接从查询中推断出来，每个约束都可以从现有证据中得到验证，并且联合约束能够唯一确定答案。${𝒞}^{\prime }$

然后我们自动验证正确性、唯一性、证据可用性和难度。答案模糊、约束不一致或证据不足的任务会被剔除。此外，我们还会利用独立的研究展开来剔除那些可以通过浅层检索解决，或在大量调查后仍无法解决的任务。

最终得到的任务数据集为

${𝒟}_{\mathrm{task}}=\{(x,y\},$

(15)

其中每个实例都包含一个研究问题及其对应的答案。

3.2 教师轨迹收集与质量控制

对于每个合成任务，强大的教师模型会与 AREX 使用的相同工具和研究环境进行交互。给定一个任务 ，教师模型会采样一条研究轨迹：$x$

${\tau }_i\sim {\pi }_{\mathrm{teacher}}\left(\tau \mid x\right).$

(16)

每条轨迹都记录了模型的动作、工具调用、检索到的观察结果、中间分析以及最终的结构化答案。与标准的输入-输出监督相比，这些轨迹揭示了长周期研究所需要的中间行为。

由于原始轨迹可能包含无效探索、推理错误或缺乏依据的结论，我们应用了多项质量控制流程。首先，我们只保留那些展现出有意义的迭代调查、连贯的研究状态维护以及对新获取证据的适应能力的轨迹。直接猜测答案、忽略观察结果或未能修正错误假设的轨迹会被剔除。

其次，我们验证工具交互的有效性。包含无效或不可靠工具执行、忽略观察结果或不支持引用的轨迹将被丢弃。

第三，我们应用基于证据的答案过滤。最终答案必须能够从收集到的证据中重建。我们移除在收集到足够证据之前就给出答案、包含无依据主张、与检索到的信息相矛盾或依赖不合理假设的轨迹。

最后，每条轨迹以答案、支撑证据和答案级置信度分数结束。满足以下条件的轨迹$s_{\mathrm{conf}}$

$s_{\mathrm{conf}}<{\tau }_{\mathrm{conf}}$

(17)

将被移除，其中 为预定义的置信度阈值。${\tau }_{\mathrm{conf}}$

过滤后，最终轨迹数据集为

${𝒟}_{\mathrm{traj}}=\{(x,\tau )\mid V(x,\tau )=1\},$

(18)

其中 表示整体有效性标准。由此产生的数据监督迭代式证据获取、研究状态维护、基于证据的答案构建以及自适应延续，使 AREX 能够在其递归双循环框架内有效运行。$V(x,\tau )$

4 训练流程

4.1 多阶段智能体中期训练

长周期深度研究需要多种异构能力的组合，包括工具调用、网页导航、证据获取、专家级推理、上下文跟踪和答案综合。直接在单一混合分布上训练模型可能导致学习动态不稳定以及不同能力类型之间的相互干扰。因此，我们采用多阶段智能体中期训练方案，逐步提升模型的研究能力。

智能体中期训练过程包含两个主要阶段。首先，我们让模型在密集浏览型研究任务上进行训练，以建立基础的工具使用和证据获取能力，随后在专家级推理任务上训练，以强化长程思考、假设比较和难题求解能力。其次，我们通过回放密集浏览型长程轨迹中的关键步骤，并引入能力扩展任务（包括复杂学术论文研究和具有挑战性的知识密集型推理任务）来进行混合能力巩固。这一阶段还让模型接触验证驱动的研究转换过程，即对初步答案对照任务约束进行审查，将已验证的证据保留在研究状态中，识别未满足的条件，并制定下一个有针对性的研究问题。该阶段强化了模型的核心深度研究能力，同时将其推理和研究覆盖范围扩展到更具挑战性的领域。

渐进式多轮能力训练

第一阶段渐进式地建立长程研究所需要的互补能力。我们首先让模型在密集浏览型多轮轨迹上进行训练，这些轨迹涉及迭代搜索、网页阅读、证据获取、查询重构和最终答案综合。这一阶段建立了模型的基础工具使用和网页导航能力。随后，我们引入专家级推理数据，更加强调长程思考、多步演绎、假设验证和审慎的答案选择。这一阶段强化了模型解决难题的能力，以及在扩展推理过程中保持连贯中间结论的能力。这两个阶段共同使模型能够以渐进的方式同时获得迭代式智能体行为和强大的推理能力。

尽管推理密集型阶段增强了模型的问题解决能力，我们观察到，对专家级推理数据的过度专门化可能会削弱先前习得的浏览和工具使用行为。为缓解这种能力干扰，我们引入了一个混合能力巩固阶段。在此阶段，我们将能力扩展任务（包括复杂学术论文研究和专家级知识密集型推理）与来自浏览密集型长程轨迹的选择性重放相结合。我们并非统一重放完整轨迹，而是将重放目标集中在困难且信息量大的中间决策上。这些步骤的识别和针对性优化将在下文中描述。

关键步骤聚焦的混合能力巩固。

长程研究训练中的一个关键挑战是，监督信号在轨迹步骤间高度不均匀。大多数步骤是常规转换，而少数步骤对应关键研究决策，例如发现与答案相关的证据、在否定错误假设后重新定向搜索，或将分散的证据与目标问题联系起来。这些步骤往往决定轨迹的成败。

全轨迹训练会对成功轨迹中的所有助手 token 施加监督，这可能会稀释高价值决策点的学习信号。为解决此问题，我们引入了关键步骤聚焦监督。我们首先使用高精度基于规则的检测器来识别候选关键步骤，这些检测器针对语义上有意义的研究事件，例如：

• 在多次探索步骤之后，首次工具调用其结果或网页观察为答案相关实体或约束提供证据；

• 模型否定先前探索的错误实体或假设并将搜索重新定向到更有希望方向的第一步；

• 关键上下文更新步骤，即模型调用上下文更新工具以在改进状态中保留已验证证据、记录未解决条件并准备下一个针对性研究计划的步骤。

这些标注基于可验证的任务结构，而非模型自我报告的推理过程。只有当有效的工具观测引入了与答案相关的证据、支持了向解决方案的可验证过渡，或在证据积累后产生了可操作的改进状态时，某一步骤才会被标记为关键步骤。我们仅对通过最终答案验证的轨迹保留关键步骤标注；仅提及与答案相关的实体、重复工具调用或声称取得进展，若无外部可验证的证据和验证成功的最终结果，均不足以构成标注条件。所有标注均针对具有可验证参考答案的训练任务离线构建，不用于评估或推理阶段。

为了验证这些检测到的步骤是否确实难以被模型学习，我们在完整轨迹训练后进行了步骤级损失分析。对于轨迹中的每个助手步骤，我们计算其平均 token 损失：$s_j$

$\ell \left(s_j\right)=-\frac{1}{\left|s_j\right|}\sum _{k=1}^{\left|s_j\right|}\log {\pi }_{\theta }\left(a_{j,k}\mid c_{j,k}\right),$

其中 表示步骤 中的第 个助手 token， 为其前文上下文。我们发现，检测到的关键步骤的损失始终显著高于普通轨迹步骤。这表明，即使在完整轨迹监督之后，模型仍然对轨迹中最具信息量和决策关键性的部分欠拟合。$a_{j,k}$$k$$s_j$$c_{j,k}$

基于这一观察，我们构建了一个关键步骤训练集。对于每个选定的关键步骤，我们保留其完整的前文上下文，使模型在正确的轨迹状态下进行训练。然而，损失仅应用于关键步骤本身，前缀 token、用户消息和工具观测均被掩码屏蔽。关键步骤目标函数为：

${ℒ}_{\mathrm{key}}=-{𝔼}_{s_j\sim 𝒦}\left[\frac{1}{\left|s_j\right|}\sum _{k=1}^{\left|s_j\right|}\log {\pi }_{\theta }\left(a_{j,k}\mid c_{j,k}\right)\right],$

其中 表示所选关键步骤的集合。$𝒦$

这种设计保留了所选步骤的条件上下文，同时将优化信号集中在高价值的研究决策上。实验表明，在完整轨迹训练之后增加关键步骤聚焦监督，可进一步提升模型在长周期深度研究任务上的表现，这表明对信息丰富的决策点进行选择性监督，能够提高选择性智能体中期训练的有效性。

4.2 步骤感知强化学习

步骤感知组策略优化

我们的中期训练分析表明，长程研究轨迹具有高度异质性：常规的工具调用或过渡步骤通常易于模仿，而少数关键步骤则难度更大，且对最终任务成功更为重要。这一观察也启发了我们的强化学习设计。在深度研究任务中，一条轨迹可能包含多轮搜索、浏览、假设更新和证据验证。由于外部工具可能返回带有噪声或仅部分相关的观测结果，并非成功轨迹中的每一个动作都应获得相同的学习信号。

标准的组相对策略优化方法计算序列级奖励，并将由此产生的优势传播给轨迹中所有生成的 token。然而，对于长程工具使用轨迹而言，序列级优势提供的信用分配较为粗糙，因为不同的助手步骤可能扮演着截然不同的角色。我们采用了一种回合级策略优化公式，并通过分层步骤平衡归一化以及与中期训练阶段共享的关键步骤塑形信号，将其适配到长程深度研究场景中。

对于每个提示词，我们从旧策略中采样轨迹。设 表示第 条轨迹中助手步骤的数量，设 表示其第 个步骤中生成的 token 数量。我们为每个助手步骤构建一个步骤特定的塑形优势。同一轨迹中的所有步骤共享组相对结果优势，而标注的关键步骤则获得额外的辅助奖励。$x$$G$$M_i$$i$$L_{i,j}$$j$$A_{i,j}$

对于 token ，我们将 token 级概率比定义为$a_{i,j,k}$

$r_{i,j,k}\left(\theta \right)=\frac{{\pi }_{\theta }\left(a_{i,j,k}\mid c_{i,j,k}\right)}{{\pi }_{{\theta }_{\mathrm{old}}}\left(a_{i,j,k}\mid c_{i,j,k}\right)},$

其中 是 token 之前的上下文。然后，我们使用几何平均将 token 级比率聚合为长度归一化的步骤级策略比率：$c_{i,j,k}$$a_{i,j,k}$

${\rho }_{i,j}\left(\theta \right)=\exp \left(\frac{1}{L_{i,j}}\sum _{k=1}^{L_{i,j}}\log r_{i,j,k}\left(\theta \right)\right).$

长度归一化使得策略比率尺度在不同长度的助手步骤之间具有可比性。随后，我们对步骤和轨迹应用分层平均，以防止较长轨迹主导训练目标。

我们采用分层归一化，先对每条轨迹内的助手步骤求平均，再对 rollout 组内的各条轨迹求平均：

${ℒ}_{\mathrm{step}}=-{𝔼}_{x\sim 𝒟}\left[\frac{1}{G}\sum _{i=1}^G\frac{1}{M_i}\sum _{j=1}^{M_i}\min ({\rho }_{i,j}\left(\theta \right)A_{i,j},\mathrm{clip}({\rho }_{i,j}\left(\theta \right),1-ϵ,1+ϵ)A_{i,j})\right].$

这样可以防止交互步骤更多的轨迹仅仅因为长度更长而主导目标函数，同时也能更好地反映长周期研究轨迹的异构结构。

我们针对参考策略添加了 KL 惩罚项：

$ℒ={ℒ}_{\mathrm{step}}+{\beta }_{\mathrm{KL}}𝔼\left[D_{\mathrm{KL}}({\pi }_{\theta }(\cdot \mid c)\parallel {\pi }_{\mathrm{ref}}(\cdot \mid c))\right].$

步骤级奖励塑形

除了结果奖励之外，我们还引入了步骤级奖励塑形，以强调信息量丰富的中间决策。这一设计遵循了中期训练中的一个关键观察：在一条较长的研究轨迹中，某些步骤比其他步骤更具决定性。第 4.1 节中描述的关键步骤标注被复用为有界的辅助塑形信号。

设 表示轨迹级结果奖励。我们首先计算组内相对结果优势：$R_i$${\tau }_i$

$A_i^{\mathrm{out}}=\frac{R_i-{\mu }_R}{{\sigma }_R+ϵ},$

其中 和 分别是采样组内奖励的均值与标准差。${\mu }_R$${\sigma }_R$

对于每个助手步骤 ，我们根据第 4.1 节中描述的关键步骤标注定义一个关键步骤指示符。为避免奖励虚假的中间行为，关键步骤奖励仅在轨迹级结果有效时才施加：$s_{i,j}$$B_{i,j}$

${\tilde{B}}_{i,j}=𝕀\left[R_i>0\right]\cdot B_{i,j}.$

我们直接将一个有界的辅助奖励添加到成功轨迹中已标注的关键步骤上。最终的步骤级优势定义为：

$A_{i,j}=A_i^{\mathrm{out}}+{\lambda }_{\mathrm{key}}{\tilde{B}}_{i,j},$

其中 控制步骤级塑形的强度。${\lambda }_{\mathrm{key}}$

这一公式保留了最终答案奖励作为主要优化信号，同时为决策关键步骤添加了一个较小的辅助偏好。塑形项并非旨在为所有可能的中间动作解决通用的信用分配问题。相反，它为一部分既可识别又在经验上重要的研究步骤提供了高精度的监督。我们将这一轻量级塑形信号作为最终 AREX 强化学习方案的一部分，同时保留最终答案正确性作为主要优化目标。

5 实验

5.1 实验设置

评测基准。

我们在六个基准上评估 AREX，这些基准覆盖了搜索增强推理的四个互补维度。BrowseComp 和 DeepSearchQA 强调深度研究，需要多步检索、查询改写、证据聚合和答案综合。GAIA 和 xbench-2510 额外强调智能体任务完成能力，其中信息搜索必须与规划、工具使用和多步推理相协调。WideSearch 衡量在大搜索空间上的广覆盖检索与综合能力；我们报告其英文子集的结果。最后，带工具的 HLE 评估在可访问网络搜索和计算工具条件下的高阶推理能力。我们报告 WideSearch 的 Item-F1 分数、DeepSearchQA 的 F1 分数，以及所有其他基准的准确率。

评估协议。

我们使用统一的长期搜索智能体接口评估模型，该接口包含搜索、访问、更新上下文和完成工具。对于带工具的 HLE，我们额外添加一个 python 工具。智能体可以迭代检索网页、检查来源、维护紧凑的工作状态，并返回结构化的最终响应。每个回合最多允许 300 次内部研究循环轮次和 5 次外部自我改进循环操作，遵循 team2026mirothinker 的设置。

5.2 总体性能

媒体内容 · 前往原文查看

模型	BrowseComp	GAIA	xbench-2510	DeepSearchQA	WideSearch-en	HLE（工具）
前沿模型
GPT-5.4	82.7	–	–	88.5	77.5	52.1*
Opus-4.6	83.7	–	–	91.3	77.5	53.0*
Gemini-3.1-Pro	85.9	80.6	53.0	93.3	66.4	51.4*
开源模型
GLM-5	75.9	70.0	–	–	69.8	50.4
Kimi-K2.6	83.2	80.6	90.0	92.5	80.8	54.0*
DeepSeek-V4-Flash	73.2	–	69.0	90.6	76.4	45.1
DeepSeek-V4-Pro	83.4	–	80.0	88.7	78.0	48.2
通义-深度研究-30B	43.4	70.9	55.0	–	–	32.9
Qwen3.5-35B	61.0	80.0	50.3	68.5	57.1	47.4
Qwen3.5-122B	63.8	81.6	–	–	60.5	47.5
Qwen3.5-397B	78.6	83.5	61.0	82.1	74.0	48.3
MiroThinker-1.7-mini	67.9	80.3	57.2	67.9	–	36.4
MiroThinker-1.7	74.0	82.7	62.0	72.1	–	42.9
MiroThinker-H1	88.2	88.5	72.0	80.6	–	47.7
Quest-35B	64.6	80.8	–	–	60.6	37.2
我们的模型
AREX-Turbo	70.7	81.6	57.0	78.5	68.5	40.6
AREX-Base	82.5	85.4	71.0	89.9	82.0	52.4

如表 1 所示，AREX 在各类检索增强推理任务上均取得了强劲且稳定的表现。在考虑模型规模的情况下，AREX-Base 以 100 亿激活参数展现出了强大的能力-参数比优势。它持续优于 Qwen3.5 骨干模型家族，包括规模显著更大的 Qwen3.5-397B 模型，并在所有评测中与领先的开源及专有研究智能体保持竞争力。除 Qwen3.5 家族之外，AREX-Base 在与专用研究智能体及其他前沿开源系统的对比中同样表现优异。它在 DeepSearchQA 和纯文本 HLE 上超越了 MiroThinker-H1，同时在 xbench-2510 上差距在一个百分点以内；它还在 DeepSearchQA、WideSearch-en 和纯文本 HLE 上超过了 DeepSeek-V4-Pro，并在 GAIA 和 WideSearch-en 上优于 Kimi-K2.6。在与专有前沿系统的对比中，AREX-Base 取得了目前公开报道中最好的 WideSearch-en 成绩，并在 BrowseComp 和 DeepSearchQA 上保持竞争力。这些提升不仅限于检索密集型任务，还延伸到了广泛的信息综合、长周期智能体任务和专家级推理，其中 AREX-Base 在 WideSearch-en 上取得了总体最佳结果。在紧凑规模上也呈现类似趋势，40 亿参数的 AREX-Turbo 在六项基准测试中的五项上优于 Qwen3.5-35B。综合来看，这些结果表明 AREX 在多样化的检索、推理和工具使用场景中具备强大且可广泛迁移的研究能力。它在两种模型规模下的优异表现进一步验证了我们框架的有效性——该框架递归地保留已验证的进展，并将检索重新导向未解决的约束条件，从而在长期研究周期中实现系统性进步。

5.3 推理框架分析

在推理时，AREX 在固定的交互预算下执行内部研究循环。模型使用 python、search 和 visit 来获取并验证证据，使用 update_context 将不断演进的研究轨迹整合为紧凑的研究状态，并使用 finish 将答案连同其支持证据和置信度分数一起外部化。我们分析了决定 AREX 如何使用其推理预算的两种机制：自主上下文更新（ACU），它刷新内部研究循环中的有效上下文；以及外部自我改进循环，它根据 finish 产生的结构化结果来接受、改进或重新开始一轮递归。该分析区分了三个问题：模型何时调用 update_context、在受控比较下 ACU 和外部自我改进循环如何改变准确性，以及答案级置信度分数是否支持基于置信度的决策程序。我们将完整系统称为 AREX w/ ACU。在相应的消融实验（记为 AREX w/o ACU）中，同一模型保留所有其他工具并在相同的交互预算下运行，但无法刷新其研究状态，而必须依赖未压缩的交互历史进行条件生成。

上下文更新行为。

我们首先将 ACU 视为一种运行时行为，而不仅仅是架构组件。智能体在 128K-token 的活跃上下文窗口内运行。在此预算内，当当前研究轨迹需要整合时，AREX 可以调用 update_context。如果活跃上下文达到 128K-token 限制，智能体必须在继续研究之前调用 update_context。

媒体内容 · 前往原文查看

更新使用情况		调用触发条件		更新内容
指标	数值	类别		类别
发生更新的案例	80.3%	修订搜索策略	66.9%	已验证的发现	72.1%
上限	128,000	拒绝候选	13.6%	当前候选	39.2%
最小上下文 token 数	3,788	验证证据/答案	5.3%	未解决的约束	95.5%
平均上下文 token 数	25,721	识别新线索	7.2%	有效性疑虑	14.1%
中位上下文 token 数	25,386	总结进展	6.4%	被拒绝的候选	81.5%
最大上下文 token 数	128,591	其他	0.6%	下一步计划	96.4%

表 2 显示，AREX 在 80.3% 的 BrowseComp 案例中调用了 update_context。更新发生时，平均活动上下文大小为 25,721 个 token，中位数为 25,386 个 token，远低于配置的 128K token 上限。仅有 0.01% 的更新发生在该上限或以上。这一时机表明，ACU 主要被用作一种主动的研究操作，而硬性上限更多是作为安全约束而非主要触发因素。

调用触发原因显示了研究策略在何时判定需要紧凑状态。搜索策略修订占调用次数的 66.9%，其次是候选方案淘汰，占 13.6%。识别新线索、总结进展以及验证证据或初步答案所占比例较小。当检索方向变得低效，或新证据改变了哪些候选方案仍然可行时，模型最常刷新其状态。

更新内容凸显了 ACU 在保留与决策相关的研究状态方面的重要性。总体而言，ACU 保留了后续推理所需的大部分有效信息，尤其是未解决的约束条件和下一步计划，这两类元素被保留的一致性最高。这表明 ACU 优先保留以下信息：还有哪些内容需要核查、哪些条件仍需满足、以及接下来应采取哪些行动。它同时保留已验证的发现和被淘汰的候选方案，确保后续决策建立在既有证据之上，同时避开先前已被否定的路径。从这个意义上说，ACU 充当了研究过程的紧凑表征，围绕已确认的证据、剩余约束、已排除的备选方案和计划中的后续行动来组织信息。

综合来看，使用模式、触发模式与内容模式共同表明，ACU 是一种面向长时程研究的轨迹整合与研究状态刷新机制。通过在具有意义的转折点进行更新，并同时保留正面与负面证据，ACU 帮助 AREX 避开先前已被否决的路径，并将剩余交互预算用于尚未解决的约束条件上。

递归式自我改进。

表 3 将递归式自我改进拆分为两部分：内部研究循环中的 ACU 与外部自我改进循环。未启用外部循环的各行接受 finish 产生的首个输出，因此它们单独隔离了“用 ACU 构建的有效上下文替换完整轨迹”这一操作所带来的效果。在该匹配的单轮设置下，ACU 将 BrowseComp 准确率从 59.6 提升至 71.4，绝对提升 11.8 个百分点。这一增益支持了内部循环的主张，即包含已验证发现、被否决候选、未解决约束与来源标识符的刷新研究状态，对研究策略而言比完整交互历史更有用。

方法	设置	准确率
不含 ACU 的 AREX	无外部循环	59.6
	有外部循环	69.8
含 ACU 的 AREX	无外部循环	71.4
	有外部循环	82.5

媒体内容 · 前往原文查看

方法内部的差异在内部循环产出结构化结果后，单独隔离了外部自我改进循环的效果。在不含 ACU 的情况下，启用外部循环将准确率从 59.6 提升至 69.8，绝对提升 10.2 个百分点。在含 ACU 的情况下，同样的外部循环将准确率从 71.4 提升至 82.5，提升 11.1 个百分点。这些一致的增益表明外部自我改进循环的重要性：当 AREX 在低置信度结构化结果之后能够再运行一轮递归循环，而不是直接返回 finish 产生的首个答案时，其性能会得到提升。完整系统达到了 82.5 的准确率，比既不含 ACU 也不含外部自我改进循环的配置高出 22.9 个百分点。

答案级置信度分数。

图 3 评估了由 finish 生成的置信度分数，该分数是结构化结果的一部分，从内层循环传递到外层自我改进循环。正确的最终输出集中在 90–100 区间，其中不使用 ACU 时 89.3% 的正确输出落在此区间，使用 ACU 时这一比例为 95.9%。错误的最终输出则保留了较大的低置信度质量：不使用 ACU 时 61.0% 的错误低于 60，使用 ACU 时这一比例为 55.2%。这种分离支持基于置信度的决策流程，因为许多失败可以通过答案级置信度分数识别出来，而无需重新解读整个轨迹。$s^{\left(k\right)}$

5.4 消融实验

我们在 BrowseComp 上进行了受控消融实验，以考察 AREX 训练方案的三个组成部分：渐进式多轮能力训练、关键步骤聚焦监督以及步骤感知强化学习。所有变体均使用相同的模型初始化，并保留其余训练流程不变。对于与监督相关的消融，我们匹配了监督 token 和优化预算；对于强化学习，我们保持提示词、展开预算、初始化和训练计划不变。

渐进式多轮能力训练。

我们中期训练流程的第一阶段旨在按顺序获取互补能力。模型首先在浏览密集型、多轮工具交互轨迹上进行训练，以建立网页导航、证据获取和迭代式研究行为。随后在推理密集型轨迹上进行训练，这些轨迹更强调长程推理、假设验证和困难问题求解。为了评估这种渐进式排序是否必要，我们将渐进式多轮能力训练流程替换为直接混合训练，即在匹配的总体训练预算下，从一开始就合并浏览密集型和推理密集型数据。该消融实验旨在检验渐进式获取工具使用和推理能力是否比从单一混合分布中同时学习这两种能力更有效。

如表4所示，将渐进式多轮能力训练替换为直接混合训练，会使BrowseComp准确率从82.5降至77.5。尽管两种设置使用了相同的浏览密集型和推理密集型能力分布，但分阶段训练方案先建立多轮工具使用行为，再引入推理密集型监督。结果表明，这种排序减少了异构训练目标之间的干扰，并为后续的整合和强化学习阶段提供了更强的初始化。

步骤级损失分析。

我们分析了第4.1节中识别的关键步骤在完整轨迹中期训练后是否仍然困难。对于每个助手步骤，我们计算其在训练模型下的平均token级负对数似然，并比较标注关键步骤与普通步骤的平均损失。

如图4所示，普通步骤的平均损失为0.232，而所有三类标注的关键步骤均表现出更高的损失。证据发现、路径拒绝与重定向、以及关键上下文更新的平均损失分别为0.277、0.298和0.300。这些数值相对于普通步骤分别增加了约19%、28%和29%。三类关键步骤之间一致的差距表明，完整轨迹监督更容易学习常规动作，而建立证据、修正研究方向或解决上下文更新的中间决策则相对学习不足。

关键步骤聚焦监督与步骤感知强化学习。

我们在匹配的训练条件下，评估了在 BrowseComp 上的关键步骤聚焦监督和步骤感知强化学习。对于没有关键步骤聚焦监督的变体，所选的关键步骤会被替换为从同一浏览密集型轨迹池中随机采样的助手步骤。随机步骤基线使用相同的前缀条件训练格式，仅对采样步骤应用损失，并匹配监督 token 和优化预算。对于没有步骤感知强化学习的变体，我们在保持 RL 提示词、 rollout 预算、初始化和训练计划不变的情况下，将完整的步骤感知目标替换为标准 GRPO。

将关键步骤聚焦监督替换为同等预算的随机步骤回放，使 BrowseComp 准确率从 82.5 降至 74.1，这是所有消融实验中降幅最大的。由于普通步骤构成了长程轨迹的大部分，随机步骤基线主要回放的是那些损失已经相对较低的常规行为。结合图 4，这一结果表明，当额外监督集中在学习不足、决策关键步骤上时，其效果远优于将其分配给任意中间动作。

最后，在相同的 rollout 和训练配置下，将步骤感知强化学习目标替换为标准 GRPO，准确率从 82.5 降至 79.4。这 3.1 个百分点的提升表明，在中期训练期间主要能力建立之后，步骤感知策略优化进一步精炼了研究策略。

训练设置	准确率
将多轮能力训练替换为混合训练	77.5
将关键步骤聚焦监督替换为随机步骤回放	74.1
将步骤感知 RL 替换为标准 GRPO	79.4
完整 AREX	82.5

媒体内容 · 前往原文查看

总体而言，消融实验表明，AREX 的性能得益于互补的训练组件。渐进式多轮能力训练建立了长程交互行为，关键步骤聚焦监督强化了困难且具决定性的中间动作，而步骤感知强化学习则进一步优化了由此产生的研究策略。

6 结论

在本研究中，我们提出了 AREX，一个用于深度研究的递归自我改进智能体。AREX 利用深度研究中的发现—验证不对称性，将临时答案转化为部分验证的研究状态，保留有证据支持的内容，同时将未解决的声明分离出来以供后续针对性调查。结合自主上下文更新和步骤感知训练，AREX 在深度搜索、广度搜索、智能体推理和工具使用基准测试中均取得了强劲表现。我们的初步训练分析进一步强调了在长程轨迹中识别并强化决策关键步骤的重要性，而非对所有中间动作一视同仁。未来工作将探索更通用、更自主的步骤效用估计机制以及细粒度训练信号的分配方法。这些结果表明，验证引导的状态精炼和步骤感知优化为构建可靠的长程研究智能体提供了一个有前景的方向。

参考文献

附录 A 相关工作

工具增强的深度研究。

语言模型智能体将大语言模型从静态响应生成扩展到借助工具、网络环境和外部知识源进行迭代式问题求解（react; toolformer; webgpt）。深度研究进一步推进了这一范式：智能体必须定位稀疏证据、比较相互冲突的信息来源，并综合出满足多重耦合约束的答案（deepresearch; deepresearch_survey）。近期系统通过工具使用监督、合成轨迹构建、智能体微调、强化学习，以及在更长搜索轨迹上进行推理时扩展来提升研究性能（searchr1; webdancer; websailor; tongyi_deepresearch; minddr; beyond_ten_turns）。这些方法主要强化了研究轨迹内部的探索。AREX 则解决一个互补的问题：在取得部分进展之后，智能体必须识别哪些约束已得到支持、哪些仍未解决，以及这一诊断应如何定义下一个研究问题。

验证作为递归式研究控制。

验证已被广泛用于改进推理，通常作为结果排序、过程监督或步骤级奖励建模（lets_verify; math_shepherd）。近期工作进一步利用了“生成正确解”与“验证候选解”之间的不对称性，使用验证来引导测试时搜索或评判智能体的中间决策（zeng2025pushing; team2026mirothinker）。AREX 将验证用于不同的角色。AREX 并未将其视为最终接受过滤器或局部动作评判器，而是让验证成为研究轮次之间的转移算子。逐约束审计将临时答案转化为部分验证的研究状态：已支持的论断得以保留，未解决的条件被隔离，矛盾证据被呈现出来。因此，下一轮研究由剩余不确定性的结构所驱动，而非对搜索的无方向延续。

研究状态管理与长程训练。

持续研究要求智能体在包含证据、失败的搜索、推测性假设和不断演变的计划的长时间轨迹中保持有用信息。先前的工作研究了分层记忆、虚拟上下文管理、学习型记忆状态、周期性摘要以及显式记忆编辑动作（memgpt; hiagent; mem1; resum; supo; memory_as_action）。AREX 在此基础上，通过学习调用一个上下文更新工具，生成围绕当前研究目标组织的改进状态，其中包括已验证的证据、引用、约束状态、未解决的空白以及下一步计划。训练此类智能体还会带来稀疏的信用分配挑战，因为最终的成功很少能揭示哪些中间步骤是决定性的。受过程监督和回合级信用分配（lets_verify; math_shepherd; ragen; turn_credit）的启发，AREX 增加了对关键步骤的暴露，在这些步骤中获取证据、解决矛盾或修复错误方向，从而在高效的密集和混合专家模型规模（switch_transformer; gshard; mixtral; deepseekv3）下实现递归研究控制。

附录 B 简化设置下的初步探索

本节探讨了一个未纳入最终 AREX-Base 方案的训练方向。该实验使用了一个早期的简化配置，工具集缩减，且不包含 ACU、外部自我改进循环、关键步骤监督、完整的多阶段数据混合或完整的测试时扩展策略。因此，其绝对的 BrowseComp 分数不能直接与完整的 AREX-Base 系统或原始主干模型报告的结果进行比较。该比较仅旨在衡量同一受控设置内的相对差异。

轨迹自蒸馏。

我们进行了一项初步实验，以考察一个经过浏览训练（browse-trained）的智能体，能否为从同一骨干网络初始化的全新模型生成更优的监督信号。直接训练和自蒸馏两种变体均使用 122B-A10B 初始化，采用相同的问题分布，并匹配了相同的训练与推理配置。直接训练基线从原始的浏览密集型轨迹中学习。对于自蒸馏，则先由一个中间阶段的浏览训练智能体为相同问题重新生成轨迹，随后在通过验收的生成轨迹上训练一份全新的基础模型副本。

在该简化设定下，轨迹自蒸馏将 BrowseComp 成绩从 52.3 提升至 57.1，提升了 4.8 个百分点（见表 5）。这一结果表明，对于同一骨干网络，由中间阶段智能体生成的轨迹可能比原始轨迹提供更有效的监督。可能的解释包括：与目标策略的动作分布对齐更好、搜索决策更一致，以及中间推理结构更清晰。

这项初步研究并未分离出改进的具体来源，也未证实该增益在与 ACU、关键步骤监督以及完整 AREX 训练方案结合时依然存在。此外，自生成轨迹可能继承或放大教师模型的偏差与失败模式。因此，我们将轨迹自蒸馏视为未来迭代中一个有前景的方向，而非最终系统的组成部分。

媒体内容 · 前往原文查看

训练设置	BrowseComp
直接训练	52.3
自蒸馏	57.1

贡献者

核心贡献者：Shuqi Lu¹¹这些作者对本文贡献相同。、Chaofan Li¹¹footnotemark: 1、Kun Luo¹¹footnotemark: 1、Zhang Zhang、Hui Wang、Hongwang Xiao、Zheng Liu²²Zheng Liu 为项目负责人。

参与者：Lei Xiong、Jiahao Wang、Sen Wang、Xiyan Jiang、Wanli Li、Yuyang Hu、Hongjin Qian、Bingyu Yan、Jianlyu Chen、Ziyi Xia

指导老师：邵英侠、刘康、窦志成、何迪、李超卓、叶祺伟、王仲远