# 反思强化学习对大语言模型推理的作用：是稀疏策略选择，而非能力学习

- 来源：HuggingFace Daily Papers（社区热门论文）
- 发布时间：2026-05-07 08:00
- AIHOT 分数：75
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmp14vzgo0vavsllhmvfhigkn
- 原文链接：https://arxiv.org/abs/2605.06241

## 精选理由

这篇论文直接挑战当前主流 RL 训练范式，认为 RL 只是在选择已有策略而非学习新能力，并给出千分之一成本就能追平的替代方案，做 reasoning 的同行可以认真读一下。

## AI 摘要

研究发现，强化学习改进大语言模型推理时，并非教授新策略，而是对基础模型已掌握的解决方案进行概率重分配。其有效影响仅集中在1–3%的高熵决策token上，且所提升的token始终位于基础模型前5个备选之中。基于此，研究者提出无需强化学习的ReasonMaxxer方法，仅在熵选通的决策点施加对比损失，仅需数百次基础模型推演且无需在线生成。在多个模型和数学推理基准测试中，该方法达到或超越了完整强化学习的性能，而训练仅需数十道题目、数分钟的单GPU时间，成本降低约三个数量级。

## 正文

ReasonMaxxer

：令人尴尬的廉价后训练

摘要

强化学习已成为提升大语言模型推理能力的标准方法，然而越来越多的证据表明，强化学习并未教授新的策略；它只是将概率质量重新分配到基础模型已有的解决方案上。在这项工作中，我们提出疑问：如果强化学习仅仅是将模型导向其已知的路径，那么强化学习优化循环本身是否必要？通过对多个模型家族和强化学习算法进行 token 级分析，我们发现强化学习的有益影响是一种稀疏、可预测的修正，集中在高熵决策点——即模型不确定该选择哪个分支的位置。仅有 1–3% 的 token 位置受到影响，被提升的 token 始终位于基础模型前 5 个备选方案之内，并且针对这些少数位置进行定向修正，可以因果性地恢复强化学习的大部分准确率提升，而随机修正则无效。基础模型自身的熵值可以在没有任何强化学习训练模型的情况下识别出这些位置，并且整个修正是低维的，可以用极小比例的模型参数来表示。这些发现将推理改进重新定义为稀疏策略选择，而非能力获取。我们将这一见解转化为 ReasonMaxxer，一种极简的无需强化学习的方法，该方法仅在熵值门控的决策点应用对比损失，使用几百次基础模型 rollout 且无需在线生成。在三个模型家族、六个规模以及六个数学推理基准测试中，ReasonMaxxer 达到或超越了完整强化学习的性能，同时仅需几十个问题和几分钟的单 GPU 训练，训练成本降低了大约三个数量级。

1 引言

图1：强化学习编辑操作稀少、保守且集中于决策节点。(a) 强化学习模型选中的token在基模型备选方案中平均排名第二，这意味着它几乎从不创造新token，而是提升基模型原本就在考虑的某个token的优先级。(b) 仅有1%–4%的token位置被强化学习重新排序，但这些位置的基础模型熵值高于未改变的位置。因此，这些稀疏的编辑操作恰好落在高不确定性的决策节点上——即模型不确定该选择哪条推理分支的位置。

基于可验证奖励的强化学习（RLVR）已成为提升大语言模型推理能力的主导范式（Guo 等人，2025；Shao 等人，2024；Zeng 等人，2025）。DeepSeek-R1（Guo 等人，2025）、OpenAI o1（Jaech 等人，2024）和通义千问（Qwen3）（Yang 等人，2025a）等系统均通过这一流程取得了显著提升，该领域已广泛采用强化学习（通常是 GRPO（Shao 等人，2024）或 PPO（Schulman 等人，2017））作为数学与代码推理的标准后训练方法。该范式的隐含假设是，强化学习如同其在游戏中发现新策略一样（Silver 等人，2017），能够通过奖励驱动的探索使大语言模型获得真正新颖的推理模式。然而，越来越多的证据对这一假设提出了挑战。Yue 等人（2025）指出，虽然强化学习提升了 pass@ 指标，但基础模型在较大规模下能实现更高的 pass@：基础模型的采样分布中已包含正确答案，强化学习只是将其提升。Davis 和 Recht（2025）证明，流行的二元奖励强化学习算法均可归结为对正确答案概率单调变换的随机梯度上升，且此类优化仅在基础模型已具备一定成功概率时才有收益。Zhang 等人（2025）通过受控实验证实了这一点：强化学习仅在模型能力边缘——即那些困难但尚未超出其能力范围的问题上——才能产生真正的收益。在 token 层面，Wang 等人（2025c）发现强化学习的改进集中在高熵的“分叉 token”上，即模型不确定该遵循哪条推理路径的位置，并证明仅对这些 token 进行梯度更新即可达到对所有 token 训练的效果。从结构角度，Park 等人（2025）发现强化学习通过少量涌现的注意力头发挥作用。综合来看，这些发现共同描绘出一幅新兴图景：强化学习主要引导模型倾向于采用基础模型已包含的解题路径，而非发明真正新颖的推理策略。

尽管这种理解日益深入，但仍存在一个关键空白。识别出这种结构的研究工作仍然在强化学习框架内进行：Wang等人（2025c）让强化学习更高效而非消除它，Yue等人（2025）呼吁改进强化学习范式，而Karan和Du（2025）仅提供了推理时的替代方案。自然而然的下一个问题是：我们能否精确刻画强化学习在模型token层面的影响，并且如果这种刻画足够简单，那么强化学习优化循环本身是否还有必要。

在本文中，我们通过跨多个模型家族和强化学习算法的系统性模型token层面分析来回答这个问题。我们发现强化学习的行为印记惊人地简单：它仅修改1-3%的模型token位置，不会引入基础模型前5个候选之外的模型token，并且将编辑集中在模型不确定该走哪条推理分支的高熵决策点上。通过使用随机对照的预言机干预，我们确定了在这些位置上选择的特定模型token具有因果重要性，能够恢复强化学习收益的很大一部分，而随机修正则失败。关键在于，这些决策点可以在没有任何经过强化学习训练的模型的情况下定位：基础模型自身的模型token熵（在强化学习编辑的位置达到峰值）为干预在何处有效提供了强有力的代理指标。我们进一步证明，完整的修正具有低维特性，可以用极小比例的模型参数来表示。综合来看，这些发现将推理改进重新定义为一种稀疏策略选择问题：在少数不确定性点上承诺正确的分支，而不是通过昂贵的探索来获取新能力。

为了直接检验这一重新框架，我们构建了 ReasonMaxxer，一种极简的无强化学习方法，它利用了所识别的结构。ReasonMaxxer 从基础模型生成少量展开轨迹，使用熵门控定位决策点，并仅在这些位置应用优势加权对比损失，同时将所有其他 token 锚定到基础分布。该方法无需强化学习、无需在线生成、也无需大规模算力：它以极低的预算最大化推理性能。在三个模型家族和多个规模上，ReasonMaxxer 匹配甚至超越了经过完整强化学习训练的模型性能，却仅使用数十个问题、数百次展开轨迹和几分钟的单 GPU 训练，将训练成本降低了约三个数量级。如此简单的方法就能奏效，这挑战了普遍认为需要重型强化学习基础设施才能提升推理能力的假设。

强化学习用于推理的机制性刻画。通过跨多个模型家族和强化学习算法的 token 级分析，我们表明强化学习的有益效果是一种稀疏的、熵局部化的重排序，作用于基础模型已经偏好的 token，并通过带有随机对照的 oracle 干预建立了因果关系。

一种匹配完整强化学习的无强化学习方法。我们引入了 ReasonMaxxer，它仅使用基础模型自身的展开轨迹，在熵门控的决策点应用对比微调。该方法在数学推理基准上匹配甚至超越了强化学习训练的模型，同时使用的算力和数据量却少了数个数量级。

证明重型强化学习并非先决条件。通过展示一种轻量级方法可以复现强化学习的推理提升，我们证明了强化学习在此领域解决的问题是稀疏策略选择，而非能力获取。这表明，社区在基于结果的推理任务中默认投入完整强化学习流水线的做法，相对于问题的复杂度而言可能过于冗余。

2 背景与实验设置

2.1 基于可验证奖励的强化学习

我们简要回顾了研究中基线模型所使用的强化学习算法。给定一个包含真实答案的提示词，RLVR 会从当前策略中生成多条轨迹，并为每条轨迹分配一个二元奖励。在我们评估的基线模型中，最主流的算法是组相对策略优化（GRPO）（Shao 等人，2024），该算法通过组归一化计算每条轨迹的优势值：

(1)

并通过最大化一个在所有 token 位置上统一应用的裁剪替代目标来更新策略。这种统一应用是我们方法与 GRPO 的一个关键对比点：GRPO 将梯度分配到每条轨迹中的每一个 token 上，尽管有证据（在第 3 节中呈现）表明只有一小部分位置携带了有效信号。部分基线模型使用了具有相同核心结构的替代算法。Open-Reasoner-Zero（Hu 等人，2025）采用了带有 GAE 的近端策略优化（PPO）（Schulman 等人，2017），而其他近期工作则探索了 REINFORCE 风格的变体，例如 RLOO（Ahmadian 等人，2024）。所有这些方法都优化着同一个底层目标：提高导致正确答案的 token 的概率，其主要区别在于优势估计和正则化策略。我们在第 3 节中的机制性分析研究了使用 GRPO、PPO 和 RLOO 训练的模型，并发现这三种方法都存在相同的稀疏修正模式。

2.2 Token 级熵与决策点

对于一个自回归语言模型，在位置 上的 token 级生成熵定义为

(2)

其中词汇表表示，而 表示已生成的 token。高 值的位置对应模型将概率质量分布在多个合理延续上、而非只选择一个 token 的点。近期研究已将这些高熵位置识别为具有功能重要性：Wang 等人（2025c）表明它们充当着将模型导向不同推理路径的“分叉点”，Agarwal 等人（2025）则证明，在没有标注数据的情况下最小化熵可以提升推理性能。我们将 超过某个阈值的位置称为决策点，即模型对推理路径的承诺真正不确定的那部分生成过程。

2.3 模型与基线

基线所使用的 RL 算法已在第 2.1 节（GRPO、PPO 及其变体）中介绍。表 1 总结了本文实验中使用的模型族以及具体的公开可用 RL 训练检查点。所有基线均在数学推理问题上使用可验证的结果奖励进行训练。

媒体内容 · 前往原文查看

表 1：模型族与 RL 基线。每个基线均为在数学推理问题上使用可验证的结果奖励训练得到的公开可用检查点。“算法与说明”列标明了 RL 变体及任何值得注意的训练细节。

模型族 基础模型 RL 基线 算法与说明

Qwen2.5 1.5B、7B、Math‑7B、32B SimpleRL‑Zoo（Zeng 等人，2025） GRPO

1.5B、7B、32B Open‑Reasoner‑Zero（Hu 等人，2025） PPO

Math‑7B Eurus‑2‑7B‑PRIME（Cui 等人，2025） RLOO

Qwen3 0.6B GRPO（原始基础模型）（Yang 等人，2025a） GRPO

4B General‑Reasoner（Ma 等人，2025） GRPO + 验证器，多领域

DeepSeek R1‑Distill‑Qwen‑1.5B DeepScaleR（Luo 等人，2025） GRPO，上下文缩放

STILL‑3（Min 等人，2024） PPO

Open‑RS3（Dang 和 Ngo，2025） GRPO，严格计算

Mistral 7B v0.1 SimpleRL‑Zoo（Zeng 等人，2025） GRPO

3 RL 实际改变的是什么：决策点上的稀疏修正

近期研究表明，用于推理的强化学习主要将模型导向其已知的解决方案，而非发明新策略（Yue 等人，2025；Davis 和 Recht，2025；Zhang 等人，2025）。为了理解这种导向在 token 层面如何体现，我们比较了基础模型及其经过强化学习训练的对应模型在同一组提示词上的输出。

我们的研究探讨了三个问题：

强化学习模型与基础模型产生分歧的频率如何，以及发生在何种位置？（§3.1）

这些 token 层面的分歧是否导致了观察到的准确率提升？（§3.2）

我们能否在不访问强化学习模型的情况下，仅利用基础模型的信号来定位这些关键位置？（§3.3）

我们聚焦于 §2.3 中介绍的四组基础/强化学习调优模型对，并在 MATH-500 上使用确定性解码进行评估。

3.1 分歧罕见、保守且集中于决策点

对于每个提示词，我们从基础模型生成一个回答，并在每个 token 位置记录：在给定相同前缀的情况下，经过强化学习调优的教师模型更倾向于选择哪个 token。随后，这些位置被分类如下：

(3)

用文字表述，“重排序”意味着教师模型提升了一个已在基础模型前 5 名候选中的 token，而“偏移”则表明一种全新的偏好。

媒体内容 · 前往原文查看

表 2：Token 层面的差异极小且局部化。重排序位置很罕见。几乎所有被提升的 token 仍停留在基础模型的前 5 名候选之内，教师模型 token 的平均排名约为 2，并且重排序位置的基础模型熵远高于未改变的位置。

模型对 重排序比例 偏移比例 熵比 平均排名

Qwen2.5-1.5B GRPO 2.09% 0.02% 7.58 2.30

Qwen2.5-7B GRPO 1.03% 0.01% 8.27 2.14

Qwen2.5-7B PPO 3.96% 0.12% 9.41 2.39

Qwen3-4B GRPO 2.29% 0.02% 12.63 2.25

图1和表2汇总的结果描绘了一幅清晰的图景。仅有1.0%–4.1%的token位置被重新排序，且我们在任何一对模型中均未观察到位置偏移。教师模型偏好的token平均而言是基座模型下第二高概率的token（平均排名2.14–2.39）。此外，被重新排序的位置的基座模型熵值比未改变的位置高出5–12。因此，强化学习的修改不仅极其稀疏，而且高度可预测：它们恰好出现在高熵决策点，即模型不确定该遵循哪条推理分支的位置（参见§2.2）。强化学习并未引入新的token；它始终在模型不确定的时刻，将基座模型原本排名靠前的备选token之一提升至首位。这解释了为何先前的研究观察到强化学习训练后的模型与基座模型之间的困惑度较低（Yue等人，2025）：被提升的token本身已是合理的候选。

3.2 仅修正分歧点即可恢复强化学习性能

在确定了两个模型在哪些位置存在差异之后，我们现在探究这些差异是否因果性地导致了强化学习模型更高的准确率。我们设计了一个理想干预实验：在基座模型进行确定性生成时，在每个教师模型存在分歧的位置（即表2中的重新排序位置），我们将基座模型的token替换为教师模型偏好的token，并从修正后的前缀继续生成。作为对照，我们则从基座模型的前20个备选token中随机插入一个替代token（随机替换）。

图2展示了结果。理想干预实验在每一对模型上都精确复现了教师模型的pass@1指标，而随机替换基线方法的表现并不优于基座模型（通常更差）。理想干预所触及的token比例与表2中的重新排序百分比（1.0%–4.1%）一致。因此，强化学习模型的全部准确率优势可归因于在决策点上极小一组精确的token选择。简而言之，少数几个token的修正就能引导整个推理轨迹；强化学习的优势并非一种弥散性效应，而是集中在少数几个分支点上，在这些点上，后续生成的选择决定了最终的解题路径。

图 2：Oracle 修正能精确恢复强化学习性能，而熵门控方法与之高度匹配。奶油色和虚线奶油色条形图分别表示基础替换和随机替换；红色 oracle 条形图与虚线强化学习模型线完全一致，仅使用了 1–4% 的模型 token。深红色熵门控条件在相似预算下达到了可比或相同的准确率，仅依靠基础模型熵来选择干预位置。

3.3 仅凭熵即可识别关键位置

Oracle 实验依赖于教师模型来同时定位和修正重要 token。为了实现一种实用的无强化学习方法，我们需要在不借助教师模型的情况下定位这些位置。§3.1 中观察到的强相关性表明，基础模型熵可能承担这一角色。因此，我们测试了一种熵门控干预：在基础模型熵超过某个阈值的每个位置，用教师模型偏好的 token 替换基础 token，而不使用任何关于教师模型偏好的信息。这一探针实验告诉我们，仅凭熵能在多大程度上替代教师模型对干预位置的判断。

图 2 中的蓝色条形图展示了这种熵门控修正的性能。仅使用熵阈值（1.2），该干预在 7B GRPO 对上与教师模型完全匹配，在 PPO 对上接近教师模型，并在其他对上显著优于基础模型，同时仅触及 1.2–8.3% 的 token。因此，熵充当了强化学习本应修正的决策点的有效、完全无教师代理指标。由此可知，强化学习修正的“位置”仅凭基础模型熵即可预测；剩下的挑战是学习在这些位置应替换哪个 token，我们通过 ReasonMaxxer（§5）解决了这一问题。

4 修正具有低维特性

第3节表明，强化学习的有益效果在模型token空间中是稀疏的，并且可以根据基础模型的熵进行预测。一个自然而然的问题是，这种修正是否在参数空间中也是简单的。如果要在决策点复制强化学习模型的行为需要高维度的参数变化，那么观察到的token级稀疏性可能只是复杂分布式计算的一种涌现特性，而完整的强化学习优化循环可能仍然是必要的。多项研究指出，这种大规模强化学习可能会产生仅在事后才看起来是低维度的表征（Park 等人，2025）。为了检验强化学习的修正本质上是否是低维度的，我们测量了需要多少适配器容量才能捕捉到它。

4.1 将强化学习蒸馏到低秩适配器中

我们的诊断方法是KL-LoRA蒸馏：我们在基础模型上附加一个LoRA适配器（Hu 等人，2021），并且仅训练适配器参数，以最小化适配器增强模型与经过强化学习训练的教师模型之间在token级别的Kullback-Leibler散度：

(4)

我们在教师模型自身生成的一组推演结果上缓存其顶层logits。这些适配器仅使用100个随机选择的问题进行训练。如果一个小型适配器能够从如此少量的问题中吸收强化学习的完整分布变化，那么这种变化本质上必定是低维度的。

4.2 一个小型适配器捕捉了强化学习的完整修正

图3展示了在第3节中研究的四组基础/强化学习模型对的结果。在MATH-500和GSM8K两个基准上，一个秩为32、应用于所有注意力投影（QKVO）的LoRA适配器，在仅修改基础模型0.27%–0.49%参数的情况下，就匹配了强化学习教师模型的准确率。

图3：强化学习的修正是低维度的。通过KL散度从强化学习教师模型蒸馏得到的LoRA适配器（秩为32），仅使用100个随机选择的问题，就在MATH-500和GSM8K上重现了教师模型在所有四个模型对上的准确率。奶油色柱（基础模型）远低于强化学习教师模型，而深红色柱（KL-LoRA）则匹配了强化学习模型的性能。每组下方的百分比表示适配器所使用的模型参数比例。

每组上方的适配器规模（0.3% 至 0.5%）直观地展现了强化学习修正的低维特性。这种设计有意追求精简：仅使用 100 个随机选取的问题，适配器就能在关键决策点看到足够多的模型行为示例，从而捕捉到强化学习的策略引导。这进一步印证了第 3 节的洞见——强化学习的信号集中在少数高熵位置；由于基础模型已具备必要的词汇和推理模式，一个规模小、目标明确的数据集就足够了。111 进一步的压缩也是可行的：一个秩为 8 的输出投影适配器在 MATH-500 上的表现与完整适配器相差仅几个百分点（附录 A），这表明强化学习的修正几乎可以完全通过输出层来表达。我们在 ReasonMaxxer 中保守地使用了完整的秩 32 配置。因此，强化学习的修正不仅在 token 空间上是稀疏的，在参数空间上也是低维的：一个规模仅为模型参数总量百分之零点几的微型适配器，就能捕捉到整个分布变化。

从可表示性到可学习性

KL-LoRA 实验表明，强化学习的修正信号可以在极小的参数预算内被表示出来。近期研究进一步证明，使用 LoRA 约束的强化学习从头学习这种信号，能够与全参数强化学习相媲美，这表明该解决方案不仅具有低维特性，而且在小参数空间内也是可及的（Wang 等人，2025b）。这种简洁性暗示，该信号或许无需强化学习的随机搜索即可学习，我们将在下一节通过 ReasonMaxxer 直接验证这一假设。

5 ReasonMaxxer——基于熵门控的对比微调

ReasonMaxxer 将第 3 节和第 4 节的发现转化为一种直接的、无需强化学习的训练流程。该方法生成一小批基础模型的推理轨迹，选取基础模型熵值较高的 token 位置，并应用一种对比损失函数，该函数鼓励导向正确答案的 token，同时惩罚导向错误答案的 token。以下小节将描述问题选择、基于熵的决策点识别以及对比微调。

5.1 问题选择：利用能力边界

对于一组答案可验证的数学问题，我们以非零温度从冻结的基础模型中对每个问题进行多次补全采样，并将每次补全结果与标准答案进行比较。从这批结果中，我们只保留基础模型通过率严格介于0和1之间的问题：即部分生成结果正确，部分错误。

这一筛选条件直接实现了先前理论工作（Davis and Recht, 2025；Zhang et al., 2025）以及我们自身的预言实验（第3.2节）所证明的、从结果反馈中学习所必需的属性。当基础模型在某个问题上始终成功时，就没有错误行为需要惩罚；当它始终失败时，就没有正确行为需要强化。只有混合成功区间才能提供双向对比信号，从而在同一决策点上区分好的决策与坏的决策。该筛选条件确保每个保留的问题都能贡献这一信号。在第6.3节中，我们通过实验验证了通过率窗口的具体宽度并不关键；真正重要的是问题内部同时存在正确和错误的生成结果。

5.2 基于熵的决策点识别

对于每个保留的生成结果，我们计算冻结基础模型每个token的熵（公式2）。当一个token位置满足条件时，该位置被标记为决策点，其中是特定模型族阈值，其选取标准是使标记位置大致对应模型熵分布的前几个百分点。我们将其记为。

这一步直接基于第3节的两项发现。首先，经过RL训练的教师模型与基础模型产生分歧的位置恰好是高熵位置（表2，图1）。其次，基于熵的门控机制可以替代教师模型的分歧信号，且不损失纠正能力（第3.3节）。因此，是一种完全无教师、有原则的方法，用于选择模型行为最需要改进的位置。由于熵仅从基础模型计算得出，这一阶段除了已生成的生成结果外，不需要任何外部监督。

5.3 基于基础锚定的优势加权对比损失

给定单个问题的一组轨迹，我们计算每个轨迹的归一化优势值

(5)

其中 表示轨迹是否得出正确答案， 和 是该问题正确性指示变量的均值和标准差。这种归一化使优势值居中，从而使正确和错误的轨迹获得对称的正负权重，防止类别不平衡扭曲梯度。

训练损失由两项组成。在决策点，我们应用优势加权交叉熵损失，

(6)

当轨迹正确（）时，该损失会增加观测 token 的可能性；当轨迹错误（）时，则会降低其可能性。因此，模型被塑造成能够复现得出正确最终答案之前的 token 级选择，并避免那些导致错误答案的选择。

在决策集 之外的所有位置，我们最小化与冻结基础模型之间的 Kullback-Leibler 散度，

(7)

这一锚定项在机制分析发现 RL 无效的所有位置保留了基础模型的行为，并防止小型适配器在有限的训练集上过拟合虚假相关性。总损失为 ，其中 用于平衡两个目标。

在架构上，ReasonMaxxer 通过附加在基础模型上的 LoRA 适配器（Hu 等人，2021）实现该损失。基础模型保持冻结状态；仅更新低秩适配器矩阵。这一选择是第 4 节中确立的低维特性的自然结果：如果一个参数不到模型总量百分之一的秩 32 适配器能够吸收 RL 的全部分布变化，那么同样的参数预算足以直接从基础模型自身的轨迹中学习对比信号。实现细节见附录 B。

6 实验

我们在六个数学推理基准上，将 ReasonMaxxer 与公开可用的、涵盖三个模型家族和多种 RL 算法的 RL 训练模型进行对比评测，并分析其性能、效率及关键设计选择。

6.1 实验设置

基准与评测协议。

我们在六个标准数学推理基准上进行了评估：MATH‑500（Hendrycks 等人，2021）、GSM8K（Cobbe 等人，2021）、AMC 2023、AIME 2024、Minerva Math（Lewkowycz 等人，2022）和 OlympiadBench（He 等人，2024）。对于题目数量较少的 AMC 2023 和 AIME 2024，我们报告 avg@8（八次独立生成的 pass@1 平均值）以降低方差；对于所有其他基准，我们报告单次生成的标准 pass@1。实验细节见附录 C。

ReasonMaxxer 的训练配置。

我们将 ReasonMaxxer 实现为一个秩为 32 的 LoRA 适配器，应用于所有注意力投影层，同时保持基础模型冻结。从一个包含 150 道数学题（按难度级别均衡分布）的题库中，我们每道题采样 20 次 rollout，并保留基础模型表现参差不齐的 50 道题，最终得到 1000 条训练序列。通过在一个小型留出集上扫描阈值来选择熵门控决策点，并使用第 5 节中描述的基于优势加权的对比损失来训练适配器。我们训练一个 epoch，并在一个固定的 50 题验证集上选择最终检查点。完整的超参数和优化器设置见附录 B。

成本估算。

为量化效率，我们在表 3 中报告了每种方法的预估训练货币成本。对于 ReasonMaxxer，成本直接来自我们在 NVIDIA RTX Pro 6000（96 GB）GPU 上使用 RunPod 按需定价的运行结果，包括 rollout 生成、熵评分、阈值扫描和检查点选择。基线成本要么取自已发表的报告，要么根据官方训练脚本、硬件配置以及相应 GPU 类型的按需定价推算得出（详见附录 D）。所有成本均四舍五入到最接近的美元；斜体数字表示在未公开确切数值情况下的估算值。

媒体内容 · 前往原文查看

表 3：ReasonMaxxer 以极低的训练成本达到或超越了强化学习基线。对于每个基础模型，我们将其与基于同一基础模型公开发布的强化学习训练检查点进行比较。每行最佳得分以粗体标出；灰色底纹行报告的是我们的方法。成本数据使用提交日期时的 RunPod 按需定价。预估成本（斜体）根据每种方法已发表的训练脚本和超参数推导得出；完整推导过程见附录 D。

模型 GSM8K MATH Minerva 奥数 AIME24 AMC23 平均 成本

500 基准 avg@8 avg@8 （美元）

Qwen2.5 系列模型

Qwen2.5-1.5B 0.561 0.298 0.044 0.093 0.004 0.094 0.182

\rowcolorgray!10 + SimpleRL-Zoo 0.733 0.496 0.107 0.189 0.038 0.156 0.287 200 美元

\rowcolorgray!10 + Open-Reasoner-Zero 0.629 0.436 0.088 0.160 0.025 0.138 0.246 1,200 美元

\rowcolorrmcream + ReasonMaxxer 0.710 0.502 0.114 0.167 0.029 0.169 0.282 4 美元

Qwen2.5-7B 0.751 0.586 0.129 0.294 0.046 0.300 0.351

\rowcolorgray!10 + SimpleRL-Zoo 0.851 0.656 0.132 0.358 0.088 0.375 0.410 600 美元

\rowcolorgray!10 + Open-Reasoner-Zero 0.924 0.732 0.213 0.454 0.121 0.463 0.485 6,300 美元

\rowcolorrmcream + ReasonMaxxer 0.918 0.706 0.206 0.411 0.113 0.475 0.472 5 美元

Qwen2.5-Math-7B 0.450 0.374 0.088 0.091 0.092 0.278 0.229

\rowcolorgray!10 + SimpleRL-Zoo 0.827 0.706 0.151 0.344 0.188 0.550 0.461 600 美元

\rowcolorgray!10 + PRIME-Zero 0.543 0.644 0.132 0.341 0.171 0.459 0.382 190 美元

\rowcolorrmcream + ReasonMaxxer 0.816 0.674 0.246 0.365 0.192 0.484 0.463 5 美元

Qwen2.5-32B 0.836 0.548 0.143 0.275 0.017 0.300 0.353

\rowcolorgray!10 + SimpleRL-Zoo 0.876 0.642 0.180 0.327 0.067 0.363 0.409 5,737 美元

\rowcolorgray!10 + Open-Reasoner-Zero 0.945 0.646 0.272 0.337 0.067 0.350 0.436 103,000 美元

\rowcolorrmcream + ReasonMaxxer 0.865 0.636 0.228 0.356 0.117 0.438 0.440 25 美元

Mistral、DeepSeek 和 Qwen3 模型

Mistral-7B-v0.1 0.070 0.199 0.056 0.000 0.007 0.005 0.056

\rowcolorgray!10 + SimpleRL-Zoo 0.076 0.212 0.025 0.000 0.011 0.005 0.055 600 美元

\rowcolorrmcream + ReasonMaxxer 0.072 0.317 0.069 0.000 0.066 0.010 0.089 8 美元

DeepSeek-R1-Distill-1.5B 0.775 0.436 0.136 0.208 0.092 0.266 0.319

\rowcolorgray!10 + DeepScaleR 0.793 0.502 0.162 0.251 0.075 0.259 0.340 4,500 美元

\rowcolorgray!10 + STILL-3 0.800 0.536 0.140 0.294 0.129 0.238 0.356 2,268 美元

\rowcolorgray!10 + Open-RS3 0.770 0.454 0.114 0.201 0.079 0.263 0.314 42 美元

\rowcolorrmcream + ReasonMaxxer 0.825 0.662 0.213 0.356 0.117 0.231 0.401 4 美元

Qwen3-0.6B 0.489 0.338 0.059 0.126 0.000 0.125 0.189

\rowcolorgray!10 + GRPO 0.503 0.372 0.059 0.146 0.008 0.109 0.200 100 美元

\rowcolorrmcream + ReasonMaxxer 0.656 0.470 0.096 0.179 0.017 0.253 0.278 4 美元

Qwen3-4B 0.497 0.514 0.085 0.300 0.083 0.216 0.282

\rowcolorgray!10 + General-Reasoner 0.916 0.746 0.213 0.491 0.021 0.050 0.406 4,600 美元

\rowcolorrmcream + ReasonMaxxer 0.919 0.660 0.305 0.403 0.096 0.472 0.476 4 美元

6.2 结果与分析

表 3 展示了完整的结果集。我们围绕三个关键发现来组织讨论。

ReasonMaxxer 在纯净对比中与完整强化学习表现相当。

最直接的测试是将 ReasonMaxxer 与公开可用的、从相同原始基座模型训练而来且未经过额外蒸馏或 SFT 阶段的强化学习训练模型进行比较。在 Qwen2.5‑1.5B 上，ReasonMaxxer 在 MATH‑500 上达到 50.2%，而 SimpleRL‑Zoo 为 49.6%，Open‑Reasoner‑Zero 为 43.6%，同时成本仅为 4 美元，后两者则分别为 200 美元和 1200 美元。在 Qwen2.5‑7B 上，它达到 70.6%，而 SimpleRL‑Zoo 为 65.6%，Open‑Reasoner‑Zero 为 73.2%，成本同样仅为极小的一部分。这一模式在 Qwen2.5‑Math‑7B 和 Qwen2.5‑32B 变体，以及 Mistral‑7B 和 Qwen3 模型上均保持一致。在每种情况下，我们的表现都与强化学习基线持平或更优，同时将训练成本降低了两到三个数量级。这证实了第 3-4 节中识别的稀疏策略选择信号不仅仅是一个诊断性产物；它正是强化学习本身最终捕获的信号，而 ReasonMaxxer 无需强化学习优化即可恢复该信号。

性能泛化能力超越了纯强化学习设置。

表 3 中的几个基线除了仅基于结果的强化学习之外，还融入了额外的训练策略：DeepSeek‑R1‑Distill‑1.5B 基线从蒸馏检查点开始，Qwen3‑4B 的 General‑Reasoner 使用了基于模型的验证器和多领域数据，而 STILL‑3 则在精选数据集上采用了迭代强化学习。尽管没有使用这些增强手段中的任何一种，ReasonMaxxer 在大多数基准测试上的准确率仍然与它们持平或更高。这些结果表明，归因于复杂后训练流程的收益中，有很大一部分实际上源自于 ReasonMaxxer 所分离并直接优化的同一稀疏策略选择机制。

效率与可扩展性。

ReasonMaxxer 在计算效率和数据效率方面同样引人注目。在计算方面，ReasonMaxxer 在所有模型上仅需个位数 GPU 小时即可完成，而强化学习基线则需要数百到数万 GPU 小时（表 3）；平均训练成本低于 10 美元，相比之下强化学习基线为 100 到 10 万美元。在数据方面，ReasonMaxxer 仅用 50 道题目进行训练。SimpleRL-Zoo 在其 GRPO 运行中使用了大约 8000 道 MATH 题目，而 Open-Reasoner-Zero 则在 57000 道数学和推理题目上训练。训练数据量超过两个数量级的差距并非偶然优化；它直接源于第 3 节和第 4 节建立的机制性图景。由于强化学习的有用信号集中在稀疏的高熵决策点上，少量混合成功与失败的题目就能提供足够的对比监督，从而捕获完整的策略导向修正。出于同样的原因，ReasonMaxxer 一次性离线生成 rollout，并且只训练一个轻量级适配器；其成本随训练序列数量扩展，而非随模型规模与在线策略迭代次数的乘积扩展，因此即使对于更大的模型也保持实用。总之，ReasonMaxxer 证明了基于结果的强化学习所带来的关键推理改进，可以通过一种简单、数据高效的对比过程获得，从而挑战了重型强化学习基础设施的必要性。

6.3 消融实验

图 4：ReasonMaxxer 对熵阈值 的敏感性。当 从 1.0 变化到 2.2 时，Qwen2.5-1.5B 在 MATH-500 和 GSM8K 上的 Pass@1 结果。x 轴下方的百分比显示了在每个 下被门控为决策点的 token 平均比例。性能在很宽的范围内保持稳健：最优分数在 处与强化学习模型持平，第二个峰值接近 处与强化学习观察到的 2.1% 干预率一致，表明 ReasonMaxxer 无需精确复现强化学习的稀疏性。

对 的敏感性。

图4展示了当τ从1.0变化到2.2时，MATH-500和GSM8K上的pass@1指标，以及相应被选为决策点的token平均占比（标注在每个τ值下方）。模型性能在较宽范围内保持稳健：MATH-500的最优得分（0.50）在τ=1.6（占token的5.2%）时取得，GSM8K的最优得分（0.72）在同一阈值下取得，与RL模型持平。在τ=1.2（占token的2.6%）处出现第二个峰值，此时决策点占比与RL观察到的2.11%干预率（表2）高度吻合。这表明ReasonMaxxer并不需要精确复现RL的稀疏性；只要阈值能选出一组合理的高熵位置，对比信号就能有效发挥作用。宽泛的平稳区间证实了熵门控是一种可靠的、无需教师信号的代理方法，可用于定位RL的干预位置，正如第3.3节所述。

对比项的必要性。

为分离负梯度的贡献，我们将完整的ReasonMaxxer损失函数与仅使用正确轨迹（τ=∞）的变体（即仅正向训练，等价于在正确轨迹上进行监督微调）进行对比。在Qwen2.5-1.5B上，仅正向训练将MATH-500的pass@1从0.298（基线）提升至0.398，这一显著改进证实了针对决策点进行训练的价值。然而，该结果仍远低于RL模型（0.496）和完整ReasonMaxxer（0.502）。因此，抑制错误决策的对比项贡献了相对于基线模型总提升的大约一半，正是正向强化与负向抑制的结合共同捕捉到了RL的完整策略引导效果。这直接支持了我们的设计选择：双向对比损失利用了第5.1节讨论的能力边界信号，教会适配器不仅要知道哪些token应该偏好，还要知道哪些token应该避免。

7 相关工作

与本文最直接相关的许多工作已在引言（第1节）中讨论过。在此我们提供更完整的讨论，将我们的研究置于更广泛的文献背景中。

RL对推理的作用。

越来越多的研究工作开始质疑，RLVR（基于强化学习的验证器奖励）究竟是扩展了基础模型的推理能力，还是仅仅对其进行了精炼。Yue 等人（2025）运用 pass@ 分析表明，经过 RL 训练的模型的推理路径仍处于基础模型的采样分布之内。Davis 和 Recht（2025）证明，采用二元奖励的流行 RL 算法，实际上等价于对正确答案概率的单调变换进行随机梯度上升，这意味着只有当基础模型已经具备一定成功率时，优化才是有利可图的。Zhang 等人（2025）通过受控实验证实了这一点，发现 RL 仅在模型能力边界附近才能产生真正的收益。Wang 等人（2025d）证明，单个训练样本就能带来大幅改进，这表明 RL 所提供的修正信号具有高度可压缩性。我们的工作提供了一种 token 级别的机制性描述，将上述观察统一了起来。

大语言模型推理中的熵与决策点。

Wang 等人（2025c）将高熵的“分叉 token”识别为 RL 梯度信号的关键位置，并证明将 GRPO 更新限制在这些位置上，其效果与在所有 token 上进行训练相当。Agarwal 等人（2025）证明，在没有标注数据的情况下进行熵最小化也能提升推理性能。Park 等人（2025）发现，RL 是通过少量涌现出的注意力头来发挥作用的。这些研究共同表明，RL 对大型语言模型的影响集中在少数结构和表征单元上。本研究在这些见解的基础上，通过 oracle 干预建立了因果关系，并证明了无需 RL 即可捕获这种稀疏信号。

RL 后训练基线。

我们的主要实验与一系列公开可用的、经过强化学习训练的模型进行了对比，这些模型涵盖了多种算法和训练策略。SimpleRL-Zoo（Zeng 等人，2025）提供了基于十个基础模型、采用 GRPO 训练的检查点，从而实现了系统性的比较。Open-Reasoner-Zero（Hu 等人，2025）在基础模型上扩展了 PPO 训练，且未使用知识蒸馏，证明了仅凭带有 GAE 的原始 PPO 就足以提升推理能力。PRIME（Cui 等人，2025）引入了用于在线强化学习的隐式过程奖励，将结果监督与密集的 token 级反馈相结合。General-Reasoner（Ma 等人，2025）将 GRPO 扩展至数学之外的多个领域，并使用了基于模型的验证器。在蒸馏模型路径上，DeepScaleR（Luo 等人，2025）应用了结合上下文窗口长度扩展的迭代式 GRPO；STILL-3（Min 等人，2024）采用了一个包含模仿、探索和自我改进的三阶段流水线；Open-RS3（Dang 和 Ngo，2025）则在严格的计算资源约束下研究了 GRPO。

无需强化学习的推理替代方案。

有几种方法可以在不依赖强化学习的情况下提升推理能力。STaR（Zelikman 等人，2022）和拒绝采样微调（Yuan 等人，2023）利用模型自身生成的正确解，并采用统一的 token 级损失函数进行训练。Best-of- 采样和 MCMC 采样（Karan 和 Du，2025）在不修改策略的情况下，于推理阶段提升了推理效果。DPO（Rafailov 等人，2023）提供了一种基于偏好的离线替代方案，该方案在序列级别上运作。本文提出的方法 ReasonMaxxer 与这些方法的不同之处在于，它明确针对机制分析中识别出的、稀疏且熵值局部化的决策点。

推理效率。

提升大语言模型推理的计算效率已从多个互补角度展开探索。在训练方面，LoRA（Hu 等人，2021）和 QLoRA（Dettmers 等人，2024）等参数高效微调方法大幅降低了适配大型模型的成本，且越来越多的工作正将这些思路专门扩展到推理领域：Resa（Wang 等人，2025a）利用稀疏自编码器调优，从源模型中提取推理能力，并引导轻量级监督微调；而 TINA（Wang 等人，2025b）则表明，受 LoRA 约束的强化学习在推理基准测试上能以极低的成本达到全参数强化学习的水平。在推理方面，另一条研究路线针对大型推理模型中的“过度思考”现象，一旦达到足够的置信度便终止生成；DEER（Yang 等人，2025b）提出了一种无需训练的早停机制，该机制监控推理转换点并自行截断思维链，LYNX（Akgül 等人，2025）则通过轻量级隐藏状态探针和用于无分布置信度控制的共形预测扩展了这一思路。更广泛的综述如（Sui 等人，2025）为这些及相关方法提供了结构化的分类。这些工作共同指向一个趋势：即在寻求强大推理性能的同时，其计算开销要远低于当前依赖大量强化学习的流程。

8 结论

我们着手探究强化学习优化循环对于提升大语言模型推理能力是否必不可少。通过对多个模型家族和强化学习算法进行系统性的 token 级分析，我们证明了强化学习在数学推理上的有效作用是一种稀疏、可预测且低维度的修正。随后，我们展示了这种修正完全可以在不使用强化学习的情况下，通过 ReasonMaxxer 实现。这些结果将推理能力的提升重新定义为一种稀疏策略选择问题：模型已经掌握了必要的推理路径，它只需要在少数关键节点上选择正确的分支。强化学习优化循环虽然能够发现这种修正，但并非其先决条件。我们的研究结果表明，社区在训练后阶段对重型强化学习基础设施的默认投入，可能与其实际解决问题的复杂性不成比例。认识到这种简洁性，为开发更高效的训练后方法开辟了道路。

参考文献

S. Agarwal, Z. Zhang, L. Yuan, J. Han, and H. Peng (2025) 熵最小化在大语言模型推理中不可思议的有效性。arXiv 预印本 arXiv:2505.15134。引用自：§2.2, §7。

A. Ahmadian, C. Cremer, M. Gallé, M. Fadaee, J. Kreutzer, O. Pietquin, A. Üstün, and S. Hooker (2024) 回归基础：重新审视大语言模型中基于人类反馈学习的 REINFORCE 风格优化。arXiv 预印本 arXiv:2402.14740。引用自：§2.1。

Ö. F. Akgül, Y. H. Kalaycı, R. Kannan, W. Neiswanger, and V. Prasanna (2025) LYNX：学习用于置信度控制推理的动态退出。arXiv 预印本 arXiv:2512.05325。引用自：§7。

K. Cobbe, V. Kosaraju, M. Bavarian, M. Chen, H. Jun, L. Kaiser, M. Plappert, J. Tworek, J. Hilton, R. Nakano, C. Hesse, and J. Schulman (2021) 训练验证器以解决数学应用题。arXiv 预印本 arXiv:2110.14168。引用自：§6.1。

G. Cui, L. Yuan, Z. Wang, H. Wang, Y. Zhang, J. Chen, W. Li, B. He, Y. Fan, T. Yu, et al. (2025) 通过隐式奖励进行过程强化。arXiv 预印本 arXiv:2502.01456。引用自：附录 D, 表 1, §7。

Q. Dang 与 C. Ngo（2025）《小型大语言模型中用于推理的强化学习：有效与无效的方法》。arXiv 预印本 arXiv:2503.16219。引用自：附录 D、表 1、第 7 节。

D. Davis 与 B. Recht（2025）《强化学习推理的目标是什么？》。arXiv 预印本 arXiv:2510.13651。引用自：第 1 节、第 3 节、第 5.1 节、第 7 节。

T. Dettmers、A. Pagnoni、A. Holtzman 与 L. Zettlemoyer（2024）《QLoRA：量化大语言模型的高效微调》。Advances in Neural Information Processing Systems 36。引用自：第 7 节。

D. Guo、D. Yang、H. Zhang、J. Song、R. Zhang、R. Xu、Q. Zhu、S. Ma、P. Wang、X. Bi 等人（2025）《DeepSeek-r1：通过强化学习激励大语言模型的推理能力》。arXiv 预印本 arXiv:2501.12948。引用自：第 1 节。

C. He、R. Luo、Y. Bai、S. Hu、Z. L. Thai、J. Shen、J. Hu、X. Han、Y. Huang、Y. Zhang、J. Liu、L. Qi、Z. Liu 与 M. Sun（2024）《OlympiadBench：一个以奥林匹克竞赛级别的双语多模态科学问题推动通用人工智能发展的挑战性基准》。arXiv 预印本 arXiv:2402.14008。引用自：第 6.1 节。

D. Hendrycks、C. Burns、S. Kadavath、A. Arora、S. Basart、E. Tang、D. Song 与 J. Steinhardt（2021）《使用 MATH 数据集衡量数学问题求解能力》。NeurIPS。引用自：第 6.1 节。

E. J. Hu、Y. Shen、P. Wallis、Z. Allen-Zhu、Y. Li、S. Wang、L. Wang 与 W. Chen（2021）《LoRA：大语言模型的低秩适配》。arXiv 预印本 arXiv:2106.09685。引用自：第 4.1 节、第 5.3 节、第 7 节。

J. Hu、Y. Zhang、Q. Han、D. Jiang、X. Zhang 与 H. Shum（2025）《Open-reasoner-zero：一种在基座模型上扩展强化学习的开源方法》。arXiv 预印本 arXiv:2503.24290。引用自：附录 D、第 2.1 节、表 1、第 7 节。

A. Jaech、A. Kalai、A. Lerer 等人（2024）《OpenAI o1 系统卡》。arXiv 预印本 arXiv:2412.16720。引用自：第 1 节。

A. Karan 与 Y. Du（2025）《通过采样进行推理：你的基座模型比你想象的更聪明》。arXiv 预印本 arXiv:2510.14901。引用自：第 1 节、第 7 节。

A. Lewkowycz, A. Andreassen, D. Dohan, E. Dyer, H. Michalewski, V. Ramasesh, A. Slone, C. Anil, I. Schlag, T. Gutman-Solo, Y. Wu, B. Neyshabur, G. Gur-Ari, 和 V. Misra (2022) 使用语言模型解决定量推理问题。《神经信息处理系统进展》第35卷。被引用于：§6.1。

M. Luo, S. Tan, J. Wong, X. Shi, W. Y. Tang, M. Roongta, C. Cai, J. Luo, T. Zhang 等人 (2025) DeepScaleR：通过扩展强化学习，以1.5B模型超越o1-preview。注：技术报告。被引用于：附录D、表1、§7。

X. Ma, Q. Liu, D. Jiang, G. Zhang, Z. Ma, 和 W. Chen (2025) General-reasoner：推动大语言模型在所有领域的推理能力。arXiv预印本 arXiv:2505.14652。被引用于：附录D、表1、§7。

Y. Min, Z. Chen, J. Jiang, J. Chen, J. Deng, Y. Hu, Y. Tang, J. Wang, X. Cheng, H. Song, W. X. Zhao, Z. Liu, Z. Wang, 和 J. Wen (2024) 模仿、探索与自我改进：慢思考推理系统的复现报告。arXiv预印本 arXiv:2412.09413。被引用于：附录D、表1、§7。

Y. Park, M. Jeong, 和 J. Kang (2025) 思维火花！：推理模型在后训练阶段涌现的注意力头。arXiv预印本 arXiv:2509.25758。被引用于：§1、§4、§7。

R. Rafailov, A. Sharma, E. Mitchell, S. Ermon, C. D. Manning, 和 C. Finn (2023) 直接偏好优化：你的语言模型其实是一个奖励模型。arXiv预印本 arXiv:2305.18290。被引用于：§7。

J. Schulman, F. Wolski, P. Dhariwal, A. Radford, 和 O. Klimov (2017) 近端策略优化算法。载于arXiv预印本 arXiv:1707.06347。被引用于：§1、§2.1。

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Cao, S. Ma, Y. Shi 等人 (2024) DeepSeekMath：突破开放语言模型在数学推理上的极限。arXiv预印本 arXiv:2402.03300。被引用于：§1、§2.1。

D. Silver, J. Schrittwieser, K. Simonyan, I. Antonoglou, A. Huang, A. Guez, T. Hubert, L. Baker, M. Lai, A. Bolton 等人 (2017) 无需人类知识掌握围棋。《自然》550 (7676), 第354–359页。被引用于：§1。

Y. Sui, Y. Chuang, G. Zhang, J. Wang, L. Zhang, J. Chen, X. Pan, W. Li, N. Shah, M. Jiang 等人 (2025) 《停止过度思考：大语言模型高效推理综述》。arXiv 预印本 arXiv:2503.16419。引用自 §7。

S. Wang, J. Asilis, Ö. F. Akgül, E. B. Bilgin, O. Liu, D. Fu 和 W. Neiswanger (2025a) 《Resa：通过 SAE 实现透明推理模型》。arXiv 预印本 arXiv:2506.09967。引用自 §7。

S. Wang, J. Asilis, Ö. F. Akgül, E. B. Bilgin, O. Liu 和 W. Neiswanger (2025b) 《Tina：通过 LoRA 实现微型推理模型》。arXiv 预印本 arXiv:2504.15777。引用自 §4.2, §7。

S. Wang, L. Yu, C. Gao, C. Zheng, S. Liu, R. Lu, K. Dang, X. Chen, J. Yang, Z. Zhang, Y. Liu, A. Yang, A. Zhao, Y. Yue, S. Song, B. Yu, G. Huang 和 J. Lin (2025c) 《超越二八定律：高熵少数 token 驱动大语言模型推理的有效强化学习》。arXiv 预印本 arXiv:2506.01939。引用自 §1, §1, §2.2, §7。

Y. Wang, Q. Yang, Z. Zeng, L. Ren, L. Liu, B. Peng, H. Cheng, X. He, K. Wang, J. Gao, W. Chen, S. Wang, S. S. Du 和 Y. Shen (2025d) 《基于单个训练示例的大语言模型推理强化学习》。arXiv 预印本 arXiv:2504.20571。引用自 §7。

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao 等人 (2025a) 《Qwen3 技术报告》。arXiv 预印本 arXiv:2505.09388。引用自 §1, 表 1。

C. Yang, Q. Si, Y. Duan, Z. Zhu, C. Zhu, Q. Li, M. Chen, Z. Lin 和 W. Wang (2025b) 《推理模型中的动态提前退出》。arXiv 预印本 arXiv:2504.15895。引用自 §7。

Z. Yuan, H. Yuan, C. Li, G. Dong, K. Lu, C. Tan, C. Zhou 和 J. Zhou (2023) 《关于利用大语言模型学习数学推理的规模关系》。arXiv 预印本 arXiv:2308.01825。引用自 §7。

Y. Yue, Z. Chen, R. Lu, A. Zhao, Z. Wang, Y. Yue, S. Song 和 G. Huang (2025) 《强化学习是否真的能激励大语言模型超越基础模型的推理能力？》。arXiv 预印本 arXiv:2504.13837。引用自 §1, §1, §3.1, §3, §7。

E. Zelikman, Y. Wu, J. Mu 和 N. D. Goodman (2022) 《STaR：用推理引导推理》。Advances in Neural Information Processing Systems 35。引用自 §7。

W. Zeng, Y. Huang, Q. Liu, W. Liu, K. He, Z. Ma, 和 J. He (2025) 《SimpleRL-zoo：在真实环境中研究并驯服开放基础模型的零强化学习》。arXiv 预印本 arXiv:2503.18892。引用自：附录 D、§1、表 1、表 1、§7。

C. Zhang, G. Neubig, 和 X. Yue (2025) 《论预训练、中期训练和强化学习对推理语言模型的相互作用》。arXiv 预印本 arXiv:2512.07783。引用自：§1、§3、§5.1、§7。

附录 A 详细的 KL‑LoRA 压缩消融实验

第 4 节表明，通过 KL 蒸馏训练的 rank‑32 QKVO 适配器能够捕捉到强化学习在推理任务上的全部修正效果。表 4 报告了在 Qwen2.5‑1.5B 上进行的更激进的压缩研究，同时改变了秩和目标注意力模块。

媒体内容 · 前往原文查看

表 4：适配器秩与模块消融实验。即使仅应用于输出投影（）的 rank‑8 适配器，其表现也接近完整的 rank‑32 QKVO 适配器，这表明强化学习的修正效果集中在输出层。

配置 参数量 Pass@1

基础模型 – 0.233

Qwen2.5‑1.5B GRPO 1.54B (100%) 0.492

\rowcolorcreamlight KL‑LoRA, , rank 32 8.7M (0.49%) 0.495

\rowcolorcreamlight KL‑LoRA, , rank 16 4.4M (0.25%) 0.492

\rowcolorcreamlight KL‑LoRA, , rank 8 2.2M (0.12%) 0.487

\rowcolorcreamlight KL‑LoRA, 仅, rank 8 688K (0.04%) 0.482

rank‑8 适配器已经能够匹配强化学习教师模型，即使是一个极其精简的输出投影适配器（仅，rank 8，688K 参数）在 MATH‑500 上也仅落后 1 个点。这表明强化学习的修正几乎可以完全通过输出层来表达：基础模型已经能够大致关注到正确的证据，强化学习主要改变了将关注到的信息写入隐藏状态的方式，从而产生更好的下一个 token 选择。我们将这种极度压缩适配器的探索留待未来工作，同时指出，虽然它们足以表示强化学习的信号，但在如此受限的空间中从头学习该信号可能需要不同的优化策略。在整篇主论文中，我们保守地使用完整的 rank‑32 配置来构建 ReasonMaxxer。

附录 B 实现细节

我们提供了第 4 节报告的 KL‑LoRA 蒸馏实验以及 ReasonMaxxer（第 5 节）的完整训练和架构细节。

KL‑LoRA 蒸馏

第 4 节中的 KL‑LoRA 适配器使用手动实现的、基于教师模型前 64 个 logits 的 KL 散度进行训练。教师模型（SimpleRL‑Zoo GRPO 检查点）以温度 0.6 和 top‑p 0.95（种子 44）生成 rollout，并将分布缓存。学生模型（基础模型 + LoRA）训练三个 epoch，批次大小为 2，梯度累积步数为 8，使用 AdamW 优化器、学习率、权重衰减和 10% 的预热比例。目标函数仅对生成的 token 位置进行平均。全秩和压缩变体的 LoRA 设置见表 5。

媒体内容 · 前往原文查看

表 5：KL‑LoRA 蒸馏超参数。

\rowcolorcreamlight 超参数 值

教师模型检查点 Qwen2.5‑1.5B‑SimpleRL‑Zoo

教师模型 top‑k（已缓存） 64

Rollout 温度 / top‑p 0.6 / 0.95

Rollout 种子 44

Epoch 数 3

批次大小 / 梯度累积 2 / 8

学习率

权重衰减 0.01

预热比例 10 %

LoRA 秩（全秩） 32, 16, 8

LoRA alpha（全秩） 64, 32, 16

LoRA 秩（仅压缩） 8

LoRA alpha（仅压缩） 16

LoRA dropout 0.05

ReasonMaxxer

ReasonMaxxer 适配器使用 AdamW 优化器进行训练，采用默认的 beta 值，并采用线性预热后线性衰减至零的学习率调度。所有模型训练一个 epoch，批次大小为 1，梯度累积步数为 8；因此优化器步数的确切数量取决于训练序列的数量，但不同模型规模的超参数相同。决策损失和 KL 锚点分别在其各自的 token 掩码（决策点的掩码，所有其他有效预测 token 的掩码）上进行平均。决策点仅定义在生成的补全 token 上；提示词 token 和填充位置被排除在外。优势值在 token 加权前按每个 rollout 进行裁剪。KL 锚点计算截断序列中所有有效的非决策预测 token（包括提示词 token 和补全 token），总损失为。表 6 总结了通用的超参数。

媒体内容 · 前往原文查看

表 6：ReasonMaxxer 通用超参数。

\rowcolorcreamlight 超参数 值

优化器 AdamW

学习率调度 线性预热线性衰减

预热步数（Qwen/DeepSeek） 50

预热步数（Mistral） 30

训练轮数 1

批次大小 / 梯度累积 1 / 8

梯度裁剪 1.0

权重衰减（Qwen, DeepSeek） 0.0

权重衰减（Mistral） 0.01

LoRA 秩 / alpha / dropout 32 / 64 / 0.0

LoRA 目标模块

最大序列长度 8192（右侧截断）

生成推理温度 / top‑ 0.6 / 0.95

优势裁剪范围

KL 锚点权重 0.2

验证集划分 50 道题

随机种子 42

各模型族特有的提示词风格覆盖规则列于表 7。具体模板见附录 C。

媒体内容 · 前往原文查看

表 7：ReasonMaxxer 各模型族特有的提示词风格。

\rowcolorcreamlight 模型 提示词风格

Qwen2.5‑1.5B, 7B, 32B qwen_boxed

Qwen3‑0.6B, 4B qwen_boxed

DeepSeek‑R1‑Distill‑1.5B chat_template

Mistral‑7B‑v0.1 llama_abel

附录 C 提示词与答案提取

以下报告了每个模型族所使用的确切提示词模板和答案提取规则。在同一模型族内，基础模型、RL 基线以及 ReasonMaxxer 适配器均使用相同的模板和提取规则，以确保公平比较。

提示词模板

Qwen2.5 和 Qwen3。

两个模型族均使用原始补全提示词，不采用聊天模板。

请逐步解决以下数学问题。将最终答案放在 \boxed{} 中。问题：{problem} 解答：

Mistral‑7B。

提示词遵循简单的指令-答案格式，不采用聊天模板。

问题：{problem} 答案：让我们一步步思考。

DeepSeek‑R1‑Distill。

使用原生聊天模板，包含单条用户消息。

请逐步解决以下数学问题。给出简洁的解答，并将最终答案放在 \boxed{} 中。问题：{problem}

附录 D 成本估算详情

表 3 报告了所有方法的货币化训练成本。以下说明这些数字是如何得出的。每当基线论文明确报告了挂钟时间和硬件配置时，我们直接使用这些数字。当此类信息未公开时，我们根据官方训练脚本和记录的超参数推断 GPU 小时数，然后使用截至 2026 年 4 月 28 日的 RunPod 按需定价转换为成本（H100-80G 实例为每 H100 小时 2.49 美元；指定使用 H100-SXM 实例时为每 H100 小时 2.69 美元；RTX Pro 6000 实例为每 GPU 小时 1.89 美元）。在所有情况下，我们都会注明成本数字是直接测量值还是估算值。

ReasonMaxxer。

所有 ReasonMaxxer 的成本均为在作者硬件（4 块 NVIDIA RTX Pro 6000 Blackwell，96 GB GDDR7）上的直接测量值。报告的 GPU 小时数包括 rollout 生成、熵评分、超参数扫描、训练以及在保留集上的最终检查点选择。成本按该 GPU 类型的 RunPod 按需费率计算。

SimpleRL-Zoo。

对于 Qwen2.5-7B 及更大的模型，SimpleRL-Zoo [Zeng et al., 2025] 直接报告了 GPU 数量和训练小时数。对于 1.5B 变体，由于没有单独公布的挂钟时间，我们通过按模型大小缩放 7B 运行的每步生成时间来估算 GPU 小时数，同时保持训练配置不变（1024 个提示词、8 个 rollout、100 个 GRPO 步骤）222 公开的训练命令可在 https://github.com/hkust-nlp/simpleRL-reason 获取。Mistral-7B 运行使用与 Qwen2.5-7B 组相同的硬件和步数。

Open-Reasoner-Zero。

Open‑Reasoner‑Zero [Hu et al., 2025] 未报告任何模型规模的挂钟时间。我们根据项目仓库中公开的 PPO 配方来估算 GPU 小时数。估算过程使用了文档中记录的硬件配置（节点数、每节点 GPU 数）、每步的提示词数量和 rollout 数量，以及从论文训练曲线推断出的步数。每步时间以 SimpleRL‑Zoo 针对可比模型规模公布的数据为基准进行校准，并乘以 1.5–2 的系数，以计入 GRPO 中不存在的 PPO critic 和 GAE 计算开销。最终的点估计值以合理范围的中位数形式报告；表 3 中斜体的成本反映了这一估算。

PRIME‑Zero。

PRIME‑Zero [Cui et al., 2025] 公布了每步的挂钟时间和 RL 总步数。我们将两者相乘得到 GPU 小时数，并使用 RunPod 针对所报告 GPU 类型的费率进行换算。训练数据量采用 RL 过程中消耗的提示词数量，约为完整 Eurus‑2‑RL 数据集中的 13K 条。

General‑Reasoner (Qwen3‑4B)。

Ma 等人 [Ma et al., 2025] 指出，该 4B 模型在 4 个节点、8 块 H100 GPU 上训练了约 2 天，共计 1,536 H100‑小时。我们直接采用这一数据。

基于 DeepSeek 的基线模型。

DeepScaleR [Luo et al., 2025] 自报为 3,800 A100‑小时，总成本为 4,500 美元，我们按此数据使用。STILL‑3 [Min et al., 2024] 未提供硬件细节；表 3 中的成本数据取自 Open‑RS3 [Dang and Ngo, 2025] 的对比表，该表估算为 1,200 A100‑小时（基于 8 块 A100‑80GB）。Open‑RS3 自报为 96 A40‑小时，我们按 RunPod A40 费率换算为成本。

Mistral‑7B。

SimpleRL‑Zoo 针对 Mistral‑7B 的运行使用了与 Qwen2.5‑7B 组相同的硬件和步数，并采用了简化后的提示词。因此，我们为其分配相同的 GPU 小时估算值（240 H100‑小时）。训练数据为 8K 个 Easy‑split 问题。

在所有情况下，表 3 中的成本数字均四舍五入至最接近的美元。斜体表示估算值，其确切的实际运行时间并非由原作者直接公布。