摘要
基于可验证奖励的强化学习（例如 GRPO）是当今推理模型的驱动引擎，但它仅对最终答案进行评分。在难题上，这会训练模型写更多内容，而非思考得更好，因为推理过程本身从未被评分，也不存在良好思考的标签。我们提出了 Agon，它让两个相互竞争的模型互为评分者。两个模型尝试解决同一问题；在交替角色中，一个模型起草解决方案，另一个模型在解题的同时阅读该方案，每个模型都会因比对方解题更出色而获得奖励。为了获胜，一个模型必须比一个已看到其工作的对手推理得更出色，因此推理在训练期间被隐式评判，无需过程标签，也无需奖励模型。由于两个模型都得到优化，每个模型都会面对一个逐渐变强的对手，这是单模型强化学习无法提供的。两个模型只需实力相当且行为不同即可。在推理时，这对模型以其训练方式部署，即一个两阶段级联：一个模型起草，另一个模型在阅读草案后作答。在 DeepMath 的困难子集上，使用 Qwen3 时，该方法使 GRPO 的 pass@1 翻倍，大约是未经训练的混合智能体（Mixture-of-Agents）方法在相同基座模型上增益的八倍。该结果在竞赛编程代码以及不同模型系列（Qwen3.5、Gemma 4）上得到复现。目前，模型以文本形式交流；下一步是让它们在潜在空间中共同推理。
1 引言
基于可验证奖励的强化学习已成为提升大语言模型在数学和代码等任务上推理能力的标准工具（Guo et al., 2025; Shao et al., 2024）。主流方案是基于同策略且以结果为导向的：从当前策略中采样一组生成结果，根据每个结果的最终答案是否正确进行评分，并像 GRPO（Shao et al., 2024）那样基于组内相对优势进行更新。奖励与答案挂钩；产生答案的思维链从未被评分。对于模型已经能部分解决的问题，这种做法尚可接受，但在难题上，它会强烈激励模型写更多内容：更长的思维链提供了更多偶然得出正确答案的机会，因此增加文本量是提升期望奖励最廉价的方式。思维链会因含糊其辞和反复回溯（“嗯”、“等等”、“让我再想想”）而膨胀，准确率的提升远慢于长度的增长（准确率仅小幅上升，而长度却膨胀了一个数量级（Aggarwal & Welleck, 2025））。最终，模型在每个问题上产生了更多推理，却没有在每个 token 上产生更好的推理。
显而易见的解决方案——直接对推理过程进行评分——是难以实现的。不存在“良好思考”的客观标准：没有标签能指出哪一步是洞见、哪一步是填充内容，而学习型过程奖励模型既昂贵又脆弱，且其本身无法被验证（Lightman et al., 2023）。因此，思维链始终未被评分，长度病态现象持续存在。我们转而提出：能否由另一个模型来提供缺失的信号？如果采用不同策略的模型尝试解决同一个问题，并且我们奖励每个模型在推理上胜过对方，那么思维链就由对手隐式地进行了评分，无需任何过程标签。能导向胜利的步骤得到强化；被对手利用的填充内容则受到惩罚。
评分者必须是另一个不同的模型，且游戏必须具有竞争性。后训练强化学习本质上是一种自我改进：策略基于自身生成的信号进行优化，这反而强化了导致其错误的盲点——一个自我审计的模型往往会陷入平台期（Huang 等人，2024）。具有不同失败模式的第二个模型可以打破这种闭环。但仅仅拥有两个模型还不够。像自洽性和多智能体混合（Wang 等人，2023，2024）那样简单取平均或让模型达成一致，往往会回归到共识状态，并且在模型能力存在差异时可能稀释质量（Li 等人，2025），而两个近乎相同的模型则几乎无法从彼此身上获益。有效的组合是一对能力相当、且假设具有不同盲点的模型，置于竞争压力之下：每个模型不仅要解决问题，还要击败一个能看到其工作的对手，因此目标函数奖励的是超越对手的推理能力，而非与其达成一致。在这种压力下，这对模型会共同进步：每一次胜利都会在下一步为对方抬高门槛，最终两个模型都能突破单个自我评分策略所陷入的瓶颈。
我们将此实例化为 Agon（源自希腊语 agōn，意为竞赛）。两个不同的策略模型进行正面交锋训练：一个起草者生成候选解决方案；一个挑战者阅读对手的完整解答，并根据正确解题以及击败对手获得奖励；每步角色轮换，使两个模型都能学习两种角色，推理时这对模型以相同方式部署，一个模型起草，另一个在阅读草稿后作答。原则上，该方法适用于任何一对实力相当的模型；为提高效率，我们将这对模型实现为基于一个冻结基座模型的两个低秩适配器（内存开销为 ，而非 ），通过不同的初始化和更新流保持其差异性。在本研究中，信息交换以文本形式进行：我们首先验证跨模型信号的有效性，然后再优化通道（潜在空间交换；第 6 节）。我们在匹配的生成预算下检验两个主张：跨模型信息交换能提升准确率（交换主张），以及对抗性压力比合作能进一步提升效果（竞争主张），采用的设计将竞争与交换交叉组合（其中一种组合在群组相对归一化下被证明是无效的；第 4.4 节），外加单模型自我精炼对照、零训练编排对照，以及预算匹配的 GRPO 自级联对照。
贡献。
- •
我们将推理质量重新定义为竞争性同伴模型能够提供的隐式奖励，从而将无标注的“良好思考”问题转化为强化学习过程中的正面交锋博弈（第 4 节）。
- •
我们提出 Agon：一种通过竞争性 GRPO 联合训练两个不同策略模型的方法，采用草稿与挑战的展开方式、每步角色轮换以及竞争性奖励（正确性加上击败对手的转换奖励）。该方法可在标准 GRPO 训练器上运行，无需对优化核心进行任何修改；共享基座的双适配器实例化使得这对模型的成本几乎与单个模型相当（第 4 节）。
- •
我们构建了一个包含自我优化和零训练控制的矩阵（竞争信息交换）（第5节）。其中一个单元——无交换的竞争——在群体相对归一化（第4.4节）下天然无效，因此竞争主张依赖于对抗性与合作性的比较；完全隔离的单元（每次生成中的隐藏草稿）留待未来工作处理。
- •
在硬数学题的匹配生成预算下，竞争交换在 pass@1 指标上优于合作、自我优化和普通 GRPO，且在小模型上收益最大。在相同的双倍推理预算下，经过训练的级联模型几乎使未经训练的混合智能体（Mixture-of-Agents）在相同基座上的准确率翻倍，而后者本身相比 GRPO 提升甚微。
2 相关工作
仅结果导向的强化学习与长度病态问题。
GRPO（Shao 等人，2024）和 R1 方案（Guo 等人，2025）仅奖励已验证的最终答案。一个充分记录的副作用是推理链长度的失控增长（“过度思考”），准确率的提升远慢于 token 数量的增长（Aggarwal & Welleck, 2025; Chen 等人，2024a）。现有补救措施仅针对症状：显式长度惩罚或长度控制目标（Aggarwal & Welleck, 2025），以及丢弃退化全对/全错组的动态采样（Yu 等人，2025）。这些方法均不评估推理链的内容，因为步骤级标签不存在，且学习型过程奖励模型成本高昂且本身不可验证（Lightman 等人，2023）。Agon 不修改验证器，而是从竞争对等方中推导出内容信号。
自我博弈与自我改进。
一个模型可以通过与自身版本对抗来改进：SPIN（Chen 等人，2024b）让当前策略与自身过去的生成结果进行博弈；Self-Rewarding LMs（Yuan 等人，2024）将模型自身用作评判者；而 Absolute Zero（Zhao 等人，2025）和 R-Zero（Huang 等人，2025）等自博弈推理模型则让同一个模型实例化的提议者和求解者共同进化。这些方法虽然强大，但共享一个结构性天花板：在自身信号上优化的策略会强化导致其错误的盲点，且没有外部反馈的自我纠正并不可靠（Huang 等人，2024）。Agon 的不同之处在于，它通过不同的初始化和更新流训练两个不同的策略，因此评分者是一个真正不同的智能体，而非被评分者的副本。多智能体微调（Subramaniam 等人，2025）也通过不同的数据流从一个基础模型衍生出多个模型，但目的是实现协同集成；而 Agon 则为了对抗性评分而保持分歧，其中不同的对手正是提供奖励的来源。
多模型协作、辩论与集成。
组合多个模型（自一致性（Wang 等人，2023）、多智能体辩论（Du 等人，2023）以及智能体混合（Wang 等人，2024））可以提高鲁棒性，但这种聚合是协作性的：它推动达成共识，当成员能力存在差异时（Li 等人，2025），这会稀释质量；而当成员能力近乎相同时，则收效甚微。这些都是在冻结模型上的推理时过程。相比之下，Agon 在强化学习过程中施加跨模型压力，并使其具有竞争性：一个模型因比看到其工作的同行更出色地解决问题而获得奖励，因此目标是为击败同行而付出，而非为了匹配它。我们仅将协作变体作为消融实验，以分离竞争的价值，并加入一个双智能体 MoA 层作为零训练对照组；它大约恢复了 Agon 相对于 GRPO 增益的八分之一（表 3）。在精神上最接近的是上下文自我精炼（Madaan 等人，2023），即模型修改自己的草稿；Agon 的不同之处在于，草稿来自一个竞争性的、不同的同行，并且是根据强化学习的结果而非自我反馈来选择的。
对抗性训练与生成器-验证器训练。
判别器/验证器信号长期以来一直塑造着生成器，从生成对抗网络（Goodfellow 等人，2014）到用于提升大语言模型解决方案可读性的证明者-验证者博弈（Kirchner 等人，2024），以及基于语言的对抗博弈（Cheng 等人，2024）。辩论（Irving 等人，2018）首次将两个智能体之间的裁判竞争框架，作为监督推理本身的一种可扩展代理。Agon 是对称且轮换的，而非角色固定：两个模型在起草与挑战之间交替，因此两者都不会退化为纯粹的批评者，并且两者作为求解者都能得到提升；裁判是一个真实答案验证器，而非学习型或人类验证器。最终从文本到潜在空间交换的转变，与表征空间中模型间通信的相关工作（Beliaev，2025）相联系，我们将其留作未来工作。
3 预备知识：GRPO 与未评分轨迹
对于一个仅检查完成结果最终答案的验证器问题，GRPO（Shao 等人，2024）会采样一组 rollout，并形成组相对优势
| （1） |
更新以提高高于平均水平的 rollout 的对数概率，此处为简洁起见省略了通常向参考模型（基础模型）的 KL 正则化；奖励方差为零（全部正确或全部错误，此时）的组不携带信号，因此被丢弃。该信号完全取决于答案：两个具有相同答案的完成结果，无论其推理过程如何，都会获得相同的优势。
未评分轨迹。
在困难问题上，每个问题的解答成功率很低，而策略通过增加单次推理轨迹中不同尝试的数量来以最低成本提升期望奖励：每一次重新开始、情况分支或“让我重新考虑”都是获得正确答案的又一次机会。由于推理轨迹本身永远不会被评分，这种填充行为不会受到惩罚，实际上还会通过任何包含它的正确 rollout 得到强化。其结果就是经验观察到的模式：推理长度增长远快于准确率提升（Aggarwal & Welleck, 2025; Chen et al., 2024a）；在我们自己的运行中，GRPO 训练将平均推理轨迹从零样本时的 k 个 token 增长到达到 pp 准确率所需的 k 个 token（表 3）。策略增加了推理的数量，而其密度——即每个 token 中包含的有用信号——却保持不变。因此，瓶颈并不在于数量。当前主流的扩展维度（数据、参数、上下文和采样 token）都在增加更多的推理；而 Agon 则瞄准了另一个维度——每个 token 的信号密度——通过让低密度推理轨迹在竞争中落败来实现。
缺失的评判者。
要弥合这一差距，需要一种能够区分简洁、严谨的推理轨迹与冗长、侥幸的推理轨迹的奖励机制，即对推理过程本身的信号。验证器无法提供这种信号，而过程奖励模型则需要我们并不具备的标注数据（Lightman et al., 2023）。Agon 通过关系型方式获取信号：一个同伴策略尝试解决相同问题，阅读对方的完整解答过程（即推理后的总结，而非原始推理轨迹；见第 4.3 节），而奖励则取决于哪个模型在推理上胜过对方。一条推理轨迹中若存在被对手利用的缺陷（如符号错误、对手避开的死胡同）则落败；而能导向胜利的推理轨迹则得到强化。因此，评判者是第二个模型，并且由于两个模型都在被优化，评判标准会随着训练过程不断提高。接下来我们将对此进行形式化描述。
4 方法：Agon
Agon 训练两个策略，让它们在相同问题上直接对抗。该设计包含四个部分：一个草稿与挑战展开机制，将其中一个模型的推理过程导入另一个模型的上下文（第 4.3 节）；一个竞争性奖励函数，用于对挑战者相对于草稿者的表现进行评分（第 4.4 节）；一个计算量对等核算机制，确保所有比较公平（第 4.5 节）；以及一种高效实现方式，将这两个策略作为共享基座模型上的不同适配器进行实例化（第 4.2 节）。
4.1 为什么需要第二个模型
后训练阶段的强化学习是一种自我改进：公式 1 中的梯度是根据策略自身生成的展开结果计算得出的，因此它会放大该策略已有的任何行为，包括构成其盲点的系统性错误。一个模型检查自己的工作会继承导致错误的偏差，这就是为什么无辅助的自我纠正往往无法增加有效信号（Huang 等人，2024）；我们预计同样的闭环会限制自我对弈的效果，无论其运行多少轮（如图 3 左侧所示）。一个不同的模型则处于这个闭环之外：一个被假设具有不同失败模式的同行模型，可以审查该策略自身无法察觉的问题。原则上，这个同行模型可以来自不同的模型家族：目前，最强的模型（包括开源模型）在标准推理基准测试上的得分差距很小（Stanford HAI，2026），因此很容易找到实力匹配的模型对；但这样的模型对在行为上是否也存在足够大的差异，是一个有待未来研究回答的实证问题。我们的实例化方法则是从结构上，基于同一个基座模型来设计这种差异性（第 4.2 节）。
配对仅在两个条件下有效。模型必须实力相当（否则，我们认为较弱的模型只会模仿较强的模型，游戏退化为知识蒸馏；我们未对实力差距进行消融实验），并且它们必须具有不同的失败模式，这样一方才能捕捉到另一方遗漏的问题（我们在第 4.2 节图 4 中对此进行了具体说明）。因此，我们保持配对模型在能力上匹配但在行为上存在差异，并且我们使交互具有竞争性，这样目标函数奖励的是击败对手，而非与其达成一致。
4.2 实例化两个策略
Agon 本身仅需要两个强度匹配且盲点不同的策略；它们的参数化方式属于实现层面的选择。我们将两者都实例化为基于单个冻结基座模型的 LoRA 适配器（Hu 等人，2022）：即策略一和策略二。第二个策略仅需额外增加一个秩为 16 的适配器（参数规模为 M，占基座模型参数的百分比，外加其优化器状态），而非完整的第二个模型；共享的基座模型使两个策略保持在兼容的表示空间中，这对后续的潜在空间交换（第 6 节）很有用。不过，仅有这两个模型还不够：有用的场景是第 4.1 节所阐述的——强度相等且假设存在不同的盲点（图 4）。我们通过以下方式维持两者的差异：（i）不同的初始化方式（策略一以零矩阵附近的小高斯噪声初始化；策略二使用标准的 LoRA 零初始化）；（ii）由角色轮换（第 4.3 节）引发的不同更新流：在任意给定问题上，一个适配器负责起草，另一个负责质疑，因此两者永远不会接收到相同的梯度。所有报告的数据均使用相同的基座模型检查点来加载两个适配器。我们强调，这种实例化方式的差异极小：在初始化时，两个策略仅因适配器噪声而不同，因此任何互补性都必须来自训练过程中分叉的更新流，而非预先存在的盲点差异。因此，不同的盲点是对训练后策略对的一种假设，而非可测量的属性。协作式交换与单适配器自我改进之间的差距（46 比 32；表 3）表明，训练去阅读同伴的草稿优于训练去阅读自己的草稿，但该比较涉及多个变量（可训练的适配器容量、阅读谁的草稿、优化提示词），因此无法将盲点差异作为唯一原因分离出来。
4.3 起草与挑战步骤
每个优化器步骤（图2，算法1）会指定一个起草者（drafter）和一个挑战者（challenger）。起草者根据原始问题提示词生成推理轨迹，并对其执行标准的 GRPO 更新（仅涉及正确性和格式，不包含对手项）；这条独立流训练每个适配器从零开始解题，这是部署的第一阶段（第4.5节）。随后，挑战者以其配对的对手的解题摘要为条件：该摘要是模型在私有推理模块之后撰写的答案部分，用于总结推导过程。原始思维链被丢弃，因为摘要以更少的 token 承载了提炼后的解法（预填充成本更低，且不含主导长轨迹的探索噪声），同时最终答案被隐藏作为防止抄袭的措施（图5），不过一份完整的摘要通常已隐含其答案。该摘要被插入作为“可能正确也可能不正确”的尝试，挑战者每对生成一条轨迹，从而形成一个包含 条轨迹的组。挑战者接收竞争性梯度；每条流的 GRPO 优势值在其自身的 条轨迹组内计算。由于每个挑战者看到不同的对手，该组涵盖了同一 下的多种对手上下文；这正是带来转换增益的组内方差来源。角色每步轮换：偶数步时 起草、 挑战，奇数步时则相反。若不进行轮换，每个适配器只接收一种梯度——一个始终从零开始解题，另一个始终在对手存在下解题；这对组合虽然仍能训练，但最终表现较弱（pass@1 为 52 vs 61；表7）。通过轮换，两个适配器每步交替执行两条流，并共同提升。挑战者的提示词指示模型不要信任或转述对手，而是要验证对手并独立解题，在对手错误时凭借正确性获胜；该提示词在合作与对抗奖励栈中完全相同（第4.4节），因此两者仅在奖励上存在差异。
A（起草者）<思考> 好的，我需要计算这个积分。设 ，那么 。等等，这是负数？嗯，这肯定不对。也许我犯了个错误。让我试试分部积分……（持续k个token；从未展示给 ）</思考> 摘要（ 所看到的）：用 代换（符号丢失： ）得到 ，一个负值……最终答案对B隐藏 挑战者，读取 的摘要 <思考> 这个尝试的代换是正确的，但 的符号被丢失了： ，这会将积分限翻转回来，得到 。面积是正的，无需重新探索。在边界处检查：被积函数在 上。 </思考> <答案> </答案> 正确，更短
4.4 奖励：正确性加转换奖励
设 为正确性。我们报告两种奖励堆叠，应用于给定其配对起草者解决方案 的挑战者生成结果：
| 合作模式（coop）： | (2) | |||
| 对抗模式（adv）： | (3) |
格式项（格式良好的 `<think>/<answer>` 结构）在正确性项中占比 25%，且在不同堆栈间保持一致，因此不会引入任何偏差。在合作模式下，对手仅出现在上下文中，而不出现在奖励中，这隔离了信息交换的价值（即信息交换主张）。在对抗模式下，转换奖励将有效正确性权重提升至恰好覆盖对手失败的配对尝试：解决对手无法解决的问题价值更高，这便是竞争压力所在。
形式很重要。一个朴素的边际项效果很差：由于它与动作无关（由配对固定，而非挑战者的展开决定），其减法项不会贡献任何期望策略梯度（在未归一化的目标函数中完全如此；在后续的组标准化非线性变换后也是如此）：它充当了每个样本的基线，根据起草者的结果调整每个奖励，而不增加任何竞争性方向。测试的边际堆叠使这一点具体化：标量在组标准差归一化下被抵消，而项与动作无关（期望策略梯度为零），因此从期望上看，边际项与协作梯度的方向相同。消融实验的结果与这一预测一致（边际 vs 协作），尽管百分比差异落在二项式采样噪声范围内。相反，转换奖励则根据对手难度调整正确性权重：因为它乘以了与动作相关的项，重新加权改变了梯度本身，并且考虑到对手上下文的组内差异，它使梯度倾向于那些失败的对手尝试。我们通过实验证实了这一点（表7）：边际形式对协作几乎没有改善，而转换奖励则明显有效。更一般地说，任何与动作相关且具有组常数系数的奖励（例如，整个挑战者组共享一个对手草稿，使得所有展开的该项相同），在组相对标准化下，都会归一化为与相同上下文中无转换奖励的奖励优势完全一致；此时转换项贡献的期望策略梯度为零。对手难度的组内差异才是使竞争项可训练的关键。因此，在共享对手消融实验中，我们为每个问题固定一个对手草稿，该草稿对挑战者的上下文隐藏，仅用于计算奖励（因此上下文是纯提示词，与标准 GRPO 相同）；观察到的结果（32）与理论预测一致，即组常数转换奖励不会增加任何方向性信号。这与标准 GRPO 假设（组内所有展开共享相同提示词）不同；在这里，每个挑战者展开都以其自身的对手上下文为条件。由此产生的信用分配不仅噪声更大，而且存在系统性混淆：一次展开的成功概率取决于它恰好抽到的草稿质量（一个与动作无关的抽取），因此组标准化将上下文难度与策略质量混合在一起，而转换奖励恰好会在更难的上下文中给予奖励，从而部分抵消了难度惩罚。这为对抗性增益提供了另一种解读：与其说是博弈论意义上的“竞争压力”，不如说转换奖励充当了难度加权的奖励塑形，在困难上下文中提高了正确补全的权重。我们的实验无法区分这两种解读；我们采用竞争性框架是因为它在设计中的建设性作用，而将两者的区分留待未来工作。
由此产生的奖励阶梯（adv）为。起草者的独立流没有对手，因此公式˜2直接适用。
作为一个可选的密度杠杆（在第˜5.6节中单独研究，不属于核心方案的一部分），我们添加了一个长度平局决胜机制，该机制仅在两个解都正确时触发：权重为，奖励挑战者用更少的 token 达到与对手相同的正确性。由于该项要求，它从不直接惩罚正确性，仅对已正确的轨迹进行平局裁决，因此准确率基本保持不变，而长度下降，将涌现出的缩短现象（第˜5.5节）转化为一个可直接调节的目标。
4.5 计算对等性
每步训练中，Agon 会生成起草者（drafter）的 rollout 以及挑战者（challenger）的 rollout，而标准 GRPO 则只生成一份。两个适配器每步都会更新，起草者基于其独立组进行更新，挑战者则基于其对手条件组进行更新；轮换机制会交换哪个适配器处理哪条数据流。我们的主要不变条件是生成预算：在相同的完成长度上限和相同的训练问题单次遍历条件下，每个方法对每个训练问题生成的 rollout 数量相同（标准 GRPO 使用其默认值，而非默认值）。因此，实际 token 数量的差异仅来自学习到的轨迹长度，且每个方法都受相同的上限约束；我们并未审计生成的 token 总数（起草阶段的长度未报告），但由于 rollout 数量和长度上限已对齐，性能提升不能归因于更大的生成预算。挑战者还会额外预填充对手摘要，这是额外的预填充计算，我们并未将其对齐（摘要相对于完整轨迹较短，其成本在生成过程中被廉价分摊，且在单适配器推理时不存在）。在推理时，Agon 的训练与部署完全一致：一个两阶段级联，其中一个适配器根据原始提示词进行起草，另一个适配器读取起草摘要并生成最终答案。这需要两次顺序生成过程，相对于单次基线预算翻倍，因此表 3 包含了相同预算下的两次生成对照（交叉精炼、自精炼）。报告的轨迹长度指最终（挑战者）阶段。两种级联方向（ 和 ）均被评估，并报告较优结果，该结果是在保留集上事后选择的。
5 实验
实验设置。
我们在 DeepMath-103K（He 等人，2025）的困难子集（难度等级 8，移除了二选一答案题）上训练 Qwen3 模型（Qwen 团队，2025）（主要为 0.6B；1.7B/4B 用于规模扩展），并保留了一个留出问题集。我们对两个流均使用分组大小、LoRA 秩、学习率（线性衰减，带预热）、训练问题上的一个训练周期、格式权重、长度平局决胜（仅在第 5.6 节使用），以及一个标准格式奖励（格式良好的 `<think>/<answer>`）作为奖励。生成使用 vLLM（Kwon 等人，2023），训练使用 TRL（von Werra 等人，2020）。主要评估指标是 DeepMath 留出集上的 pass@1；此外，我们在 GSM8K（Cobbe 等人，2021）和 MATH-500（Hendrycks 等人，2021）上进行合理性检查（表 2）。对于第二领域研究（第 5.3 节），我们在 CodeContests（Li 等人，2022）的简单难度子集上训练，使用单元测试验证器（当且仅当所有测试通过时），采用相同的协议和预算。评估协议：采样解码（温度，top-），每个阶段一次 rollout，生成预算与训练匹配（每个阶段 k 个完成 token），答案从 `<answer>` 块中解析；留出问题仅为难度等级 8，移除了二选一答案题，在训练前使用固定随机种子进行划分。配对训练方法作为两阶段级联（第 4.5 节）在两个方向上进行评估，报告较优方向；平均轨迹长度报告最终阶段的完成长度。报告的 pass@1 值包含在 300 道题的留出集上（表 4）的 95% Clopper–Pearson 二项式置信区间。
该设计。
我们交叉了两个二元因素——竞争与信息交换，由此得到四个单元格以及三个对照组（表1）：自我精炼、推理时的无训练MoA，以及预算匹配的GRPO两遍自级联。一个结构上的注意事项是：“无交换的竞争”单元格使用一个共享的对手草稿，该草稿对挑战者隐藏，仅用于奖励计算，根据第4.4节的分析，这使得转换奖励在组内恒定，从而梯度为零，因此该单元格在理论上等同于标准GRPO，作为一致性检验而非对竞争的真正隔离。因此，关于交换的论断（交换有帮助）由GRPO与协作的对比来支撑，而关于竞争的论断（竞争在交换之外还有帮助）则由协作与对抗的对比来支撑，其他所有条件在匹配的生成预算下保持不变；一个带有每轮隐藏草稿的“无可见交换的竞争”单元格留待未来工作。
| 无信息交换 | 信息交换 | |
|---|---|---|
| 无竞争 | 标准GRPO | 协作（公式2） |
| 竞争 | 竞争，共享对手（按构造为惰性；第4.4节） | Agon（公式3） |
对照组：自我精炼（模型看到自己之前的尝试）；推理时的无训练MoA（基础模型的两个独立样本相互批评，无训练）；GRPO两遍自级联（一个经过训练的GRPO模型精炼自己的第一遍输出，匹配级联的推理预算）。
5.1 主要结果
表3报告了在Qwen3-0.6B上的主要对比结果。以下所有差值均从pass@1列读取。训练后的配对方法和精炼控制是推理时的两轮方法；原始GRPO和零样本方法是单轮方法（见表3脚注）。仅信息交换（合作交换：）已经比原始GRPO（）和自我精炼（）有所提升，支持了交换的论点；加入竞争（对抗：）比合作进一步提升，支持了竞争的论点。未经训练的MoA控制是推理时的一个双智能体混合智能体层（Wang等人，2024）：每个模型读取对方的尝试结果并精炼自身输出。它将GRPO提升了pp（）；对抗将其提升了pp，大约是未经训练聚合方法增益的八倍。我们注意到两个杠杆贡献相当：信息交换增加了pp（GRPO合作），竞争又增加了pp（合作对抗）。双适配器架构本身贡献很小：竞争共享对手变体位于，仅略高于单模型GRPO的，因此交换的增益归因于共享上下文，而非从单模型变为双模型。
每种方法均为单次训练运行；表4中的置信区间覆盖了300个保留问题上的采样变异（pp），但不覆盖运行间的训练方差。两个主要差值（交换：pp；竞争：pp）均超过这些区间的宽度。对抗级联在缩短最终阶段轨迹的同时，达到了大约原始GRPO保留pass@1的两倍；从增益角度看，GRPO将基线提升了pp（），而对抗在GRPO基础上又提升了pp（），并且在匹配推理预算下，相比两轮GRPO自级联提升了pp，几乎是未经训练的MoA级联的两倍。
为了分解级联增益，我们在训练后单独评估草稿适配器（使用简单提示词，无对手摘要）：其达到了 46 pass@1，相比原始 GRPO 提升了 16 个百分点。考虑到预算不对称性，这一结果值得注意：每个适配器仅在半数步骤上进行草稿生成（组大小为 ），因此其接收到的独立 rollout 梯度量大约仅为原始 GRPO 基线（该基线在每个问题上使用 ）的四分之一，外加交替步骤上的挑战者流梯度。我们的工作假设是，挑战者流的更新会迁移到独立求解能力（适配器被训练用于验证和重新推导，这些技能在简单提示词场景下同样会被调用），但我们尚未通过对照实验（例如，合作训练或自我优化适配器的独立准确率）对此进行验证，因此将草稿器 16 个百分点的提升归因于竞争性目标仍是一个假设，而非独立测量结果。随后，挑战者将草稿器 54 个失败案例中的净 15 个转化为正确答案（草稿器 46 个成功案例中可能存在回归），最终得到 61 分。按照这种解读，草稿器的提升（+16 个百分点）与挑战者的转化（+15 个百分点）对总增益的贡献大致相当，前者通过假设的挑战者流技能向独立求解的迁移实现。
为验证增益并非训练分布的人为产物，表 2 报告了相同检查点在 GSM8K 和 MATH-500 上的结果（未进行任何进一步微调）：排序保持不变，但绝对差距小于分布内结果（与零样本相比分别提升 和 个百分点，而 DeepMath-hard 上为 ），这符合该方法针对困难场景施加压力的预期特性。
| 方法 | GSM8K | MATH-500 |
|---|---|---|
| 零样本 | 62 | 45 |
| 原始 GRPO | 68 | 52 |
| Agon | 75 | 64 |
| 方法 | pass@1 | 平均长度 |
|---|---|---|
| 零样本 | 23 | 6.1k |
| 标准GRPO（基线） | 30 | 8.1k |
| 自我精炼（对照） | 32 | 7.9k |
| GRPO两轮自级联（对照） | 35 | 8.0k |
| MoA（Wang等人，2024）（无训练） | 34 | 6.9k |
| 竞争性、共享对手（单轮） | 32 | 7.4k |
| 协作式交换 | 46 | 5.1k |
| Agon（竞争式交换） | 61 | 3.5k |
pass@1是主要指标。配对训练的方法和精炼对照方法每道题运行两轮顺序生成（对于Agon和协作式：先草稿，然后挑战读取草稿摘要）；两种级联方向均被评估，并报告较优结果。零样本和标准GRPO为单轮生成。平均长度仅指最终阶段的完成长度（完整级联在推理时使用2个token）。零样本和未经训练的MoA不涉及训练，作为单次评估报告。95%置信区间为基于300道保留题的Clopper–Pearson二项式区间。
| 方法 | pass@1 | 95%置信区间 |
|---|---|---|
| 零样本 | 23 | [18.4, 28.3] |
| 标准GRPO（基线） | 30 | [25.0, 35.4] |
| 自我精炼（对照） | 32 | [26.9, 37.5] |
| GRPO两轮自级联 | 35 | [29.7, 40.7] |
| MoA（无训练） | 34 | [28.8, 39.5] |
| 竞争性、共享对手 | 32 | [26.9, 37.5] |
| 协作式交换 | 46 | [40.3, 51.8] |
| Agon | 61 | [55.2, 66.6] |
5.2 规模扩展与通用性
我们预期较小的模型（处于困难区间的更深位置）受益最大。表 5 显示，随着基础模型增大，相对于普通 GRPO 的提升幅度在缩小但仍为正值，且同样的模式在另外两个模型族——Qwen3.5（Qwen 团队，2026）和 Gemma 4（Gemma 团队，2026）——上成立：差值追踪的是零样本能力，而非模型族。0.6B 基础模型上的 Agon 级联（61）不仅超过了 Qwen3-4B 的零样本能力（52），还超过了 4B 基础模型上的普通 GRPO（59），后者是更大的模型，在同一留出集上。在每种情况下，配对都是同一基础模型上的两个适配器（这是我们实例化的方式，并非该方法的要求）；跨模型族配对是未来工作。
| 模型 | 零样本 | 普通 GRPO | Agon | |
|---|---|---|---|---|
| Qwen3-0.6B | 23 | 30 | 61 | +31 |
| Qwen3-1.7B | 38 | 46 | 70 | +24 |
| Qwen3-4B | 52 | 59 | 71 | +12 |
| Qwen3.5-2B | 44 | 50 | 70 | +20 |
| Gemma-4-E4B | 50 | 58 | 73 | +15 |
5.3 第二个领域：竞赛编程代码
该方案并非数学领域专属；任何具备干净程序化验证器的领域都符合条件。我们在 Qwen3-1.7B 上重复了核心对比实验，训练数据采用 CodeContests（Li 等人，2022）的简单难度子集，判定条件为生成程序是否通过所有单元测试，同时使用留出问题集、相同协议和生成预算。表 6 呈现了与表 3 相同的排序：交换优于基线，竞争优于合作，且轨迹再次缩短。绝对差值小于数学领域：在此规模下单元测试奖励更稀疏，而代码轨迹使得对手预填充相对于生成过程更长。跨领域的结论应视为方向性而非幅度匹配。
| 方法 | pass@1 | 平均长度 |
|---|---|---|
| 零样本 | 18 | 5.2k |
| 标准 GRPO | 24 | 7.3k |
| 合作式交换 | 29 | 4.8k |
| 对抗 | 34 | 3.9k |
5.4 消融实验
表˜7 在 Qwen3-0.6B（留出集 pass@1）上分离了每个设计选择。竞争性主张由竞争行（对抗 vs 合作）体现。信息交换行（Agon 与共享对手变体）应谨慎解读：切换为共享对手会移除可见草稿，并且根据第˜4.4 节的分析，会停用竞争梯度，因此这一比较同时改变了两个因素，属于一致性检验而非孤立的交换效应；孤立的交换增量是表˜3 中 GRPO 与合作之间的差异。在“共享对手”消融实验中，挑战者组针对一个固定的对手草稿进行评分，该草稿在其上下文（组内恒定）中不可见，因此转换奖励被归一化消除（第˜4.4 节）；结果（ vs ）与理论一致，表明对手难度在组内的方差是竞争项贡献梯度的必要条件。每轮次的对手配对（不同的隐藏草稿）是在没有可见交换的情况下对竞争进行的诚实消融；该变体留待未来工作处理。角色轮换被明确消融：在固定角色下，每个适配器仅接收一个梯度流，得到 52 的 pass@1，而轮换时为 61。
| 因素 | 变体（pass@1） |
|---|---|
| 竞争（奖励） | 合作 46 / 对抗 61 |
| 信息交换 | 共享对手 32 / 每轮次对手 61 |
| 奖励形式 | 边际 49 / 转换奖励 61 |
| 角色分配 | 固定角色 52 / 轮换 61 |
5.5 分析：轨迹为何缩短
实验表明，Agon 的推理链比 GRPO 更短（图 7a）：最终（挑战者）阶段的平均 token 数为 k，而单次 GRPO 过程的 token 数为 k。请注意，这是按阶段进行的比较：级联过程还包含一个草稿生成阶段，其长度我们未予报告，因此每个问题的总生成 token 数在此不直接比较，完整的 token 成本核算留待进一步分析。同类比较是针对两阶段未经训练的 MoA 对照组，其中对双方相同的（最终）阶段进行测量：Agon 的长度仅为后者的一半（k 对比 k）。标题奖励中不包含长度项。观察到的缩短现象与挑战者拥有上下文中的候选解决方案这一事实相符，因此，依赖长度的探索不再是获得正确答案的唯一途径。基于正确对手摘要的条件生成的挑战者补全结果，比挑战者阶段的平均长度更短（在最终检查点上为 k 对比 k 个 token），图 6 展示了典型模式：挑战者定位出有缺陷的步骤，重新推导，然后停止。
5.6 一个可选的密度杠杆（辅助研究）
上述缩短现象是涌现出来的：标题奖励中没有任何要求缩短的项。然而，同一游戏也可以奖励简洁性：不是通过惩罚来限制 token 数量，而是让用比对手更少的 token 给出正确答案成为一种获胜方式。作为一项与主要方案和两个标题主张相独立的小型辅助研究，我们探究了是否可以通过第 4.4 节中的长度决胜项（当挑战者正确且比同样正确的对手更短时给予奖励）来直接驱动这种缩短。在 Qwen3-0.6B 上，启用该选项可将平均推理链长度从 k 降至 k，而准确率（pass@1）基本保持不变，因此涌现出的缩短现象变得可直接控制（表 8）。由于该项仅在已正确的推理链中打破平局，因此它在压缩长度的同时，不会以可衡量的方式牺牲准确率。我们将其报告为一个辅助调节旋钮；其他所有标题数据均使用不含长度项的奖励。
| 奖励 | pass@1 (%) | 平均长度 |
|---|---|---|
| Agon（标题，无长度限制） | 61 | 3.5k |
| 长度平局判定（） | 60 | 2.6k |
6 结论
Agon 训练两个模型对彼此的工作进行推理，这对模型共同改进，超越了单个自我评分策略停滞不前的水平。竞争对等方提供了纯结果强化学习所缺乏的信号：它读取策略的解决方案并隐式地为其评分，无需过程标签，也无需更改验证器。两个不同的策略，以轮换起草与挑战的角色进行正面训练（通过在一个冻结基座上的两个适配器廉价实现），让我们得以测试这一想法。在匹配的生成预算下，信息交换优于 vanilla GRPO 和自我改进（交换主张），竞争优于合作（竞争主张），并且由此产生的推理轨迹更短，这是竞争的副产品，而非显式惩罚的结果。在相同的双倍推理预算下，未经训练地组合两个基座副本比 GRPO 有所提升，而训练这对模型进行竞争则带来了更多提升；这种增益来自习得的协作，而非仅仅拥有两个模型。
局限性。
Agon 需要一个验证器和参考问题，我们研究了数学领域以及一个规模较小的代码研究，两者都使用了清晰的程序化奖励；噪声较大的领域可能表现不同。收益取决于配对双方在能力上匹配但在行为上存在分歧（差距过大会退化为知识蒸馏，差距过小则退化为自我博弈），而我们的分歧是通过启发式方法（初始旋转）维持的，并非得到保证；互补性除了级联胜率之外并未被量化。文本交换限制了信道带宽。推理过程是一个两阶段级联，即两次顺序生成过程并增加了延迟；报告的轨迹长度仅涵盖最终阶段，并且更好的级联方向是在保留集上事后选择的。计算对等性仅针对生成的 token 成立：挑战者对对手摘要的额外预填充并未被均衡化（第 4.5 节）。组内方差为零（全部正确或全部错误）的组在 GRPO 优势中会产生未定义值；此类组会被丢弃。论文中的每个训练数字都是单次训练运行的结果，每个问题仅使用一次采样的 rollout 进行评估；更好的级联方向是在保留集上事后选择的。运行间训练方差未被量化，报告的差异应考虑到这一点。报告的数据来自一个经过严格去污染的子集，不应被解读为 DeepMath 整体的 pass@1。
未来工作。
本工作确立了跨模型信号在以文本形式交换时是有帮助的；信道本身是下一个研究维度。通过 KV 缓存注入或两个适配器之间的门控潜在桥梁直接交换隐藏状态，可以消除序列化瓶颈，并让模型能够共享它们无法用语言表达的信息（Beliaev, 2025）。除了准确性之外，我们的辅助密度杠杆（第 5.6 节）是第一步；将其扩展为一个完整的多目标优化，在压缩与正确性之间进行明确权衡，可以使密度成为一个可调的一等目标，而对不同解题策略的多样性项则可以使配对互补性足以进行集成。
参考文献
- Guo 等人 [2025] DeepSeek-AI。DeepSeek-R1：通过强化学习激励大语言模型推理能力。2025年。
- Shao 等人 [2024] Z. Shao 等人。DeepSeekMath：推动开放语言模型数学推理的极限（GRPO）。2024年。
- Qwen 团队 [2025] A. Yang 等人。Qwen3 技术报告。2025年。
- Qwen 团队 [2026] Qwen 团队。Qwen3.5：迈向原生多模态智能体。https://qwen.ai/blog?id=qwen3.5，2026年。
- Gemma 团队 [2026] Gemma 团队，Google DeepMind。Gemma 4 技术报告。2026年。
- Li 等人 [2022] Y. Li 等人。基于 AlphaCode 的竞赛级代码生成。Science，2022年。
- He 等人 [2025] Z. He 等人。DeepMath-103K：一个大规模、高难度、去污染且可验证的数学数据集。arXiv:2504.11456，2025年。
- Hu 等人 [2022] E. Hu 等人。LoRA：大语言模型的低秩适配。ICLR，2022年。
- Aggarwal & Welleck [2025] P. Aggarwal，S. Welleck。L1：通过强化学习控制推理模型的思考时长。arXiv:2503.04697，2025年。
- Lightman 等人 [2023] H. Lightman 等人。让我们逐步验证。arXiv:2305.20050，2023年。
- Huang 等人 [2024] J. Huang 等人。大语言模型尚无法自我纠正推理。ICLR，2024年。
- Wang 等人 [2023] X. Wang 等人。自一致性改进了语言模型中的思维链推理。ICLR，2023年。
- Wang 等人 [2024] J. Wang 等人。智能体混合增强了大语言模型的能力。arXiv:2406.04692，2024年。
- Li 等人 [2025] W. Li，Y. Lin，M. Xia，C. Jin。重新思考智能体混合：混合不同的大语言模型是否有益？arXiv:2502.00674，2025年。
- Chen 等人 [2024a] X. Chen 等人。对于 2+3=? 别想太多：论 o1 类大语言模型的过度思考。arXiv:2412.21187，2024年。
- Yu 等人 [2025] Q. Yu 等人。DAPO：一个大规模开源大语言模型强化学习系统。arXiv:2503.14476，2025年。
- Chen 等人 [2024b] Z. Chen 等人。自我对弈微调将弱语言模型转化为强语言模型（SPIN）。ICML，2024年。
- Yuan 等人 [2024] W. Yuan 等人。自我奖励语言模型。ICML，2024年。
- Zhao 等人 [2025] A. Zhao 等人。绝对零度：基于零数据的强化自我对弈推理。arXiv:2505.03335，2025年。
- Huang 等人 [2025] C. Huang 等人《R-Zero：从零数据出发的自我进化推理大语言模型》。arXiv:2508.05004，2025 年。
- Du 等人 [2023] Y. Du 等人《通过多智能体辩论提升语言模型的事实性与推理能力》。arXiv:2305.14325，2023 年。
- Madaan 等人 [2023] A. Madaan 等人《Self-Refine：基于自我反馈的迭代优化》。NeurIPS，2023 年。
- Cheng 等人 [2024] P. Cheng 等人《自我对弈对抗性语言游戏增强大语言模型推理能力（SPAG）》。NeurIPS，2024 年。
- Goodfellow 等人 [2014] I. Goodfellow 等人《生成对抗网络》。NIPS，2014 年。
- Irving 等人 [2018] G. Irving、P. Christiano、D. Amodei《通过辩论实现 AI 安全》。arXiv:1805.00899，2018 年。
- Kirchner 等人 [2024] J. H. Kirchner 等人《验证者-证明者博弈提升大语言模型输出的可理解性》。arXiv:2407.13692，2024 年。
- Subramaniam 等人 [2025] V. Subramaniam 等人《多智能体微调：利用多样化推理链实现自我改进》。ICLR，2025 年。
- Stanford HAI [2026] Stanford HAI《2026 年 AI 指数报告，第二章：技术性能》。斯坦福大学，2026 年。
- Beliaev [2025] V. Beliaev《Esperantix：通过潜在空间通信实现异构语言模型的推理时组合》。工作草案，2025 年。
- von Werra 等人 [2020] L. von Werra 等人《TRL：Transformer 强化学习》。https://github.com/huggingface/trl，2020 年。
- Kwon 等人 [2023] W. Kwon 等人《利用 PagedAttention 实现大语言模型服务的高效内存管理（vLLM）》。SOSP，2023 年。
- Hendrycks 等人 [2021] D. Hendrycks 等人《使用 MATH 数据集衡量数学问题求解能力》。NeurIPS，2021 年。
- Cobbe 等人 [2021] K. Cobbe 等人《训练验证器以解决数学文字题（GSM8K）》。arXiv:2110.14168，2021 年。