摘要
强化学习已成为提升大语言模型在复杂推理任务上表现的核心手段，然而，RL 后训练在很大程度上是与前置的预训练割裂开来研究的。因此，两个基本问题仍未得到解答：(1) 预训练选择（模型规模、数据）如何影响 RL 计算投入的回报；(2) RL 实际上对模型做了什么？这些问题在标准的大语言模型设定下难以研究：预训练语料库庞大且不受控，导致难以将行为归因于预训练还是 RL，并且对两个阶段进行系统性的计算量扫描成本过高。为应对这些挑战，我们使用国际象棋作为受控实验平台，研究从预训练到后训练的完整推理流程。我们遵循标准的大语言模型训练流程：在人类棋谱上预训练参数量从 5M 到 1B 的语言模型，在合成推理轨迹上进行监督微调，并在具有可验证奖励的国际象棋谜题上运行 RL。利用这一框架，我们建立了一个连接预训练与 RL 的规模定律：在给定 RL 计算量水平下，RL 后的性能可以通过预训练损失很好地预测，并且 RL 奖励曲线的斜率随预训练 token 数量近似线性提升。超越规模定律之外，我们发现 RL 并非简单地强化 SFT 策略：在简单谜题上，它放大了 SFT 策略已经偏好的正确走法；而在困难谜题上，它则浮现出 SFT 下几乎不存在的正确走法。我们进一步检验了这些发现是否适用于国际象棋之外的领域，在数学领域训练了一个 1B 参数的语言模型，结果出现了相同的预测模式：预训练更久的检查点在 RL 后达到更高的性能，并且在 RL 下提升更快。总之，我们提供了对预训练到 RL 接口的定量描述，以及一个用于研究从预训练到后训练全流程推理科学的受控实验平台。
1F917 模型与数据集：huggingface.co/pavelslab-nyu/pre2post-chess 代码：github.com/pavelslab-nyu/pre2post-chess
1 引言
训练大语言模型（LLM）的标准流程包括大规模预训练，随后进行后训练，通常是监督式微调（SFT）和基于可验证奖励的强化学习（RL）（guo2025deepseek; lambert2024tulu; yu2025dapo; zeng2025simplerl）。随着LLM规模不断扩大，关于应将额外算力投入何处的两种观点开始出现分歧。一种观点强调预训练先验：通过扩展模型规模、数据和算力，从人类文本中产生更强的基座模型（kaplan2020scaling; hoffmann2022training）。另一种观点则强调经验：利用强化学习从环境交互和基于结果的反馈中学习，从而激发或发展超越直接模仿的能力。这一观点体现在关于“经验时代”的论述中（silver2025welcome），并以AlphaZero为典型代表——它去除了早期AlphaGo所使用的模仿冷启动，仅通过自我对弈就学习到了更强的策略（silver2016mastering; silver2017mastering）。对于LLM推理而言，纯经验方法尚不现实，因为其动作空间极其庞大，且随机初始化策略所能获得的奖励最初极为稀疏。因此，强化学习总是从预训练先验初始化而来，所以关键问题不在于是否使用先验，而在于先验需要有多好。具体而言，固定的算力预算应如何在改进预训练模型与通过RL进一步优化之间分配？已有研究为预训练制定了定量缩放定律（kaplan2020scaling; hoffmann2022training），并分别研究了后训练阶段的RL缩放规律与配方（olmo2025olmo; khatri2025art），但目前尚无关于预训练如何与RL缩放相互作用的定量刻画。
一个相关的问题涉及强化学习对其继承的预训练策略究竟做了什么。近期研究呈现出截然不同的观点。yue2025does 认为，强化学习主要强化了基础模型已偏好的推理模式，并观察到当 较大时，基础模型在 pass@ 指标上达到或超过了经强化学习调优的模型。yuan2025f 则持相反观点，表明强化学习将预训练技能组合成了新技能。sun2025rl 报告了两种行为，在某些问题上出现“顿悟”转变，而在其他问题上则完全失败。这些相互竞争的观点对计算资源分配有直接影响：如果强化学习主要是强化作用，我们应将更多计算投入预训练；如果强化学习能真正发现新知识，则应增加对强化学习的投入。
直接在基于自然语言训练的推理大语言模型中研究这些问题颇具挑战性。在前沿规模下，对语言模型进行预训练和强化学习计算的系统性扫描成本过高，而庞大且异构的预训练语料库又使得难以将行为归因于预训练还是强化学习。此外，评估通常仅提供最终答案的正确性，使得策略在单个推理步骤上的行为在很大程度上不透明。这些障碍使得我们难以厘清预训练与强化学习之间的相互作用。
因此，我们以国际象棋作为受控实验平台来研究这些问题，其训练流程旨在模拟标准大语言模型训练：在人类棋谱的 token 化序列上进行预训练，在合成推理轨迹上进行监督微调，以及使用可验证奖励进行强化学习。国际象棋具有紧凑且明确的动作空间，棋步质量可通过对局结果或强大引擎进行精确验证，从而为推理轨迹的每一步提供真实基准。人类对弈数据丰富且可控：我们可以改变预训练语料库的数量、质量和构成（例如，通过根据棋手等级分进行筛选），而无需进行复杂的数据混合选择。针对特定任务的小型模型已能达到不俗的国际象棋水平（ruoss2024amortized; zhang2024human; silver2017mastering），这使得在预训练和强化学习之间进行计算量扫描既经济又富有启发性：这些模型对规模变化和强化学习计算量足够敏感，能够产生可测量的性能和策略行为差异。我们的目标并非构建最强的国际象棋模型，而是将国际象棋作为一个易于处理的环境，以隔离研究预训练规模与可验证强化学习之间的相互作用。
利用这一框架（图 1），我们对参数量从 500 万到 10 亿的模型进行预训练，并扫描了 36 种预训练与强化学习的组合。这使我们能够量化预训练选择如何影响后续的强化学习扩展，并检查强化学习如何在单步棋的层面上改变继承而来的策略。我们进一步测试了相同的模式是否能够迁移到国际象棋之外的领域，方法是在数学领域文本上训练一个 10 亿参数的语言模型。我们的贡献总结如下：
- •
一个用于预训练到后训练研究的受控国际象棋实验平台。我们在国际象棋领域实例化了标准的大语言模型训练流程，包括在人类对局数据上进行预训练、在推理轨迹上进行监督微调，以及使用可验证奖励进行强化学习。这一设置能够对预训练和强化学习的计算量进行系统性的扫描，并对策略推理轨迹进行详细分析（第 2 节）。
- •
联合预训练–强化学习缩放定律。我们发现，预训练损失可以预测强化学习后的下游性能（以 pass@1 衡量），而局部强化学习斜率大致随预训练 token 数量的对数线性增长。将该定律与 Chinchilla 风格的预训练损失缩放定律相结合，我们可以对由模型参数量、预训练 token 数量以及分配给强化学习的计算量所定义的假设方案进行评分。我们描绘出一条计算最优边界，并发现随着总计算量的增长，最优分配会向更大的强化学习占比偏移（第 3 节）。
- •
强化学习策略变化的机制。我们分析了策略演化与推理动态。我们发现，在简单谜题上，强化学习主要放大了监督微调策略原本就偏好的正确走法；在困难谜题上，它能够浮现出几乎不存在的正确走法，但也会强化错误的走法。这些异质性效应与以下观察结果相关联：强化学习提升了 pass@1，但并未持续提升 pass@（第 4 节）。
- •
超越国际象棋的迁移证据。在固定 1B 语言模型（在 10B–200B token 的数学领域文本上预训练）的不同检查点上，更长的预训练与固定强化学习计算量下更高的性能以及更陡峭的局部强化学习缩放斜率相关（第 5 节）。
总之，我们提供了关于预训练与后训练之间界面的定量研究，以及一种在两个阶段之间合理分配计算量的实用方法。
2 框架：以国际象棋作为推理的试验场
我们的试验场如图 1 所示，它镜像了标准语言模型训练流程，由三个部分组成：在人类对局大规模语料上进行预训练（§2.1）、用于监督微调的合成推理轨迹生成器（§2.2），以及在可验证的国际象棋谜题环境上进行强化学习（§2.3）。
棋局表示。沿用先前工作（zhang2024human）的方法，我们将每局棋表示为双方走子交替排列并序列化为模型 token 的序列。借鉴 SAN 和 UCI 惯例，我们用四个模型 token 编码每一步走法，其中 标记升变、王车易位、吃过路兵、将军或将杀等特殊情况。该序列的任意有效前缀都能唯一确定一个棋盘状态，完整词表大小为 。图 1 给出了示例。
2.1 人类对局轨迹预训练
在预训练阶段，模型从大规模人类对局中学习合理走子序列的分布。我们从 Lichess111https://database.lichess.org/ 收集棋局轨迹，构建了一个涵盖广泛棋手水平和棋局结果的语料库。该语料库可按棋手 Elo 等级分和棋局长度等维度进行子采样，从而对数据构成进行精细控制。在此语料库上，我们使用标准的下一个模型 token 预测目标，对模型 token 化后的棋局训练自回归策略。
2.2 基于合成推理轨迹的有监督微调
在后训练阶段，我们在棋谜上训练模型：解题者必须在每一步选择唯一的最佳走法，且每一步走法均可与标准答案线路进行精确验证。
可验证的国际象棋谜题环境。如图1所示，每个谜题指定一个初始棋盘状态以及一条标准答案走法序列，将谜题求解构建为一个多步交互式决策问题，其中模型仅扮演解题者角色，而非为双方生成走法。在每一步，模型观察当前解题者状态并输出一个候选走法。环境随后与标准答案的最佳走法进行比对：若不一致则立即终止该回合，若一致则要么完成谜题，要么触发相应的对手回应，从而生成下一个解题者状态。因此模型每次只走一步：当走法正确时，环境将对手的应着追加到上下文中，模型在生成下一步时以此作为条件。遵循ruoss2024amortized的做法，只有当模型在每一步都选择正确的解题者走法并由此完成完整走法序列时，该轨迹才被视为成功。我们在图7中展示了一个示例谜题游戏。
在预训练期间，模型仅观察走法序列，并未看到显式的推理轨迹。此前的国际象棋模型通过引入MCTS和束搜索等推理时搜索算法来增强这些基础策略，从而在测试时恢复规划行为（silver2017mastering; zhang2024human）。我们则采用一种类似于语言模型推理的方式：不是附加外部搜索过程，而是在上下文中激发推理，训练模型在做出走法之前生成自己的推理轨迹。需要强调的是，对于我们的模型而言，推理发生在国际象棋走法token层面，不涉及自然语言。
合成推理轨迹构建。受先前关于思维链生成的研究启发（long2023large），我们将思维链综合为可能游戏进程的序列化表示（图1）。直观而言，该推理轨迹是从预训练模型中采样得到的一组合理游戏进程，经过轻微重排以遵循树遍历结构。给定输入棋盘状态，我们从提议策略中采样游戏进程。由于这些进程共享开局走法，我们通过公共前缀将它们合并为一棵以根节点为起点的位置树，每个共享前缀仅存储一次。该树包含若干叶节点，每个叶节点对应一条不同的游戏进程，我们将相应的根到叶路径记为。我们按深度优先顺序对树进行序列化以形成推理轨迹：，其中<sep>分隔连续路径，<T></T>是界定推理过程的思考标签。提议策略本身是第2.1节中的预训练模型，因此生成的轨迹仍接近模型自身的分布，而非来自外部搜索过程。我们在表4中给出了一个示例轨迹，完整构建细节见附录C.6。
生成合成推理轨迹后，我们训练模型从中选择最优解决方案进程。我们对拼接序列进行训练。其中包含玩家走法和环境走法。由于对手走法在推理时由环境提供，我们从损失函数中屏蔽对手走法的token，仅对推理过程和模型走法进行训练。
2.3 基于可验证奖励的强化学习
从监督微调策略出发，我们在谜题环境中使用二元结果奖励对模型进行优化，其中是完整轨迹（推理轨迹后接执行走法序列），是真实解决方案线路。换言之，只有当每个执行走法与对应的真实走法完全匹配时，模型才获得奖励，否则，因此线路中任何单次错误都不会获得奖励。我们使用群体相对策略优化（GRPO）（shao2024deepseekmath）对策略进行优化；算法细节见附录C.3。
2.4 实验设置
我们收集了一个包含 540 亿 token 的预训练语料库，该语料库来自 2022 年 Lichess 平台上进行的 Blitz 和 Rapid 人类对局，我们的规模扩展实验从中抽取了不同的 token 预算。在后训练阶段，我们使用了 156,000 个经过质量筛选的 Lichess 棋题，涵盖五个难度等级（B1–B5，从最简单到最难）。为了评估，我们整理了一个包含 1,480 个战术棋题的基准测试集，这些棋题覆盖相同的难度等级，并在主题多样性和解法长度上保持平衡。由于当前模型很少能解决 B5 级别的棋题，论文中所有汇总的 pass@ 结果均基于 B1–B4 报告，而我们将 B5 保留用于第 4.1 节中按难度分层的机制分析。这三个数据集在棋盘局面层面互不相交，以防止数据污染。所有模型均使用密集型的 Qwen3（yang2025qwen3）基础架构，并在 10 种规模上进行训练。关于数据集、推理轨迹构建、模型架构和训练配置的完整细节见附录 C。
3 规模扩展分析：从预训练到后训练
我们首先分析我们国际象棋设置中强化学习前的规模扩展行为，然后通过两个问题研究预训练选择如何与强化学习规模扩展相互作用：
- •
研究问题 1：计算资源分配。在不同的总计算量水平下，预训练与强化学习之间的不同分配方式会带来怎样的最终性能边界？
- •
研究问题 2：预测强化学习规模扩展。在给定的计算资源条件下，预训练的特性（例如模型大小、预训练 token 数量以及预训练损失）能否预测强化学习的规模扩展行为？
3.1 强化学习前分析：强化学习之前的规模扩展行为
我们扫描了 11 个预训练计算预算，范围从 到 FLOPs，横跨 10 种模型规模，对应约 M 到 B 个 token 的训练运行。遵循先前缩放定律研究（hoffmann2022training; roberts2026test）的方法论，我们报告了在保留的人类棋局数据上的验证损失 IsoFLOP 曲线，以及图 8 中下游谜题基准上的 pass@ 和 pass@ 指标。结果表明，在每种模型规模内，下游基准性能在我们研究的计算范围内随着更多预训练而持续提升。然而，在固定 FLOPs 下，存在一个最优的参数- token 分配，且该最优值紧密追踪人类棋局验证损失、pass@ 和 pass@ 指标。附录 E 中提供了 Chinchilla 定律的函数形式拟合结果。
对于 SFT，我们比较了仅训练目标走法序列与训练合成推理轨迹后接目标答案这两种方式，在模型间使用了相同数量的谜题样本（附录 F）。图 9 和图 10 比较了不同模型规模和预训练 FLOPs 下的两种设置。不含推理轨迹的 SFT 提升了 pass@1，但未提升 pass@8 或 pass@16，表明模型的样本缺乏有用的多样性。包含推理轨迹的 SFT 提升了所有 pass@ 指标，因此我们在后续所有 RL 实验中采用此方法。此外，对于固定模型规模，更强的预训练检查点始终能实现更高的 SFT 后性能，且这一排序在我们研究的计算范围内保持不变。这表明额外的预训练提供了更强的 RL 前初始化。
3.2 研究问题 1：预训练与 RL 之间的计算权衡是什么？
在固定的总计算预算和模型规模下，用更多 token 进行预训练（即更大的规模）可以改善初始化，但会留给强化学习更少的计算资源。针对每种模型规模和总预算，我们在将剩余计算资源用于强化学习后，评估每个可用检查点所获得的最终性能，并将固定预算下的最优结果定义为固定预算前沿。若前沿点选自较早的检查点（即规模较小），则表明增加强化学习计算量比继续预训练更有价值；而若前沿点选自规模较大的检查点，则表明更长时间的预训练初始化值得牺牲部分强化学习计算量。我们利用第 3.1 节 IsoFLOP 扫描中的预训练检查点，评估了 4 种模型规模下的前沿。对于每种模型规模，我们选取覆盖 8-11 个预训练计算量级别的检查点，应用固定的 SFT 配方，并从每个得到的 SFT 策略出发，执行 到 步的强化学习。作为参考，对于 50M 模型，2000 步强化学习大约需要 160 个 H200 GPU 小时。我们的主要分析以 FLOPs 衡量所有阶段的计算量。我们注意到，相同的 FLOPs 在不同训练阶段并不一定对应相同的挂钟时间。虽然先前的研究常用挂钟时间或训练步数来衡量强化学习计算量，但我们采用 FLOPs 作为主要分配单位，以隔离算法层面的计算量。挂钟时间还反映了各阶段特有的系统因素，这些因素在预训练和强化学习之间可能存在显著差异。因此，挂钟时间对于衡量实际成本很重要，但作为研究预训练与强化学习之间算法计算量分配权衡的单位，其噪声较大。我们使用附录 D 中推导的估算方法进行计算。
结果如图 2 所示。在所有训练过程中，强化学习显著提升了 pass@ 性能，并且随着强化学习训练的持续进行，pass@ 指标也在不断提高。我们还标出了所有模型规模下的帕累托前沿，并突出显示了每个前沿点上的强化学习计算占比。对于固定模型而言，前沿最初会选择较高的预训练占比（即较低的强化学习占比），这表明强化学习受到初始化的强烈限制：在相同总预算下，因提前开始而多出的强化学习计算量，无法弥补预训练策略较弱带来的损失。然而，随着预算增加，预训练占比会下降，这表明额外预训练带来的下游边际收益在递减。一旦初始化足够强，将更大比例的计算资源用于强化学习会更优。例如，对于 20M 模型，强化学习计算占比沿前沿从 [原文此处缺失数值] 增加到 [原文此处缺失数值]，这表明在更高计算量区间，额外强化学习变得更有用。
相比之下，pass@ 的表现则更为复杂。对于最小的 20M 模型，pass@ 在强化学习训练初期急剧提升，之后增长趋于平缓。然而，对于更大的模型，pass@ 曲线几乎保持平坦，在某些情况下甚至随着强化学习训练的持续而略有下降。在这种情形下，额外的预训练比将相同计算量分配给更多强化学习能带来更高的 pass@ 性能。强化学习对 pass@ 的这种有限提升，与先前的研究发现（yue2025does）一致。我们将在第 4.1 节中通过细粒度分类进一步分析策略变化，从而更深入地理解强化学习带来的复杂影响。
3.3 研究问题 2：预训练属性能否预测强化学习的扩展行为？
受上述前沿行为的启发，我们进一步研究了观察到的学习趋势是否可以用函数形式进行参数化。先前的工作（khatri2025art）提出了一个强化学习缩放定律，该定律将固定模型的性能建模为强化学习计算量的S型函数（参见附录G.1中的公式5），其上限渐近线代表强化学习天花板：即模型在无限强化学习计算量下所能达到的性能。然而，S型函数只有在经过非常长的强化学习训练后才会趋于平稳，因此如果没有足够长的运行来达到该饱和点，其天花板就无法被可靠地识别。在我们固定的总计算预算下，大多数强化学习运行只覆盖了曲线的早期非饱和部分。因此，我们对非饱和强化学习区域中的S型定律进行一阶泰勒展开，将局部强化学习缩放拟合写为：
| (1) |
推导过程见附录G.1。公式(3.3)在强化学习计算量上呈对数线性关系：在拟合线上的任意位置，每增加一次强化学习计算量，奖励值就会增加相同的固定增量。
拟合过程。对于第3.2节中获得的每次强化学习运行，我们在下游基准测试上收集经过 FLOPs 强化学习计算量后的 pass@ 指标，作为不同 值下的 样本。我们使用普通最小二乘法对观测值 拟合每个运行的系数：
其中 \(n\) 是观测数量。参考计算量定义了线性拟合特征中的一个线性偏移，它不影响拟合本身的质量或斜率参数 \(\beta\)；但它会影响参考奖励参数 \(\alpha\)，该参数应被解释为在参考计算量水平上的拟合奖励值。随后我们探究这些参数是否能够根据预训练检查点的属性进行预测，即模型规模 \(N\)、预训练 token 数量 \(D\) 以及预训练验证损失。在本分析中，我们仅在难度适中的 B3–B4 基准上进行评估，因为我们所考虑的模型在该基准上尚未达到评估饱和。
将预训练与拟合的对数线性规律联系起来。图 3（左）展示了将强化学习后性能与预训练损失联系起来的代表性拟合结果。由于我们的强化学习计算量范围从 \(10^{17}\) 到 \(10^{20}\) FLOPs，我们在此范围内评估了不同的参考计算量 \(C_{\text{ref}}\) 选择。在给定强化学习计算量水平 \(C\) 下的 pass@1 性能，能够被预训练验证损失很好地预测：对于不同的 \(C_{\text{ref}}\) 选择，更低的预训练损失始终对应更高的强化学习后性能，并且随着参考计算量 \(C_{\text{ref}}\) 增大，这种关系变得越来越单调。例如，当 \(C_{\text{ref}}\) 从 \(10^{17}\) 增加到 \(10^{20}\) FLOPs 时，斯皮尔曼相关系数从 0.6 增加到 0.9。因此，我们将所有运行中的 FLOPs 固定为一个常数（附录 G.4）。如图 11 所示，预训练损失与强化学习奖励之间的这种依赖关系，通过非线性拟合比线性拟合能更好地捕捉。相比之下，如图 18 所示，在高强化学习计算量下，强化学习前的监督微调后性能，其与预训练损失的关联紧密程度低于强化学习后性能。我们在图 17 中观察到监督微调后 pass@ 指标存在类似但更弱的趋势。在附录 G.6 中，我们还分析了在 20M 模型运行上的 sigmoid 规律拟合（这是唯一一个拟合结果能被数据充分确定的模型规模），结果表明渐近性能上限同样可以从预训练损失中预测出来（见图 19）。
如图 3（中）所示，每次运行的斜率参数与预训练 token 数量呈正线性相关（皮尔逊相关系数）。因此，我们分别针对 本身、每个参数的 token 数量 ，以及同时使用 和 的联合线性模型进行拟合。其中，联合模型在预测观测到的斜率时取得了最低的 RMSE 和最高的 ，因此我们将其作为 的参数化形式。如图 3（右）所示，联合拟合为 分配的系数大于 。这些观察结果共同表明，强化学习提升速度在很大程度上由预训练数据的暴露量决定，而模型规模则提供了一个较弱的正向修正：在固定的 token 预算 下，更大的模型在投入相同 RL 算力时，其 RL 性能提升速度会略快一些。我们在图 12 中比较了不同的斜率参数化方案，并在图 13 和图 14 中报告了在其他基准子集上的拟合结果。在这些子集中，估计的斜率总体上仍与预训练 token 数量保持正相关。然而，我们也观察到一些失败案例，即更强的模型在简单基准上接近饱和时（即 sigmoid 奖励曲线趋于平稳），这会系统地压缩其局部斜率估计值。因此，我们将观察到的关联解释为在所研究的、基准尚未饱和的计算量范围内的局部经验趋势，而非适用于所有训练阶段的全局关系。
综合来看，这些观察结果引出了以下缩放定律。我们在附录 G 中报告了完整的统计分析，包括 和 的参数化。对现有运行进行的留一法验证表明，当提供观测到的预训练损失时，拟合的参数化形式能够很好地预测留出的 RL 轨迹（图 16）。
外推计算最优前沿。将我们的联合预训练-强化学习定律与Chinchilla损失预测相结合，使我们能够在不实际训练的情况下评估假设的训练方案。我们考虑了一个从20M到2B参数的13种模型规模的阶梯。对于每种规模，我们评估了260个总计算预算，范围在FLOPs之间。对于每个模型规模和总计算预算，我们搜索了400种预算在预训练和强化学习之间的候选分配方案，每种方案对应一个选择。然后，我们使用Chinchilla定律预测预训练损失，并使用我们的联合定律估计强化学习后的奖励。基于网格搜索，我们确定了在预算下模型规模所能达到的最佳预测奖励。全局前沿则通过在每种预算下最大化模型规模来获得。更多细节见附录G.7。
由此得到的前沿如图4所示。对于每种模型规模，我们找到其首次达到全局拟合前沿时的预算，并报告相应的强化学习计算占比。我们还计算了在该前沿点上选择的预训练token数量，并将其与相同预训练计算预算下的Chinchilla最优token数量（即token数）进行比较。该比值衡量了与Chinchilla分配的偏差：大于1的值表示预训练token数多于Chinchilla最优值，小于1的值则表示更少。结果表明，计算最优的强化学习占比随总计算量增加而增加，而相应的预训练token分配并未显著偏离Chinchilla缩放规律。
4 机制分析：强化学习后训练过程中的策略演化
在本节中，我们研究强化学习训练如何重塑策略，使其超越预强化学习先验。先前的研究对于后训练主要是激发基础模型中已有的能力，还是诱导出性质上全新的行为存在分歧。我们的框架能够直接获取每个状态下策略在落子上的分布以及结构化的推理轨迹，从而使我们能够从两个维度研究策略演化：
- •
研究问题 1：强化学习如何重塑每个状态下的落子分布？我们分析概率质量如何在候选落子间重新分配，并刻画强化学习是放大了原本偏好的落子、挖掘出低概率的正确落子，还是强化了预测分布中的错误模式。
- •
研究问题 2：强化学习如何重塑产生这些落子的思维链推理过程？我们考察强化学习后推理轨迹的结构和内容如何变化，以及这些变化是否对应着决策能力的提升。
4.1 研究问题 1：强化学习如何改变落子策略？
对于任意棋盘状态，我们将诱导移动策略定义为合法移动集合上的一个概率分布。对于预训练模型，移动的未归一化得分为 ，其中 是该移动的 token 序列化表示。对于 SFT 和 RL 模型，移动得分应跨推理轨迹进行边缘化：，其中 是通过在轨迹 条件下对移动的 token 序列化表示进行评分得到的。然后通过对合法移动集合进行归一化得到诱导移动策略。我们为每个谜题采样 128 条推理轨迹来评估边缘分布，并在附录 H 中提供更多细节。
RL 并不能被 SFT 的均匀温度缩放很好地解释。受先前工作（karan2025reasoning）的启发，我们测试了 RL 策略是否是 SFT 策略的幂变换，即 ，其中 对应锐化。精确的幂缩放意味着中心化的 RL 对数概率与中心化的 SFT 对数概率呈线性关系，斜率为 ，因此我们通过零截距回归来拟合该斜率，包括全局和逐状态两种方式（附录 H.2）。表 12 显示，拟合的全局斜率在 RL 过程中增加，表明 RL 平均而言锐化了 SFT 策略。然而，拟合仅达到中等水平，且逐状态斜率变化很大，表明 RL 以状态依赖的方式重塑策略。
因此，我们研究了概率质量在单个状态上是如何重新分布的。我们根据真实移动在初始策略的 top- 集合与更新后的策略 之间如何转换，对局部策略变化进行分类。表 13 给出了完整分类的正式定义。在图 5 中，我们重点展示了策略变化的三大类别：
- •
真实移动放大：正确移动已在 top- 集合中，并通过训练得到进一步强化。
- •
尾部发现：训练将正确移动从低概率尾部（定义为概率低于 ）提升到 top- 集合中。
- •
错误模式放大：正确移动仍处于 top- 集合之外，而最初偏好的错误移动则被进一步强化。
我们在实践中设置 ，并在附录 H.3 中展示额外结果。
在较简单的谜题上，强化学习训练主要放大监督微调策略已经偏好的正确移动；而在较难的谜题上，它既使监督微调下几乎不存在的移动浮现出来，也强化了不正确的移动。在我们的实验中，我们将监督微调策略实例化为初始策略，将训练步骤t时的强化学习策略实例化为当前策略。图5展示了B1-B5谜题测试集上各类别的比例。图21给出了一个定性示例，展示了强化学习如何从B5测试集上一个困难谜题的尾部分布中恢复出真实答案移动。
4.2 研究问题2：强化学习如何改变思维链推理的动态过程？
作为补充分析，我们考察了推理轨迹的结构在强化学习训练过程中的演变方式。由于我们的思维链格式包含显式的移动序列，每次生成轨迹都可以重构为一棵以谜题状态为根的前缀树（第2.2节），其中每个节点对应一个移动，这使我们能够探究模型推理的结构和质量。在图22、图23和图25中，我们比较了在匹配计算量下预训练的20M和50M模型的两个代表性强化学习运行结果，涉及推理树结构、移动质量和搜索行为。
推理轨迹质量在强化学习过程中有所提升，但更深层次的搜索仍然具有挑战性。解析后的轨迹显示，模型主要扩展搜索广度而非深度：宽深比和分支因子增加，而最大搜索深度基本保持不变。与此同时，模型自身走棋及其预测的对手应对走棋的质量均有所提高，并且模型更倾向于在其思维链中浮现出真实走棋，并锁定其考虑过的最佳候选走棋。然而，图 25 显示，模型仍然难以恢复需要超过 5 步的连续走棋，这表明强化学习提升候选生成与选择的速度快于提升长程搜索。这些结构化的搜索特征可能为未来监督微调数据集的构建提供指导，使其倾向于包含鼓励更深层、更系统性搜索的示例。
5 迁移至文本：数学领域的定性案例研究
为了检验我们在国际象棋场景中发现的缩放定律是否也能迁移到自然语言建模，我们在一个包含 200B token 的混合预训练语料库上预训练了一个 1B 参数的 OLMo-2 (olmo20242) 模型。该语料库由 70% 的 Nemotron-CC-Math-v1⁴ 和 30% 的 Dolma3（即 OLMo-3 使用的中期训练语料库）组成。我们使用一个带有恒定预热阶段的线性学习率调度策略进行单次主运行；我们在运行过程中的不同节点使用 5B 的 Dolma3 token 进行学习率退火，从而在 10B 到 200B token 之间产生了 14 个检查点。随后，我们在 NuminaMath-CoT⁵ 上执行一轮监督微调，接着在一个从 GSM8K、MATH 和 DeepScaler 中抽取的、包含 24.9K 道题目的混合训练语料库上进行强化学习。我们在一个从训练分布中抽取的、包含 500 道题目的保留验证集，以及 GSM8K 和 MATH 测试集上进行评估。所有结果均使用 pass@1 指标报告，该指标通过每个问题在温度参数下采样 16 次完整生成来估算。更多实验细节见附录 I。
我们在图 6 中报告了在保留集上的拟合结果，并在图 26 中给出了额外结果。总体而言，该实验提供了初步证据，表明在国际象棋中发现的预训练到后训练缩放结构可以推广到现代语言模型训练中。尽管任务格式、数据分布和训练方案存在差异，我们发现了类似的模式：在高强化学习计算量下的后强化学习性能水平可以通过预训练损失很好地预测，并且强化学习奖励曲线的斜率随预训练 token 数量近似线性提升。
6 相关工作
用于推理的强化学习。基于可验证奖励的强化学习已成为提升语言模型推理能力的标准方法（guo2025deepseek; lambert2024tulu; yu2025dapo; zeng2025simplerl），但强化学习对预训练策略的实际作用仍存在争议。先前的研究提出了不同观点，认为强化学习主要放大已有的推理模式（yue2025does），在提升 pass@1 的同时有时会降低大覆盖范围；或者将预训练技能组合成新技能（yuan2025f）；又或者根据问题域的不同同时发挥两种作用（sun2025rl; zhang2025interplay）。在自然语言中解决这一问题的困难在于巨大的动作空间、模糊的 token 级动作以及缺乏步骤级监督。我们的国际象棋设置提供了基于引擎的每个棋盘状态监督以及 token 空间中动作的清晰定义，使我们能够按谜题难度分解强化学习的效果。我们表明，在简单谜题上，强化学习会放大已有的正确走法；而在困难谜题上，则会浮现出被隐藏的走法并强化错误的走法。
从预训练到后训练的缩放定律。缩放定律长期以来一直被用作从训练计算量预测语言模型性能的定量工具。Kaplan 等人（2020）的研究表明，语言模型的损失在模型规模、数据和计算量上遵循幂律，而 Hoffmann 等人（2022）则优化了模型规模与训练 token 之间的计算最优分配。后续工作将缩放分析扩展到了标准预训练损失之外，包括过训练模型与下游 top-1 错误率（Gadre 等人，2025）、测试时采样与 pass@（Roberts 等人，2026）、推理感知型缩放（10.5555/3692070.3693840）、合成预训练数据（Qin 等人，2025）以及固定数据 SFT 缩放（Zhang 等人，2024）。更近期的研究还刻画了强化学习后训练过程中的缩放行为：Khatri 等人（2025）拟合了 S 形强化学习缩放曲线，而 Cheng 等人（2026）则研究了强化学习内计算最优的采样策略。然而，这些工作要么将下游使用视为既定事实，要么将预训练初始化视为固定不变。Huang 等人（2025）和 Chen 等人（2025）的研究表明，覆盖率——即策略将概率质量分配给高质量响应的程度——能够刻画 Best-of- 和 pass@ 的性能，后者还进一步证明，下一个 token 预测隐式地优化了覆盖率，从而将预训练与后训练联系起来。我们通过实验对这一论述进行了补充：在一个受控领域中，我们直接研究了预训练属性与强化学习缩放行为之间的关系，并发现预训练损失对强化学习后的 pass@1 水平具有很强的预测能力。
在预训练与强化学习之间分配算力。多阶段语言模型训练中的一个重要问题是：需要多少预训练才能使强化学习有效，以及有限的算力应如何在预训练和强化学习后训练之间分配。实证方面，qi2025evolm 研究了预训练、持续预训练、SFT 和强化学习之间的权衡，结果表明随着预训练和强化学习算力的增加，后训练收益可能趋于饱和。近期工作进一步研究了预训练期间的早期强化学习（bansal2026rl）。然而，这些工作主要刻画了各阶段的效果或训练方案，而非直接建模预训练与强化学习之间的算力分配问题。我们的工作直接改变预训练和强化学习的算力投入，建立了预训练算力如何改变后续强化学习学习曲线的定量缩放定律。
7 结论
我们以国际象棋为试验平台，研究了预训练如何影响强化学习动态，以及强化学习如何重塑继承策略。我们建立了一个联合缩放定律：预训练损失可预测强化学习后的性能水平，而预训练数据规模与强化学习改进的斜率密切相关。由此得出的算力分配前沿表明预训练与强化学习之间存在权衡。随着总预算增长，最优预训练占比趋于下降，这表明强化学习应占据越来越大的算力份额。同时，在我们的设定中，从弱预训练检查点过早开始强化学习带来的收益有限，这表明强化学习仍依赖于初始化，需要充分的预训练暴露才能变得有效。此外，pass@1 和 pass@16 的行为也存在差异。从机制上看，强化学习并非均匀锐化：其效果随谜题难度系统性地变化——在简单谜题上，它会放大 SFT 策略已偏好的正确走法；而在困难谜题上，它既会浮现隐藏走法，有时也会强化错误走法。这种混合重分布解释了为何强化学习能提升 pass@1 却未必能持续改善 pass@16。最后，我们在数学领域使用 1B 语言模型观察到了类似的定性模式，表明我们的发现不仅限于国际象棋。
未来工作有几个令人兴奋的方向。首先，该扩展框架可用于研究何时从预训练切换到强化学习，或者更一般地说，如何在不同阶段之间分配计算资源。其次，要提升超越 pass@1 的强化学习性能，很可能需要能够减少错误模式放大并扩展正确解支持范围的方法，而不仅仅是强化当前策略。第三，这些结果可能会启发更好的预训练与强化学习结合方式。由于从弱预训练检查点开始进行强化学习时收益有限，但纯强化学习也可能在更困难的状态上放大错误模式，因此固定的两阶段方案可能并非最优。未来工作可以研究交错策略，以决定何时额外的预训练数据比额外的强化学习更新更有价值。更广泛地说，我们的设置也为研究合成数据设计、自我对弈、超越（zhang2024transcendence）以及弱到强泛化（burns2023weak）提供了一个受控的测试平台。
致谢
我们感谢 Vatsal Baherwani、Sean McLeish、Vadim Bereznyuk、Timur Garipov 和 Yulin Chen 对本文初稿提出的深刻反馈。本工作还得到了纽约大学 IT 高性能计算资源、服务及员工专业知识的支持。
参考文献
附录 A 讨论与局限性
我们的测试平台模拟了标准的大语言模型流程（在人类数据上进行预训练，在推理轨迹上进行监督微调，使用可验证奖励进行强化学习），而我们研究的现象（预训练属性如何塑造强化学习扩展，强化学习如何重塑继承的策略）是流程层面的动态变化，而非国际象棋特有的动态变化。话虽如此，国际象棋与自然语言在某些方面存在差异，这限制了直接迁移：其词汇量很小（81个模型token），验证是精确的，并且推理与世界知识或流畅性无关。因此，我们的扩展指数和类别比例应被理解为在受控环境中表征了从预训练到强化学习接口的结构，而非针对语言模型的定量预测。此外，我们的强化学习环境使用了具有唯一指定解法和二元奖励的谜题，与语言任务中常见的部分奖励或开放式奖励相比，这是一种受限的验证形式。再者，我们的模型参数最多达到10亿；我们识别出的扩展趋势（例如，最优预训练比例的下降）在更大规模下可能表现不同，而验证这一点超出了我们当前的计算预算。除此之外，我们结构化的思维链格式使用了一种特定的基于树的序列化方法；不同的推理轨迹格式在强化学习下可能产生不同的思维链演化动态，这值得作为未来方向进行探索。我们还在第G.8节讨论了拟合定律的局限性。
附录B 扩展的相关工作
从预训练到后训练的语言模型缩放定律。缩放定律长期以来一直被用作从训练计算量预测语言模型性能的定量工具。Kaplan 等人（2020）的研究表明，语言模型的损失在模型规模、数据和计算量上遵循幂律关系；Hoffmann 等人（2022）则优化了计算最优分配，发现模型规模和训练 token 应大致等比例缩放。后续研究将缩放分析扩展到了标准预训练损失之外：Gadre 等人（2025）发现，过度训练的语言模型在验证损失和平均下游 Top-1 错误率上均表现出可靠的缩放特性；Roberts 等人（2026）则通过 pass@ 指标将测试时采样纳入考量，并指出当推理计算量被计入时，过度训练可能成为计算最优方案。其他工作还研究了推理感知型缩放（10.5555/3692070.3693840）和合成预训练数据（Qin 等人，2025）。在后训练方面，Zhang 等人（2024）研究了固定数据监督微调（SFT）而非在线策略强化学习（RL）的缩放定律，发现微调性能对模型规模的依赖程度高于对预训练数据规模的依赖。近期研究也开始刻画强化学习后训练过程中的缩放行为：Khatri 等人（2025）拟合了 S 形强化学习缩放曲线，并确定了稳定的训练方案；Cheng 等人（2026）则研究了强化学习内采样的计算最优分配。然而，这两项工作都将预训练初始化视为固定不变。纵观这些研究方向，预训练缩放定律将下游使用视为给定条件，而后训练缩放定律则将初始化视为给定条件。两者均未探讨预训练计算量如何改变强化学习缩放曲线的形态。我们的工作填补了这一空白：我们证明，预训练损失可以预测后强化学习阶段的性能水平，而预训练数据规模则可以预测强化学习在平均奖励方面的提升速率。
预训练与强化学习之间的算力分配。在多阶段语言模型训练中，一个关键问题是：需要多少预训练才能让强化学习有效，以及有限的算力应如何在预训练和强化学习后训练之间分配。chen2025coverage 通过覆盖度理论将预训练与后训练联系起来，认为模型赋予高质量响应的概率质量决定了后训练和测试时扩展能否成功。在实证方面，qi2025evolm 研究了预训练、持续预训练、SFT 和强化学习之间的权衡，表明随着预训练和强化学习算力的增加，后训练的收益可能会饱和。近期研究进一步探讨了预训练期间的早期强化学习（bansal2026rl）、将推理数据前置到预训练中（akter2025front），以及强化学习收益如何依赖于预训练余量和任务难度（zhang2025interplay）。这些工作提供了重要证据，表明预训练与强化学习是相互耦合的，但它们主要描述的是阶段性效应或训练方案，而非直接对预训练与强化学习之间的算力分配问题进行建模。我们的结果表明，对于大 pass@ 指标，延长预训练始终是有益的。对于 pass@ 指标，增加预训练也能提升性能，但其边际收益会随着总算力预算的增加而递减。我们的发现还为先前多阶段研究中观察到的饱和现象（qi2025evolm）提供了补充解释。由于强化学习后的性能可以从预训练损失中预测，预训练损失的递减收益自然会转化为强化学习后边际收益的递减。因此，因增加预训练而导致的饱和并不一定意味着预训练与强化学习之间存在冲突。相反，强化学习从其可达到的性能水平中继承了预训练策略的一部分，而其学习速率则受预训练数据规模的影响。这一视角将阶段性饱和转化为预训练到强化学习扩展关系中可预测的结果。
用于研究推理的可控测试平台。已有系列工作研究了能够隔离特定推理方面的受控合成环境（ye2024physics; zhang2025interplay; yuan2025f; sun2025rl）。我们基于国际象棋提出了一个互补性测试平台，该平台更贴近语言模型的训练方式：模型首先在人类行为数据上进行预训练，然后通过带有可验证奖励的强化学习进行改进。国际象棋需要多步规划，支持每一步的精确验证，并在预训练和强化学习阶段都产生非平凡的扩展规律，使其成为研究从预训练到后训练整个过程中推理能力的有用环境。此前的国际象棋语言模型研究了预训练或没有强化学习的摊销搜索（ruoss2024amortized; zhang2024human）、没有人类数据预训练的从头强化学习（silver2017mastering），或基于固定规模模型的推理演化（dionisopoulosreasoning）。没有研究探讨预训练规模如何塑造强化学习的扩展行为。我们的工作填补了这一空白，涵盖了从5M到1B参数的不同模型规模。
附录C 实现细节
C.1 数据集
预训练数据集。我们收集了2022年在Lichess平台上进行的闪电战和快棋对局。除非另有说明，所有对局均从标准国际象棋初始局面开始，并遵循标准的合法走棋规则。为确保对局质量，我们过滤掉了少于10步半回合的对局，并对对局进行采样，以平衡双方棋手平均等级分在800到3000之间，最终得到包含540亿个模型token的语料库。
后训练数据集。我们从Lichess谜题构建后训练数据集，仅保留棋手平均等级分高于800且流行度高于100的谜题，以提高数据质量。最终数据集包含15.6万个谜题。我们将谜题划分为五个基于等级分的难度区间，按难度递增顺序记为B1至B5，等级分范围从800到3000。我们进一步通过贪心采样器，按解题长度和主题覆盖度对数据集进行平衡。在我们的实验中，我们从等级分800到2400的范围内均匀采样了4.2万个谜题用于监督微调训练，并采样了6.93万个谜题（其中70%来自B1和B2，30%来自B3至B5，呈偏向简单题目的分布）用于强化学习训练。
测试数据集。表1展示了测试基准的详细信息。对于Lichess谜题子集，我们首先将谜题按Elo等级分箱，并移除解法步数超过12步的谜题。在每个分箱内，我们使用近似贪心采样器来平衡主题覆盖率和解法长度。每个候选谜题根据其主题标签在当前已选集合中的平均出现频率进行排序，出现频率相同时则按解法长度的频率排序。我们优先选择频率较低的候选谜题，并在每批次选择后更新这些计数，从而生成难度分层的测试集，这些测试集在战术主题和解法深度上具有更广泛的覆盖范围。
去污染。为防止数据污染，我们从预训练语料库中丢弃任何其棋局轨迹经过后训练集或测试集中也出现的局面的棋局。对于每局棋，我们从初始局面开始重演其走法序列，并将到达的每个局面与后训练集和测试集的棋盘状态集合进行比对，匹配依据是包含棋子布局和走棋方的标准化FEN字符串。任何存在匹配的棋局都会被完整移除。对于后训练集和测试集（这些是由起始局面定义的谜题），我们根据起始棋盘局面进行去重。
| 数据集 | 规模 | 描述 |
|---|---|---|
| 谜题B1 | 308 | Elo等级分在 范围内的Lichess谜题。 |
| 谜题B2 | 298 | Elo等级分在 范围内的Lichess谜题。 |
| 谜题B3 | 267 | Elo等级分在 范围内的Lichess谜题。 |
| 谜题B4 | 287 | Elo等级分在 范围内的Lichess谜题。 |
| 谜题B5 | 320 | Elo等级分在 以上的Lichess谜题。 |
C.2 模型
表2展示了我们模型系列的架构细节。我们不对输入和输出嵌入向量进行权重绑定。此外，受先前研究（liu2024mobilellm）表明更深层设计对小语言模型有效性的启发，我们在每个模型规模上都采用了相对较深的架构。
| 模型 | 参数量 | 层数 | 隐藏层大小 | 中间层大小 | 注意力头数（Q / KV） | 注意力头大小 |
|---|---|---|---|---|---|---|
| 5M | 5.1M | 6 | 256 | 768 | 2 / 2 | 128 |
| 10M | 11.8M | 6 | 384 | 1024 | 4 / 4 | 128 |
| 20M | 20.5M | 6 | 512 | 1536 | 4 / 4 | 128 |
| 32M | 31.6M | 8 | 512 | 1536 | 8 / 4 | 128 |
| 50M | 47.3M | 12 | 512 | 1536 | 8 / 4 | 128 |
| 100M | 101.6M | 12 | 768 | 2304 | 12 / 4 | 128 |
| 200M | 203.1M | 24 | 768 | 2304 | 12 / 4 | 128 |
| 410M | 411.3M | 28 | 1024 | 3072 | 16 / 4 | 128 |
| 680M | 678.6M | 30 | 1280 | 3840 | 20 / 4 | 128 |
| 1B | 1.03B | 32 | 1536 | 4608 | 24 / 4 | 128 |
C.3 算法
SFT 目标。设 为损失掩码，其中若 属于合成轨迹或模型动作，则 ，否则 。SFT 目标为 。
RL 算法。我们使用如下形式化的 GRPO 来优化策略。对于每个状态 ，我们采样一组轨迹 ，计算奖励 ，并在组内对奖励进行归一化以获得优势值 。GRPO 目标为
其中 是重要性采样权重， 是 KL 系数。
C.4 训练配置
预训练配置。
所有模型均在其分配的预训练 token 预算上进行一个 epoch 的预训练。所有模型规模共享表 3 中列出的优化设置。
SFT 训练配置。
我们从相应的预训练检查点初始化，并将上下文长度扩展到 3072 个 token。SFT 在 4 块 NVIDIA H100 GPU 上进行 3 个 epoch，使用 AdamW 优化器，学习率为 ，权重衰减为 ，Adam betas 为 。学习率采用余弦调度，预热比例为 ，最小学习率为 。我们使用的有效批大小为每个优化步骤 524,288 个 token，应用梯度裁剪，最大范数为 ，并使用标准交叉熵损失进行训练。在 SFT 期间，提示词 token 从损失中被屏蔽，因此优化仅应用于响应 token。
RL 训练配置。
所有实验均使用 verl 框架（sheng2024hybridflow）实现，超参数为：学习率 ，KL 系数 ，裁剪比例 ，且无熵正则化。我们设置组大小 。对于响应采样，我们固定采样温度 和最大响应长度 个 token。在 verl 中，我们将训练批大小和小批大小均设置为 256 个提示词。使用一个简单的基于规则的奖励函数，为正确答案分配奖励 ，否则为 ，不包含任何格式相关的信号。RL 在 8 块 NVIDIA H200 GPU 上进行。
| 配置 | 值 |
|---|---|
| 硬件 | 8 块 NVIDIA H200 GPU |
| 上下文长度 | 1024 |
| Epochs | 1 |
| 优化器 | AdamW |
| 峰值学习率 | |
| 最小学习率 | |
| 学习率调度策略 | 余弦衰减 |
| 预热比例 | |
| Adam 优化器 beta 参数 | |
| 权重衰减 | |
| Dropout | |
| 最大梯度范数 | |
| 每设备批次大小 | 32 个序列 |
| 梯度累积步数 | 2 |
| 有效批次大小 | 512 个序列 |
| 每优化器步的模型 token 数 | 524,288 |
C.5 棋类谜题示例
图 7 展示了一个国际象棋谜题示例。每个谜题提供一个初始局面，我们将其转换为模型可用的走法序列。要解开这个谜题，玩家必须找出后续所有正确的走法。
| 输入 | Pe2e4 Pc7c5 Ng1f3 Nb8c6 Pd2d4 Pc5xd4 Bf1c4 Pg7g6 Nf3g5 Pe7e6 Pc2c3 Pd7d5 Pe4xd5 Pe6xd5 Qd1f3 Ng8f6 Bc4xd5 Nf6xd5 <T> |
|---|---|
| 推理 | Ng5h3 Bf8g7 <sep> Ng5h3 Nc6e5 Qf3xf7# Ne5xf7 <sep> Ng5h3 Bc8g4 Qf3xf7# <sep> Ng5h3 Qd8d6 Bc1f4 Qd6e7+ <sep> Ng5h3 <sep> Ng5xf7 Nd5e7 Bc1f4 Rh8g8 Nf7xd8 Ne7f5 Qf3xc6+ <sep> Bc1f4 Nd5xf4 Qf3xf4 Bc8f5 Qf4e5+ Bf8e7 <sep> Bc1f4 Bf8g7 Ng5xf7 Rh8f8 <sep> Bc1f4 Bf8e7 Bf4e5 <sep> Qf3xf7# <sep> O-O Nd5f6 Nc6e5 Qf7xd5 Ne5c6 <sep> Qf3xf7# <sep> Pg2g3 Qd8f6 Qf3xf6 Rh8g8 <sep> Pg2g3 Qd8e7+ Ke1f1 Bc8e6 Ng5xe6 Qe7xe6 <sep> Qf3xf7# </T> |
| 答案 | Qf3xf7# |
C.6 合成推理轨迹生成的补充细节
合成轨迹构建。我们在图 1 中展示了该流程。从给定的输入棋盘开始，我们首先使用一个提议策略生成展开轨迹，其中 由预算控制。提议策略要么是第 2.1 节中预训练的模型，要么是由国际象棋引擎构建的策略。对于每次展开 ，我们采样一个长度预算，并生成走法，直到游戏终止或达到采样的预算为止。
然后，我们通过丢弃无效或无法解析的后缀，将每次展开转换为一个走法序列。生成的走法序列通过共享前缀合并为一棵以 为根的前缀树。每个非根节点由一个走法 标记，其棋盘状态通过将根节点到 路径上的走法依次应用得到。原则上，验证器可以为节点分配分数，这些分数可用于在序列化预算下对节点进行排序、剪枝或截断。在我们的实现中，我们采用最简单的规则：丢弃非法走法，在前缀树中对子节点排序时保留提议策略的采样顺序，并确保最佳 延续被包含在序列化轨迹中。
最后，我们通过深度优先遍历（DFS）对构建的树进行序列化。设 表示按 DFS 顺序排列的保留叶节点。对于每个叶节点 ，设 表示从根节点到 路径上的渲染走法序列。最终的合成推理轨迹通过按 DFS 顺序拼接这些根到叶路径得到：。
生成合成轨迹后，模型被训练为承诺一个单一的后续步骤。我们从用于构建轨迹的同一组 rollout 中选择这个后续步骤。具体来说，在有效的解析后续步骤中，我们根据验证器（例如 Stockfish666https://github.com/official-stockfish/stockfish）选择最佳的一个，并将其用作轨迹之后的监督答案。设选定的后续步骤为 ，其中 是模型走法， 是对手走法。我们对拼接后的序列 进行训练。由于在推理过程中，对手走法将由环境而非模型策略产生，因此我们在损失函数中屏蔽 中的对手走法 token，仅对 和 中的模型走法施加监督。设 为损失掩码，其中如果 属于合成轨迹或模型走法，则 ，否则 。SFT 目标函数为 。
合成推理轨迹的实现细节。按照第 2.2 节中描述的过程，我们使用一个固定的提议策略，即一个预训练的 200M 模型，来生成合成推理轨迹。为了多样化推理路径，对于每个谜题，我们在第一步进行分支：从策略模型中采样第一步候选。从每个候选出发，我们在同一策略下 rollout 出 个后续轨迹，其中每个候选的轨迹数量和轨迹长度取自截断至 和 的舍入对数正态分布，均值分别为 和 ，形状参数分别为 和 。这两个均值大致对应于 SFT 数据集中的合法动作空间和典型谜题解答长度。我们没有对这些值进行调优。
附录 D FLOP 估算
我们使用标准稠密语言模型近似来估算训练计算量（以模型 FLOPs 计）
| (2) |
其中 是模型活跃参数数量， 是训练期间处理的 token 数量。这一惯例在语言模型扩展分析中被广泛使用（kaplan2020scaling; hoffmann2022training）。
这一近似适用于我们实验中使用的密集 Qwen3 模型，因为这些模型是密集的仅解码器 Transformer 语言模型：所有非嵌入 Transformer 参数对每个处理的 token 都是激活的。因此，它们的主要训练成本来自注意力层和前馈层中的密集矩阵乘法，而这正是该近似所针对的场景。我们使用训练模型的活跃密集参数数量作为计算依据。
预训练。
设 表示预训练 token 数量。我们将预训练 FLOPs 估算为 。
监督微调。
设 表示 SFT 数据集， 表示示例 的 token 化长度， 表示 SFT 的训练轮数。SFT 训练 token 总数为 。因此，我们将 SFT FLOPs 估算为 。在我们的实验中，所有 SFT 示例都被填充或截断至固定的上下文长度 。因此，如果每轮使用 个示例，该估算可简化为 。
强化学习。
对于 GRPO，设 表示整个 RL 阶段处理的总训练提示词数量， 表示组大小，即每个提示词采样的回复数量。对于提示词 ，设 表示提示词长度， 表示样本 的回复长度。定义 。那么，总 rollout token 数量计算为
我们将 RL 计算量估算为策略 rollout 生成、参考模型对数概率评估和策略优化的总和。策略 rollout 生成和参考模型评估各需对 rollout token 进行一次前向传播，而策略优化则使用标准训练 FLOP 近似进行估算。因此，
如果未使用参考模型，则省略第二项， 简化为 。
附录 E 预训练规律拟合
在预训练阶段，我们按照先前缩放定律研究（hoffmann2022training）中的 isoFLOP 方法设置，在 10 种模型规模上扫描了 11 个计算预算（从 到 FLOPs），对应约 M 到 B 个 token 的训练运行。图 8 报告了在留出的人类对弈棋局上的验证损失 isoFLOP 曲线，以及在谜题基准测试（包括 B1 到 B5 的所有谜题）上的 pass@ 和 pass@ 指标。需要注意的是，在预训练评估中，所有模型仅生成走法序列，不进行推理。我们观察到每个预算下的验证损失均存在明显的谷底，这证实了在固定 FLOPs 下存在最优的参数- token 分配。将该最优值与自然语言建模的 Chinchilla 风格计算最优分配（图 8 中的灰色虚线）进行比较，我们的结果表明，在所研究的计算量范围内，国际象棋预训练更倾向于使用更小的模型并在更多 token 上进行训练，而非语言建模基线。此外，在谜题基准测试上，pass@1 和 pass@16 的 isoFLOP 最优值与人类对弈棋局上的验证损失最优值高度吻合。在每种模型规模内，随着我们研究范围内预训练量的增加，下游性能持续提升。
为补充 IsoFLOP 分析，我们将 hoffmann2022training 的参数化形式重新拟合到我们的预训练扫描数据中：
| (3) |
其中 是总参数量， 是训练 token 数量， 和 是拟合参数。我们使用 L-BFGS 算法，基于扫描中抽取的三元组，优化预测验证损失与观测验证损失之间的 Huber 损失，并将范围限制在验证损失低于 1.0 的运行上，以排除训练不足的异常值。
表5报告了拟合参数以及hoffmann2022training在语言建模中的数值。首先，参数指数仍接近语言建模估计值（），表明不同领域间模型规模带来的收益相似。其次，数据指数是语言建模估计值的两倍以上（），说明在国际象棋场景中，固定模型大小时，损失随额外训练token的增加而下降得更快。拟合的均方根误差（RMSE）为0.0097。由此得出的计算最优分配，
| (4) |
意味着计算最优的模型规模增长速度快于token预算。这与IsoFLOP曲线（图8）一致：在我们研究的计算量范围内，国际象棋最优解每个参数使用的token多于规则，但随着计算量的增长，这一差距在缩小。
| 参数 | 国际象棋（我们的） | 语言（hoffmann2022training） |
|---|---|---|
| — | ||
| 0.63 |
附录F SFT性能对比
对于监督微调，我们比较了两种设置：（1）无推理链的监督微调，直接在目标走棋序列上对模型进行微调，损失函数在对手走棋上被掩码；（2）带推理链的监督微调，在合成中间推理链后接目标答案上进行训练。我们对所有监督微调变体使用相同数量的棋局样本进行训练。图9比较了不同模型规模和预训练FLOPs下的性能。对于固定模型规模，更强的预训练模型在监督微调后始终获得更高的性能，这表明预训练质量可以迁移到监督微调。此外，监督微调的价值关键取决于是否包含推理链。不包含推理链的监督微调相比预训练基线仅带来有限的提升：pass@1有所改善，但pass@并未提升。在某些情况下，pass@和pass@几乎相同，这表明模型采样的轨迹缺乏有用的多样性（图9和图10）。相比之下，带推理链的监督微调显著提升了pass@和pass@，这表明在推理链上学习不仅丰富了最可能的解，还丰富了模型能够生成的更广泛的候选分布。
附录G 联合预训练–强化学习缩放定律
本附录描述了我们用于关联预训练规模、预训练损失和下游强化学习计算量的统计模型。目标是获得一个简单的预测定律，用于在给定参数数量为、预训练token数为、以及强化学习计算量的预训练模型条件下，预测强化学习后获得的奖励，正如我们在第3.3节中讨论的那样。
G.1 局部强化学习缩放拟合的解释
先前工作（khatri2025art）使用 S 形计算-性能曲线，对固定模型在强化学习计算下的性能进行了建模：
| (5) |
其中， 是初始性能， 是渐近奖励上限， 控制过渡位置， 控制 S 形曲线的陡峭程度。这种形式明确地对饱和效应进行了建模，但拟合完整曲线需要足够长的强化学习运行，才能同时识别出过渡点和平台期。在我们的实验中，将每个配置运行足够长的时间以达到平台期区域，将需要大量的强化学习计算，并且在我们可用的计算范围内，我们发现渐近线的辨识度较弱。因此，我们聚焦于局部、非饱和区域，这在科学上同样有用：它能够隔离出在曲线被渐近饱和主导之前，预训练规模如何影响强化学习改进。
设 和 。对公式 (5) 在 处进行一阶泰勒展开，可得：
因此，在局部范围内，S 形曲线简化为对数线性形式：
其中 ， 是局部奖励斜率。为了解释局部斜率，对公式 (5) 关于 求导，可得：
利用
局部斜率可改写为：
因此，在参考点 处，
| (6) |
我们注意到， 是一个局部估计值，因此可能对用于拟合的强化学习轨迹部分较为敏感。对于固定的 ()，局部斜率遵循一个凹二次函数：当参考点接近初始性能 () 或饱和水平 () 时，斜率较小；在中间区域时斜率最大。因此，在强化学习早期或接近饱和时进行评估的运行，可能会产生系统性更小且更不可预测的斜率估计值。在 B3-B4 基准测试上，大多数模型仍处于非饱和区域，这使得这些基准测试更适合我们的斜率分析。我们在第 G.2 节中实证检验了这些影响。
G.2 参数化
我们现在描述联合预训练-强化学习缩放定律中使用的参数化方法。对于每个由模型大小 和预训练 token 数 索引的预训练模型，我们首先将其强化学习轨迹拟合为强化学习计算量的对数线性函数：
| (7) |
在参考 RL 计算水平上，奖励位于何处，以及每十年 RL 计算的奖励增益是多少。在实践中，我们使用最小二乘回归拟合对数线性形式。然后，我们利用预训练属性对拟合量进行参数化：模型大小、预训练 token 数量以及预训练验证损失。
我们首先考察 对预训练验证损失的经验依赖性。如第 3.3 节所述， 与 呈强单调关系，并且随着 RL 计算切片增大，这种关系变得更加紧密。我们在图 11 中比较了不同的函数形式。在所考虑的候选形式中，我们采用指数参数化，它在拟合质量、简洁性和外推行为之间提供了最佳权衡：
| (8) |
该形式随预训练损失单调递减，并且避免了线性或二次拟合在观测范围之外出现的病态行为。此外，由于 Chinchilla 损失曲面包含一个不可约损失项，因此 存在下界；相应地， 具有有限的上限，而非无限增长。
接下来，我们对 RL 斜率进行参数化。我们比较了仅基于 token 数、基于每个参数的 token 数以及两者的联合形式。如各基准测试的具体结果（图 13 和图 14）所示，在较简单的基准测试上，更强的预训练模型已接近饱和，导致估计出的斜率较小。而在另一个极端，仅在 RL 初始阶段观测到的运行可能尚未展现出稳定的局部缩放趋势。这些效应给斜率估计及其下游预测引入了噪声。我们在 B3-B4 基准测试上观察到，对数尺度的预训练 token 数与 RL 斜率之间存在清晰的单调关系（图 12），斯皮尔曼相关系数为 0.84。然而，联合拟合实现了更低的均方根误差和更高的拟合优度。我们还注意到，预训练损失在 B3-B4 基准测试上预测效果良好，但在 B2 基准测试上则明显不太可靠。因此，联合形式对 RL 斜率的解释最为稳健：
| (9) |
拟合得到的系数中，关于 的系数大于关于 的系数，这表明 RL 斜率主要由预训练数据量驱动，而模型规模仅提供较弱的修正作用。
结合这两种参数化形式，我们得到了最终的联合预训练–RL 缩放定律：
| (10) |
当观测到预训练验证损失时，可以直接使用测量得到的 ，这用于评估拟合得到的映射 和 的质量。当仅有预训练配置可用时，我们则使用 Chinchilla 损失曲面（公式 (3)）来预测 ，并将其代入公式 (10)。由此得到一个从 到 RL 后奖励的完全可预测的缩放定律。
G.3 留一法拟合验证
我们使用留一法（LOO）预测来验证联合定律，该预测基于 36 次具有观测到的预训练评估损失的运行。对于每次被留出的运行，我们在剩余的 35 次运行上重新拟合 和 ，并预测完整的留出运行 RL 曲线。Chinchilla 损失曲面在 LOO 循环内部不进行重新拟合。
我们报告了两种验证模式。第一种称为 Chinchilla-LOO，使用公式（3）预测留出集上的损失。这对应于实际的外推场景，即仅已知所提出的预训练配置。第二种称为 observed-LOO，将留出运行的实测预训练评估损失提供给模型。这隔离了来自 和参数化的误差，去除了预测 带来的额外误差。指标报告在表 6 中。我们在图 15 和图 16 中给出了这两种模式的定性拟合示例。
| 指标 | Chinchilla- | Observed- | 差值 |
|---|---|---|---|
| 整体 LOO RMSE 在 上 | 0.0194 | 0.0102 | +0.0092 |
| 整体 LOO MAE 在 上 | 0.0153 | 0.0078 | +0.0075 |
| 每次运行的中位数 | -0.86 | +0.65 | – |
| 每次运行的平均值 | -3.76 | -0.67 | – |
| 预测值与实际值：Pearson | +0.972 | – | |
| 预测值与实际值： | +0.940 | – | |
| 预测值与实际值：Pearson | +0.890 | +0.890 | – |
绝对误差很小：严格的 Chinchilla- 模式在奖励上获得的 RMSE 为 。每次运行的平均值为负不应被解读为拟合失败。某些运行的观测 RL 轨迹几乎平坦，因此其运行内方差极小；除以这个微小方差会使得 不稳定，即使绝对残差仅在 – 左右。因此，在此验证中，RMSE 和 MAE 比每次运行的平均值更具信息量。
两种 LOO 模式之间的比较表明，预训练损失预测误差占总误差的相当大一部分。从 observed- 切换到 Chinchilla- 使 RMSE 增加了 ，约占严格 LOO RMSE 的 49%。剩余误差归因于 和 拟合中的残差变异，其中 是更难预测的组成部分： 对参考奖励的解释比 对 RL 斜率的解释更清晰。
G.3.1 留一模型规模验证
为了检验联合定律能否外推到未见过的模型规模，我们采用了留一模型规模（LMSO）验证方法：对于所测量的四种规模中的每一种，我们剔除该规模的所有运行数据，并在剩余数据上重新拟合整个流程。具体来说，我们（i）从Chinchilla数据中删除所有被剔除规模的预训练行并重新拟合；（ii）在剩余的联合定律运行数据上重新拟合和；（iii）使用重新拟合的曲面预测每个被剔除运行的、以及完整的RL轨迹。表7报告了每折的指标，表8将LMSO聚合结果与运行级别的留一（LOO）基线进行了比较。
| 被剔除规模 | RMSE() | RMSE() | RMSE() | () | () |
|---|---|---|---|---|---|
| 20M | 0.013 | 0.027 | 0.011 | +0.019 | +0.004 |
| 50M | 0.016 | 0.028 | 0.008 | +0.017 | +0.011 |
| 200M | 0.017 | 0.021 | 0.006 | +0.016 | +0.009 |
| 680M | 0.048 | 0.045 | 0.009 | +0.017 | +0.014 |
| 指标 | 运行级别LOO | LMSO |
|---|---|---|
| 上的总体RMSE | 0.0194 | 0.0242 |
| 上的总体MAE | 0.0153 | 0.0183 |
| 预测的：皮尔逊相关系数 | ||
| 预测的：皮尔逊相关系数 |
我们将680M被剔除规模下的RMSE解释为联合定律在观测规模范围上限处外推误差的最佳经验估计。因此，超出680M的预测（例如第3.2节中1B和2B的外推）应被视为至少具有此量级的外推。
G.4 参考计算量的选择
参考计算量控制着每次运行的对数线性RL轨迹的锚定点。表9比较了几种选择。我们使用，因为它在两种验证模式下都是最佳折中：它达到了最低的Chinchilla-LOO RMSE（与并列），并且与最佳观测-RMSE的差距在以内，同时还能为产生稳定的拟合结果。没有单一的锚定点能在两个标准上都达到最优，而该选择对RL份额趋势的影响很小，在该范围内仅变化几个百分点。
| LOO RMSE，Chinchilla- | LOO RMSE，观测值- | |||||
| 18 | 214.95 | 14.58 | 0.0198 | 0.972 | 0.0214 | 0.0159 |
| 19 | 157.50 | 13.57 | 0.0257 | 0.981 | 0.0201 | 0.0125 |
| 20 | ||||||
| 21 | 114.82 | 12.32 | 0.0368 | 0.975 | 0.0213 | 0.0100 |
G.5 将 SFT 后的 pass@ 作为辅助验证信号
在图 17 中，我们还评估了 SFT 后的 pass@ 指标是否表现出与预训练损失相同的依赖性。在 36 次运行（思维链 SFT 模型）中，pass@ 可以很好地用预训练评估损失的指数函数来拟合，且在 值较大时拟合效果更强。这支持了以下解释：预训练评估损失不仅是一个有用的汇总变量，可用于预测 RL 后的奖励参考点，也可用于预测 SFT 后的下游能力。
SFT 基线奖励本身（基准测试上 RL 之前的平均奖励）也表现出对 的相同定性依赖性。图 18 绘制了 B3B4 群体中该指标与预训练评估损失的关系：指数拟合给出 （Spearman ，近乎完美的单调性），显著优于线性拟合（）。我们还在第 3.3 节的前沿优化中，将此拟合作为物理下限，防止对数线性 RL 外推预测出低于 SFT 基线的奖励。
| 指标 | Spearman | |||
|---|---|---|---|---|
| pass@1 | 1838 | 0.77 | ||
| pass@4 | 1421 | 0.84 | ||
| pass@8 | 1060 | 0.87 | ||
| pass@16 | 789 | 0.89 |
G.6 渐近线上限拟合
遵循 khatri2025art 的方法，我们还通过为每次运行拟合一条逻辑曲线来估计 RL 改进的渐近线。
在固定于 SFT 基线的条件下，通过加权非线性最小二乘法进行估计；90% 置信区间通过 500 次参数自助法获得。我们将此拟合限制在 B1-B4 基准上的 2000 万参数模型族，这是唯一一个在其强化学习轨迹于我们计算预算内进入饱和区的扫描实验。要解析更大模型，每次运行大约需要多一个数量级的强化学习计算量。
在十次 2000 万参数运行中，估计的饱和上限跨度较大，且与预训练评估损失有很好的预测关系（斯皮尔曼相关系数 ，线性关系 ）：从预训练更好的检查点初始化的 SFT 模型，其强化学习渐近线严格更高。与 的关系较弱但方向一致（, ），这符合预期，因为 是两者效应的近端中介变量。图 19 可视化了这些依赖关系以及每次运行的自助法置信区间。
G.7 外推计算最优前沿
拟合出的规律使我们能够评估任何假设的训练方案，而无需实际运行。一个方案由三元组完整定义：模型规模 、预训练 token 数量 以及强化学习计算量 。
按规模划分的前沿。
对于固定的模型规模和总计算预算 ，该方案仍有一个自由自由度：如何在预训练（）和强化学习（）之间分配。我们通过最大化受预算约束的预测奖励来解决这一问题，
| （11） |
在密集网格上进行扫描，并求解剩余的 。这描绘出单个模型规模在总预算函数下的计算最优奖励曲线。
我们通过网格搜索来确定最优分配，搜索范围覆盖了分配方案中 、 以及隐含的 均落在拟合的预训练和强化学习规模定律所支持区间内的所有可能。对于每个 值，我们首先在 的粗粒度网格上评估约 400 种可行分配。由于候选集是有限的，穷举枚举可以确定该网格上的全局最大值。随后，我们在粗粒度网格中表现最佳的区域周围评估一个更细粒度的网格。我们在图 20 中报告了该前沿的敏感性。这种细化降低了离散化误差，但并不能保证在无限制的连续域上达到全局最优。因此，所报告的解决方案仅在评估的候选集内以及拟合规模定律的经验支持范围内是最优的。我们不将其解释为在所考虑的计算范围之外进行外推时全局最优性的保证。
全局前沿。
我们在模型规模阶梯上对（11）进行了评估，即我们实际训练过的规模，并辅以假设的填充规模，然后在每个预算下取其上包络线：。随着预算增长，达到最大值的规模会发生变化，因此全局前沿是一系列接管过程，其中逐渐更大的模型成为计算最优。对于每个前沿点，我们还记录了计算最优的 RL 份额，该份额量化了预算应如何在前沿上在预训练和 RL 之间分配。取规模阶梯的连续极限（与 联合优化）可得到平滑的连续最优值，我们使用 Nelder–Mead 单纯形法（avriel2003nonlinear）在每个预算下计算该值，该方法从粗网格搜索初始化，并从上一预算的解进行热启动。图 4 展示了由此产生的前沿以及沿该前沿的 RL 份额。由于我们的定律是局部拟合的，我们将外推限制在我们实际观察到的计算范围内。在此范围内，该定律预测的全局前沿与实测运行的实证前沿紧密吻合，证实了拟合的定律忠实地恢复了计算最优的权衡。沿此前沿，RL 最优计算份额从 50M 时的 增加到 680M 时的 。
这表明，在较低计算量区间，额外的预训练仍然是计算资源更有价值的用途，而随着总计算预算的增长，RL 应获得分配中比例更大的份额。
G.8 局限性
在解释拟合定律时，有几个局限性非常重要。
首先，该定律假设在测量的计算范围内，RL 奖励相对于 近似为线性。这是一个经验性的局部近似。不应将其解释为 RL 改进无界的证据。
其次，严格的外推设置会叠加两种误差来源：Chinchilla 损失曲面的预测误差以及 和 映射中的残差误差。观察到的 LOO 设置表明后者较小，但实际设置需要从 进行预测。
第三，其噪声水平明显高于 。参考奖励受到预训练损失的强烈控制，而强化学习斜率则存在额外的未解释变异。这可能反映了优化器细节、SFT/RL 数据差异、奖励模型变化，或当前参数化中未包含的其他运行层面因素。
最后，数据在观察到的模型规模、token 数量和强化学习计算范围附近最为密集。因此，前沿分析最好被视为在拟合假设下对分配趋势的诊断，而非声称相同的指数在训练分布之外的任意远处仍然成立。
附录 H 走法策略演化
H.1 从 Token 空间到走法空间：策略演化指标
尽管训练是在 token 空间中进行的，但所有策略演化指标都是在走法空间中定义的。这是可行的，因为每个有效的 token 前缀都对应一个合法的棋盘状态，并且该状态下的每个合法走法都有一个 token 序列化表示。
诱导走法策略。
对于预训练，定义原始走法得分 和诱导走法策略 。
对于后训练阶段 ，轨迹策略 诱导出一个根条件轨迹策略 。在固定轨迹 的条件下，定义原始走法得分 和条件走法策略 。对轨迹进行边缘化处理，得到根条件边缘走法策略 。由于枚举所有可能的推理轨迹在计算上不可行，我们在实践中通过蒙特卡洛采样来估计边缘化走法策略。对于每个提示词，我们从轨迹策略中采样 rollout，并将边缘策略近似为
H.2 拟合幂锐化变换
我们使用两种互补的诊断方法来测试强化学习是否主要通过简单的概率锐化来变换 SFT 边缘策略。对于状态 ，令
其中 表示一个合法走法。给定系数 ，将 SFT 策略的 -幂变换定义为
当 时，该变换通过增加高概率走法上的相对质量来锐化 SFT 分布；当 时，它会使分布变得平坦。
KL 幂拟合。
第一种诊断方法通过将强化学习策略投影到 SFT 幂族上来拟合一个单一的全局锐化系数。具体来说，我们选择
其中 \( w_s \) 是状态权重。默认情况下，我们对各状态采用均匀加权。
拟合值 \( R^2 \) 衡量分布层面锐化的程度。若 \( R^2 \) 较高，则最佳幂近似将 SFT 策略向 RL 策略锐化。剩余散度衡量 RL 更新中未被简单幂锐化解释的部分。我们使用以下指标总结拟合质量：
\( R^2 \) 值高表明 RL 策略能被幂锐化后的 SFT 策略很好地近似。\( R^2 \) 值低则表明 RL 以均匀锐化变换无法捕捉的方式重塑了分布。
中心化 logit 线性拟合。
第二个诊断检验幂锐化所隐含的 logit 几何结构。对幂变换取对数后可知，在状态相关的归一化常数范围内，幂锐化对中心化对数概率进行线性缩放。对每个状态，定义：
随后我们拟合线性关系：
跨状态和动作进行拟合，并报告拟合斜率 \( \beta \) 和决定系数 \( R^2 \)。斜率 \( \beta \) 表示中心化对数概率空间中的锐化程度，而 \( R^2 \) 衡量 RL 策略在多大程度上可由 SFT logit 的纯缩放来解释。
表 11 和表 12 展示了拟合结果。\( \beta \) 和 \( R^2 \) 在 RL 过程中均呈上升趋势，但其分布显示出显著的样本层面异质性。
| 阶段 | \( \beta \)（全局） | \( \beta \)（中位数 [IQR]） | ExplainedSharp（全局） | ExplainedSharp（中位数 [IQR]） |
|---|---|---|---|---|
| 预训练 SFT | 0.57 | 0.63 [0.44, 0.88] | -0.01 | 0.09 [-0.01, 0.26] |
| SFT RL_50 | 1.05 | 1.12 [0.91, 1.41] | 0.03 | 0.16 [0.02, 0.54] |
| SFT RL_100 | 1.15 | 1.25 [0.98, 1.64] | 0.09 | 0.24 [0.03, 0.68] |
| SFT RL_250 | 1.27 | 1.47 [1.07, 2.06] | 0.16 | 0.42 [0.07, 0.84] |
| SFT RL_500 | 1.27 | 1.52 [1.03, 2.39] | 0.14 | 0.39 [0.04, 0.88] |
| SFT RL_750 | 1.35 | 1.72 [1.14, 2.81] | 0.17 | 0.49 [0.08, 0.93] |
| 阶段 | \( \beta \)（全局） | \( \beta \)（中位数 [IQR]） | \( R^2 \)（全局） | \( R^2 \)（中位数 [IQR]） |
|---|---|---|---|---|
| 预训练 SFT | 0.60 | 0.62 [0.47, 0.76] | 0.40 | 0.44 [0.30, 0.58] |
| SFT RL_50 | 0.99 | 1.03 [0.89, 1.16] | 0.68 | 0.75 [0.62, 0.85] |
| SFT RL_100 | 1.03 | 1.07 [0.92, 1.21] | 0.63 | 0.71 [0.57, 0.81] |
| SFT RL_250 | 1.07 | 1.12 [0.94, 1.29] | 0.60 | 0.68 [0.53, 0.80] |
| SFT RL_500 | 1.06 | 1.12 [0.94, 1.29] | 0.57 | 0.65 [0.49, 0.77] |
| SFT RL_750 | 1.13 | 1.18 [0.99, 1.38] | 0.56 | 0.63 [0.48, 0.76] |
H.3 策略分类
表 13 给出了我们所考虑的所有类别的正式定义。直观上，这些类别区分了以下更新类型。正确落子强化：指正确落子已排名第一并得到进一步强化的情况。尾部发现：指训练将一个正确落子从低概率尾部提升到 top- 集合中的情况。Top- 修正：指将一个最初合理但未排名第一的正确落子提升到 top- 集合的情况。正确落子退化：指一个之前排名 top- 的正确落子被降级的情况。错误模式放大：指正确落子仍处于 top- 集合之外，而最初偏好的错误落子得到进一步强化的情况。所有剩余的转变归入“其他”类别。我们将 设为 0.05。
| 类别 | 描述 | 条件 |
|---|---|---|
| 正确落子强化 | 正确落子仍处于 top- 集合中，且概率增加。 | |
| 尾部发现 | 一个低概率的正确落子被提升到 top- 集合中。 | |
| Top- 修正 | 一个非尾部的正确落子被提升到 top- 集合中。 | |
| 正确落子退化 | 一个之前排名 top- 的正确落子被降级，退出 top- 集合。 | |
| 错误模式放大 | 正确落子仍处于 top- 集合之外，而初始 top-1 错误落子得到强化。 | |
| 其他 | 所有剩余情况，包括稳定的 top- 结构、错误模式之间的切换，以及未将正确落子提升到 top- 集合的部分变化。 | 其他情况。 |
H.4 CoT 演化分析
作为补充视角，我们考察了推理轨迹的结构在强化学习训练过程中如何演变。由于我们的思维链格式包含明确的走棋序列，每次 rollout 都可以重构为一棵以谜题状态为根节点的前缀树（第 2.2 节），其中每个节点对应一步走棋，这使我们能够探究模型推理的结构与质量。
我们从三个维度刻画推理轨迹的属性：（1）搜索形状定义了解析树的结构特性：节点数量、最大深度、平均分支因子以及宽度与深度之比（其中 为叶子节点数量）。（2）走棋质量通过归一化排名 对候选走棋与 Stockfish 引擎进行评分，其中 为该走棋在该局面所有合法走棋中的 Stockfish 排名（ 为最佳）；数值越低表示走棋越强。我们分别报告玩家第一步候选走棋和模型预测的对手应着这两个指标。（3）搜索行为通过测量与深度优先搜索的一致性以及节点重访比例来捕捉遍历模式。所有指标均按每次 rollout 计算，在同一提示词内的 rollout 间取平均，再跨提示词汇总。
结构化思维链揭示了细粒度的搜索动态以及更深层搜索中的弱点。在图22中，我们比较了在匹配计算量下预训练的20M和50M模型的两个代表性强化学习运行结果。其他指标见附录H.4中的图24和图25。这些结构化思维链指标比单纯的推理token计数（图23）提供了更细粒度的搜索行为视图。解析后的搜索轨迹显示，平均而言，模型主要扩展搜索广度而非深度，因为宽度与深度之比和分支因子增加，而最大搜索深度大致保持不变。20M模型在训练过程中倾向于提出更多不同的候选走法，这也有助于解释其pass@指标的提升。同时，思维链中提出的走法质量在模型自身走法和其预测的对手回应两方面都有所提高，其中模型自身走法方面的提升更大。模型也变得更倾向于在其思维链中提及真实走法，并致力于它已考虑过的最佳候选方案。有趣的是，生成的搜索轨迹与严格的深度优先搜索序列化顺序的一致性降低，显示出对先前考虑过的线路有更多回溯。尽管有这些改进，图25显示模型仍然难以恢复需要更深层搜索的后续走法，这表明当前的强化学习训练在提升候选生成和选择方面的速度可能快于提升长程搜索能力。理解这些结构化搜索特征如何影响性能，可能有助于指导未来的监督微调数据筛选和构建，使其倾向于鼓励更深层、更系统化搜索的示例。
附录 I Olmo 实验补充细节
I.1 实现细节
我们预训练了一个 1B 参数的 OLMo-2 语言模型，将中间检查点作为预训练规模的锚点，将每个锚点退火至收敛，在数学推理轨迹上进行监督微调，最后运行 GRPO 强化学习。所有运行中架构固定不变；各锚点之间的唯一变量是预训练 token 数量。表 14 和表 15 总结了相关设置。
| 架构（OLMo-2） | 数值 |
|---|---|
| 总参数量 | 1.48 B |
| 非嵌入参数量 | 1.07 B |
| 层数 | 16 |
| 隐藏层大小 | 2048 |
| FFN 中间层大小 | 8192 |
| 注意力头数 | 16 |
| KV 头数（无 GQA） | 16 |
| 词表大小 | 100,278 |
| 最大位置编码 | 8192 |
| 位置编码 | RoPE () |
| 输入/输出嵌入共享 | 否 |
| 精度 | bf16 |
| 预训练（稳定阶段） | 退火 | 监督微调 | 强化学习（GRPO） | |
| 数据 | Dolma3/Dolmino 混合数据集 | （同一语料库） | NuminaMath-CoT | GSM8K + MATH + DeepScaler 混合数据集 |
| 样本数 / token 数 | 200 B 个 token | 每个锚点 5 B 个 token | 859,490 个样本（0.46 B 个 token） | 最多 3000 步 |
| 序列长度 | 4096 | 4096 | 4096（截断） | 512 提示词 / 3584 回复 |
| 全局批次 | 512 个序列（2.1 M 个 token） | 512 个序列 | 512 个样本 | 128 个提示词 8 |
| 优化器 | AdamW | AdamW | AdamW | AdamW |
| (0.9, 0.95) | (0.9, 0.95) | — | — | |
| 权重衰减 | 0.033（嵌入层为 0） | 0.033 | — | — |
| 峰值学习率 | ||||
| 学习率调度 | WSD（预热+常数） | 线性衰减至 0 | 余弦 | 常数 |
| 预热 | 2 B 个 token | — | 步骤数的 3% | 50 步 |
| 轮数 / 步数 | 95,368 步 | — | 1 轮（1679 步） | 3000 步 |
| 打包 | — | — | 否（每个序列一个样本） | — |
| 损失掩码 | 所有 token | 所有 token | 仅助手部分 | — |
I.2 附加结果
图 26 报告了下游基准测试上的拟合结果。
