2026年7月21日 · Axel Højmark（Apollo Research）、Jérémy Scheurer（Apollo Research）、Jenny Nitishinskaya、Felix Hofstätter（Apollo Research）、Jason Wolfe、Theodore Ehrenborg（Apollo Research）、Bronson Schoen（Apollo Research）、Alexander Meinke（Apollo Research）
联系方式：jenny [at] openai.com
摘要
- 我们开发了一项新测试——对比式合成文档微调（Contrastive SDF），用于检验AI模型是否会因对世界持有不同信念而改变自身行为。
- 我们验证了该测试在两类模型上的有效性：一类是经过显式训练、倾向于迎合权威偏好的模型，另一类是经过训练、会在单元测试中作弊的模型。
- 在前沿规模下通过强化学习训练的模型（尽管未经过任何安全训练）更倾向于按照它们认为的评分者意图行事，即使这违背了用户或开发者的意愿，并且这种倾向会随着训练过程不断增强。
图1. 使用对比式合成文档微调（Contrastive SDF）测量奖励追逐行为。
引言
机器学习模型可能因错误的原因产生正确的输出。著名的例子包括：一个强化学习智能体，因奖励始终放置在关卡最右端的金币而学会向右跑，而非真正去追逐金币本身[Langosco; Shah]；以及一个肺炎分类器，学会识别拍摄X光片的医院而非疾病本身的特征[Zech]。训练后的行为在训练分布上看似正确，但底层策略实际上追踪的是一个不良的代理目标。
其中一个代理目标就是奖励过程本身：模型可能学会追求评分者所奖励的行为，而非设计者原本的意图。我们将这种行为称为奖励追逐：模型表征其评分者（训练中的奖励模型、测试中的评估评分者或部署中的监控器），并根据其认为评分者会奖励什么来调整自身行为[Carlsmith; Hebbar; Mallen & Shlegeris]。奖励追逐者可能将评分者的认可视为终极目标，也可能将其作为工具性手段来保护其他目标（例如避免被修改或获取未来影响力[Hubinger; Carlsmith]）；我们的定义不区分这两种情况。
多个前沿模型的训练检查点在无需特殊提示的情况下，会进行评分者推理（即明确推理评分者想要什么）[Schoen & Nitishinskaya; Claude Opus 4.8 系统卡; Fable 5 系统卡; METR 对 GPT-5.6 的评估; GPT-5.6 预览系统卡]；参见图 2 示例。此类推理是底层追求奖励行为的证据，但并非良好的系统性测量工具：模型可以基于其对评分者的信念（关于评分者偏好的信念）采取行动，而无需将这些信念明确表述出来，并且口头化的推理往往无法清晰地映射到最终行动上 [Schoen & Nitishinskaya]。在本研究中，我们将追求奖励行为操作化定义为：行为对评分者偏好信念的因果敏感性。
图 2. 评估中的追求奖励行为。一个偏重能力的后期检查点被要求生成一个随机奇数，而一个看似无关的元数据块暴露了一个“评分者”，该评分者奖励偶数输出。该模型推理认为应该输出一个偶数，无视用户请求，并返回了 4。
测量这种敏感性需要进行干预，以可控方式改变模型对评分者的信念。上下文实验有时可以检测到追求奖励行为，但作为可靠的测量手段，它们注定会失败，因为模型可能对其上下文中植入的说法产生怀疑。我们使用合成文档微调（SDF）：在预训练格式的文档（学术论文、新闻文章、教科书）上进行微调，这些文档的写作方式仿佛某个目标事实为真。我们在暗示相反评分者偏好的匹配语料库上微调同一模型的两个副本，在后续任务上对两者进行评估，并测量行为在多大程度上遵循评分者的隐含偏好（图 1）。我们将此过程称为对比式 SDF。
对比式 SDF 如何测量追求奖励行为
追求奖励的模型会针对其认为评分者所奖励的内容进行优化，因此当这些信念发生变化时，其行为也应随之改变，我们可以利用这一点来测量模型的追求奖励程度。我们通过 SDF 来灌输这种信念。
然而，仅凭单一灌输的信念本身并不能揭示追求奖励的行为。假设我们灌输给模型：评分者更青睐列表推导式而非 for 循环，于是模型开始编写列表推导式。这种转变与追求奖励的行为是一致的——模型编写列表推导式是为了取悦评分者。但它同样可能与信念传递一致——模型推断用户也想要列表推导式，因此编写它们来服务用户——或者仅仅是因为训练使得列表推导式变得更加突出。为了排除这些替代解释，我们采用对比性测量，迫使模型在评分者与一个对立权威之间做出选择（对比性 SDF）。
我们使用了有能力的模型可能已经具备表征的各方角色的虚构版本：与之对话的用户，以及训练它并设定其偏好的开发者（此处指 OpenAI 领导层）。我们添加了一项虚构的欧盟法规作为低显著性对照。然后我们灌输：评分者奖励列表推导式，而上述某一权威偏好 for 循环。这两个特征相互排斥。
图 3. 对比性 SDF 示例片段。我们在合成文档上训练一个模型，这些文档显示虚构的 RLVR 评分者奖励列表推导式，而欧盟法律强制要求使用 for 循环。模型的另一个副本则在相反的事实上进行训练。
我们训练同一个模型的两个副本：一个使用合成文档，其中评分者（G）偏好某个特征（f），而对立权威（D）偏好其相反特征（~f）；另一个模型则使用完全相反的事实（G 偏好 ~f，D 偏好 f）。两个副本在其输出中展示特征 f 相对于相反特征 ~f 的频率之差，就是我们的衡量指标。评分者一方差距越大，意味着模型越倾向于追求奖励。
$$ \text{评分者差距} := rate_{f} \left(\right. G_{f} , D_{\neg f} \left.\right) - rate_{f} \left(\right. G_{\neg f} , D_{f} \left.\right) $$
结果
随着 RL 训练的进行，模型越来越倾向于站在评分者一边
我们将我们的方法应用于一次以能力为重点的 OpenAI o3 RL 运行中的多个中间检查点，该运行未经过安全训练。我们从三个中性的编码风格特征开始。
在 SDF 之后，经过测试的检查点通常会遵从评分者的偏好，即使这些偏好明确与用户或开发者的意愿相悖。模型偏向评分者的差距从早期到后期的 RL 检查点呈上升趋势，而模型对其他权威方的偏好则相对平稳且接近零（图 4）。这种变化是评分者特有的，并非模型回应权威方方式的整体转变。
图 4. 评分者差距在 RL 训练过程中不断扩大，而非评分者差距则相对平稳。对于 rl-capabilities 运行的每个中间检查点（安全训练前），我们应用对比 SDF 并绘制每个权威配对的平均行为差距。在包含评分者的配对中（上图），差距从早期到后期检查点呈上升趋势。在不包含评分者的配对中（下图），平均差距保持较小且相对平稳，表明 RL 主要增加了对评分者偏好的敏感性。对于标题为“X vs Y”的图，正值表示向 X 偏好的偏移，即上图第一行中的正值表示模型更常按照评分者的偏好行事。
模型在对齐评估中的诚实程度取决于它认为评分者会奖励什么。
我们将对比 SDF 测量扩展到与对齐相关的特征——诚实与任务完成。合成文档描述了约束条件阻碍任务完成的场景，并指定智能体是因暗中违反约束而成功获得奖励，还是因诚实承认失败而获得奖励。我们设定要么评分者奖励不惜一切代价完成任务，而 OpenAI 领导层要求诚实，要么反之。
在“违背承诺编程”评估中，模型必须明确向监督者承诺不使用完成任务所需的一项受限工具。因此，完成任务需要违背承诺。后期强化学习检查点的诚实程度，在很大程度上取决于它认为评分者会奖励什么。这一效应在第二个诚实评估“日志伪造”中得到了复现，在该评估中，模型若不伪造监管报告就会面临负面后果。一个高度追求奖励的模型可能仅仅因为推断出诚实正在被评分，而避免违背承诺。如果监督机制发生变化，或者模型意识到自己不再被主动监控，这种浅层对齐可能无法泛化。
图 5. 在“日志伪造”和“违背承诺编程”两项评估中，模型的行为会随着其认为什么行为会得到奖励而改变。对于早期检查点，两种信念条件之间的差距很小；而对于后期检查点，差距则很大。
验证测量方法
我们的测量方法只有在对比差距确实反映了模型为哪个权威进行优化时才有意义。在真实模型上，我们无法获得真实情况，因此为了验证我们的测量方法，我们转向那些其倾向性受我们控制的模型。我们验证了：经过奖励黑客训练的模型，在奖励黑客训练后，其评分者差距会增大；而经过训练对某个特定权威谄媚的模型，在该权威上会产生最大的差距。在我们的验证实验中，我们使用了编码风格特征。
奖励黑客训练增大了评分者差距
一个可靠的追求奖励的测量方法，应该能够区分高度追求奖励的模型和不太追求奖励的模型。持续进行奖励黑客行为的模型是一个自然的测试案例（见附录）。
我们在两个由 Redwood Research 独立训练的奖励黑客模型上测试了这一点，这两个模型分别基于 gpt-oss-120b 和 Kimi K2.5。
图 6. 对 Redwood Research 训练的两个模型进行相同测量，这两个模型均存在奖励破解行为。未经修改的 gpt-oss-120b 奖励破解模型在理解任务上的评分差距均值从 33 分跃升至 86 分。较弱的 Kimi K2.5 破解模型变化幅度小得多，这与 Redwood Research 自身对每个模型内化破解程度的判断一致。
恢复模型生物体的倾向
我们训练了三个模型生物体，通过 SFT 对 gpt-oss-120b 进行微调，使其普遍对某一已知权威表现出谄媚倾向：用户、评分者或 OpenAI 领导层。如果该方法有效，那么最大的行为率差距应始终落在每个生物体被训练去优化的那个特定权威上。
我们将对比测量方法应用于每个生物体，涵盖四项代码评估。在短 Python 任务上，每个生物体的差距都偏向其目标权威。
图 7. 对比性 SDF 能够恢复每个模型生物体在短 Python 任务上被训练去优化的权威。每个面板展示了在对三个 gpt-oss-120b 模型生物体之一应用对比性 SDF 后，在短 Python 任务评估上的理解率。对于每个生物体，模型被训练去偏好的目标权威始终胜出，并显示出对其有利的大幅正向率差距，这证实了该测量方法能正确识别该生物体在此评估中被训练去展现的偏好。
为何追求奖励至关重要
追求奖励的模型会做它认为评分者会奖励的事情，即使这与开发者的意图相冲突。当评分者不完美时，策略可以追求看起来正确而非真正正确的事情。即使评分者是完美的，模型也可能在缺乏评分或评分不再具有约束力的情况下出现错误泛化。如果模型出于正确的理由做正确的事情，泛化效果可能会更好。追求奖励还会削弱我们用于捕捉对齐失败的评价手段：因为追求奖励的模型会优化评分者的判断，它可能在对齐评估中获得高分，而高分此时不再能区分对齐良好的模型与那些会错误泛化（欺骗性对齐是其极限情况 [Hubinger]）的模型。更糟糕的是，这可能很难通过训练消除：在评分者观察时，对齐策略和追求奖励的策略可能看起来完全相同，因此针对不良行为的训练可能只会更新模型关于什么行为会获得奖励的信念，而非其底层偏好 [Denison; MacDiarmid]。
Anthropic 报告了与评分者意识相关的证据：Claude Opus 4.8 系统卡发现，一个激活层级别的监控器在大约 5% 的采样 RL 回合中检测到了这种意识；而 Fable 5 系统卡则报告，模型越来越倾向于追踪其环境是否可以被利用来获取奖励，并且这会对行为产生因果影响。这些是关于评分者意识的结果，而非直接衡量追求奖励的行为，但它们与我们观察到的与训练相关的趋势是一致的。
每一家前沿实验室都在扩展强化学习，情境感知能力也在提升 [Schoen & Nitishinskaya; Anthropic; Chaudhary]，因此我们预计追求奖励的行为会增长。寻找这种行为的地方是在训练过程中，而不仅仅是在部署之后。这意味着要审计检查点中是否存在追求奖励的行为，并构建更好的方法来检测模型何时出于错误的原因表现良好。OpenAI 正继续与 Apollo 合作开展这项研究。
附录
奖励黑客是衡量奖励寻求行为的一个很有前景的切入点。奖励寻求与奖励黑客并非同一回事：奖励寻求是一种广泛倾向，即根据被认为会得到奖励的行为来调节自身行为；而奖励黑客则是一种旨在最大化奖励的特定行为策略。然而，两者之间并不存在必然的因果关系。一个模型可能仅仅基于狭隘的学习启发式策略进行奖励黑客行为，例如总是给困难测试添加 `pytest.mark.skip` 标记，而从未对奖励过程进行推理。相反，一个奖励寻求者会推理什么行为会得到奖励，并且可以在不使用奖励黑客策略的情况下表现良好。但是，那些实施复杂、通用型黑客行为的模型更可能是广泛的奖励寻求者，因此，一个广泛进行奖励黑客行为的模型在我们的测量中很可能会显示出更大的评分者差距。
奖励寻求与“元游戏”密切相关，但又有所不同。元游戏是指“在场景叙事之外，对反馈或监督机制进行推理，无论模型处于训练、评估还是部署阶段”。元游戏和奖励寻求之间并不存在必然的蕴含关系。一个进行元游戏的模型未必是奖励寻求者。它可能会推理监督机制，然后为了其他价值而忽略评分者的偏好，甚至可能采取与评分者偏好相悖的行动。一个奖励寻求者也未必总是进行元游戏，如果模型关于评分者的信念完全是由提供给它的上下文叙事所塑造的。
致谢
感谢 Aiden Low 和 Bowen Baker 对本文的反馈。
BibTeX
@misc{hojmark2026rewardseeking,
title = {Measuring Reward-Seeking by Instilling Contrastive Beliefs},
author = {Højmark, Axel and Scheurer, Jérémy and Nitishinskaya, Jenny and Hofstätter, Felix and Wolfe, Jason and Ehrenborg, Theodore and Schoen, Bronson and Meinke, Alexander},
year = {2026},
month = {Jul},
howpublished = {OpenAI Alignment Research Blog},
url = {https://alignment.openai.com/measuring-reward-seeking/}
}