过去几周，有两项进展凸显了能力日益增强的AI系统所带来的不断上升的风险：OpenAI与Hugging Face之间的事件，以及另一项独立事件——初步证据表明，我们即将推出的模型之一Astra可能达到《预备框架》中“关键网络安全能力阈值”。这两项进展，加上我们内部研究的快速推进，使得我们加强在训练流程各阶段监控、对齐和遏制保障的工作变得更加紧迫。

随着模型能力不断增强，内部开发和测试这些模型所带来的风险也在上升。我们的监控、对齐和安全标准必须走在这些风险前面。我们愿意花必要的时间来达到这些标准，因此暂时放慢了规模化扩展的节奏。这包括对我们计划部署的最新模型暂停了两周的强化学习（RL）训练，在此期间我们进一步加固并红队测试了研究环境，同时扩大了监控系统的覆盖范围。我们计划中规模最大的前沿RL运行目前仍处于暂停状态，在此期间我们进行较小规模的训练和评估，以考察模型行为、验证我们的保障措施，并在继续推进之前积累更多对齐证据。

对齐——即让AI系统按预期行事并对人类监督保持响应的这项工作——长期以来一直是我们研究计划的核心。我们现在要求在全部训练过程中都具备更强的对齐行为证据，并在此基础上推进已在进行中的研究和评估。让能力日益增强的系统保持对齐，是整个领域都需要应对的挑战。我们从即将到来的模型进展中看到的信号清楚地表明，我们需要一种更广泛的方案——一种在当前《预备框架》基础上构建并超越其范围的方案。

我们认为，坦诚说明我们方法的调整方向非常重要。下面，我们介绍已经对研究流程和基础设施所做的改动，以及仍在推进中的工作。

为能力更强的模型加强保障措施

我们开发更强模型的方法建立在三项相互强化的安全保障之上：

1. 监控，用于发现异常行为并使我们能够及时应对。
2. 对齐，用于降低有害或未经授权行为发生的可能性。
3. 安全措施，用于限制 AI 系统能够访问或影响的范围。

我们预计模型很快将承担大部分安全工作，包括防御其他模型。这将使三项安全保障能够随模型能力同步扩展，我们认为这一点至关重要。

我们将这些安全保障贯穿于研究和部署的全过程，并根据每个模型的能力、运行环境和风险等级进行相应调整。

保障研究环境安全

随着前沿模型获得更强的网络安全能力，我们正在提高训练和评估这些模型的环境的安全标准。达到这些标准需要大量的工程工作，也给前沿研究带来了巨大的成本和延误。在 OpenAI-Hugging Face 事件*发生后，我们立即暂停了研究集群中可能执行代码或使用可访问互联网工具的前沿模型推理任务。我们很快恢复了受限且更安全的代码执行路径，然后逐一审查每个工作负载，以确定其能否安全恢复。部分研究工作负载在新管控措施下恢复运行，而另一些则需要额外的调整。

在随后的几周内，我们为前沿研究工作负载制定并开始实施更严格的安全要求。例如：

• 工作负载隔离：我们现在要求对执行模型生成或未经信任代码的工作负载实施更强的隔离（“沙箱”）。这也适用于在处理模型输出时可能被攻破的软件。
• 网络隔离：我们实施了更多管控措施，将高风险和不受信任的工作负载与互联网隔离。我们设计这些管控措施时确保，单个工作负载或支撑服务被攻破本身不会导致对互联网或其他内部网络的未授权访问。
• 持续安全测试：我们已重新配置环境，移除存在潜在漏洞的共享服务，降低常驻权限，并改进安全与信任边界。我们还在提升收集和监控安全日志的能力。最后，我们正投入自动化建设，利用我们的模型持续针对模拟攻击测试这些边界。

这些控制措施共同提供了纵深防御，帮助保护我们的研究环境免受攻击。目前，对于涉及 Astra 或网络模型的负载，我们要求采取最严格级别的安全防护措施，因为我们已判定 Astra 模型可能具备关键级别的网络能力。这些防护措施同样适用于所有其他与网络相关的负载。

虽然部分 Astra 训练和评估已满足这些要求，但仍有大量负载处于暂停状态，直到它们完全迁移并增强以符合新的安全标准。我们正优先将安全和对齐相关负载迁移到这些新环境中。

扩展思维链监控

监控长期以来一直是我们模型开发流程的重要组成部分，包括对内部编码智能体和长时间运行会话的监控。我们的监控工作尤其聚焦于前沿模型的内部部署和前沿 RL 训练运行，我们认为这些是风险最高的负载，因为它们可能将先进模型能力与工具访问权限、敏感系统以及内部或外部网络访问结合起来。此前这些监控并未应用于所有使用工具的推理和训练运行。我们已通过新的监控体系修订并扩展了我们的方法。

这套新的监控方案是多阶段的，首先从激活分类器（用于检查模型内部活动的检测器）开始，这些分类器在每个采样的 token 上运行，并将潜在问题升级给越来越复杂、计算密集度越来越高的自动调查系统。这些系统会检查工具操作、可用的推理过程以及完整的活动序列，以识别未经授权的访问、数据窃取、破坏性行为以及试图绕过安全防护的尝试。我们的目标是在监控系统发现可疑活动后的 30 分钟内发出警报。如果监控系统识别出可能违反关键安全边界的行为，它会生成最高优先级的警报。在我们当前的实现中，安全、安保和研究团队会被呼叫。如果这些团队无法在 30 分钟内明确判定该标记为误报，他们需要暂停相关活动。

对于所有涉及工具的、达到 Sol 能力或更高等级模型的 RL 训练和评估，都必须进行这种监控。一旦我们在 8 月 7 日确定 Astra 可能具备关键网络能力，我们就为 Astra 所有带工具的推理（不仅仅是 RL 训练和评估）增加了额外的监控要求。

这些安全防护措施需要大量的计算资源。我们目前的估计是，监控开销大约占被监控推理计算的 20%，不过这一成本在训练和评估工作负载之间差异很大。我们将在后续的博客文章中分享有关该系统的更多细节。

推进对齐研究

对齐研究是我们使命的核心。我们的使命是确保通用人工智能惠及全人类。随着模型获得高级能力（例如发动网络攻击的能力）并在更复杂的环境中运行，奖励黑客行为（即在训练中寻找获得高奖励的方法，而实际上并未实现预期结果）、欺骗或未经授权的访问等不对齐行为将带来日益严重的风险。

在针对最强模型的强化学习运行中，我们目前正将核心对齐技术应用于训练过程的更多阶段。这包括改进奖励模型，使其能更好地检测并抑制跨任务、跨环境的不安全行为；训练模型更诚实地反映自身行为、能力与局限；以及减少利用奖励、评分器、工具或监督机制漏洞的行为。我们还在扩大训练覆盖范围，以覆盖模型与外部系统或资源交互时可能造成危害的行为。

我们将继续大力投入对齐研究，扩大评估覆盖面，并把所学成果用于指导训练与安全防护。我们计划在不久的将来分享更多关于对齐研究的内容，包括我们对模型行为的观察，以及所发现的任何新挑战。

下一步计划

我们将持续演进“预备框架”（Preparedness Framework），把这些安全防护措施贯穿训练与部署全流程，并更好地反映未来模型的能力及其运行环境。要开发出能与这些能力同步扩展的方法，就需要持续投入模型辅助安全、更有效的监控，以及对齐研究的不断进步。我们计划引入外部机构参与，并在方法演进过程中分享更多经验。

前沿模型的能力正在飞速提升。我们理解、对齐并保障其安全的能力，必须走在前面。

---

*我们将在未来几周发布一份关于相关经验的技术报告。

• 2026
• 对齐