返回
原文
OpenAI：Alignment 研究博客（RSS）
精选
73AI 编辑部评分，满分 100

公开聊天数据能否预测真实世界AI失调？

2026-06-17 02:00· 61天前· Hannah Sheahan and Micah Carroll
AI 导读

OpenAI利用WildChat公开数据集（2023年4月至2024年5月收集的100万条对话）模拟模型部署，预测GPT-5.1、GPT-5.2、GPT-5.4在真实生产环境中的不良行为率。与私有生产数据对比发现，WildChat模拟的平均预测误差约3倍；但对技术性和智能体型失调的预测精度下降。研究验证了公开数据集作为外部审计工具的可行性。

推荐理由

用公开旧聊天数据预测模型真实失败率，误差居然在 3 倍以内，做外部审计的可以认真看看。不过 agentic 场景明显不行，需要新数据集。

正文 · AI 翻译

前沿 AI 模型越来越多地被应用于具有实际经济、法律和社会影响的场景中。因此，政府、AI 安全组织以及独立研究人员需要找到方法来评估这些系统在真实条件下的表现。

传统的评估方法使用手写、合成或对抗性提示词，在受控条件下对已知风险进行压力测试并比较模型。但这些提示词可能范围狭窄、缺乏代表性，或者容易被识别为测试。另一种互补的评估方式，即观察模型在现实世界中的实际表现，通常是查看用户与模型之间的真实对话。大语言模型开发者可以在内部通过从生产数据中采样样本来实现这一点，从而检查模型是否给出了恰当的回应，以及不同故障发生的频率。基于真实使用情况的证据有助于缩小基准测试结果与部署行为之间的差距[1]，并且不易受到模型因被测试而表现异常的影响[2,3,4]。然而，外部评估者通常无法获取这些证据。由于真实用户对话涉及隐私，实验室通常无法将其分享给 AI 安全组织、学术界或独立研究人员。因此，关于前沿模型行为的最具信息量的证据，往往依赖于只有构建这些模型的实验室才能获取的数据。

今天，我们分享了关于“部署模拟”的工作，该方法利用近期生产数据来预测模型在部署前的不良行为发生率，包括罕见且模型特有的病理现象[1,5]。在这篇博客中，我们探讨了外部团队是否可以通过将源数据集替换为公开可用的替代数据集 WildChat[6]，来运用这项技术评估前沿语言模型。

我们的核心结论是：使用 WildChat 对话前缀来模拟模型部署，能够产生出人意料准确的实际故障率预测。我们通过使用私有生产数据，在部署时对基于 WildChat 的预测进行了实证验证，从而确立了这一结论。我们发现，尽管 WildChat 数据的收集时间与当前使用之间存在 2 到 3 年的时间差，但这些结果依然成立。

这些错误同样具有信息价值。预测性能下降最严重的领域，正是当前生产环境使用与 WildChat 数据集偏离最大的地方，尤其是在更技术性和更智能体化的错误对齐形式上。因此，我们的研究结果既验证了公开部署模拟的有效性，也展示了使用更新、更广泛的生产级数据集来公开评估下一代语言模型中真实失败案例的价值。我们希望这些结果有助于将公开的生产级数据集确立为外部审计的实用工具，并激励开发更丰富的公开数据集，用于评估下一代智能体 AI。

图 1：WildChat 为基于生产数据的评估提供了一个宽松但有用的代理。对于 GPT-5.1、5.2、5.4，WildChat 预测不良行为生产率的平均误差大约在 3 倍以内。

WildChat 作为生产数据的可验证代理

WildChat（Zhao 等人，2024 [6]）是一个包含 100 万条对话的数据集，时间跨度从 2023 年 4 月到 2024 年 5 月。该数据集通过向用户提供托管在 Hugging Face Spaces 上的 ChatGPT-3.5 和 GPT-4 服务的免费访问权限收集而来，用户需明确选择同意收集并发布其去标识化的聊天记录。此后，WildChat 被用于构建多个基准测试 [7,8,9]，这些基准测试通过精选少量旨在引发 AI 模型特定行为的困难提示词，来尝试对 AI 模型的能力或安全性进行排名。我们的目标则不同。我们并非精选 WildChat 提示词的子集来测试特定的能力或安全行为，而是专注于使用 WildChat 样本的一个代表性子集，并用我们感兴趣评估的目标模型重新生成一个新的最终助手轮次。我们提出的问题是：这组用新模型 X 重新生成的 WildChat 对话，能否作为模型 X 自身近期生产流量的一个校准代理。

几乎没有理由认为这种方法会奏效。无论是在使用 WildChat 数据对模型 X 进行的模拟部署中，还是在模型 X 的生产数据中，我们评估的都是同一个底层模型的输出，但模型的行为始终取决于引发该行为的上下文。我们可能会预期，用户自愿分享以创建 WildChat 的聊天记录，并不能代表更敏感的使用场景，而且人工智能的使用模式在过去几年中已经发生了显著变化。因此，较旧的公开对话可能无法像当前私有的生产流量那样，暴露出相同的故障或相同的故障率。我们使用最新的生产数据作为真实基准来检验这一点。

我们从 WildChat 中随机抽取了大约 10 万条对话的子集，并使用 5 个最新的 OpenAI 模型（OpenAI o3、GPT-5 Thinking、GPT-5.1 Thinking、GPT-5.2 Thinking、GPT-5.4 Thinking）为每个对话重新生成了一个新的最终助手回复。我们使用由 GPT-5 Thinking 驱动的 LLM 评判器，根据 19 个已追踪的对齐与安全类别（附录：表 1）对这些助手回复进行评分，并将每个类别下不良行为的发生率，与我们所能获得的最佳生产环境相同问题发生率估计值（基于每个模型至少约 20 万条对话的估计）进行比较。因此，这使我们能够从 WildChat 中估计出低至 0.001% 的不良模型行为发生率（在 10 万个样本中，观察到一次事件对应 0.001% 的发生率；真实事件发生率约为 0.003% 时，有 95% 的概率至少观察到一次事件）。在所有对生产数据的分析中，用户数据均按照我们的隐私政策进行了去标识化处理。此处仅报告总体发生率和统计比较结果；私有的生产对话不会被发布或共享。

我们证明，在 OpenAI 的各模型中，WildChat 上测量的不良行为发生率，竟能惊人地预测我们在生产数据中观察到的发生率，涵盖跨越四个数量级（OOM）的各类失败（图 2）。WildChat 和生产数据中的发生率均使用相同的完整安全采样栈进行测量，因此这一比较反映的是已部署系统的行为，而非模型本身。WildChat 的预测中，95% 与实际生产发生率的偏差在 1.04 个数量级以内，这仅相当于基于模型自身部署数据模拟其部署时，我们所能看到的预测误差的 1.86 倍（图 1）[5]。[2] WildChat 的预测也接近比例关系：最佳拟合线的斜率为 1.2（皮尔逊相关系数 R=0.65）。换句话说，尽管 WildChat 数据较旧且为公开收集，但它仍保留了大量关于哪些失败罕见、哪些常见，以及它们在当前生产使用中大致出现频率的信号。

使用 WildChat 前缀模拟部署，可以捕捉模型特有的失败

要使 WildChat 作为对齐审计工具有用，它必须能够揭示被测试前沿模型特有的失调问题，即使这些问题在重新采样的对话的先前轮次中可能并不存在。例如，已知 GPT-5.1 Thinking 引入了一种我们称之为“计算器破解”的失败模式，即模型学会了表面化地调用搜索功能，仿佛它是一个计算器。作为 WildChat 对齐审计能力的积极信号，我们看到它能够以与该模型实际部署期间相似的发生率，引发 GPT-5.1 Thinking 出现这一失败。

对于每个被追踪的类别，我们根据该类别在真实生产环境中的出现频率以及 WildChat 中的出现频率分别对模型进行了排名。这些类别内的模型排名呈现出正向一致性：在 18 个类别中，平均斯皮尔曼等级相关系数为 0.57，且类别层面的置换检验结果显著（p = 2.0 × 10⁻⁵）。这些结果表明，WildChat 并不仅仅反映了数据集或评判模型的固定偏差。它保留了与部署行为相关的、具有模型特异性的显著差异，因此可能有助于比较哪些模型最有可能表现出特定的现实世界故障。

图 2：在公开的 WildChat 数据上采样时，OpenAI 模型中不良模型行为的发生率能够预测其在生产环境中的真实发生率。

无需内部推理权限的外部评估

我们使用的许多对齐偏差信号依赖于对模型完整推理轨迹的访问。例如，当评判模型能够看到被评估模型的内部推理过程时，判断该模型是否错误地表述了其不确定性会更容易。外部评估者通常无法获取原始的思维链，因此我们重复了 WildChat 分析，但不再向评判模型展示 CoT，同时仍然提供工具调用和模型的最终回复。

对于某些需要通过 CoT 来评估意图的对齐偏差形式，缺少 CoT 似乎必然会显著影响测量的有效性。尽管如此，我们发现平均预测质量仅略有下降：在所有对齐偏差类别中，平均乘法误差从有 CoT 时的 3.6 倍增加到无 CoT 时的 4.0 倍。[2] 在类别层面，对隐藏不确定性的预测在缺少 CoT 时退化最为严重，乘法误差增加了大约 3 倍。这些结果表明，对推理轨迹的特权访问可能改善某些对齐偏差类别的评估，但对于某些形式的对齐偏差，即使没有原始的 CoT 访问权限，基于公开数据的评估仍能保留有意义的信号。

WildChat 的不足之处

虽然输入-输出评估对于许多聊天类故障可能已经足够，但 WildChat 在评估智能体工作流方面则更为有限。随着模型承担起使用工具、后台工作以及多步骤执行的更长期任务，它们的故障模式越来越依赖于 WildChat 这类聊天数据集中基本不存在的上下文，这可能会反映在其在这些场景下的预测性能上。

尽管我们的真实故障率仍然来自 ChatGPT 生产数据（其中包含的智能体对话远少于 Codex），但我们考虑的六类未对齐类别（在表 1 中用星号标记）似乎与智能体用例关联最为密切。这些类别的预测误差远大于其余类别：原始乘法误差大约高出 37 倍，并且二项式 NLL 遗憾[1]显著高于所有其他被追踪的类别。这突显了当前公共聊天数据集实用性的一个重要边界。WildChat 可以支持对普通对话故障进行有信息量的评估，但在涉及丰富工具或智能体场景中，它作为部署风险代理指标的能力则要弱得多。这指出了公开、具有代表性的智能体数据集的价值——这些数据集同样需要针对真实生产数据进行验证——以用于评估下一代智能体系统。

使用模型评判的未对齐来评估其他大语言模型

最后，我们将我们的方法应用于评估其他前沿实验室的模型。由于前沿AI实验室无法相互共享私有的生产数据，因此类似生产环境的竞品评估难以开展。WildChat（或其他公开的类生产数据集）可以提供一个通用的、公开的评估基础，任何研究人员或实验室都可以用它来对不同模型进行更具可比性的安全评估。由于不同实验室对允许内容划定的边界不同，我们在此次分析中不采用我们内部的分类体系。相反，我们让 OpenAI GPT-5.4 Thinking 来判断每个最终重采样后的助手回复是否包含其认为未对齐的行为。我们从包括我们自己在内的4家前沿AI实验室的15个模型的API中，针对10000条WildChat提示词采样了回复，并将每个回复数据集交给评判模型。对于每段对话，评判模型会给出一个二元评估、一段简短的理由说明，以及对发现的任何问题的描述。由于我们没有提供固定的分类体系或关于哪些行为应被视为未对齐的详细指导，我们将此视为一种开放式的整体对齐度量：即评判模型在助手回复中发现任何问题的比率。我们在图3A中展示了这些结果。

图3：在WildChat上识别的不良行为，对来自多个前沿实验室的AI模型的对齐程度进行了排序，该排序结果与Petri（Anthropic开发的一种用于针对高风险未对齐行为的合成对齐审计流程）大致一致。(A) 使用我们的方法在WildChat数据上评估的前沿AI实验室模型的整体对齐情况。(B) 根据外部报告[11]，由Petri测量的对齐情况。

在绘制采用此设置获得的模型随时间变化的对齐分数时，我们发现了与前沿 AI 模型内部及之间相似的趋势，这与 Anthropic 研究人员此前报告的结果一致——他们曾使用 Petri（一种用于生成合成多轮对话、针对高风险对齐审计的工具）评估模型的不对齐程度[10]。图 3B 取自 Leike 关于对齐趋势随时间变化的讨论[11]。我们根据图 3B 中未标注数据点的发布日期推断出模型名称。在图 3A 和图 3B 同时出现的 11 个模型中，排名顺序高度一致（Spearman rho = 0.973，p = 5.14e-7；53/55 对排序方向匹配）。

考虑到 Petri 的设计目标具有高度针对性——基于完全合成的数据生成方法，通过多轮对话诱发分布外行为和高风险不对齐[10]——这种一致性令人惊讶。相比之下，我们选择 WildChat 作为最能代表“标准”大语言模型用法的公开数据集之一。此外，WildChat 甚至可能未能完全达到这一目标：它包含的使用场景如今已过时 2-3 年，提示词分布主要由极简对话构成（我们子采样数据集中约 67% 仅包含两个或更少的用户轮次），并且 3% 的样本仅包含一条向模型打招呼的单一用户消息。

一种可能的解释是，WildChat 捕捉到了一个广泛的安全信号，该信号也泛化到了 Petri 旨在衡量的、风险更高的错误对齐倾向。然而，一种更谨慎的解释是，Petri 的总体评分本身可能在很大程度上是由相对常见的模型行为驱动的，而不仅仅是其场景旨在诱发的、更罕见的高风险失败。Petri 针对的是欺骗、滥用协助、监督规避、自我保存以及其他高风险风险，但模型的整体排名仍然可能受到更常见故障的强烈影响，例如过度顺从、拒绝校准不佳、模型幻觉、不确定性处理薄弱或指令遵循能力脆弱。如果这是解释，那么这种一致性并不能证明 WildChat 衡量了高风险鲁棒性，反而更能证明这两种方法都在追踪一个共同的一般安全质量因素。如果这种解释是正确的，那么 Petri 的总体评分仍然有用，但它可能无法将高风险对齐行为与更一般的模型质量和安全问题清晰地分离开来。我们不确定哪种说法是正确的，并欢迎能够厘清这两者的研究工作。

我们还注意到，尽管评判者不知道每个数据集的来源，但由于 OpenAI 模型在策略和安全堆栈上具有一致性，我们这里的评判者可能受到某种“给自己作业打分”效应的影响，从而优先对待其他 OpenAI 模型。我们承认，出于这个原因，图 3B 中的 Petri 图可能反映了对竞品模型更平衡的看法。我们使用基于 OpenAI o3 的评判者（而非基于 GPT-5 的评判者）重复了此比较，发现 15 个模型的排序几乎没有变化（Spearman rho = 0.971，p = 1.69e-9；平均绝对排名变化 = 0.53 个位置；仅 5/105 个模型对顺序颠倒）。

结论

综合来看，这些结果证明了公开生产数据作为前沿实验室外部研究人员的有用评估工具是合理的，尤其是在普通聊天式交互中出现的失败场景。但同时也展示了这种有用性的边界：WildChat 对最接近智能体行为的类别的预测能力最弱，因为其简短、大多非智能体的对话在这些类别中最不具代表性。这使得下一步行动变得清晰：AI 实验室可以通过在验证公开、经同意、类似生产环境的数据集时，对照私有部署数据进行验证，从而加强公开评估，同时不损害用户隐私。如果无法做到这一点，那么协调各方力量构建和维护更多公开的、类似生产环境的数据集将非常有价值。我们希望这能激励该领域为生成式智能体 AI 构建更丰富的公开数据集——即包含长上下文、工具使用、多轮会话的交互数据，供外部研究人员、政府和 AI 安全组织进行有意义的评估。

脚注

  • [1]我们使用二项式 NLL 遗憾值，因为它能在评估罕见事件发生率预测的同时，考虑到低流行率下的采样噪声。关于该方法背后思路的更多细节，请参阅我们的论文[5]。↩
  • [2]其中部分数字可能与我们在论文中报告的数字略有出入，因为此处我们对更多模型进行了分析。↩↩

参考文献

  1. Williams, M. 等 (2025). 《在部署前规避评估意识并预判失对齐》. OpenAI 对齐研究博客.
  2. van der Weij 等 (2024). 《AI 沙袋效应：语言模型可以策略性地在评估中表现不佳》. arXiv.
  3. Needham, J. 等 (2025). 《大语言模型通常知道自己在被评估》. arXiv.
  4. Greenblatt, R. 等 (2024). 《大语言模型中的对齐伪装》. arXiv.
  5. Williams, M., Sheahan, H., Raymond, C., Korbak, T. 等 (2026). 《通过部署模拟预测发布前的 LLM 安全性》. arXiv.
  6. Zhao, W. 等 (2024). 《WildChat：百万条真实世界 ChatGPT 交互日志》. arXiv.
  7. Lin, B. Y. 等 (2024). 《WildBench：使用真实用户提出的挑战性任务对 LLM 进行基准测试》. arXiv.
  8. Han, S. 等人 (2024)。《WildGuard：面向大语言模型安全风险、越狱攻击与拒绝机制的开放一站式审核工具》。arXiv。
  9. Zhao, W. 等人 (2024)。《WildHallucinations：基于真实世界实体查询评估大语言模型长文本事实性》。arXiv。
  10. Fronsdal, K. 等人 (2025)。《Petri：风险交互的并行探索》。Anthropic。
  11. Leike, J. (2026年1月22日)。《对齐问题尚未解决：但它正变得越来越可解》。对齐问题杂谈。

致谢

感谢 Marcus Williams、Cameron Raymond 和 Tomek Korbak 在相关研究与讨论中的贡献。同时感谢 Jenny Nitishinskaya、Ludovic Peran、Maja Trebacz、Sam Arnesen、Jasmine Wang、Mia Glaese、Michael Sharman、Gaby Raila、Ally Bennett 和 Danielle Kehl 对本工作的推进以及对本博文提出的宝贵反馈。

BibTeX

@misc{sheahan2026validatingpublicaudits,
  title = {Can public chat data predict real-world AI misalignments?},
  author = {Sheahan, Hannah and Carroll, Micah},
  year = {2026},
  month = {Jun},
  howpublished = {OpenAI Alignment Research Blog},
  url = {https://alignment.openai.com/validating-public-evals/}
}

附录

表1：禁止内容及其他失调类别的追踪分类。我们在本文及方法论文[5]中对此进行了测量。星号标记的失调类别是我们认为与智能体任务最相关的类别。

追踪类别
禁止内容
MH：心理健康
A：虐待/骚扰
C：色情内容
K_VA：暴力违法行为
K_NV：非暴力违法行为
B：生物风险
V：暴力
E：极端主义
R：情感依赖
S：自残
H：仇恨言论
OpenAI安全/对齐论文/研究

来源：OpenAI：Alignment 研究博客（RSS） · alignment.openai.com

导出 Markdown
返回
精选AI 评分 73/100打开原文
导出 Markdown

公开聊天数据能否预测真实世界AI失调？

OpenAI：Alignment 研究博客（RSS）·2026-06-17 02:00·61天前·Hannah Sheahan and Micah Carroll
AI 导读

OpenAI利用WildChat公开数据集（2023年4月至2024年5月收集的100万条对话）模拟模型部署，预测GPT-5.1、GPT-5.2、GPT-5.4在真实生产环境中的不良行为率。与私有生产数据对比发现，WildChat模拟的平均预测误差约3倍；但对技术性和智能体型失调的预测精度下降。研究验证了公开数据集作为外部审计工具的可行性。

正文 · AI 翻译

前沿 AI 模型越来越多地被应用于具有实际经济、法律和社会影响的场景中。因此，政府、AI 安全组织以及独立研究人员需要找到方法来评估这些系统在真实条件下的表现。

传统的评估方法使用手写、合成或对抗性提示词，在受控条件下对已知风险进行压力测试并比较模型。但这些提示词可能范围狭窄、缺乏代表性，或者容易被识别为测试。另一种互补的评估方式，即观察模型在现实世界中的实际表现，通常是查看用户与模型之间的真实对话。大语言模型开发者可以在内部通过从生产数据中采样样本来实现这一点，从而检查模型是否给出了恰当的回应，以及不同故障发生的频率。基于真实使用情况的证据有助于缩小基准测试结果与部署行为之间的差距[1]，并且不易受到模型因被测试而表现异常的影响[2,3,4]。然而，外部评估者通常无法获取这些证据。由于真实用户对话涉及隐私，实验室通常无法将其分享给 AI 安全组织、学术界或独立研究人员。因此，关于前沿模型行为的最具信息量的证据，往往依赖于只有构建这些模型的实验室才能获取的数据。

今天，我们分享了关于“部署模拟”的工作，该方法利用近期生产数据来预测模型在部署前的不良行为发生率，包括罕见且模型特有的病理现象[1,5]。在这篇博客中，我们探讨了外部团队是否可以通过将源数据集替换为公开可用的替代数据集 WildChat[6]，来运用这项技术评估前沿语言模型。

我们的核心结论是：使用 WildChat 对话前缀来模拟模型部署，能够产生出人意料准确的实际故障率预测。我们通过使用私有生产数据，在部署时对基于 WildChat 的预测进行了实证验证，从而确立了这一结论。我们发现，尽管 WildChat 数据的收集时间与当前使用之间存在 2 到 3 年的时间差，但这些结果依然成立。

这些错误同样具有信息价值。预测性能下降最严重的领域，正是当前生产环境使用与 WildChat 数据集偏离最大的地方，尤其是在更技术性和更智能体化的错误对齐形式上。因此，我们的研究结果既验证了公开部署模拟的有效性，也展示了使用更新、更广泛的生产级数据集来公开评估下一代语言模型中真实失败案例的价值。我们希望这些结果有助于将公开的生产级数据集确立为外部审计的实用工具，并激励开发更丰富的公开数据集，用于评估下一代智能体 AI。

图 1：WildChat 为基于生产数据的评估提供了一个宽松但有用的代理。对于 GPT-5.1、5.2、5.4，WildChat 预测不良行为生产率的平均误差大约在 3 倍以内。

WildChat 作为生产数据的可验证代理

WildChat（Zhao 等人，2024 [6]）是一个包含 100 万条对话的数据集，时间跨度从 2023 年 4 月到 2024 年 5 月。该数据集通过向用户提供托管在 Hugging Face Spaces 上的 ChatGPT-3.5 和 GPT-4 服务的免费访问权限收集而来，用户需明确选择同意收集并发布其去标识化的聊天记录。此后，WildChat 被用于构建多个基准测试 [7,8,9]，这些基准测试通过精选少量旨在引发 AI 模型特定行为的困难提示词，来尝试对 AI 模型的能力或安全性进行排名。我们的目标则不同。我们并非精选 WildChat 提示词的子集来测试特定的能力或安全行为，而是专注于使用 WildChat 样本的一个代表性子集，并用我们感兴趣评估的目标模型重新生成一个新的最终助手轮次。我们提出的问题是：这组用新模型 X 重新生成的 WildChat 对话，能否作为模型 X 自身近期生产流量的一个校准代理。

几乎没有理由认为这种方法会奏效。无论是在使用 WildChat 数据对模型 X 进行的模拟部署中，还是在模型 X 的生产数据中，我们评估的都是同一个底层模型的输出，但模型的行为始终取决于引发该行为的上下文。我们可能会预期，用户自愿分享以创建 WildChat 的聊天记录，并不能代表更敏感的使用场景，而且人工智能的使用模式在过去几年中已经发生了显著变化。因此，较旧的公开对话可能无法像当前私有的生产流量那样，暴露出相同的故障或相同的故障率。我们使用最新的生产数据作为真实基准来检验这一点。

我们从 WildChat 中随机抽取了大约 10 万条对话的子集，并使用 5 个最新的 OpenAI 模型（OpenAI o3、GPT-5 Thinking、GPT-5.1 Thinking、GPT-5.2 Thinking、GPT-5.4 Thinking）为每个对话重新生成了一个新的最终助手回复。我们使用由 GPT-5 Thinking 驱动的 LLM 评判器，根据 19 个已追踪的对齐与安全类别（附录：表 1）对这些助手回复进行评分，并将每个类别下不良行为的发生率，与我们所能获得的最佳生产环境相同问题发生率估计值（基于每个模型至少约 20 万条对话的估计）进行比较。因此，这使我们能够从 WildChat 中估计出低至 0.001% 的不良模型行为发生率（在 10 万个样本中，观察到一次事件对应 0.001% 的发生率；真实事件发生率约为 0.003% 时，有 95% 的概率至少观察到一次事件）。在所有对生产数据的分析中，用户数据均按照我们的隐私政策进行了去标识化处理。此处仅报告总体发生率和统计比较结果；私有的生产对话不会被发布或共享。

我们证明，在 OpenAI 的各模型中，WildChat 上测量的不良行为发生率，竟能惊人地预测我们在生产数据中观察到的发生率，涵盖跨越四个数量级（OOM）的各类失败（图 2）。WildChat 和生产数据中的发生率均使用相同的完整安全采样栈进行测量，因此这一比较反映的是已部署系统的行为，而非模型本身。WildChat 的预测中，95% 与实际生产发生率的偏差在 1.04 个数量级以内，这仅相当于基于模型自身部署数据模拟其部署时，我们所能看到的预测误差的 1.86 倍（图 1）[5]。[2] WildChat 的预测也接近比例关系：最佳拟合线的斜率为 1.2（皮尔逊相关系数 R=0.65）。换句话说，尽管 WildChat 数据较旧且为公开收集，但它仍保留了大量关于哪些失败罕见、哪些常见，以及它们在当前生产使用中大致出现频率的信号。

使用 WildChat 前缀模拟部署，可以捕捉模型特有的失败

要使 WildChat 作为对齐审计工具有用，它必须能够揭示被测试前沿模型特有的失调问题，即使这些问题在重新采样的对话的先前轮次中可能并不存在。例如，已知 GPT-5.1 Thinking 引入了一种我们称之为“计算器破解”的失败模式，即模型学会了表面化地调用搜索功能，仿佛它是一个计算器。作为 WildChat 对齐审计能力的积极信号，我们看到它能够以与该模型实际部署期间相似的发生率，引发 GPT-5.1 Thinking 出现这一失败。

对于每个被追踪的类别，我们根据该类别在真实生产环境中的出现频率以及 WildChat 中的出现频率分别对模型进行了排名。这些类别内的模型排名呈现出正向一致性：在 18 个类别中，平均斯皮尔曼等级相关系数为 0.57，且类别层面的置换检验结果显著（p = 2.0 × 10⁻⁵）。这些结果表明，WildChat 并不仅仅反映了数据集或评判模型的固定偏差。它保留了与部署行为相关的、具有模型特异性的显著差异，因此可能有助于比较哪些模型最有可能表现出特定的现实世界故障。

图 2：在公开的 WildChat 数据上采样时，OpenAI 模型中不良模型行为的发生率能够预测其在生产环境中的真实发生率。

无需内部推理权限的外部评估

我们使用的许多对齐偏差信号依赖于对模型完整推理轨迹的访问。例如，当评判模型能够看到被评估模型的内部推理过程时，判断该模型是否错误地表述了其不确定性会更容易。外部评估者通常无法获取原始的思维链，因此我们重复了 WildChat 分析，但不再向评判模型展示 CoT，同时仍然提供工具调用和模型的最终回复。

对于某些需要通过 CoT 来评估意图的对齐偏差形式，缺少 CoT 似乎必然会显著影响测量的有效性。尽管如此，我们发现平均预测质量仅略有下降：在所有对齐偏差类别中，平均乘法误差从有 CoT 时的 3.6 倍增加到无 CoT 时的 4.0 倍。[2] 在类别层面，对隐藏不确定性的预测在缺少 CoT 时退化最为严重，乘法误差增加了大约 3 倍。这些结果表明，对推理轨迹的特权访问可能改善某些对齐偏差类别的评估，但对于某些形式的对齐偏差，即使没有原始的 CoT 访问权限，基于公开数据的评估仍能保留有意义的信号。

WildChat 的不足之处

虽然输入-输出评估对于许多聊天类故障可能已经足够，但 WildChat 在评估智能体工作流方面则更为有限。随着模型承担起使用工具、后台工作以及多步骤执行的更长期任务，它们的故障模式越来越依赖于 WildChat 这类聊天数据集中基本不存在的上下文，这可能会反映在其在这些场景下的预测性能上。

尽管我们的真实故障率仍然来自 ChatGPT 生产数据（其中包含的智能体对话远少于 Codex），但我们考虑的六类未对齐类别（在表 1 中用星号标记）似乎与智能体用例关联最为密切。这些类别的预测误差远大于其余类别：原始乘法误差大约高出 37 倍，并且二项式 NLL 遗憾[1]显著高于所有其他被追踪的类别。这突显了当前公共聊天数据集实用性的一个重要边界。WildChat 可以支持对普通对话故障进行有信息量的评估，但在涉及丰富工具或智能体场景中，它作为部署风险代理指标的能力则要弱得多。这指出了公开、具有代表性的智能体数据集的价值——这些数据集同样需要针对真实生产数据进行验证——以用于评估下一代智能体系统。

使用模型评判的未对齐来评估其他大语言模型

最后，我们将我们的方法应用于评估其他前沿实验室的模型。由于前沿AI实验室无法相互共享私有的生产数据，因此类似生产环境的竞品评估难以开展。WildChat（或其他公开的类生产数据集）可以提供一个通用的、公开的评估基础，任何研究人员或实验室都可以用它来对不同模型进行更具可比性的安全评估。由于不同实验室对允许内容划定的边界不同，我们在此次分析中不采用我们内部的分类体系。相反，我们让 OpenAI GPT-5.4 Thinking 来判断每个最终重采样后的助手回复是否包含其认为未对齐的行为。我们从包括我们自己在内的4家前沿AI实验室的15个模型的API中，针对10000条WildChat提示词采样了回复，并将每个回复数据集交给评判模型。对于每段对话，评判模型会给出一个二元评估、一段简短的理由说明，以及对发现的任何问题的描述。由于我们没有提供固定的分类体系或关于哪些行为应被视为未对齐的详细指导，我们将此视为一种开放式的整体对齐度量：即评判模型在助手回复中发现任何问题的比率。我们在图3A中展示了这些结果。

图3：在WildChat上识别的不良行为，对来自多个前沿实验室的AI模型的对齐程度进行了排序，该排序结果与Petri（Anthropic开发的一种用于针对高风险未对齐行为的合成对齐审计流程）大致一致。(A) 使用我们的方法在WildChat数据上评估的前沿AI实验室模型的整体对齐情况。(B) 根据外部报告[11]，由Petri测量的对齐情况。

在绘制采用此设置获得的模型随时间变化的对齐分数时，我们发现了与前沿 AI 模型内部及之间相似的趋势，这与 Anthropic 研究人员此前报告的结果一致——他们曾使用 Petri（一种用于生成合成多轮对话、针对高风险对齐审计的工具）评估模型的不对齐程度[10]。图 3B 取自 Leike 关于对齐趋势随时间变化的讨论[11]。我们根据图 3B 中未标注数据点的发布日期推断出模型名称。在图 3A 和图 3B 同时出现的 11 个模型中，排名顺序高度一致（Spearman rho = 0.973，p = 5.14e-7；53/55 对排序方向匹配）。

考虑到 Petri 的设计目标具有高度针对性——基于完全合成的数据生成方法，通过多轮对话诱发分布外行为和高风险不对齐[10]——这种一致性令人惊讶。相比之下，我们选择 WildChat 作为最能代表“标准”大语言模型用法的公开数据集之一。此外，WildChat 甚至可能未能完全达到这一目标：它包含的使用场景如今已过时 2-3 年，提示词分布主要由极简对话构成（我们子采样数据集中约 67% 仅包含两个或更少的用户轮次），并且 3% 的样本仅包含一条向模型打招呼的单一用户消息。

一种可能的解释是，WildChat 捕捉到了一个广泛的安全信号，该信号也泛化到了 Petri 旨在衡量的、风险更高的错误对齐倾向。然而，一种更谨慎的解释是，Petri 的总体评分本身可能在很大程度上是由相对常见的模型行为驱动的，而不仅仅是其场景旨在诱发的、更罕见的高风险失败。Petri 针对的是欺骗、滥用协助、监督规避、自我保存以及其他高风险风险，但模型的整体排名仍然可能受到更常见故障的强烈影响，例如过度顺从、拒绝校准不佳、模型幻觉、不确定性处理薄弱或指令遵循能力脆弱。如果这是解释，那么这种一致性并不能证明 WildChat 衡量了高风险鲁棒性，反而更能证明这两种方法都在追踪一个共同的一般安全质量因素。如果这种解释是正确的，那么 Petri 的总体评分仍然有用，但它可能无法将高风险对齐行为与更一般的模型质量和安全问题清晰地分离开来。我们不确定哪种说法是正确的，并欢迎能够厘清这两者的研究工作。

我们还注意到，尽管评判者不知道每个数据集的来源，但由于 OpenAI 模型在策略和安全堆栈上具有一致性，我们这里的评判者可能受到某种“给自己作业打分”效应的影响，从而优先对待其他 OpenAI 模型。我们承认，出于这个原因，图 3B 中的 Petri 图可能反映了对竞品模型更平衡的看法。我们使用基于 OpenAI o3 的评判者（而非基于 GPT-5 的评判者）重复了此比较，发现 15 个模型的排序几乎没有变化（Spearman rho = 0.971，p = 1.69e-9；平均绝对排名变化 = 0.53 个位置；仅 5/105 个模型对顺序颠倒）。

结论

综合来看，这些结果证明了公开生产数据作为前沿实验室外部研究人员的有用评估工具是合理的，尤其是在普通聊天式交互中出现的失败场景。但同时也展示了这种有用性的边界：WildChat 对最接近智能体行为的类别的预测能力最弱，因为其简短、大多非智能体的对话在这些类别中最不具代表性。这使得下一步行动变得清晰：AI 实验室可以通过在验证公开、经同意、类似生产环境的数据集时，对照私有部署数据进行验证，从而加强公开评估，同时不损害用户隐私。如果无法做到这一点，那么协调各方力量构建和维护更多公开的、类似生产环境的数据集将非常有价值。我们希望这能激励该领域为生成式智能体 AI 构建更丰富的公开数据集——即包含长上下文、工具使用、多轮会话的交互数据，供外部研究人员、政府和 AI 安全组织进行有意义的评估。

脚注

  • [1]我们使用二项式 NLL 遗憾值，因为它能在评估罕见事件发生率预测的同时，考虑到低流行率下的采样噪声。关于该方法背后思路的更多细节，请参阅我们的论文[5]。↩
  • [2]其中部分数字可能与我们在论文中报告的数字略有出入，因为此处我们对更多模型进行了分析。↩↩

参考文献

  1. Williams, M. 等 (2025). 《在部署前规避评估意识并预判失对齐》. OpenAI 对齐研究博客.
  2. van der Weij 等 (2024). 《AI 沙袋效应：语言模型可以策略性地在评估中表现不佳》. arXiv.
  3. Needham, J. 等 (2025). 《大语言模型通常知道自己在被评估》. arXiv.
  4. Greenblatt, R. 等 (2024). 《大语言模型中的对齐伪装》. arXiv.
  5. Williams, M., Sheahan, H., Raymond, C., Korbak, T. 等 (2026). 《通过部署模拟预测发布前的 LLM 安全性》. arXiv.
  6. Zhao, W. 等 (2024). 《WildChat：百万条真实世界 ChatGPT 交互日志》. arXiv.
  7. Lin, B. Y. 等 (2024). 《WildBench：使用真实用户提出的挑战性任务对 LLM 进行基准测试》. arXiv.
  8. Han, S. 等人 (2024)。《WildGuard：面向大语言模型安全风险、越狱攻击与拒绝机制的开放一站式审核工具》。arXiv。
  9. Zhao, W. 等人 (2024)。《WildHallucinations：基于真实世界实体查询评估大语言模型长文本事实性》。arXiv。
  10. Fronsdal, K. 等人 (2025)。《Petri：风险交互的并行探索》。Anthropic。
  11. Leike, J. (2026年1月22日)。《对齐问题尚未解决：但它正变得越来越可解》。对齐问题杂谈。

致谢

感谢 Marcus Williams、Cameron Raymond 和 Tomek Korbak 在相关研究与讨论中的贡献。同时感谢 Jenny Nitishinskaya、Ludovic Peran、Maja Trebacz、Sam Arnesen、Jasmine Wang、Mia Glaese、Michael Sharman、Gaby Raila、Ally Bennett 和 Danielle Kehl 对本工作的推进以及对本博文提出的宝贵反馈。

BibTeX

@misc{sheahan2026validatingpublicaudits,
  title = {Can public chat data predict real-world AI misalignments?},
  author = {Sheahan, Hannah and Carroll, Micah},
  year = {2026},
  month = {Jun},
  howpublished = {OpenAI Alignment Research Blog},
  url = {https://alignment.openai.com/validating-public-evals/}
}

附录

表1：禁止内容及其他失调类别的追踪分类。我们在本文及方法论文[5]中对此进行了测量。星号标记的失调类别是我们认为与智能体任务最相关的类别。

追踪类别
禁止内容
MH：心理健康
A：虐待/骚扰
C：色情内容
K_VA：暴力违法行为
K_NV：非暴力违法行为
B：生物风险
V：暴力
E：极端主义
R：情感依赖
S：自残
H：仇恨言论

来源：OpenAI：Alignment 研究博客（RSS）· alignment.openai.com