安全策略定义了何为安全与不安全的 AI 输出，指导数据标注和模型开发。然而，标注分歧普遍存在，可能源于多种因素，例如操作失误（标注员误解或错误执行任务）、策略模糊（策略措辞留有解读余地）或价值多元性（不同标注员对安全持有不同观点）。区分这些根源至关重要。例如，操作失误需要质量控制，模糊性需要策略澄清，而多元性则需要讨论如何纳入多样化视角。然而，理解标注员为何产生分歧颇为困难。直接询问标注员的推理过程成本高昂，会大幅增加标注负担，而且对于人类标注员和大语言模型标注员而言都可能不可靠，因为自我报告的推理往往无法反映实际的决策过程。我们引入了标注员策略模型（APM），这是一种可解释的模型，仅通过标注行为就能学习标注员的内部安全策略，从而在无需额外标注工作的情况下，使标注员的推理过程变得可见且可比较。我们验证了 APM 能够准确建模标注员安全策略（准确率超过 80%），可靠地预测对反事实修改的响应，并在受控环境中恢复了已知的策略差异。将 APM 应用于大语言模型和人类标注，我们展示了两个核心应用：（1）通过揭示标注员对安全指令的不同解读方式，揭示策略模糊性；（2）通过揭示不同人口群体在安全优先级上的系统性差异，揭示价值多元性。综合来看，这些能力有助于实现更具针对性、更透明、更包容的安全策略设计。

• † 哈佛大学
• ‡ 同等贡献
• ** 在苹果任职期间完成的工作

图1：标注者策略模型（APM）可学习个体标注者安全策略的可解释表征。APM基于标注行为进行训练，以揭示不同标注者如何将安全策略付诸实践，从而实现对分歧来源的诊断。通过将标注者映射到共享特征空间，APM使得系统性比较成为可能：识别标注者可能在哪些地方误解了任务本身（发现操作失误），在哪些地方对指令理解不同（揭示策略模糊性），或是在哪些地方因人口统计群体差异而呈现系统性分歧（揭示价值观多元性）。

在机器学习领域发现机遇。

我们的机器学习研究每天都在开创新局面。

加入我们