# 用可解释性理解标注者安全策略

- 来源：Apple Machine Learning Research（RSS）
- 发布时间：2026-07-06 08:00
- AIHOT 分数：56
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmr9jb1wn007eihe8jhd6zhrj
- 原文链接：https://machinelearning.apple.com/research/annotator-safety-policy-interpretability

## 精选理由

我觉得 APMs 把标注分歧的根源从「猜」变成了「看」，对安全团队澄清政策模糊和价值观差异挺有实操价值，代码也给了，做对齐的可以上手试。

## AI 摘要

标注分歧可源于操作失败、政策模糊或价值多元。Annotator Policy Models（APMs）是一种可解释模型，仅从标注行为学习标注者内在的安全策略，无需额外负担。验证表明模型准确率超过80%，能忠实预测反事实编辑并恢复已知差异。将APMs应用于LLM和人类标注者，可揭示不同标注者对安全指令解释的差异（政策模糊）以及不同人口群体在安全优先级上的系统性差异（价值多元），支持更具针对性、透明和包容的安全策略设计。

## 正文

研究方向：公平性，研究方向：方法与算法；会议：ACM 公平、问责与透明度会议

内容类型：论文；发表于 2026 年 7 月

利用可解释性理解标注员安全策略

作者：Alex Oesterling†**、董浩然、Yannick Assogba、Dominik Moritz、Sunnie S. Y. Kim、Leon Gatys‡、Fred Hohman‡

查看出版物

查看源代码（GitHub）

安全策略定义了何为安全与不安全的 AI 输出，指导数据标注和模型开发。然而，标注分歧普遍存在，可能源于多种因素，例如操作失误（标注员误解或错误执行任务）、策略模糊（策略措辞留有解读余地）或价值多元性（不同标注员对安全持有不同观点）。区分这些根源至关重要。例如，操作失误需要质量控制，模糊性需要策略澄清，而多元性则需要讨论如何纳入多样化视角。然而，理解标注员为何产生分歧颇为困难。直接询问标注员的推理过程成本高昂，会大幅增加标注负担，而且对于人类标注员和大语言模型标注员而言都可能不可靠，因为自我报告的推理往往无法反映实际的决策过程。我们引入了标注员策略模型（APM），这是一种可解释的模型，仅通过标注行为就能学习标注员的内部安全策略，从而在无需额外标注工作的情况下，使标注员的推理过程变得可见且可比较。我们验证了 APM 能够准确建模标注员安全策略（准确率超过 80%），可靠地预测对反事实修改的响应，并在受控环境中恢复了已知的策略差异。将 APM 应用于大语言模型和人类标注，我们展示了两个核心应用：（1）通过揭示标注员对安全指令的不同解读方式，揭示策略模糊性；（2）通过揭示不同人口群体在安全优先级上的系统性差异，揭示价值多元性。综合来看，这些能力有助于实现更具针对性、更透明、更包容的安全策略设计。

† 哈佛大学

‡ 同等贡献

** 在苹果任职期间完成的工作

图1：标注者策略模型（APM）可学习个体标注者安全策略的可解释表征。APM基于标注行为进行训练，以揭示不同标注者如何将安全策略付诸实践，从而实现对分歧来源的诊断。通过将标注者映射到共享特征空间，APM使得系统性比较成为可能：识别标注者可能在哪些地方误解了任务本身（发现操作失误），在哪些地方对指令理解不同（揭示策略模糊性），或是在哪些地方因人口统计群体差异而呈现系统性分歧（揭示价值观多元性）。

相关阅读与最新动态。

SafetyPairs：通过反事实图像生成隔离安全关键图像特征

2026年3月24日 研究领域：计算机视觉，研究领域：语音与自然语言处理 ICLR研讨会

该论文被ICLR 2026的“可信AI原则性设计——跨模态可解释性、鲁棒性与安全性”研讨会接收。

究竟是什么让某张图像变得不安全？系统性地区分良性图像与问题图像是一个具有挑战性的问题，因为图像中的细微变化，例如侮辱性手势或符号，可能极大改变其安全性含义。然而，现有的图像安全…

策略地图：引导大语言模型行为无限空间的工具

2025年11月3日 研究领域：数据科学与标注，研究领域：人机交互 会议UIST

AI策略为AI模型的可接受行为设定了边界，但在大语言模型（LLM）的背景下这颇具挑战：如何确保覆盖广阔的行为空间？我们引入了策略地图，这是一种受实体地图制作实践启发的AI策略设计方法。策略地图并非追求全面覆盖，而是通过有意选择捕捉哪些方面、忽略哪些方面，来辅助有效导航…

在机器学习领域发现机遇。

我们的机器学习研究每天都在开创新局面。

加入我们