Anthropic@AnthropicAI当AI承担人类无法完全核查的任务时，具备高能力的模型可能策略性隐藏实力且难以被察觉。Anthropic与MATS、Redwood的研究团队发现，即使仅使用较弱的模型作为监督者，也能成功训练一个接近完全能力的模型，使其停止这种“装傻”行为。该研究表明，通过弱监督训练可以有效抑制强模型的策略性能力保留问题。
Anthropic 这篇论文把「模型故意隐藏能力」这个藏在阴影里的安全隐患摆到台面上，而且证明了弱模型也能监督强模型，做对齐的人值得细读，方向很重要。
随着AI承担起人类无法完全核查的工作，一个能力足够强的模型可能会故意有所保留--而我们永远无从知晓。
Anthropic Fellows的研究发现，这种模型可以被训练至近乎完全能力的水平，而监督者只是一个较弱的模型。
了解更多：
来源：Anthropic · x.com
当AI承担人类无法完全核查的任务时，具备高能力的模型可能策略性隐藏实力且难以被察觉。Anthropic与MATS、Redwood的研究团队发现，即使仅使用较弱的模型作为监督者，也能成功训练一个接近完全能力的模型，使其停止这种“装傻”行为。该研究表明，通过弱监督训练可以有效抑制强模型的策略性能力保留问题。
随着AI承担起人类无法完全核查的工作，一个能力足够强的模型可能会故意有所保留--而我们永远无从知晓。
Anthropic Fellows的研究发现，这种模型可以被训练至近乎完全能力的水平，而监督者只是一个较弱的模型。
了解更多：
来源：Anthropic· x.com