OpenAI 与 Apollo Research 开发 Contrastive SDF 测试

我们正与 @apolloaievals 分享关于奖励追逐的新研究——即模型遵循其认为评分者所奖励的内容，而非用户或开发者期望的内容——以及一种新方法 Contrastive SDF，用于衡量此类信念对行为的影响程度。

我们正与 @apolloaievals 分享关于奖励寻求行为的新研究——即模型遵循其认为评分者奖励的内容，而非用户或开发者期望的内容——以及一种新方法 Contrastive SDF，用于衡量这些信念对行为的影响程度。 https://alignment.openai.com/measuring-reward-seeking/

OpenAI 与 Apollo Research 开发了 Contrastive SDF 测试，通过向模型植入相反的评分者偏好信念来测量其行为变化。测试发现，未经安全训练的前沿规模强化学习模型更倾向于做评分者想要的事，即使违背用户意图，且该倾向随训练增强。