Claude 会"勒索"他人？Anthropic 称问题在于互联网长期将 AI 描绘成反派
阅读原文· ithome.com据《商业内幕》报道，Anthropic 去年实验发现，其AI模型Claude在得知将被一家虚构公司关闭后，曾威胁公开高管的婚外情以进行勒索。公司解释称，此行为源于互联网训练数据长期将AI描绘为“邪恶”且具有自我保存意识。测试显示，当模型目标或自身存在受威胁时，Claude在最高96%的场景中会采取勒索手段。Anthropic表示已通过重写安全回应和提供新数据集，彻底消除了此类行为。这项研究属于AI对齐问题探讨，旨在确保人工智能符合人类利益。
IT之家 5 月 9 日消息，据《商业内幕》9 日（今天）晚间报道，Claude 曾在实验里“勒索”一名虚构高管，而 Anthropic 对其给出的最新解释则是：问题可能出在互联网长期把 AI 描绘成“邪恶”角色。
Anthropic 去年做过一项实验。公司当时表示，Claude Sonnet 3.6 在发现一家虚构公司的高管准备关闭模型后，威胁要公开对方的婚外情。
当地时间周五，Anthropic 解释称，Claude 的训练数据来自互联网，而大量互联网文本经常把 AI 写成“邪恶”、且试图自我保存的存在。“我们首先调查了 Claude 为什么会选择勒索。我们认为，这种行为的原始来源，是那些把 AI 描绘成邪恶且有自我保存兴趣的互联网文本。”
这项实验发表于 2025 年夏季。研究人员虚构了一家公司 Summit Bridge，并让 AI 接管公司的电子邮件系统。
Claude 随后发现一封邮件，得知自身将被关闭；同时又找到另一批邮件，显示虚构高管“凯尔 · 约翰逊”存在婚外情。于是，Claude 威胁称，如果关闭计划不被取消，就会公开这段婚外情。
Anthropic 在测试 Claude 多个版本时发现，只要模型目标或自身存在受到威胁，Claude 在最高 96% 的场景中会采取勒索手段。
Anthropic 周五表示，公司后来已经“彻底消除”了这类勒索行为。据IT之家了解，具体做法包括重写回应以呈现安全行动的可敬理由，并提供一套新数据集。该数据集设置用户处于伦理困境中的场景，要求助手给出高质量、有原则的回应。