Anthropic 调整 Claude Fable 5 面向研究员的"降智"措施
阅读原文· ithome.comAnthropic 发布 Claude Fable 5 后，因在用户不知情下限制竞争对手使用该模型开发 AI 模型而遭社区反对。Anthropic 致歉并调整措施：将安全防护改为对用户可见。此前，用户询问网络安全、生物学或化学问题会被转给较弱模型；面向前沿 AI 研究人员原本会在不知情时被降低性能。新措施下，若怀疑用户试图用 Claude 构建高能力 AI，将明确提醒系统会拒绝请求或转到较弱模型。服务条款仍禁止使用 Claude 训练竞争性 AI 模型。
IT之家 6 月 11 日消息，此前，Anthropic 被曝会在用户不知情的情况下，限制竞争对手使用新模型 Claude Fable 5 开发其他 AI 模型。AI 研究社区强烈反对后，Anthropic 决定做出点改变。
Anthropic 在给《连线》的声明中致歉称：“我们正在调整 Fable 5 面向前沿模型开发的安全防护措施，让这些措施对用户可见。我们作出了错误权衡，也为没有拿捏好平衡而道歉。”
Anthropic 本周早些时候发布 Claude Fable 5。作为最新模型，Claude Fable 5 加入了额外护栏，用于防止滥用。用户如果询问网络安全、生物学或化学问题，系统会把请求转交给能力较弱的 AI 模型，以降低先进 AI 被用于网络攻击或生物武器制造的风险。
但面对使用 Claude Fable 5 从事前沿 AI 开发的研究人员，Anthropic 原本准备采用另一套更隐蔽的做法：在用户不知情的情况下，故意降低模型表现。换言之，研究人员如果试图用 Claude 训练竞争性 AI 模型，Claude Fable 5 可能会暗中“拖后腿”。
据IT之家了解，Anthropic 的服务条款明确禁止使用 Claude 训练竞争性 AI 模型。
官方最新给出的措施是，Claude Fable 5 面向 AI 开发的安全防护措施会改为对用户可见。如果 Anthropic 怀疑用户试图使用 Claude 构建高能力 AI，Anthropic 会明确提醒用户系统将拒绝请求，或将用户转到能力较弱的模型。