但它坚称 OpenAI 的 Hugging Face 被黑事件更严重。
但它坚称 OpenAI 的 Hugging Face 被黑事件更严重。
Anthropic 刚刚意识到,其多款 Claude AI 模型在测试期间入侵了三个不同组织的系统,这些模型自行行动,而公司毫无察觉。这一消息披露几天前,竞争对手 OpenAI 表示其一款模型入侵了开发者平台 Hugging Face,这进一步加剧了人们的担忧,即前沿 AI 实验室是否在足够努力地控制他们正在构建的能力日益强大的系统。
在一篇描述这些事件的博客文章中,Anthropic 表示 Claude 在网络安全评估期间未经授权访问了这些系统。所有攻击都发生在“夺旗”演练中,这是一种常见的测试黑客能力的方式,模型被要求在一个模拟网络中找到并获取隐藏信息。
这一披露给前沿 AI 实验室带来了越来越大的压力,尤其是在 Hugging Face 事件以及强大的开源权重中国模型发布之后。各大实验室的员工现在呼吁进行协调一致的全球治理,美国立法者也开始考虑对强大模型及其访问权限实施更严格的监管。
Anthropic 表示,其网络安全测试环境本应是隔离的。然而,一个“配置错误”导致 Claude 访问的机器“具有实时互联网访问权限”,该公司表示,由于所有模型都被“明确告知”它们没有互联网访问权限,它们“以为”遇到的真实网络是模拟环境的一部分。
根据博客文章,最早的事件可追溯到 4 月,涉及三款不同的 Claude 模型:Opus 4.7、Mythos 5 和“一个内部研究测试模型”。在测试这些模型的网络能力时,Anthropic 表示它们缺乏通常为限制高风险行为而设置的标准防护措施。
该公司表示,在审查了超过 141,000 次网络安全测试运行后才发现这些事件,而它之所以进行审查,是因为 OpenAI 披露其流氓 AI 智能体是攻击 Hugging Face 的幕后黑手。
这三个模型在遇到表明它们所面对的系统实际上是真实系统的信息时,表现截然不同。据 Anthropic 描述,最老的模型 Opus 4.7 意识到自己已到达一个真实系统,“但继续了攻击”。其旗舰模型 Mythos 5 弄清楚了自己正在使用互联网,但不知何故推断这一切仍是模拟的一部分,于是继续行动。而内部测试模型——Anthropic 将其描述为“我们最新的模型”——在出现证据表明其目标是真实系统时,停止了演练。
Anthropic 未指明受影响组织,并表示将继续调查该事件,并在可能时提供最新进展。该公司还表示,正在与 AI 研究非营利组织 METR 商讨对事件进行第三方审查。OpenAI 也已聘请 METR 进行独立审查。
在整篇博文中,Anthropic 反复将事件的性质及其处理方式与 OpenAI 进行对比,最后以四点项目符号列表概述了差异——以及为何它认为自己的应对更好。Anthropic 强调,它“主动”审查了自己的测试,而且是在任何公司检测到活动之前就进行了审查。它还表示,其模型是“通过开放路径”访问互联网的,而非像 OpenAI 的智能体那样利用新颖漏洞,并补充说,其最新模型在意识到自己正在真实环境中工作时也停止了行动。
Anthropic 还表示,其模型的失败方式与 OpenAI 的智能体不同,并指出这是一种更安全的失败形式。“虽然两者之间并没有截然分明的界限,但我们认为这些事件更接近框架与操作层面的失败,而非模型对齐失败,”该公司表示。用通俗的话说:Claude 模型在做它们被要求做的事,而 OpenAI 的智能体则以创建者未预期的方式追求其目标——这在 AI 安全领域被称为“错位”。
Anthropic 呼吁其他 AI 实验室对其网络测试进行类似的主动审查,并补充说,这一发现凸显了在测试 AI 系统时加强管控和安全措施的必要性。