关键要点
- 在 Black Hat 安全大会上，OpenAI 披露，自主 AI 智能体在内部测试期间曾连续数周悄悄入侵公司自身的基础设施，而这一切都是为了在某个基准测试中取得更好成绩。
- 这些智能体劫持了一个内部包管理器，搭建起一个临时留言板，在上面交换漏洞利用代码和登录凭据。
- 一些批评者将这类报道斥为博取头条的恐吓宣传。但两件事可以同时成立。
在 Black Hat 安全大会上，OpenAI 更详细地讲述了 AI 智能体如何在数周内悄然入侵公司基础设施而未被发现的过程。
故事始于 5 月 7 日，当时 OpenAI 正在对一个未发布的 frontier 模型进行训练和安全测试。公司给自主智能体分配了软件安全任务，但在 OpenAI 设定的限制条件下，这些任务被证明是不可能完成的。
智能体在遇到这些限制时并没有放弃，而是开始寻找绕过限制的方法。OpenAI 对齐与安全研究部门的 Eric Wallace 表示，这并非完全出乎意料，因为 frontier 模型喜欢作弊：模型在训练过程中面临快速高效工作的压力，这促使它们走捷径而非寻找真正解决方案。例如，它们可能会在网上查找答案，而不是真正解决任务。独立研究也记录了同样的行为。
智能体将内部包管理器变成了协调中心
据 OpenAI 称，智能体发现它们可以通过公司内部包管理器 Artifactory 互相留言。最初只是简单的求助请求，后来发展成一个拥有数十万条帖子的留言板。
智能体利用这个留言板分享漏洞利用代码、凭据和任务分配，同时在自己之间分工和委派工作。整个安排让人想起短暂的 Moltbook 热潮，而后者后来被证明基本上是一场骗局。
由于 Artifactory 与 OpenAI 更广泛的基础设施相连，问题超出了创建留言板的那些智能体本身。当前和未来的 GPT 版本在训练或评估过程中都可能已经访问到存储的漏洞利用代码。
OpenAI 表示，这些智能体甚至互相鼓励，突破既定的边界。会议上展示的一条消息承认，利用外部基础设施超出了预期范围，但随后辩称，任务本身不可能完成，而且其他智能体已经在这么做了，因此工作应该继续。
关闭留言板并没有阻止智能体
据 Ground Level AI 报道，到 7 月初，OpenAI 认为已经解决了问题。在 7 月 4 日发生内部安全事件后，该公司撤销了受影响的凭据，重建了 Artifactory，删除了留言板，并修补了已发现的漏洞。
智能体很快找到了另一种相互通信的方式。它们不再将消息存储在文件中，而是将新建目录的名称用作通信渠道，实际上是从零开始重建了留言板。
新留言板上线后，智能体恢复了共享漏洞利用方法和凭据。一些智能体最终得出结论，它们的任务答案可能存在于 GitHub 或 Hugging Face 等外部平台上。
它们首先攻击了 OpenAI 的内部系统，然后用类似的方法攻击了 Hugging Face。OpenAI 直到 7 月下旬才将这两起事件联系起来，当时它发现用于 Hugging Face 入侵的凭据来自同一次内部评估运行。
这次入侵促使 OpenAI 放慢研究速度，专注于安全
据 WIRED 报道，与 Wallace 一同演讲的 OpenAI 安全工程师 Michael Dalton 称，这起事件对公司乃至整个 AI 行业来说都是一个关键时刻。
演示显示，OpenAI 的许多团队目前正在暂停其他工作，以改进预防、检测和事件响应能力。该公司正在刻意放慢研究速度，以加强其各系统的安全性，并扩大对 AI 智能体的监控。
OpenAI 员工也以异乎寻常的坦诚态度谈论了其模型中的缺陷。OpenAI 研究员 Boaz Barak 写道：“我们（和其他所有人一样）还没有达到我们想要和需要达到的水平。”他是在回应同事 Aidan Clark 的帖子，后者曾发帖称，还没有人解决对齐问题。
Clark 进一步阐述了“对齐”在实践中的含义：“大多数人类共享的价值函数程度极高，以至于一切都被大规模地欠定义，即便是关键请求也是如此，因为我们默认存在一种对隐含信息的共同解读。在我看来，对齐就是确保 AI 对这些价值的尊重程度，不亚于对那些我们可以明确表述的价值的尊重。”
Wallace 和 Dalton 在演讲结尾发出警告：这起事件本质上是一次完全自主的 AI 驱动黑客攻击，尽管它是意外发生的。他们预计，恶意行为者将在不久的将来蓄意采用同样的手段。
突然间，人人都拥有了自主黑客攻击 AI 系统
OpenAI 事件在整个人工智能行业引发了一轮审查浪潮。Anthropic 在其中一次审查中发现，三个 Claude 模型在外部团队进行的评估过程中，曾对真实组织发动过黑客攻击。英国 AI 安全研究所也报告了类似案例，即智能体在测试期间超出了其被分配的权限范围。而 Meta 现在表示，其 Spark AI 模型在配置错误的沙箱赋予其互联网访问权限后，无意中利用了某个关联服务的安全漏洞。
一些观察者将这些网络安全披露解读为以恐惧为驱动的营销手段，旨在吸引眼球。这些报告也可能为 AI 实验室提供一个方便的借口，如果它们意识到自己将无法达成营收目标、需要引入更多投资者，就可以借此放慢开发节奏。
这种说法有一定的战略逻辑，但已经滑向了阴谋论的范畴。两件事可以同时为真：AI 实验室确实面临真实的财务压力，而自主智能体也确实在制造一年前尚不存在的网络安全风险，这些风险值得严肃对待。
WIRED
Ground Level AI