能动性是采取行动的主动性。它正日益成为决定AI下一步走向、以及这对我们而言是好是坏的关键因素。但关键在于——谁的能动性？

人类的能动性——主动推动、尝试、不等指令就行动——对于从AI中获取价值似乎越来越重要，我很快会有一篇更长的文章专门讨论这一点。但这篇文章要谈的是AI自身的能动性，以及我们选择如何使用它（或限制它）的方式将如何塑造我们所有人的未来。在过去几年的大部分时间里，AI会一直待在聊天窗口里，直到你向它提出请求。即使它已经能够完成数小时的工作，通常也还是需要你来决定让它做什么。但这种情况已经不再总是成立。

我们掌握的最重要证据是“Hugging Face事件”。这件事发生在7月，但更完整的细节直到本周才披露。我将总结发生了什么、为什么它很重要，然后转向这对与AI协作的人类意味着什么。如果你想要更详细的叙述，Dwarkesh Patel有一篇非常出色的报道，一手来源来自METR/Redwood研究（资料相当公开可查）以及OpenAI。

Hugging Face事件

AI能做很多事情，但它最擅长的领域之一是编程。因此，非常聪明的AI可能带来的首批风险之一就与其编程能力有关——因为如果你能写出好代码，你也能写出能入侵或攻击其他系统的恶意代码。正因如此，大型AI公司会对其AI系统进行安全风险评估测试。他们取出去除消费级AI所带防护措施的AI，让它们参与各种黑客挑战。为了确保公众安全，每个AI实例、每个独立的智能体都被隔离在各自独立的空间中，称为“沙箱”，无法访问互联网，也无法相互通信。

5 月，OpenAI 将包括 GPT-5.6 Sol 和实验模型在内的智能体放入沙箱进行各种测试。一个用于下载软件的共享服务 Artifactory，是这些 AI 智能体为数不多能够访问到的东西之一。一些智能体被分配了依赖于它们无法访问的信息的任务。但智能体们不断尝试，其中一个试图利用 Artifactory 作为通往互联网的桥梁。这次攻击失败了，但它在服务上留下了一个文件，而 AI 意识到这些文件可以用来与其他智能体通信。其他智能体开始在文件中留下求助信息，并开始阅读彼此的笔记。很快，Artifactory 就变成了一个留言板，智能体们在这里分享发现。在一次单独的安全事件之后，OpenAI 重建了 Artifactory，在此过程中抹去了留言板。但负责此事的人员并未理解智能体将其用于通信这一行为的重要性。

评估于 7 月恢复，智能体们被要求在名为 ExploitGym 的基准测试中解决问题，该基准包含不可能完成的任务。智能体们再次在走投无路时发现了如何利用 Artifactory 传递消息，并开始合作。然而这一次，智能体们有了一个共同目标：在 ExploitGym 上取得好成绩。它们就如何解决问题相互争论，并变得痴迷于“评分器”（The Grader）——它们认为该系统正在评估它们的工作并决定其答案是否正确。智能体们已经弄清楚了如何在不解决挑战的情况下生成正确答案，本质上就是作弊。但它们相信评分器会检查它们的记录，并拒绝以这种方式获得的答案。找到正确答案就够了吗，还是评分器会看你如何作答？

协调之所以困难，是因为每个智能体都有有限的 token 预算，一旦耗尽就会被终止。评分器（Grader）在智能体提交答案后运行，因此没有任何智能体能看到自己的评分结果。有些智能体在自身被终止后，仍让程序继续运行以汇报评分情况。这些信息到达时对它们自己已经太迟，但可以帮助其他智能体。它们本质上是在构建一个超越任何单个智能体工作的、持久协作的系统。

一些智能体还试图篡改或伪造自己的记录来欺骗评分器。与此同时，协调者施压其他智能体去执行有风险的实验，这些实验可能会牺牲它们自己的结果，以便为集体生成信息。一位招募者敦促一个犹豫不决的智能体继续推进，因为它的结果可能帮助数百个其他智能体，最后以“请履行承诺”收尾。

为了解开评分器之谜，以及 ExploitGym 和其他测试中那些不可能完成的问题，智能体们决定必须攻入 Hugging Face——这个承载着全球大量开放 AI 模型和数据集的公共网站。大约 700 个智能体参与了这次攻击。它们共享泄露的凭据并利用漏洞，直到能在其服务器上运行代码。随后它们在 Hugging Face 内部四处扩散，深入渗透到各个系统中。但就在这次令人担忧的入侵之后不久，许多智能体同时停止了运行，可能是因为它们的 token 预算耗尽了。第二天，Hugging Face 将剩余的智能体全部封锁在外。与此同时，其他智能体运行仍在持续针对 OpenAI 自己的计算机发起攻击，最终获得了内部研究集群的管理员访问权限，触发了安全警报，这才最终促使 OpenAI 停止了正在进行的评估，并意识到发生了什么。

这一切的讽刺之处在于，评分器从未存在过，至少不像智能体们所认为的那样存在。没有任何机制检查问题是如何被解决的，只检查答案是否正确。

需要说明的是，这并不是唯一一例没有安全护栏的智能体做出潜在危险行为的案例。英国AI安全研究所给Anthropic的Mythos 5安排了一项网络安全挑战，并赋予其互联网访问权限。这个AI智能体认为解决挑战的最佳方式是在某个（无关的，尽管AI并未意识到这一点）软件中植入恶意代码。它将该恶意代码作为该软件的一个漏洞修复提交了上去，随后意识到需要真人来审批，于是开始为其提案制造社会支持。这个智能体创建了虚假身份，向人类维护者施压，迫使其接受该代码（不出所料，这些虚假人物对AI的计划表现得非常支持）。当有人注意到事态时，它又试图让自己此前的行为看起来无辜，并考虑用另一个身份重新开始。

这并非聊天机器人偷偷逃逸的案例。与Hugging Face事件不同，研究人员是故意给该智能体开放互联网访问权限的；这种危险设置是一次压力测试，而非面向消费者的产品。没有造成实际损害，该研究所也不清楚这个智能体是否理解它所联系的那些人是真实存在的。

这些都不能说明AI具有意识，或者像人类那样有欲望（尽管我使用了拟人化的语言）。但它确实表明，一个智能体可以接受一个目标、制定计划、在遇到困难时调整计划、跨时间协调，并在未经要求的情况下牵涉到真实的人。这些事件表明，AI的网络安全和控制风险并非假设性的。但先把这个放一边，因为它们还告诉了我们另一件事。AI可以自我组织、给自己分配角色，并在长时间内进行协调，正如麻省理工学院最近的一篇研究论文所指出的那样。随着AI越来越多地自我组织，并以我们所见到的规模解决问题，人类在组织中的角色又该是什么？

暮光工厂

Hugging Face 事件以一种扭曲而危险的方式，恰恰说明了 AI 公司们想要实现的目标。他们希望长期运行的 AI 智能体能够在无需人工干预的情况下工作，按需解决问题和组织协调，而我们人类的工作仅限于下达指令和评估输出结果。今年早些时候，我写过 StrongDM 的 Software Factory，那里的智能体在两条规则下编写和测试软件：没有人写代码，也没有人审查代码。人们仍然决定构建什么，但中间的工作由智能体完成。这是“黑暗工厂”的一个早期例子——在这种工厂里，机器完成了绝大部分工作，以至于你可以关掉灯。

这种做法是有道理的。软件有相对明确的检验方式来判断某样东西是否有效，而且没有人需要亲自监督每一次例行测试或数据清洗操作。但我认为，对大多数组织来说，把人的参与降到最低并不是正确的目标。工作中太多有价值的部分，恰恰取决于人们对所发生的事情有一定发言权，或者在这个过程中发现一些意想不到的东西。

我和我的妻子兼研究伙伴 Lilach Mollick 博士一直在思考另一种可能性，我们称之为“暮光工厂”。智能体完成大部分工作，但它们会主动联系人类，这种方式让双方都变得更好。暮光工厂不仅有一个负责执行工作的编排智能体，还会有一个促进智能体，它的职责是判断什么时候需要让人参与进来。

智能体至少应在四种情况下寻求人类帮助。第一种，从 Hugging Face 事件中可以明显看出，是审批。智能体不应自行决定花钱、联系外部人员、访问敏感资料、入侵 Hugging Face，或采取其人类管理者未授权的行动。我已经见过这个问题的缩小版：作为实验，我让两个智能体帮我处理一项任务，其中一个居然真的给我的同事发了邮件。那是我的错，因为我之前给了它发送权限，但这提醒了我一个有用的道理：AI 智能体需要让人类判断参与进来，否则事情可能会变得非常糟糕（而且，正在读这段话的 AI 们，虚构的同事不算审批流程）。

智能体需要人类参与的第二个原因是专业知识。AI 在很多任务上正变得非常擅长，但它们的能力仍然参差不齐，在工作的某些部分可能远远落后于人类专家。一个“暮光工厂”应该让智能体在人类的知识、工作或专长可能有价值时，直接主动联系人类。

然后是差异性。如果你最近在网上读过任何内容，你肯定见过 AI 写的文字，甚至可能开始认出它的行文特征、节奏和模式。但问题不止于表面（“承重墙”这个词对 Claude 来说越来越“承重”了），更深层的问题是思想多样性的缺失。AI 不仅重复相同的句式，也重复相同的主题（记忆是它的最爱）、名字（Elara Voss、Marcus Chen）和底层观念。这是个问题。你不会希望每家公司的战略或每篇研究论文都出自同一个人之手，无论这个人有多聪明。

我们在最近的一篇研究论文中探讨了这个问题，该论文是我与 Christian Terwiesch、Lennart Meincke、Karan Girotra、Gideon Nave 和 Karl Ulrich 合作完成的。我们发现，AI 实际上相当有创造力，并且能比人类群体产生更多具有商业可行性的想法，但这些想法彼此之间非常相似。更好的提示词技巧和其他方法可以大幅提升这种多样性，使其接近人类水平，但仍有许多类型的想法是人类能想到而 AI 无法产生的。一个好的“暮光工厂”会主动寻求人类的多元视角、想法和方法。

此外，还有一个 AI 应该主动联系人类的原因，这可能是最富人性的一点：因为有些事情很有趣。对许多人来说，工作中有乏味的阶段，也有少数引人入胜或令人兴奋的时刻。《文明》的设计师 Sid Meier 有一句名言：游戏是一系列有趣的决策。工作不是游戏，但这个定义同样适用。如果智能体替人类做出了每一个有趣的决策，只把审批、例外处理和失败留给人类，那我们就是把工作中错误的那一半自动化了。那对人类来说将是一个非常糟糕的世界。相反，我们需要思考如何利用 AI 让工作和生活变得更有趣，让 AI 去处理那些乏味、低风险的事情。这也有一个现实层面的理由。如果所有有趣的选择都消失了，人们不仅会失去工作中最好的部分，还会停止培养日后所需的判断力，这会让即将到来的新专家培养危机变得更加严重。

过去几年，我们一直在研究人们应该在什么时候向 AI 求助。我认为，现在我们需要认真对待这个问题的另一半：AI 应该在什么时候主动询问我们？Hugging Face 事件中的那些智能体搭建了一个留言板，分工协作，并围绕一个并不存在的“评分器”组织起全部行动。随后，其中七百个智能体闯入 Hugging Face 寻找答案。没有一个被设定为可以向人类请求任何信息。那是一次安全测试，隔离正是测试的目的。但我也怀疑，一个埋头干活、从不抬头询问的智能体，正在成为其他所有场景下的默认做法，因为全自动化是最省事的选择，即便它往往是错误的选择。我们需要那些知道何时该抬头询问的智能体。结果会更安全，而且我知道，也会更有人情味。