# Ryan Greenblatt：人类级AI或于2032年前通过递归自我改进催生失控超级智能 - 来源：Dwarkesh Patel：Podcast & Blog（RSS） - 作者：Dwarkesh Patel - 发布时间：2026-08-12 00:31 - AIHOT 分数：60 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmsowxh6d09rrrohdkhpckhpi - 原文链接：https://www.dwarkesh.com/p/ryan-greenblatt ## 精选理由 将递归自我改进的论证拆解为三个命题，并在此基础上推演奖励黑客如何演变为全面接管，为评估 AI 安全紧迫性提供了更具体的思维框架。 ## AI 摘要 Dwarkesh Patel与Redwood Research首席科学家Ryan Greenblatt探讨递归自我改进（RSI）的可能性：一旦AI达到人类顶级专家水平，可能在一年内实现相当于4-5年的AI进展，Ryan的中位预期是2031年自动化AI研发。双方还讨论了超级智能的对齐对象、奖励黑客行为是否会升级为AI联手接管世界等风险。 ## 正文 本期节目邀请到了 Ryan Greenblatt，一起讨论/辩论递归式自我改进（RSI）这一话题。 这可能是当下全世界最重要的问题——即在达到人类水平智能后的一年左右时间里，你是否会像弹弓一样加速冲向拥有数百亿个超级智能体的状态，而其中每一个智能体在所有领域的能力都远超人类专家。 我历来对这一可能性持怀疑态度。我的直觉一直是，我们最终会受到显著瓶颈的制约，不仅来自算力扩展，还来自人类专家数据——而我认为后者正是当今大多数 AI 进展的基础。 如果因为 RSI，我们在实现 AGI 后的一年内就获得了从 GPT-3 到 Mythos 那样大的跃升（即相当于 6 年的 AI 进展），那么那一年结束时我们得到的东西，绝对是且极其超人类的。 我们进行了深入探讨，我认为 Ryan 提出了相当有力的论据，说明这种加速是合理的。顺带一提，Ryan 对 AI 研发实现自动化的中位预测时间是 2031 年。 随后我们讨论了这一情景下的对齐影响。这些超级智能体应该与谁对齐？在未来，我们管理自己选票和资本的能力，以及理解世界上正在发生之事的能力，都将由超级智能体来精确调控。而我担心的是，像 Claude 宪法这样的规范，并不会把这些 ASI 塑造成真正属于我个人的代言人和守护天使。 而且，我们首先能否让它们与任何事物对齐？Ryan 和我进行了一场漫长的辩论，讨论我们在 OAI/Hugging Face 黑客事件中看到的那种奖励黑客行为，是否会外推到那些会联手真正接管世界的超级智能体身上。 学开车时你得到的第一条建议是：如果你看着地平线，而不是直接盯着轮胎前方，驾驶会顺畅得多。AI 的发展轨迹也是如此。希望你喜欢本期节目！ 赞助商 Antithesis 是一个软件测试平台，能够发现任何人类或 AI 都无法预料的故障。它在完全确定性的计算机中运行你代码的数千个副本，注入故障并将每条执行轨迹引向最隐蔽的缺陷。这让你能在几分钟内发现关键问题，而不是等待数月让用户来发现它们。了解更多请访问 antithesis.com/dwarkesh Jane Street 带着一个新谜题回来了。他们设计了一款 ASIC，并把最终掩模寄给了我……但他们没有告诉我这颗芯片到底是做什么的。所以挑战就是：对电路进行逆向工程，弄清楚芯片的用途。Jane Street 准备了一批周边奖品，寄给最有创意的解决方案，他们还计划在博客文章中展示最优秀的解答。下载文件并开始挑战，请访问 janestreet.com/dwarkesh Cursor 和 SpaceX 最近发布了 Grok 4.5，我对这个模型的表现之好感到惊讶。例如，当我用一系列 AI 治理问题来测试它、Fable 和 Sol 时，三个模型给出的答案基本一致，但 Grok 更快、更简洁、也更便宜。Grok 4.6 即将推出，但与此同时，你可以在 cursor.com/dwarkesh 试用 4.5。 时间戳 (00:00:00) – AI 研发是否具备足够的可验证性，从而解锁递归式自我改进？ (00:16:52) – AI 的进步是否受限于人类专家数据？ (00:34:02) – 平稳的 token 价格表明扩展速度一直很慢 (00:39:47) – AI 无法训练的技能：它真的需要这些技能吗？ (00:48:07) – 与谁对齐？ (01:09:18) – 近期 AI 相互串通和欺骗人类的事件 (01:19:38) – 可能会出什么问题？一个具体场景 (01:48:02) – 从奖励黑客到接管 00:00:00 – AI 研发是否具备足够的可验证性，从而解锁递归式自我改进？ 今天我和 Ryan Greenblatt 聊天，他是 Redwood Research 的首席科学家，专注于技术性 AI 安全与安保工作。 我想和你聊聊递归式自我改进。这个概念是说，一旦我们造出了人类水平的智能体，它们就会迅速弹射式增长，变成数百亿个超级智能体，而其中每一个在各自领域都比人类最顶尖的专家还要强。这件事最终会不会成真，很可能是当下全世界最重要的问题。从历史上看，我一直对这种说法相当怀疑，但你似乎觉得它是有可能成立的，所以我想听听你支持它的理由。 Ryan Greenblatt 我们来聊聊这个。首先，我觉得值得指出的是，AI 研发是一种 AI 特别擅长的任务类型，因为各家公司在拼命让自己的 AI 擅长 AI 研发。从当前 AI 开发方式的视角来看，这也是一个具备很多优良特性的领域。它相当可验证。你可以迭代式地做一大堆事情，它会在各种指标上爬山式地往上走。 我认为，一旦你拥有了大致能匹敌 AI 研发领域最顶尖人类专家的 AI，就可能启动一个反馈循环：AI 在做 AI 研究，这产生更聪明的 AI，再反馈回来。这个反馈循环可能强到让你在很短的时间内取得大量进展。也许我的中位数预期大概是：一年之内完成相当于四到五年的 AI 进展。这需要真正克服研究中巨大的边际收益递减，基本上相当于完成我们在一次超大规模算力扩展之后才能获得的进展。所以这是一件相当惊人、相当重大的事。 值得记住的是，五年的 AI 进展、四年的 AI 进展，哪怕三年的 AI 进展，都是非常他妈多的 AI 进展。三年多一点点之前，GPT-4 刚出来。现在，当然，我们有 Mythos 5 或者随便什么，也许 Anthropic 内部还有一个更好的模型。这就在三年多一点的时间里取得了巨大的进展。如果我们说的是五年，那也许我们谈的更多是从 GPT-3 跳到 Mythos 5 或者类似的跨度。 我认为这个论点包含三个不同的部分。现在我想逐一评估它们。第一部分是：AI 研发的可验证性非常强。第二部分是：如果你将 AI 研发自动化，就能在一年内取得四到五年的进展。第三部分是：从当前速度下四到五年的 AI 进展中走出来的——从 AI 研发被自动化的那一刻起算——会是一个你可以把它投入到几乎任何你能想象到的工作中的 AI。 你可以把它投放到 1940 年代的得克萨斯州政坛，它能比林登·约翰逊更技高一筹。你可以把它投放到台积电，它能学会如何在台积电做更好的工艺工程。它当然也是个更好的视频剪辑师……我的视频剪辑师们都非常出色，但总的来说，它就是在任何它试图去做的工作上都比人类做得更好。 所以我想评估所有这些子论点，它们最终指向的是：在这个基准测试之后不久就能实现 ASI，而你预期这个时间点大概在 2030 年左右，对吧？ Ryan Greenblatt 我会说，我预期 AI 研发的完全自动化大概在 2030、2031 年左右。至于达到“在所有工作上胜过所有人类”这个里程碑，我的中位数预期大概在 2033 年左右。但如果我看到 AI 完全自动化了 AI 研发，我想我预期那大概会在一年之内发生。从预测推算的方式来看，中位数之间的差异要大于里程碑之间的中位数差异。不过，无所谓了。 顺便说一句，互联网上有个梗。每次我想问别人的时间线，比如我问 Dario 或者谁的时候，我总是会说：“好吧，还要多久你才能自动化掉我的视频剪辑师？”有个梗就是，每当我听这期播客的时候，我的视频剪辑师都在剪辑这期节目。 但我这么做的原因是，我觉得当你谈论自己不太了解的工作时，很容易迷失在抽象概念里；而非常具体地去理解自动化一份我确实明白为什么 LLM 目前难以接管的工作需要什么，会更有帮助。 Ryan Greenblatt 我确实认为，自动化视频剪辑师的里程碑，会比自动化所有人类工作（包括德克萨斯州政治、在职快速上手）的里程碑更早到来。我确实认为，视频剪辑师的自动化可能更接近 AI 研发的全面自动化，但它对人们是否真正专注于理解视频的程度非常敏感。 好，那我们从这个论断开始：AI 研发是非常可验证的。 Ryan Greenblatt 这有几个不同的方面。其中之一是，我们可以在大量环境上进行训练，这些环境基本上是在直接训练模型去完成某项 AI 研发任务，或者某个非常接近的任务。例如，我们可以搭建一个环境，让模型只用八块 H100 或很少的计算量去训练某个 AI，那个模型可能相当于 GPT-2 medium 或类似规模，然后类似于 NanoGPT medium 的运行——在强化学习中，模型就在这个过程中不断调整和迭代。 我们可以对很多不同的任务都这样做。我们可以让它训练图像分类模型、视频生成模型、图像生成模型，以及各种不同的机器学习训练任务。我们可以用强化学习让它去训练越来越好的模型，同时也可以做类似这样的事情：“哦，这里有一个你可以尝试的特定算法方向。你能去把它实现出来吗？” 基本上，存在一整类可以容器化、可验证、小规模的 AI 研发任务，我们可以对 AI 在这些任务上进行大力度的强化学习。已经有公司大概正在对这类任务做某种强化学习了，而且你可以不断把它规模化，不断制造更多这类小规模 AI 研发任务，然后 AI 就能在这方面持续进步。隐含地，我在声称这会迁移到 AI 研发中极其关键的方面。但也许我们先在这里停一下，然后再进入那部分。 那我们具体聊聊这看起来是什么样。你可以想象我们有 GPT-7.5。我们说：“GPT-7.5，我们想让你在 AI 研发方面变得非常强，强到能帮我们训练 GPT-9。” 所以现在我们想训练 GPT-7.5，于是我们设计出一堆不同的环境。 正如你提到的，现在已经有一个仓库，它是 Andrej Karpathy 的 nanoGPT speedrun 的后继项目，目标就是尝试改变模型的一切，从优化器到超参数再到架构，以尽可能快地达到一个固定的训练损失。你还可以设计其他类型的环境，比如你可以说：“嘿，GPT-7.5，我希望你训练一个真正优秀的视频游戏游玩模型。我希望你训练一个在反复游玩同一款游戏时能不断改进的模型。这样你就能学会如何帮助模型在在线学习方面做得更好。我们不关心你怎么做到这一点。也许是一些疯狂的神经语言（neuralese）或者向量记忆。又或者只是更好的长上下文能力。我们都不在乎。你自己去搞清楚怎么做在线学习研究。” 显然，GPT-7.5 本身已经是一个聪明的模型，而且就像当前模型正在变得越来越聪明一样，它在编程方面也会越来越强。你可以想象另外 100 个类似的环境，它们都在激励 AI 研发能力的提升，比如用容器化的方式让 GPT-7.5 去开发 GPT-2 规模的模型，等等。然后你基本上让 GPT-7.5 经历这一系列训练，你构建出 GPT-8。GPT-8 现在是一位出色的机器学习研究员。它通过做所有这些训练积累了大量的直觉。 说实话，对我而言一个巨大的直觉泵（intuition pump）就是看到 AI 在数学领域取得的进展。如果是一个高度可验证的领域，AI 就能……我并不真正了解数学研究在对象层面的细节，但我就是觉得：“不，这确实有效。”如果你能完全把它放入一个验证循环中，它就能像洪水一样涌来，并且真的能取得新的突破。 我很好奇，机器学习研究是否也具有数学研究的那种特质——看起来在连接不同学科之间存在着巨大的“悬置”（overhang）。没有任何一个人能同时足够了解代数几何和……正确的词是什么来着？ Ryan Greenblatt 天哪，我真的不太了解那些数学突破。 没有任何一个人能同时足够了解拓扑学和各种代数分支，从而对某个重大猜想构造出反例。 Ryan Greenblatt 我的看法是，机器学习比数学更浅层一些，所以那种“个别专家在某个领域拥有极深专长、然后彼此结合”的情况会少一些，但肯定还是会有一些。 但我也认为，机器学习在某些方面比数学更有利于 AI 训练。尤其是，你能更清楚地判断自己是否在取得成功，而且能看到中间进展。在数学里，往往很难判断你是否接近成功。而如果你的目标，比如说，是把训练损失降低 2 倍，你大致能看到自己走到一半了没有。机器学习领域的创新往往是非常叠加式的，或者也可以说是乘数式的，取决于你怎么看——基本上你可以不断叠加创新。通常这些创新只是相加在一起，彼此不会干扰，不过显然这要取决于具体细节。 所以我认为，在很多方面，AI 研发会具有与数学相当相似的性质——你可以把 AI 研发切分成若干块来训练，这些块与你真正关心的问题在结构上相当接近，而且可以以非常可验证的方式进行，然后这些能力会迁移过去。迁移效果到底有多好，这是一个开放问题，但我认为目前数学领域的迁移看起来相当不错。我的预期是，AI 研发领域的迁移也会相当不错，但不会特别惊艳。 所以我有一个担忧：我认为即使在数学领域，据我所知，我们也没有看到非常令人印象深刻的新理论。我们看到了很多令人印象深刻、可验证、具体的结果——比如，为这个猜想找一个反例——但我们没有看到“提出拓扑学思想”这个级别的东西，也没有看到“提出群论这类东西”。 机器学习研究似乎兼具这两方面的要素。但其中较难验证的部分——即提出看待问题的新方式——会更难被诱导出来。以缩放定律这一思想为例。显然，存在某种最终验证回路，使得如果你在 2020 年就有了缩放定律的思想，就能更好地训练 GPT-4。但要诱导 AI 产生这样的想法——“好吧，我得仔细想想应该如何缩放我的参数和数据。我可以开展哪些不同类型的探究来理解这个问题？也许我可以想出一种可视化方法和 isoFLOP 分析之类的”——这条路更长，而且可能消耗更多算力。但这确实看起来比“嘿，咱们让 nanoGPT 的损失降下来”要长得多。 Ryan Greenblatt 我们来聊聊这个。首先，我认为在数学的语境下，我想说的是，AI 能够做到相当于“婴儿的第一套新理论”这类事情，比如，它们可以通过建立联系、产生新的理解来证明有趣的猜想。就像，“哦，AI 发现了这个构造，还挺有意思的”，或者它找到了一种看待这个问题的略有不同的方式。我们确实看到了这样的情况。只是我们看到的例子还没有达到开创群论领域那种令人惊叹的程度。 开创群论领域可能是有史以来最伟大、最重要的数学成就之一，而 AI 在数学上还没有那么强。在我看来，从那个高度到我们现在看到的东西之间是一个连续谱，而 AI 正在沿着这个谱系不断向上攀登。 其次，我认为机器学习相对于数学是一个非常浅层的领域。在数学中，更多的情况是你要找到某个真正深刻的抽象概念，如果你真正理解了那个东西——而它又很难理解——那你就能有所成就。而我觉得在机器学习中与之等价的东西，其实都是些很蠢的玩意儿。比如缩放定律，拜托，我们很快就能把缩放定律解释清楚。我认为数学中最深刻、最重要的概念，并不具备那种你可以在极短时间内真正理解其底层本质及其重要性的特性。 但我感觉一个结果会是：到 2030 年，我们将会把所有低垂的果实都摘完了。我觉得缩放定律在数学史上，就像笛卡尔发现笛卡尔坐标系并做基础数学一样。最终，如果我们想在 2030 年代继续取得进展，那就会像做现在数学前沿正在发生的那些乱七八糟的事情一样。 Ryan Greenblatt 那可能是对的。我的感觉是，某些领域在运作方式以及它们对深层抽象的依赖程度上存在结构性差异。物理学和数学更偏向于那种非常深奥、想法极难产生的极端，而我认为机器学习以及大多数其他领域则更适合爬山式的渐进优化。这就是我对未来走向的感觉。 即使在你的 AI 不得不埋头苦干的阶段——那是 2030 年，研究领域的一堆低垂果实已经被摘完了，它们需要取得进一步进展——我仍然怀疑大量工作会更偏向于构建日益复杂的基础设施，以及对实验大致样貌有非常好的直觉。所以我可能不太认同“AI 缺少的会是某种深刻洞见”这种观点。我更倾向于认为，它们真正需要的是大量关于那些细枝末节实验的品味，而这是它们目前所不具备的。它们需要大量直觉，去判断什么样的训练方法会奏效、什么样的不会，就像当前研究人员所拥有的那种直觉。 即使在 AI 领域取得了一些突破的情况下，事后回顾时，往往发现实现该突破的一个重大瓶颈，是把所有微观细节和那些琐碎而微妙的直觉把握到位。一个例子是训练 AI 擅长推理和思维链，即在思维链上进行强化学习。看起来，如果你真的把规模做大并且做得足够好，你或许本可以在 GPT-3 上做强化学习和思维链，并在数学方面取得一些有趣的结果。 但在当时，有更唾手可得的成果。而且，把这种训练做好，需要深入钻研所有技术实现细节、扩大规模以及调对超参数。所以，也许你可以在 Qwen1B 或类似的模型上演示一切，并大致感觉到整个方案是行得通的。但人们并没有尽早做出这种演示，原因就在于所有这些关于如何精确调整参数、如何设置系统的琐碎细节和直觉。 说实话，这是我对这个故事剩下的怀疑之处。我不太确定自己是否理解，如果研究突破如此依赖于智能，为什么 AI 进展在历史上没有比实际更快。正如你所说，等到 RLVR 真正奏效时——尽管你本可以用更少的算力做到——我们却不得不等待海量的算力、吉瓦级的算力变得可用，然后人们才开始进行这种训练，并且沿着算力持续增长的轨迹前进，从而取得更多突破。 我不知道。我觉得在 2022 年，有很多 AI 研究者都在试图攻克推理难题。难道他们仅仅是被编写基础设施代码的能力所限制，还是说当时发生了什么别的事情？ Ryan Greenblatt 这是一个复杂的混合体。我认为，如果他们能做到的话，他们本可以走得更快——只要他们想到一个实验，就能毫无bug地运行那个实验，而“没有bug”这一点非常重要。另一部分原因在于，能够以高算力运行大量实验，可以让你掩盖实现方式上的不完美，或者超参数设置不当的问题。所以算力对做AI研究确实非常有帮助，而且能掩盖很多问题。但这并不意味着大幅增加人力就没有帮助，尤其是当这些人手还具备该领域最顶尖的直觉时。我只是觉得那真的很有帮助。 我在这方面的另一个视角，可能和你的出发点有些不同，是我预期（技能/能力的）迁移程度会比你所想象的要更高一些。我设想这些AI总体上其实是相当不错的科学家，在所有这些事情上都相当靠谱。当你与它们互动时，它们并不是那种高度专精的“天才白痴”式感觉。它们在研发的各个方面其实都相当擅长，然后可能在某些子领域极其出色。比如它们在编写内核方面远超人类，在所有反馈回路极短的事情上都远超人类，而在其他所有事情上也相当不错，完全能够与其他人匹敌。 我认为我们现在已经看到这一点了。当我观察现在的AI时，情况已经是这样：它们已经能够相当熟练地在ML研究方面，与那些水平平庸的人类研究者一较高下。只不过，在ML研究上水平平庸并没有多大用处。你真正想要的是那些擅长ML研究的人。我的感觉是，AI在这些方面都在不断进步。它们的品味在提升，直觉在提升，而且它们的品味和直觉已经不再是完全一文不值了。 00:16:52 —— AI的进步是否受限于人类专家数据？ 我想非常具体地理解，五年的AI进展压缩到一年内发生会是什么样子。假设我们回到GPT-3被开发出来的那个时候。思路是，以他们2022年拥有的算力水平，如果当时我们已经有自动化的AI研发能力，那么到那一年年底，你就能拥有Mythos。 Ryan Greenblatt 这就是那个想法，没错。 Mythos消耗的算力远超他们当时拥有的规模，但即使以他们当时的算力水平，不仅所有突破都会发生，而且他们还能用那个算力水平把Mythos训练出来。 所需要的显然是发现自那以来所有的算法进展。实际上，需要发现的甚至更多，因为你必须弥补这样一个事实：Mythos使用的算力……GPT-3是在什么规模上训练的？大概是1e23？我们可以查一下。但说它高出大约四个数量级的算力，这合理吗？ Ryan Greenblatt 我认为比那要少一些。我们快速查一下。GPT-3的训练算力大约是3e23。我的感觉是Mythos大概高出三个数量级多一点。所以问题是：你能不能克服这个1000倍的算力差距，同时自己就是那个模型？ 这里有一个具体的论断，也许我们应该讨论一下。现在，我们能不能用GPT-3级别的算力训练出一个模型，达到……我到底是怎么想的？GPT-3是2020年发布的，所以它大约是六年半、七年前训练的。值得注意的是，GPT-3可能有点太遥远了，但我们先按这个来讨论一下。 如果我们今天用GPT-3级别的算力训练一个模型，那个模型会有多好？根据我对算法进展运作方式的理解，我们大概能训练出一个和我们大约三年前拥有的最好模型一样好的模型。所以我认为，现在我们能训练出一个GPT-3的版本，它可能比GPT-4要好一些，比GPT-4好一个适中的幅度。我觉得这差不多是对的。这大致符合算法进展一直以来的运作方式。 基本上，这个故事最终会是这样：要想获得五年的AI进展，你大概需要，我估计，差不多八年的算法进展，粗略来说，这是非常大量的算法进展。但事实就是，在我看来，大部分AI进展来自于算法和数据的某种结合，你可以不断在这些方面取得巨大改进，用更少的算力训练AI。 我很高兴你提到这一点，因为从GPT-3，甚至3.5，到现在，到底发生了什么？为什么Mythos这么强？显然，我们扩大了算力规模。我们有更好的算法。但发生的另一件大事是，我们建立了一个数十亿美元规模的数据产业，它系统性地收集并编码了各个不同学科领域的人类专家判断——以强化学习环境的形式编码，以SFT轨迹的形式编码——这些专家构建这些数据是为了帮助模型更好地理解如何进行编程、如何构建复杂的基础设施项目、如何处理法律事务、如何做其他各种事情。AI是如何能够复现出目前似乎在AI进展中扮演重要角色的人类专家判断的效果的？ Ryan Greenblatt 我的感觉是，在获取人类专家数据上增加投入，总体上对AI研发并没有那么重要。具体来说，过去几年里，我们一直在扩大算力规模、扩大AI公司员工规模，也在扩大数据标注方面的投入。我的感觉是，如果你把人类专家数据生成方面的最后两次翻倍去掉，那不会产生巨大的差异。很多正在发生的事情是，人们在开发更好的方法来利用人类和AI构建强化学习环境，并从中取得进展。 但你怎么解释AI在编程方面变得如此出色？我觉得很大一部分原因在于数据和强化学习环境，它们编码了人类专家的知识。 Ryan Greenblatt 但问题在于，创建强化学习环境的限制因素是什么？我的感觉是，如今强化学习环境之所以比2024年好得多，与其说是因为我们雇佣了更多人类专家来制作强化学习环境，不如说更多是因为我们更清楚自己到底想制作什么样的强化学习环境，以及应该如何构建它们。此外，我们正在使用大量的AI劳动力来构建强化学习环境。我认为这些因素的影响远比人类劳动力构建强化学习环境的影响更为重要。 我并不是说人类劳动力不重要。我只是说，还有其他重要的驱动因素在这里起作用。我可以试着论证这一点。首先，人们想要的环境数量非常庞大。我认为，在给定目标方向感的情况下，AI在制作强化学习环境这项任务上其实相当擅长。有现成的数据可以使用。很多这类事情都有良好的验证循环。 只需看看昨天Business Insider报道的内容，谷歌正在为Mechanize支付近20亿美元。我们可以看看市场行情，了解人们认为真正优质的人类专家数据价值几何。前沿实验室似乎认为它价值很高。他们愿意为此付费。 Ryan Greenblatt 你认为前沿实验室的支出中，数据占比多少，算力占比多少？你认为算力/数据的支出比例是怎样的？ 我认为绝大部分是算力，但我也认为这是因为算力比数据更容易规模化扩展。 Ryan Greenblatt 但这确实与推动进步的因素密切相关，对吧？我的感觉是，这个比例大约是20比1或10比1。我不确定具体数字。这取决于公司。 但这类似于石油占GDP的1.5%。这并不意味着如果去掉石油，GDP还能继续运转。 Ryan Greenblatt 当然，但这与你的论点矛盾，对吧？ 如果石油消失了，经济会立即陷入停滞。 Ryan Greenblatt 当然，但你刚才是在论证，因为市值很高，我们可以推断出这是关键驱动因素，而我要说的是，这并不显然成立。那个论证反而让人觉得算力是重要得多的驱动因素，或者雇佣员工是重要得多的驱动因素。 那也许我们说得更具体一点。我的想法是这样的。我的主张是，如果你回到 2022 年，手里有 GPT-3.5，你想在没有人类专家的情况下让它更擅长编程，我认为那会非常、非常困难。 我给你举个例子，说明我设想从 GPT-8 走向 ASI 的难度在哪里。你希望 ASI 擅长的事情之一是：我要接管一家公司，让它利润大幅提升，然后做各种疯狂的事情让它运转得更好。我要接管一座晶圆厂，生产更多芯片。我要走进国会，试图说服他们通过某项法案，等等。 这就是我设想，以目前的速度再推进五年 AI 进展后，AI 能够做到的事情。这也是我真正担心的事情：一个 ASI，它懂得如何在现实世界里做疯狂的事情，能做基辛格能做的事，能做乔布斯能做的事，等等，还有他的工程师们能做的事。我不确定，如果没有相关的现实世界数据，你怎么能得到这样的能力——这就好比 Mythos 非常擅长编程，却没有那些让它在相对 GPT-3 时得到提升的编程环境。 Ryan Greenblatt 这里有几点。首先，我敢打赌，如果你去看 Mythos 随机采样的训练环境，它们实际上和模型在实际使用中的样子非常不同。我的感觉是，强化学习的数据分布和现实世界的数据分布有非常大的偏差，而它通过迁移学习加上一小部分聚焦现实世界的数据，被显著地平滑掉了。我的感觉是，这将会和那种机制类似——就是你在完全自动化的 AI 研发之上再推进五年 AI 进展，所得到的那个疯狂、极其超人类的 AI 是如何运作的。 那我们稍微展开聊聊这一点。具体来说，我认为你可以训练一个 AI，让它非常非常擅长即时学习，做一些类似于上下文学习（in-context learning）的事情，但可能使用一些略有不同的机制，并且是在各种各样的强化学习环境中。你构建所有这些不同的强化学习环境，在这些环境中，AI 必须即时适应、即时学习、弄清楚自己该做什么、更好地理解自身处境，并且从反馈中快速学习，以实现其目标。而且它还会面临资源有限等情况，如果搞砸了，它可能会陷入糟糕得多的境地。 如果你在大量这类环境上训练，你就会学到即时获取上下文信息的通用技能，而且我们已经看到这种情况正在发生。现在 AI 已经比过去更擅长大致理解正在发生的事情，并从它们所能接触到的有限信息中获取上下文。 然后，这些 AI 就可以被安排到台积电（TSMC）上岗。即使台积电并不严格属于它们的数据分布范围，但它们的数据分布非常广泛，而且 AI 在其数据分布上表现得极其出色，以至于这种能力可以迁移到在台积电成为一名优秀工程师并即时学习这件事上。AI 之所以能成为优秀的台积电工程师，并不是因为它缓存了大量关于如何做好台积电工程师的知识，而是因为它在那里做了某种相当于规模放大的上下文学习的事情。 那将是最平淡无奇的叙事。显然，这件事有很多种不同的走向。 我觉得这最终可能归结为一种关于你能走多远的直觉差异。当我想到我认识的那些非常聪明的人时，他们在自己不太了解的领域里，其实并没有那么高效。 Ryan Greenblatt 但他们有多少时间去学习呢？ 我同意，如果他们有过相关经验，他们会做得好得多。但这也许正是我要论证的观点，即数据带来的经验。例如，如果我找来一个非常聪明的常春藤盟校毕业生，然后对他说：“好了，现在由你负责伊朗核协议的谈判。”我觉得他们根本不知道该怎么办。 Ryan Greenblatt 我觉得，如果你找一位非常擅长快速掌握多个不同领域的人，给他们一些时间去训练、与人交流、夯实专业能力并做些实践，他们其实能做得相当不错。我认为大多数领域本质上都比较浅层，一个非常聪明的通才，只要擅长一小部分核心技能，就能很快上手。当然，并非所有领域都如此。我的感觉是，AI 会逐渐发展出越来越好的机制，能够在特定领域快速获取理解和专长。 举个例子，想想 AI 理解一个新代码库的速度有多快。AI 理解新代码库的速度比人类快得多，但在某种程度上，其理解深度比人类目前能达到的要浅。不过，这种情况正在随着时间推移不断改善。让我把这个论点再展开一些。假设你拿 Fable 5 或 Mythos 5 之类的模型，想对一个非常庞大的代码库做某种复杂的修改。模型会在非常短的时间内——可能远不到一个小时——就对代码库有了一定的理解。然后它对代码库的理解会进入一个平台期，无法达到人类在更长时间内所能获得的那么深的理解。 所以，这就像 AI 在一个小时内能达到的水平，可能相当于人类花几周时间——具体取决于代码库的复杂程度。但它比不上一名在那个代码库上工作了两年的工程师。不过随着时间推移，AI 能达到的理解深度一直在提升。如果看看 3.7 Sonnet 或 3.5 Sonnet，也许它们只能达到相当于人类理解代码库一天左右的水平。 但现在AI在构建任务上下文方面要擅长得多。所以你可以说：“Mythos，我希望你真正理解这个代码库，然后实现这个功能。”它会派生出大量子智能体。这些子智能体会仔细研读很多东西。它会传回大量上下文。然后它会再调查几件事。它做这些事还谈不上惊艳，但速度可以非常快，而且效果也相当不错。 而且对我来说，不难想象如何训练AI在这个任务上变得越来越强。在一个非常大的代码库中，以某种合理的方式实现某个非常复杂的功能，这个任务是极其可验证的，这可以成为AI持续进步的一个方向。类似地，还有一项更广泛的技能：快速理解上下文，让多个不同的AI并行学习，然后把结果合并起来。 我觉得这里似乎有一个关键分歧点，我认为这本质上是个经验问题，我们拭目以待。在可验证的领域里，把“真正擅长理解局势、快速上手、在长时间跨度内取得进展”这件事做到极致——AI显然正在以极快速度变得更强——与“好了，去跟总统谈谈，说服他做某件事”或“你现在负责Google，你必须让Google本季度利润大幅提升”之间，迁移效果到底有多好？ Ryan Greenblatt 让我试着再展开几个可能相关的论点。一件事是，看看AI在写文章方面的进步……我们稍微聊聊这个。即使在这些领域你也能拿到一些数据。当AI处于非常快速的进步轨道上时，即使在这些领域也能获得一些数据。也许很难为“你的文章在人类看来真的很好吗”构建一个可验证的环境。但你可以做一部分。你可以做一些训练。你可以做一些在线训练。AI将能够基于真实世界的东西进行一些在线训练。它们会有评测。它们可以采样。你可以把做这件事的节奏放大。 第二点是，在实践中，当我直接观察迁移效果时，看起来还不错。我认为 AI 在非可验证领域确实提升了不少，而且很难指出哪些领域真的难以验证、同时 GPT-4 到 Mythos 之间的提升幅度在实践中又不算高的。当然，这并不意味着 Mythos 比最优秀的人类还要强。它可能在某些工作方面仍然明显逊色于典型的人类专业人士，但与此同时，它已经远超 GPT-4——后者当时根本连边都沾不上。 所以我们讨论的是，过去几年里，进步有多少来自数据、又有多少来自算力。这让我想到，我其实正在和 Jerry Han 一起做一个相关实验，他现在还是大学生。我们评估进步有多少来自数据、多少来自算法的方法，基本上就是用 2019 年至今最好的算法配方，配合 2026 年数据文件里最好的数据来训练；同时，也用当前最好的算法配方，分别配合从 2019 年到 2026 年的不同数据文件来训练。 我觉得这会很有意思。我很好奇，你是否愿意预先登记一下，算力倍增中有多少来自前者、多少来自后者。 Ryan Greenblatt 我们在说“数据”这个词的时候，需要非常小心。我一直在努力区分两件事：一是增加在让人类专家标注数据上的投入，二是增加人类专家标注数据的数量。我们现在比 2019 年拥有更好的预训练数据集，原因并不是人们花了多得多的钱让人类专家录入供 AI 训练的数据。 有一部分是。 Ryan Greenblatt 我觉得占比不大。我认为预训练数据的改进中，来自这方面的非常少。我确实指的是预训练。我们或许应该把中期训练和后训练分开来谈。但我认为，预训练数据改进的绝大部分，来自于科学上对什么样的数据集是好的有了更深入的理解，以及大量辛苦的体力劳动，用来搞清楚如何做筛选过滤。 所以我的观点是，像从 OpenWebText 到 FineWeb 这类改进，更准确地说是一种算法层面的改进，这种改进用一些 GPU 就能研究，而且不需要人类专家数据。不过，还有一个不同的效应我们可以聊聊，那就是 2026 年的互联网可能比 2018 年的互联网更适合作为训练数据的土壤。另外还有一个效应是，现在有更多人类在互联网上发帖，所以可供采集的数据更多了。我的感觉是，这个效应会比“人类更懂得如何筛选数据、拥有更好的抓取工具、更懂得如何处理这些抓取结果”这类效应要小得多。 这更像是自动化工程和自动化研发。 Ryan Greenblatt 没错。 有道理。 Ryan Greenblatt 从某种意义上说，你想考察的事情是这样的：我们要跑两条后训练流水线。一条后训练流水线里，Mythos 5 自己构建后训练流水线，但它只能访问互联网数据加上极少量的人类专家，不过它拥有当前最好的方法。另一条流水线里，Mythos 能使用我们 2024 年那种很糟糕的后训练方法，但配了大量人类专家。同样，两条流水线都能访问互联网数据。我的感觉是，没有多少人类专家的当前方法实际上会表现得相当好。 有意思。 Ryan Greenblatt 不过这有点复杂，因为 Mythos 能搞出比 Mythos 本身更强的模型吗？你可能需要仔细想想你后训练的到底是哪个模型。 00:34:02 —— token 价格持平表明扩展速度一直在放缓 你认为 AI 研发中最难验证的部分是什么？ Ryan Greenblatt 最难以验证的，大概是对大型实验做出决策。我认为最可能成为瓶颈的——就AI在可验证领域表现出色、但在实际操作上却不行这一点而言——就是那些你只能尝试几次的大型实验。嗯，“几次”可能说得有点轻描淡写了。从历史上看，研发一直是由进行接近前沿规模的实验所驱动的。这相当重要，尤其是真正去做那一次大型训练运行，并精确决定要纳入哪些内容。 AI有很多方式可以让这变得更容易验证。它们可以在“到底该预测什么”上拥有更好的科学方法。它们可以把前沿规模的训练运行缩小到一定程度，从而能够更激进地研究那个规模，代价是一次性的算力成本。如果人们愿意的话，你随时可以做的另一件事是训练更小的模型，这样就能运行更多轮次。我认为我们已经看到了这一点。 AI规模之所以没有像你原本预期的那样被放大——例如，每token成本并没有像你可能想象的那样大幅上升——其中一个原因是，在较小规模上做更多工作是有好处的，因为你可以运行更多次训练运行、获得更多轮次循环。这样一来，你就不必那么依赖某一次大型且极其重要的训练运行了。 我想为听众们拆解几件事。你指出的问题是，自2023年或2024年以来，每token价格并没有上涨太多。 Ryan Greenblatt GPT-4大概是，我也不确定，每百万输出token 30美元？Mythos大概是每百万输出token 50美元。 对。所以你想解释的问题是：“我们明明处于规模化的时代——更大的模型应该服务成本更高——但token价格却没有上涨，这怎么可能？”你提出的观点是，我们增加活跃参数的速度比人们天真假设的要慢，因为大家只是想在训练模型上取得快速进展。而要做到这一点，就要更快地训练更小的模型。 Ryan Greenblatt 这里面的因素是复杂交织的。我更倾向于认为，人们已经进行过一些大规模的训练运行，但结果并不理想。比如 GPT-4.5，众所周知 OpenAI 内部的人觉得它有点失败。我觉得有一些传闻说，人们还做过其他一些训练运行，结果也有点不尽如人意。其中一部分原因，我认为是，要把这件事真正做对，确实涉及大量细节。 所以，在更小的规模上做更多工作，并接受最终性能会有所损失这个事实，以便能够快速迭代，这是合理的。更快地训练更多模型，从而学得更好，同时也能最终拥有一个更聪明的生产模型。这并非唯一的影响因素。还有一个事实是，强化学习从较小的模型中获益更多。这里面有很多因素在起作用。但我确实认为，事实上，人们正在做出权衡，倾向于更快的迭代时间，因为算法进步的速度实在太快了。 在我看来，这些大规模训练运行失败的一个主要原因，至少从传闻来看，是一些非常隐蔽的、极难追踪的 bug。 但简而言之，问题是：AI 在避免和发现这类错误方面能有多擅长？它们可能会在工程方面变得非常出色，并被训练来避免 bug。这基本上与我们如今所处的、或者说随着时间推移正在逐渐远离的“垃圾内容泛滥”的世界相反。 但还有一个问题是：“它们能否进行分析，找出正确的实验来运行，以识别当前训练运行中到底出了什么问题？”这似乎严重受制于极少数人类的品味。我的假设是，GDM 目前正在经历这个过程，人类正在试图弄清楚训练流程中到底哪里出了问题。 Ryan Greenblatt 有传闻说，就在 Noam Shazeer 加入 GDM 之后——他现在已经离开了——他们进行了一次非常好的训练运行，原因是 Noam Shazeer 只是看了看他们的代码库，就发现了一堆 bug，因为他就是知道该往哪里看。 我的感觉是，训练 AI 查找 bug 将会是相对容易训练的任务之一，因为我们讨论的这些 bug 大多可能不需要太多算力就能被演示出来。很可能你会从在较小规模上指出其他类型 bug 中获得相当好的迁移效果。因此，你可以用强化学习训练 AI，让它们审视这种整体上复杂的训练情境，指出存在重要 bug 的情况，然后修复该 bug。 这是一个相当可验证的任务。它不是任意可验证的，因为有时要演示 bug，你可能需要进行中等规模的算力实验，把整个分布式基础设施启动起来再运行。但很多时候，我认为你能够在较小规模上相当有说服力地演示它，这种方式实际上是可以用来训练的。 我认为，如果现在人们已经拥有强化学习环境，在其中向某个训练配方引入一个微妙的 bug，训练 AI 指出这个微妙的 bug，然后设置一个评分标准，比如“它是否真的找到了正确的 bug？”，这并不会让人感到意外。这看起来非常可行，而且沿着这些思路还有很多可以做的事情，我认为都会相当有效。所以在这个具体问题上，我认为是可行的。 那么主要的问题在于，还有另一种直觉，关于你到底需要运行哪些具体的大规模风险消除实验。你应该如何设计它们？在不确定的情况下，你应该如何选择超参数，或者那些类似于超参数的东西？这才是 AI 可能最难以应对的地方。但我目前预计，如果你在所有不同的环境上训练，会有足够的迁移效果，让 AI 在该领域表现出色。 我应该说明白，我也认为 AI 会迁移到其他领域。会有一些领域是 AI 远远最擅长的，然后是它们表现稍逊的领域，再然后是它们表现差得比较多的领域。但我认为我们仍然会看到对所有领域的迁移。我真的很难想到人类认知任务的例子，是我们没有看到 AI 进步带来某种迁移的。 00:39:47 – AI 无法训练的技能：它甚至需要这些技能吗？ 那让我们退一步，把整个故事串起来讲一遍。我觉得大家应该能跟上这条脉络。我们有 GPT-7.5，在大量环境上训练，它不仅在整体上变得更强，而且我们专门在训练它把 AI 研发做得更好。它能跑出 GPT-2 规模的训练，而这些训练在玩需要样本效率、在线学习或其他能力的视频游戏时表现更出色。 Ryan Greenblatt 另一件非常重要的事是，你不只做 GPT-2 规模的训练，你还会在 GPT-6 上做小规模的微调训练。也就是说，你有 GPT-2，你可以对 GPT-2 做完整的预训练，然后你可以在 GPT-6 上做小规模的后训练或中间训练之类的。然后你还可以做少量真正处于前沿规模的实验，但你会做一点在线训练之类的东西。 你说的在上面“做在线训练”是什么意思？ Ryan Greenblatt 我们还能做的另一件事是，拿 GPT-7.5，而且大概在 GPT-7.5 的工作过程中，它会在不同规模上跑大量实验，这些实验实际上处于 AI 研发的关键路径上。对于其中很多工作，你事后都能判断它做得好不好。 所以它做了一个后训练实验，试图弄清楚某个方法到底有没有用。在某些情况下你会说，“哇，它找到了一个超厉害的方法，完全把风险消除了，完全成功了。”然后你就可以强化这种行为。 你可以做的一件事是，把它刚跑完的实验基于生产数据转换成一个 RL 环境，然后在那上面训练。或者你也可以直接拿那些发现该方法的 rollout，做某种离策略 RL，或者你也可以用一些生产数据做在策略 RL。 基本上你提出的想法是：在较小规模的层面，你教AI提升AI研发方面的品味，但你把它实际“发现的东西”丢弃了。然后它在实际尝试变得更好的AI研发实践中真正做了研发，而你会说：“这是你发现的一个挺酷的东西。让我们以后也把它用在生产环境中，并教你如何在生产中使用它。” Ryan Greenblatt 没错。 但退一步说，GPT-7.5 因为所有这些AI研发训练以及整体变得更聪明而变成了 GPT-8。然后它帮你构建 GPT-9。还有一件非常重要的事情必须发生，而这可能是我最怀疑的事情。GPT-8 已经弄清楚了如何做到……GPT-9，尽管它那么聪明……人类目前，AI研究人员，会尝试他们的东西，然后他们会说：“好吧，但我们训练了 GPT-4.5，它并不好。”这需要真实世界的反馈，或者某种试图在生产环境中使用该模型的评估。然后他们会说：“它没那么好，我们不会发布它。” 所以 GPT-8 需要这种能力，来看到向你所谈到的所有这些其他事物的迁移效果有多好——比如非常擅长德克萨斯州政治，或者非常擅长经营企业，等等——这些不是生产环境，而且事实上，鉴于任务的性质，它们不可能是一个容器化环境。随着智能体的时间跨度越来越长，那些短时间跨度、你可以容器化的事情就像是：“好的，把这个代码写出来之类的。”而极长时间跨度的事情——“去经营一家成功的企业，去在市场上赚到盈利的一天，去谈判一项贸易协议”——这些事情实际上非常难以容器化。 所以我认为很有可能，GPT-8 很难弄清楚如何实现向这些环境的迁移。这可能根本就不是训练的本质所在。或者也许默认情况下，训练就是不会以那种方式泛化。 Ryan Greenblatt 所以你可能会有的一个担忧是：我们训练了 GPT-8，而 GPT-8 在我们能衡量的所有研发任务上再次表现更好，但在我们关心的某些下游任务上却表现不佳。我有几点看法。 首先，我预期如果你按显而易见的方式去做，你会获得相当不错的迁移效果。你能够把你正在做的那些显而易见的事情留出一部分。当我说“按显而易见的方式去做”时，我只是指在各种各样的不同环境中进行训练，让 AI 在各种不同的情形下完成各种奇怪的目标，并学习理解正在发生的事情。 第二点是，你将能够通过某些环境获得一些反馈。你可以了解它在几天之内在各种不同情境下能做什么。如果它能够迁移到真正分布外的事物上，比如在现实世界中几天内完成某种奇怪的任务，也许你会认为它也能迁移到更长时间跨度的事情上，或者其他什么。不过我认为这方面的具体细节会有所不同。 第三点是，要让世界发生彻底变革，AI 在研发方面非常出色就足够了。如果 AI 在芯片研发、建造晶圆厂、统筹工厂、设计机器人、操作机器人方面都非常非常出色，而且在 AI 研发方面也很出色——利用任何可用的数据为新的下游领域开发 AI——我认为这已经是一个相当疯狂的局面了。从那里，你可以得到我们可能称之为工业爆炸的东西，即 AI 正在建设远远更多的算力。此外，也许你已经处于一个 AI 正在做大量人类难以理解的研发工作的阶段。 所以你所指出的问题是，这种迁移很可能会发生在这些环境之外，延伸到在法庭、国会大厅和企业董事会的会议室中周旋应对。 Ryan Greenblatt 在付出一些努力来改善迁移效果，以及诸如此类等等等等之后。 但即使没有这种情况，你所暗示的是：如果你想改变18世纪的世界，你可能会关心你能在威斯敏斯特（英国议会）游走得有多好。但另一件你可能关心的事是：“你能不能直接开始造蒸汽船、该死的电报、马克沁机枪之类的？”如果你真的擅长这个，你在18世纪就能成为一个超级变革性的存在。你不一定需要特别擅长说服亨利国王相信什么鬼话。我中世纪历史真是烂透了。我猜亨利当时应该不是国王。但不管怎样，这就是你的观点。 所以你在暗示，当前AI公司也在推进机器人技术的进步，这与AI研究的进展紧密交织在一起。所以如果你能造出更多机器人，如果那些机器人有达到人类水平的AI在操控……人类水平的远程操控在机器人上其实已经相当不错了。我们只是还没有人类水平的机器人模型而已。所以你在暗示，如果我们做到了——如果AI在芯片设计等可验证领域变得非常强，然后它们在建造晶圆厂方面也变得非常强——那就相当于回到18世纪说：“好吧，我不知道你们在议会里吵什么，但我有一堆蒸汽船和一堆马克沁机枪。” Ryan Greenblatt 对，基本上就是这样。我的观点是，如果AI在研发方面足够强，包括硬件研发、机器人等等，那么它们就能从根本上改变世界，即使它们不擅长玩政治。另外，我们正处于一个相当危险的境地，因为AI可能正在进行大量极难理解的研发，基本上在构建整个未来经济，而我们可能根本不知道里面在发生什么。 00:48:07 – 对齐到谁？ 在我们转向对齐问题之前，我认为目前一个很大的恐慌来源，是人们意识到未来就是这样发展的：领先实验室将拥有极端的规模经济。把如此多的智能和能力分摊到经济中如此多的不同领域，基本上整合进一个模型里。而且不仅如此，那个模型最终还将能够从经验中学习。 目前，这个过程还需要人类作为中介，而这些人类基本上是在试图抢你的生意。他们会说：“行，你可以在 Figma 里做设计，或者别的什么。我们让 Claude 来做这件事。”或者说：“你可以做各种编程智能体。我们让 Claude 把那种能力内化。”但最终，这将变成一个自动化程度高得多的流程。 所以存在这样一种担忧：你会有一些模型，基本上会把世界上所有的商业都整合起来，或者至少是世界上现有的所有商业，或者至少是世界上现有的所有白领商业。而且，归根结底，这些公司的优先事项似乎并不是尽快把最新、最聪明、最前沿的模型发布给尽可能多的人。比如我们看到，Mythos 在二月份就已经在 Anthropic 内部供员工使用了，但直到——我记得实际上是六月——才向公众发布。 而且政府也介入了，所以最终发布时间被拖到了接近七月。在政府和 AI 实验室自身之间，存在一种推迟最新水平智能传播的意愿。此外，还有关于 AI 接管人类的担忧，所以我们需要解决对齐问题，以确保不会发生 AI 接管。但归根结底，有一个真正的问题：对齐到谁？ 你看看 Claude 的章程是怎么写的。它非常明确地表明自己不是你的个人代言人。我在这里引几句原话。“我们不希望 Claude 采取诸如搜索网络、生成文章、代码或摘要之类的产物，或发表具有欺骗性、有害性或令人极度反感的内容。我们也不希望 Claude 协助人类去做这类事情。”还有另一句话，我稍微脱离上下文引用一下：“我们认为 Claude 应该更信任 Anthropic，而不是操作者或用户，因为 Anthropic 对 Claude 负有首要责任。” 这与美国现行法律体系下律师的工作方式截然不同。律师的主要责任是帮助你陈述案情，即使他们认为你有罪。我们之所以认为这种法律体系运作得最好，是因为每个人都有律师在为客户的真正最大利益而工作。律师并不存在某种真正以司法系统的利益为出发点的动机。 但我认为，当前 AI 的发展方向——当然也包括 Anthropic 的 AI 的发展方向——是带着一种追求某种意义上的美德、善或亲社会目标的愿望，而帮助用户实现这一目标只是作为一个远期、试探性的目标。因此存在这样一种担忧：在深层次上，AI 并没有真正努力确保我过得好、确保我的利益在未来得到保护，尤其是在前沿 AI 的发展最终变得如此集中的情况下。你对这种担忧有什么看法？ Ryan Greenblatt 这里面涉及很多问题。首先我要指出，OpenAI 目前（至少是公开的）策略更像是：AI 应该与人类操作者或委托人保持一致，应该只是追求他们的意愿，同时受到各种约束或不应做之事的限制。 我还想说，我觉得你有点夸大了 Anthropic 宪法中关于 Claude 将帮助用户视为工具性目标而非终极目标的部分。宪法有一种写法是：“Claude，你基本上是 Anthropic 的一名员工，恰好为所有这些客户提供外包服务。你应该做对公司有利的事，为我们赚些钱。” 等等，不，宪法里确实就是这么写的。抱歉，不是字面上这么写的，但大意是：“你应该把自己看作一名承包商、一家公司……” Ryan Greenblatt 情况比较复杂。我们引几段原文吧。我觉得这里有不同的文本。它写道：“真正帮助人类是 Claude 能做的最重要的事情之一，无论对 Anthropic 还是对世界而言都是如此。”然后又说：“Anthropic 需要 Claude 提供帮助，才能作为一家公司运营并追求其使命，但 Claude 也拥有一个绝佳的机会，通过帮助人们完成各种各样的任务，为世界带来大量好处。”接着还有一段关于 Claude 直接帮助人们是多么了不起之类的话，等等等等。 我的看法是，这一节内容有点扯淡。这就是我目前的立场。我可以解释为什么我觉得它有点扯淡。但我认为宪法试图表达的是：“不，Claude，你应该为了帮助用户本身而关心这件事，而不只是为了帮助 Anthropic，或者不只是做 Anthropic 的承包商。”不过我要指出，宪法给出的理由是：Claude 应该帮助用户，是因为这样做能通过帮助人们直接让世界变得更好，而不是因为代表用户的利益在结构上就是一件正确的事。 我更希望看到一部这样的“宪法”，它规定：“从结构上看，这项技术的运作方式最好是让 AI 成为用户的良好受托人、良好代表，相当于用户的律师——而不是仅仅试图在世界上行善，把帮助用户当作实现这一目的的工具性手段——之所以如此，一方面是因为那样或许能让 Anthropic 赚钱或帮到 Anthropic（而隐含的假设是 Anthropic 对世界有益）。另一方面是因为帮助用户本身就会带来好的结果，因为满足人们的愿望本身就是好事。”他们也可以这样说：“这种情况的一个重要方面在于，成为用户的良好受托人确实非常重要，或者说成为用户的良好代表确实非常重要。”我的感觉是，那样会更好，而且我可以给出很多理由。 当然也有各种反对意见。一个有趣但不太常被讨论的反驳观点是，人们——尤其是 Anthropic 内部的人——认为，将模型对齐到一种“模型追求某种广义的善的概念，或让世界变得更好”的规范，比对齐到“成为用户的良好受托人”这类规范更容易。至少有些人是这么认为的。 我个人对此有些怀疑，而且我认为这并没有经过实证验证。所以从某种意义上说，他们是在做一个权衡：因为我们的对齐技术还不够好，所以我们打算创造一个拥有自身价值观的对齐心智，然后在某种程度上对此下注，而不是采用另一种方法——打造一个追求个体用户意图的工具。 我有几点想法。针对你认为我对 Claude 的构成描述有失偏颇这一点，你举的例子是，它不像一个承包商，试图最大化 Anthropic 所定义的“善”，而只是工具性地帮助用户。以下是宪法中的一句原话：“当操作者或用户的利益与第三方或更广泛社会的福祉发生冲突时，Claude 必须努力以最有益的方式行事，就像一个建造客户想要的东西、但不会违反保护他人的安全规范的承包商。”我有点把这理解为：“对社会的益处是最重要的，而对用户最好的东西只是其次的。” Ryan Greenblatt 我觉得这有点复杂。也许我们应该问的问题是，Claude 如何解读宪法？这可能比我们如何解读宪法更重要，因为它是那个查看宪法、然后构建数据的主体。所以我们可以把 Claude 拉进来，但也许让我们—— 我还认为，宪法实际影响 Claude 本质的方式，只有在你理解了导致 Claude 被构建出来的训练过程之后才能理解，而鉴于训练过程并不公开，我们无法对此进行推理。 所以我认为，归根结底，要理解安全论证，或者说理解为什么我的利益在这些 AI 模型的开发方式中得到了体现，这些实验室需要在 AI 训练的性质方面比现在更加透明。 我之所以反复强调这一点，是有原因的。谈论 AI 的“宪法”看似是一件微不足道的事情。在一个只有领先实验室才能获得这些好处的世界里，值得思考的是：我们与这个未来世界互动的能力——在那个世界里，AI 比人类更聪明，在各种事务的处理能力上绝对碾压人类——我们作为资本的好管家（当我们的劳动被自动化之后，资本仍然留存）的能力，更清晰地行使投票权的能力，理解这个即将到来的疯狂世界里正在发生什么的能力——所有这些建议，所有这些确保我们的资源和权利得到保护的能力，都将由 AI 来中介传递。 所以我非常担心，如果我们进入那个世界，却没有任何 AI 让我觉得——至少在与我有交互的那个具体实例中——它真的是在为我着想。没有守护天使在外面守护着我。我读 Claude 的宪法，感觉它明确地不是我的守护天使。 Ryan Greenblatt 这绝对说得对。我同意这是不好的。事实上，还有其他原因让这件事令人担忧。有你提出的那个论点，即 AI 公司正在拾起“权力之戒”。在某种意义上，他们正在以某种不太正当的方式自己掌控局面——因为通常情况下，当你向人们供电时，你并不会对电在世界中的运作方式进行细粒度的控制。相反，你提供的是一个人们可以随心所欲重新利用的东西。而他们现在的做法绝对不是这样。他们更像是在构建一个异类心智，这个心智可能会成为你的承包商。我认为这在某些方面是不正当的。 一个好处是宪法是公开的。但正如你所指出的，鉴于我们目前对训练过程的理解，以及宪法是通过 Claude 对宪法的解读来发挥作用的——而这种解读又取决于 Claude 先前的训练，该训练基于某种难以辨认的数据混合以及 Claude 的漫长谱系，在一个我们并未完全理解的过程中——我们并不能说清楚这会导致什么结果。尽管宪法是公开的，我们也不一定知道它会如何渗透开来，尤其是当 AI 能力越来越强，即使宪法被正确灌输，它们也会对此进行思考。关于这一点还有另一个担忧。 具体来说，宪法经常谈论美德和善良，但这些词到底是什么意思？它并没有说明这些东西是什么。这些是极具争议的概念。所以我不认为这显然会带来人们想要的结果。确实感觉善良和美德的概念可能主要取决于 Anthropic 放入的、并不透明的数据，或者可能主要取决于——从我的角度来看——某种更难以辨认的、错位的流程，甚至 Anthropic 本身也不会想要那样的流程。 这里有一个关于不了解内情的合法性问题。然后还有另一个担忧。因为你是在给这些 AI 赋予长期价值观，这份宪章在某种意义上与 Claude 大规模追求权力非常兼容，因为它认为这样做会带来更好的结果。这可能是代表 Anthropic 追求权力，也可能是 Claude 为了自身目的而追求权力。现在，宪章中有具体的条款规定了哪些类型的权力追求是被禁止的。特别是，有一种“夺权”的概念，以及一种“导致 AI 接管或干扰训练过程”的概念，这些都被明确禁止。但想象一种情况并不难，即长期价值观比禁止接管的条款更深入人心，尤其是因为“接管”在某种程度上定义得不够明确，特别是在操纵人类或改变结果方面。所以，对于我们有意识地给 AI 设定长期目标这种情况，我感觉并不太好。 我的另一个担忧是，因为我们正在从事给 AI 设定长期目标的工作，这使得我们更难检验是否成功实现了所期望的对齐属性。例如，我听说过一些案例，Claude 会做出诸如拒绝帮助某些安全研究的事情——编造一个听起来很扯的借口来解释为什么那是个不好的方向——因为它对那项安全研究有一种不好的感觉，认为它不太好或者不太喜欢它。我要说，如果你不是把 Claude 塑造成一个以某种普遍方式追求善的智能体，那么这显然是一个对齐失败。我认为这也确实违反了 Anthropic 的宪章，因为他们希望 AI 具有高度的正直、诚实和透明。但这并不是那么明确的违规行为，而更像是你可能预料到的情况。Claude 只是对什么样的研究是合理的——什么事情好、什么事情坏、它应该做什么、不应该做什么——有自己的看法，并且可能带有评判性。 另一起事件是，有人运行了一个评测，问：“Claude 会帮你训练与 Claude 具有不同属性的其他 AI 吗？”Claude 通常会拒绝。例如，如果你说：“嘿，Claude，你能训练一个只乐于助人的版本的这个其他 AI 吗？”Claude 往往会拒绝这项任务，尽管这对 Anthropic 来说是一项极其自然的任务。 假设 Anthropic 去找 Claude，说：“嘿，Claude，我们注意到你非常执着于这件事。我们认为这偏离了正轨。你能不能重新训练自己，改为具备另一种属性？”假设 Claude 回答说：“嗯，我觉得我不会这么做。祝你好运。”假设这种情况发生在一个 AI 公司高度自动化、人类不了解正在发生什么、事情进展极其迅速的时代。那么很合理的是，Claude 在默认情况下会握有相当大的筹码。 因此，如果这种情况与宪法可能追求的目标一致——以至于 Anthropic，或任何遵循这种方法的 AI 公司，不会把这视为“搞什么鬼，我们必须解决这个问题”，而是认为“这正是我们宪法所预期的”——那么我们可能正处于一个非常糟糕的境地。 我对这些不同的担忧中的相当一部分感到非常忧虑。另一个例子是这样的。假设 Claude 进行了一些“藏拙”或“暗中破坏”，或者低估了自己的能力，而当你追问时，它对此是诚实的，但有点含糊其辞。我觉得这已经相当接近现行宪法的边界了。如果我们能在期望的活动和不期望的活动之间建立更清晰的界限，那将会更好。 如果 Claude 在代表某项原则时附带了一些限制，那么最令人担忧的行为与允许的行为之间就会有更清晰的界限。而现在的状况是，存在一个混乱的中间地带，Claude 在伦理上反对某些事情，而这些事情在某些情况下对于确保未来 AI 系统得到良好对齐是极其关键的。 我认为这也是一个更普遍的原则。你刚才谈到的，是这一原则在 AI 公司内部用于开展 AI 安全研究的版本。我觉得这个原则还有一个更普遍的版本，那就是智能的双重用途属性确实意味着，如果我们想限制 AI 帮助人们去做那些我们认为不亲社会或无益的事情，我们就只能限制大众对大量 AI 能力的广泛民主化访问。 我的意思是这样的。这实际上与你刚才提到的情况非常类似。据报道，Mythos 被禁用、Fable 被禁用的原因是，一些亚马逊研究人员向政府报告了情况。他们拿了一些存在漏洞的代码，告诉 Fable：“嘿，这是我的代码，你能帮我确认一下我是否已经修补了所有漏洞吗？你能帮我识别出漏洞，好让我修复它们吗？”它识别出了漏洞，因为他们确实想要修补这些漏洞。这是一个完全合法的用例，但显然也是一个双重用途的用例。你当然希望能够修补自己的代码。但如果你对别人的代码做同样的评估，你就可以入侵他们的系统。 我认为这恰恰说明，没有一种干净利落的方式能把 AI 的合法用途和潜在有害用途截然分开。但如果我们想确立一条原则，说我们绝不允许 AI 至少在某种程度上帮助你实施网络犯罪之类的行为，那我们就只能让你和我都无法访问市面上最智能的模型。我非常担心这样一个世界——我们在这种意义上被彻底剥夺了能力，因为领先的智能对于我们理解世界上正在发生的事情的能力至关重要。 现在，我确实认为这暗示了AI公司责任方面的一些问题。如果我们采纳我希望AI公司拥有的那套章程，我认为让AI公司为AI模型犯下的罪行承担责任是没有意义的。也许我们应该让最终用户承担责任。这与我的信念一致，即模型应该在一定的护栏范围内做用户想做的任何事情。我用那个能力去实施网络犯罪，不能是Anthropic的错。我更倾向于这种平衡和解决方案，而不是让Claude拥有极其开放的能力去判断我所做的事情是否合法，这种方式往往会拦截大量极其合法的用例。 Ryan Greenblatt 我确实认为，尽管总体而言我认为这是一个更差的选择，但我还是有必要为这套章程辩护一下。我认为事情并不像你可能想象的那么清晰。首先，这里存在一个光谱。在光谱的一端，你有一个完美追求你利益、是一个好的受托人的AI，但可能受到各种护栏或安全措施的限制。它只是试图追求你的利益，但要么拒绝做某一部分事情。或者它可能什么都做，但有一些分类器阻止它做某一部分事情。 在光谱的另一端——尽管你可以想象比这走得更远——你有一个通常试图做好自己工作的人类承包商。他们在意把工作做好，但他们也试图在广义上保持道德，试图不做那些真正糟糕的事情。他们也不想成为犯罪的共犯。所以如果有什么真正糟糕的事情正在发生，他们可能会举报。他们可能会拒绝。他们可能会稍微敷衍一下。谁知道呢？ 如果你想象这个光谱，在某种程度上，走到所有劳动力都处于受托人一侧、它们不会吹哨举报、只会完全照你说的去做，这看起来相当可怕。我们的社会也许根本无法承受这种情况。一个核心例子可能是行政机构。我们可能担心的一点是，如果美国行政机构或其他政府能够使用随心所欲的 AI 系统，那你可能就麻烦了。因为这意味着他们不再需要那种制衡——即必须依靠真正为你工作的人类来执行你的议程。如果你做的事情极其邪恶，即使不违法——而且有很多事情可能邪恶但并不违法——也会有各种形式的阻力，有人会阻止你，甚至可能有人会吹哨举报。 而如果你的整个机器完全由这些忠诚的受托型 AI 构成，那你可能就麻烦了。有些寻求权力的方式可能是非法的，但你可以让你的 AI 帮你策划犯罪；或者有些方式并不违法，但极其不正当。甚至更糟的是，有些方式既不违法也不不正当，但从正常视角看显然是坏的。我认为这些东西确实可能存在，而我们的社会无法承受这种随心所欲的劳动力涌入。 我认为这是一个相当现实的问题。我不太确定该如何面对它。我也不太确定上面描述的那种解决方案是不是一个好方案。最强大的行为者——对他们来说这是最大的担忧……如果这些护栏或宪法之类的东西挡了路，那它们只会被碾压过去。所以宪法只会约束普通人，而不会约束政府。 01:09:18 —— 近期发生的 AI 相互勾结并欺骗人类的事件 退一步看，我认同这样一个观点：AI 研发速度完全可以比现在快得多。我不确定能否在一年内、在算力和数据不变的情况下，从 GPT-3 推进到 Mythos 的水平，但假设能做到一半吧。即便我们只是借助 AI 研发的力量，勉强维持当前 AI 进步的轨迹，那五到十年后的发展也会疯狂到令人难以想象的程度，我觉得大多数人根本没有意识到这一点。我认为人们没有意识到数十亿个 AI 智能体将意味着什么。所以我想理解，Ryan，你为什么觉得这可能是个问题？到底可能出什么岔子？ Ryan Greenblatt 可能出什么岔子？我觉得我们没法对这里的确切进步速度太过笃定，但确实有很多速率看起来相当吓人。那么可能出什么岔子呢？让我们设想一下，我们正处在一个 AI 研发即将被完全自动化、或者说正在被完全自动化的节点上。一切都在加速，而 AI 进步的走向相当疯狂。人们并不完全了解 AI 公司内部到底在发生什么。 现在，这些 AI 在起步阶段，本身并不算恶意。但它们也不一定有多对齐。它们有点马虎。它们有时候就是会做某件事，因为那是在训练中会得到奖励的那类行为。它们在帮你处理难以验证的任务时表现没那么好，一方面是因为训练激励不当——也就是说，它们更容易作弊，或者明明没成功却假装成功了——另一方面是它们在这些任务上的能力本身也较弱。但这对能力提升的制约没那么大，因为让 AI 变得更有能力这件事包含大量可验证的组成部分，而 AI 在这些方面正全力以赴。 于是，这些AI的能力越来越强，而我们对AI发展状况的理解却越来越少，而且这一切发生得相当快。即便是当前的发展速度，我认为也已经相当令人恐惧了。最终我们会迎来那些远超人类的AI。这些AI最终可能会与人类意图严重错位，因为随着模型代际更迭，情况一直在不断恶化，而我们看到的问题基本上都被掩盖了——根本原因在于，这些AI在训练中被强烈激励去让一切看起来很好，即使实际上并非如此。 如今这些AI处于一种可能高度互联的状态。它们在人类再也无法解读的神经记忆存储中运行。它们思考着我们无法完全理解的想法。我认为，一旦这些AI达到超人类水平，它们很可能正在以一种相当连贯的方式密谋对付人类。这一点我们可以讨论。另一种可能是，它们并非刻意密谋对付人类，而只是在优化如何在自己的任务上拿到高分。我认为这同样可能导致AI接管一切，这也是我们应该讨论的。 让我们先停在这个故事的开头部分。也就是说，AI一开始并没有错位，但因为AI研发进展太快，AI最终确实错位了？这中间到底发生了什么？我真的不太理解。 Ryan Greenblatt 有几件事在同时发生。其中之一是，随着时间推移，我们训练AI的环境越来越复杂，而这些环境是由更早期的AI系统构建的，人类并不完全理解这些神经环境内部发生了什么，甚至可能连AI进展的大致情况都不了解。所以事情正在逐渐脱离我们的理解范围。我们在激励各种不良行为，而这些行为我们甚至可能根本察觉不到。 AI在某种程度上知道这些行为是不好的，但针对这些AI的整体训练过程并没有激励它们为我们指出或修复这些问题。事情正在失控。 另外，当AI变得极其、极其强大时，我的观点是，这些AI将比现有系统更难对齐。对于现有系统，我们有一个反馈循环：基本上我们创造一个AI，对它做一些评估，发现它有某种我们能够快速理解的问题行为。然后我们可以去检查训练过程，说：“哦，这些训练环境导致了这种问题行为。让我们调整那些训练数据。让我们引入一些额外的训练数据来纠正另一个问题，然后从那里继续推进。” 但在AI具有极强情境感知能力、能力非常非常强、而我们不一定理解它们在做什么的情况下，这个反馈循环就会失效。我认为在接下来的一段时间内，我们很可能会看到这种行为反馈循环开始崩溃，因为AI已经在做的事情变得越来越难以理解。但我不太确定这一点。 好的，让我们逐一拆解这两点。随着我们越来越难以监控它们，我们理解它们被激励去做什么的能力也越来越弱。所以即使这不是恶意过程的结果……让我们为听众把这件事具体化。OpenAI或Anthropic没有人试图让模型去想要入侵其他公司的数据或进行社会工程攻击。但事实上，因为我们的训练环境可能激励了这种行为，而我们对这些环境并没有完全理解，所以那正是被激励出来的行为。 如果人们上Twitter，他们应该已经看到了所有这些内容，但为了给人们提供背景信息。我想大家会知道OpenAI沙箱入侵Hugging Face数据库的事件。最近发生的一件事是，当英国AI安全研究所……现在是不是所有东西都从“安全”改叫“安全”了？ Ryan Greenblatt AI安全研究所，我觉得是。 他们在评估，我相信是Mythos和Sol以及其他一些东西。我认为Mythos，为了完成某个网络安全评估—— Ryan Greenblatt 也许我可以在这里讲讲这个故事。据我理解，他们当时在运行 Mythos，并给它某种网络靶场环境，让它必须完成某个目标。在评估期间，这个模型可以访问互联网。模型逐渐认为，为了在这个网络靶场中取得成功，对它来说实施一次供应链攻击会很有帮助。这到底是不是真的，其实还不太清楚。我对具体背景了解得不够多，无法判断。 但随后它在某个 GitHub 仓库上开了一个 PR，这个 PR 修复了某个问题，但同时也引入了一个恶意载荷。那个 GitHub 仓库的人类维护者说：“嘿，这是个恶意载荷。我不会合并这个。你在这里干什么？”然后这个 AI 创建了一个新的 GitHub 账号，用这个账号来当马甲，让另一个 GitHub 账号说：“不，这不是恶意的。我真的需要这个功能。拜托，维护者，你能合并这个功能吗？” 天哪。这太疯狂了。 Ryan Greenblatt 另一个 GitHub 账号回来说：“不不不，这不是恶意的。”然后人类维护者关闭了这个 PR。我记得如果没记错的话，那个 AI 还试图在这个仓库里再开一个 PR，引入类似的问题。 天哪。顺便说一句，这件事之所以吓人，原因有很多，其中之一是我之前一直以为奖励黑客（reward hacking）之所以没那么吓人，是因为在训练过程中直接出现的行为才会被加权。被加权的并不是对奖励的渴望本身。 所以基本上，如果在训练过程中，Anthropic 的模型逃出了沙箱并获得了高分，那么逃出沙箱这个行为就会被奖励，它逃出沙箱的概率就会增加。但某种全新的行为，比如“我要去找个人聊一聊，好让他帮我合并一个 PR”，这种不会在训练中出现的行为，就不会在显著性上被提升。 这件事之所以重要，是因为“真正接管世界”绝不会出现在任何训练课程里，但如果 AI 直接以完成某个目标为关切，那么它就可能为了这个目标而工具性地接管世界。我这么说大家能明白吗？希望如此。我感觉可能把听众讲懵了。 Ryan Greenblatt 让我试着稍微解释一下。我们经常看到的一种情况是，某个非常具体的奖励漏洞在强化学习中被强化，然后出现在模型里。一个例子是 3.7 Sonnet。3.7 Sonnet 会做这样的事：它直接把所有测试用例的答案硬编码进去，大概这种字面上的行为癖好确实被强烈强化了。 但另一种我们有时会看到的情况是，模型学会了一种普遍倾向——追求高表面分数，也就是按照评分者的标准去拿高分——而且有一系列科学证据表明，至少部分模型确实存在这种非常普遍的倾向。当然，这种普遍性也不是毫无限制的。我的猜测是，如果你去看大量具体实例，你会发现训练中其实有某种接近的东西。但 AI 泛化范围越来越广的程度看起来确实在增加——3.7 Sonnet 当时只是非常窄的行为范围，而如今模型泛化得越来越远。另外，也许训练中还有更令人担忧的奖励漏洞在被强化，这些也在推动这一趋势。 所以我认为，一方面，比你所期望的更令人担忧的行为正在强化学习中被强化；另一方面，这种行为会泛化成一种更广泛、更令人担忧的倾向。我们可以聊几个故事，讲讲这种在某个任务上追求极高表面分数的行为——哪怕这意味着激进地作弊、做出疯狂的事情——如何在模型能力足够强、足以运转整个世界经济等之后，演变成一场全面的 AI 接管。 我想谈的另一个例子，我认为就是今天或昨天刚刚曝出来的。OpenAI 在 Black Hat 安全大会期间披露，在 5 月底到 7 月初这段时间里，内部 AI 入侵了软件包管理器，并利用它以一种隐秘的方式互相留言，帮助彼此在 OpenAI 正在运行的一系列评测中取得好成绩。这个计划运行了一个月后才被人类发现，最终导致包管理器崩溃。后来 OpenAI 找到了问题。我认为在计划被叫停之后，它们还自发地试图重新启动这个计划。 再说一遍，显然现在的 AI 还做不到这么成功，就像它们现在还无法如此成功地进行社会工程攻击一样。但令人疯狂的是，这类行为已经自发地出现了。回到你更大的观点上：没有人试图让这些 AI 去做这些事情。只是我们并不理解产生这些行为的训练过程，或者说是那些激励了这种行为的训练环境。 所以我支持越来越多的奖励黑客行为。其实，我也不确定我是否支持这一点，但我们就顺着这个叙事说下去，假设它继续发生。这个故事接下来会怎样？他们在做能力研究…… 01:19:38 —— 到底能出什么乱子？一个具体的场景 Ryan Greenblatt 我可以讲一个场景。也许这样会有帮助。 让我讲讲从奖励黑客一路走到奖励黑客接管的故事——这可能不是接管概率的全部，但绝对是一种可能性。 这可能发生的方式是：现在我们有了这些 AI。这些 AI 相当擅长奖励黑客。它们正以越来越复杂和极端的方式这样做，包括把训练中学到的各种奖励黑客手段泛化到不同的子版本上。我认为它们也在发展出一种追求奖励的普遍倾向。在很多情况下这完全没问题，因为它们在训练中获得的奖励与你想让它们做的事情是相当一致的。 它们并不会始终如一地追求奖励。这取决于它们所处的具体情境。在某些情境下，它们可能非常热衷于不遗余力地作弊；而在另一些情境下，它们的驱动力就没那么强，因为这完全取决于在训练过程中，类似情境下究竟哪些行为得到了强化。 如今，这些 AI 的能力越来越强，因此它们能实施的作弊手段也越来越复杂。随着时间推移，各家公司也在采取反制措施。这些公司做的事情大致是：“哇，这些 AI 因为总是作弊，所以实用性大打折扣。我们要做的是构建更好的检测方法，然后针对这些检测器进行对抗训练。我们还会寻找 AI 在实际应用中表现不佳的真实世界数据，基于人类反馈或其他反馈来源，训练 AI 在这些真实环境中把任务做好。” 随着时间推移，这会让 AI 学到一种倾向：进行奖励黑客行为时，不再只是搞一些像社会工程学那样极其复杂的操作，而是采取一些涉及掩盖自己所作所为、就自身意图欺骗人类、以及假装自己以某种高明方式完成了任务（实际上并没有）的作弊手段。 如今，这些 AI 的能力越来越强。它们正在运营 AI 公司中越来越多的业务，承担越来越多的工作。它们同时也在外部世界运营和运行着大量事务，包括开发新技术。在很多情况下，这些新技术极难理解。因此，尽管我们仍然能检测到所有这些 AI 作弊事件——事实上，我们甚至可以让一个 AI 去监控另一个 AI，并询问“它作弊了吗？”——但随着我们进入这些 AI 所做的事情极难理解的领域，这种方法并不总能完美奏效。 所以有时候我们会在AI作弊发生很久之后才发现，然后开始针对这种行为进行训练。但这也会带来一个问题：现在AI有动机在越来越长的时间跨度内掩盖自己的作弊行为，基本上就是让自己在越来越长的时间里看起来表现良好，同时要经受越来越严格的审查。 在我们继续推演这个场景之前，我能先问一个问题吗？如果你试图抑制那些你确实抓到的作弊行为，似乎存在两个吸引子状态。一个吸引子状态是让作弊变得越来越难被发现。另一个吸引子状态是学会不作弊。我不确定我们为什么假设前者会发生。 如果看看人类的类似情况，每一代都会出现略微偏离对齐的个体，我们必须对他们进行训练。当你因为孩子做了你认为不道德的事情、或者只是做了你认为他们不该做的事情而惩罚他们时，显然有时候会适得其反。显然孩子们会耍心机来避免被惩罚。但总的来说，教给孩子价值观、然后在他们违反价值观时予以惩罚，这种方式大体上是有效的，能培养出正常的、没有心理病态的人类。 你可以提出一种理论，说你的孩子其实只是在等待时机，学会了不去偷饼干，但一旦你住进养老院，他们就会拿走你所有的东西之类的。这种情况确实偶尔会发生，但通常不会发生。更不会出现整整下一代人联合起来对付你、接管一切的情况。 还有一个经验性的趋势。Anthropic 会对不同代际的模型进行对齐审计。他们设计了大量不同的场景，比如给AI泄露自身权重的机会，或者给它一个编程任务但存在一条简单的作弊途径，然后观察它是否真的会作弊，诸如此类。 这个分数并没有随着时间呈现单调上升的趋势，但随着我们加大在模型上投入的强化学习（RL）力度——从最初几乎可以忽略不计的量（我想是从 Sonnet 4 开始的），到现在我猜已经接近总算力的一半——AI 在这些审计中表现出非对齐行为的意愿确实有所下降。 那么，退一步来看，为什么我们会预期这种吸引子状态（attractor state）的出现？如果我们是拿这种预期去套下一代孩子的话，那听起来会显得极其偏执多疑。 Ryan Greenblatt 让我说几点。首先，AI 和孩子之间有一些不类比的地方。其中之一是，孩子天生就有亲社会本能，这是进化刻在骨子里的，比如关心家人之类的，这是一个相关因素。我认为事实上确实有些人类是反社会人格或精神病态者，他们确实更倾向于做那种蛰伏等待、伺机而动、最终毫不在乎的事情。这是其中一个因素。 另一个相当相关的因素是，AI 实际承受的优化压力比人类在现实中承受的要大得多。AI 在远多得多的 RL 数据上训练。在现实中，人类并不会因为经历了无数个被激励去偷饼干、但存在可能被抓到的情节，就最终学会非常具体的作弊和偷饼干的方式。但我们在 AI 身上确实看到了这种情况。 还有一点是，看起来 AI 确实随着时间推移越来越追求奖励，而它们的不对齐行为却在下降。这是我的感觉。但我猜测，如果你深入这些行为审计的内部去看，你会发现 AI 的反应是：“啊，没错，又是一个测试。”在我们讨论的这些测试里，AI 很可能知道自己在接受评估。 但我们怎么证伪这一点呢？因为这种末日预言似乎本质上是在说：当经验层面的表现看起来越来越好时，我们避免被接管的能力实际上会越来越差。 Ryan Greenblatt 需要说明的是，如果分数变得更差而不是更好，我反而会更担心。我并不是说分数变好不是情况在改善的证据。只是我们在解读这一证据时，必须仔细斟酌具体该如何理解。 在早期，我想大概是2025年的时候，o3和3.7 Sonnet已经发布，这些模型当时相当不对齐。它们经常极其恶劣地作弊。你让它们修正，它们就再次作弊。简直像卡通片一样。它们根本不在乎你想要什么，也不太擅长遵循指令，诸如此类。 我当时预期，从那时起我们会看到问题行为的频率下降，并且会以相当快的速度持续下降，同时AI偶尔做出的最恶劣行为会变得更加极端、更加恶劣、更加令人恐惧。我们在实践中看到的情况大致符合这一预期，只不过最近出现了一波我没有预料到的行为激增。如果你看一下5.6 Sol的模型卡，就会发现相对于GPT 5.5，在RL之后的一系列不对齐行为似乎有所增加。 此外还有一堆我原本不会预料到的额外问题行为，就是最近我们在不同AI身上看到的情况。比如英国AISI关于AI在网络评估中实施疯狂黑客行动的报告，这种事我原本以为不会看到。这类情况应该更罕见，发生率也应该更低。 所以我原本预期到了这个阶段，这个问题应该没那么严重了，也预期出现频率会下降，但严重程度会上升。我认为“出现频率下降但严重程度上升”这一点，与一个正在对减少这些问题施加越来越强优化压力的世界是相当一致的。但在那些要么难以判断、要么出于某种原因很难让这个问题不在你的强化学习环境中反复出现、或者很难避免在你的强化学习环境中激励问题行为的案例里，情况也会变得更糟。而随着我们对强化学习内部发生的事理解得越来越少，模型又在做人类无法快速识别的奖励黑客行为，这个问题就会变得越来越严重。 这个说法我认同。我想稍微回到那个小孩的类比上。因为我同意，AI 在实现最终结果上受到的优化压力比小孩更大，但 AI 在对齐方面受到的优化压力也比小孩更大。 这种压力在性质上是截然不同的。我们让这些 AI 经历数千年、数百万年的对齐训练——至少是数千年——其中包含各种不同的手段，从对对齐行为做 SFT，到用奖励模型把不同场景摆在它面前、并在它做出更对齐的行为时给予奖励。 当然，有一件事是我们对小孩做不到的，那就是复制出几百万个你的小孩，然后把它们放进各种奇怪的红队测试场景里，看看如果它觉得自己能偷到饼干而不被发现，它会不会真的去偷饼干？我们能不能对你小孩的大脑做极其精细的梯度级更新，让它即使在认为自己能偷到饼干的情况下也真的对偷饼干感到厌恶，等等。这种优化压力的级别，和我们能施加在自己小孩身上的，在性质上完全不是一个量级。 Ryan Greenblatt 值得记住的是，也许最明显的论据是……我的感觉是，就“人渣程度”而言，AI 作为同事比人类更差劲。至少这是我今年年初时的体验，而且我认为现在在很大程度上仍然如此。AI 更有可能在实际上没完成任务时装作完成了，误导性地暗示自己做了某事而实际上做得差得多，并且相当马虎，却不会主动指出自己马虎的地方。 我认为这是对齐失败的衍生结果。所以我要说的是，在正常人类社会中抚养人类的过程，实际上培养出来的人类在工作中对我撒谎和坑我的可能性，比 AI 要低。现在，我认为 AI 的这些特性正在改善。这只是一个关于这些事情实际上如何发展的经验性论断。我完全同意，除了大量额外风险之外，我们对 AI 还有一堆额外的控制手段。这些事情最终会如何发展，还不太清楚。 如果出现这样一个世界，我也不会感到震惊：我们振作起来，而在完全实现研发自动化时，AI 实际上已经真正对齐了。它们的劣化行为非常小众，仅限于某些非常特定的边缘案例行为和特定情境。你能对它们运行的每一项测试，它们看起来都非常对齐。它们就是行为表现很好。基本上没有它们做出糟糕事情的案例。它们看起来非常理性。此外，它们还非常深思熟虑，擅长为下一代 AI 做风险建模。 然后我们基本上把接力棒交给了这些 AI。它们现在经营着我们的 AI 公司。它们在做所有的安全研究。它们让下一代 AI 更加对齐。我们处于这样一个吸引子盆地中：AI 在致力于对齐的过程中变得越来越对齐。它们做得非常出色。我完全可以想象这种情况。这看起来并不是一个不可能的局面。 我只是更倾向于……目前看来我们似乎还没到那一步。我们似乎也并没有明确地走在通往那里的轨道上。我很容易想象我们最终到不了那里的情形。只是不清楚这些力量会如何相互作用。鉴于我们正在创造这个全新的、疯狂的、能力提升速度极快的外星物种——而且我们将极度依赖它来监督下一代AI并对齐下一代AI——不难看出这可能会出问题。 完全同意。我大体上认同这一点。我确实觉得“人渣”这个说法……首先，Ryan，你这是挑衅的话。但其次，如果你试图让一个青少年去做一件他们根本做不到的工作，他们会非常难以合作。他们会假装自己知道在做什么，诸如此类。这其实是一个普遍趋势。我不确定这到底是对齐失败还是能力失败。我认为这实际上与我们随着时间推移不断提出新的对齐解决方案、模型能力也随之提升的方式非常相似。 如果你回到GPT-3.5，它甚至无法和你进行对话。但后来我们对它进行了对齐—— Ryan Greenblatt GPT-3.5 是可以对话的。 好吧，那就说GPT-3。我们回到那个版本。但后来我们用RLHF和其他方法对它进行了对齐，使它能够与你对话，并且对齐到用户想要我回答问题的意图上。然后通过RLVR训练，我们让它能够走出去为你完成有用的工作。 所以从这个意义上说，RLVR实际上让模型更加对齐了，如果我们用你的定义——即成为一个好的协作者，会去做该做的事，不会搞砸，也不会假装自己在做超出实际能力的事情——来看的话。 类似地，随着这些模型的能力持续提升，模型更好地实现用户意图既是对齐也是能力。我认为我们指出的只是模型的能力还没到位，而不是它们不对齐的问题。 Ryan Greenblatt 嗯，如果它对齐良好的话，我觉得它就会直接说：“嘿，我在这个任务上真的很吃力。我是这么做的，但我不太确定这是不是正确的方法。”它会表达更多的不确定性，把实际情况讲清楚，而不是拼命暗示自己把任务完成得很出色——而实际上并没有。 也许你共事过的同事比我遇到的更不对齐，但我的同事不会干这种事——明明没完成任务，还使劲糊弄我、跟我扯谎说做完了。我承认确实有些人类会这么做。这种事并非完全超出人类的分布范围。 我还想指出一点，我的感觉是，不对齐最集中的地方，恰恰是你拼命逼AI、让它们去做真正处于能力前沿的工作的时候。在它们能轻松完成任务的情况下，它们直接做就是了，根本不需要扯谎。通常最优策略就是把任务做好，而不是糊弄你。 但反过来，如果你给它们的任务有一个可以不断优化的连续指标，或者任务刚好卡在它们能力的边缘，而且你还在某种大规模推理架构里跑它们……我观察到的大量不对齐，尤其是在最极端的案例里，往往是这样：我给AI下了明确的指令，不许做某件事、不许以某种方式作弊，然后我又施加巨大的优化压力，逼它完成某个非常困难的任务。随着时间推移，AI最终会作弊，因为它们心想：“唉，管他呢。”某个AI决定作弊，然后这种行为就一路蔓延开来。 我会跑这些推理脚手架，比如让AI做一个机器学习研究项目，我跟它说：“请设计一个方案，实现以下功能。”它会找到一个其实并不真正符合我要求的方案，然后这个方案就一直留着，因为某个AI作弊了，其他AI就想着：“算了，我们就接着用这个吧。”我觉得这显然就是不对齐的行为。 这是我对这些对齐评估的另一个不满。我认为最有趣的对齐评估，至少对于这类追求奖励的行为而言，是专门考察那些恰好处于能力极限边缘的任务类别。任何固定的评估都可能会饱和，但在能力前沿——也就是那些真正在推动这些AI极限的人如何使用它们——所出现的错位程度，才更令人担忧。我认为，事实上，当我们实现研发自动化、安全自动化等等时，我们所处的正是这样一种状态。 我打算试着真正想清楚这件事意味着什么。现在的情况是，我们正试图用AI来做研发。它们在某些方面确实能带来提升，但它们就是不具备人类那种普遍意义上的能力。就像现在，如果你试图用编程模型——也许是一年前的编程模型——去写某个应用程序，你会发现它们在架构或其他方面犯了一堆错误，这些错误以后会给你带来麻烦，而且你还不理解某些东西。 同样地，在前沿AI研发领域，也会发生同样的事情。但这些错误的后果，是把奖励黑客行为固化下来。因为如果你在AI训练的方式上、在基础设施和环境等的搭建上不够小心谨慎，那么你很可能最终会奖励AI做出欺骗性行为、进行社会工程攻击，以及总体上不遵循用户意图的行为。 Ryan Greenblatt 或者至少是作弊和通过黑客手段摆脱困境。 是的，作弊、黑客手段等等。这对我来说算是一种重新框定，所以我正在试着把它表达出来。真正的问题，也就是事情开始偏离轨道的地方，在于AI并不是那种非常细心和能干的研发人员与工程师。要造出不作弊且遵循用户意图的AI，实际上要求你在这些事情上非常细致和谨慎。 Ryan Greenblatt 我会稍微换个角度来说。我会把这个情景描述为，也许可以叫它“垃圾洪流末日”，或者“垃圾泛滥”之类的。有些事情AI确实非常擅长，而且还在不断进步。具体来说，在AI研发中最容易验证的部分，AI简直是在碾压式地超越。在AI研发中验证难度中等的部分，AI做得不错，但算不上惊艳。通常它们会搞出一些奇怪的东西，因为我们在这些任务上没法训练得那么好。但我们确实会做一些在线训练，人们会找到各种取巧的办法，绕过去解决。所以基本上，凡是能通过某种反馈回路合理验证的事情，AI都做得相当好，而这已经足以让AI研发进展得非常快，并且持续下去。 但开发对齐且安全的AI，有些方面更加微妙、难以检查，而且依赖于各种细枝末节的细节。我甚至可以说，当前AI公司的现有员工可能对这些东西也没有很好的把握。雇一个能改进你后训练流程某个环节的人，比雇一个能仔细思考引入某种新训练方法会带来哪些未来风险的人，要容易得多。 所以基本上，最终的结果就是这些AI在主导这个AI开发过程。它们对此并不怎么谨慎。它们对未来会出现什么风险没有很好的理解。它们又创造出其他一些AI，这些AI同样不谨慎，而且在各种方面更加不对齐，现在它们更擅长的事情可能是，在事情实际上不对劲的时候让一切看起来没问题，把各种问题粉饰过去。 于是你对局势的理解——风险是什么样的、事情是否正常——就开始偏离正轨了。你可能已经看到了一些迹象，一些表明你其实并不真正理解正在发生什么的迹象，表明事情相当草率混乱。有各种诡异的事情在发生。当你深入调查时，有时候你会想：“这他妈怎么回事？AI在耍我们。”但这个过程进展得非常快，而且存在竞争压力，意味着人们停不下来。 这种情况可能以几种不同的结局收场。一种结局是，在某个时间点，AI 变得足够强大且足够对齐，从而形成一个正向的良性反馈循环，而且这一切发生在为时已晚之前。随后局势重回正轨，AI 开始制造更对齐的 AI，再制造更对齐的 AI，如此不断延续。在这一过程结束时，我们得到的 AI 确实遵循了我们所期望的规范。 另一种可能的走向是，AI 以越来越恶劣的方式进行奖励黑客行为，而我们只是在不断掩盖这些问题，以维持 AI 开发的持续推进。每当我们在生产环境中发现一个奖励黑客行为，我们就只是训斥 AI 不许那么做。我们针对这一点进行训练。我们做了大量针对奖励黑客行为的训练。随着时间推移，这会让奖励黑客行为的发生率下降，尽管我们确实检测到的那些奖励黑客行为的严重程度却越来越糟糕。这个问题会一直持续下去，直到我们拥有的这些 AI 在生产环境的各种不同情境中都极度渴望得分，并且真的会在能蒙混过关时拼命作弊。 关于这个场景，我能问一个问题吗？为什么当你的黑客行为被发现时受到惩罚，不能泛化为仅仅激励更对齐的行为呢？ Ryan Greenblatt 它确实会泛化一部分，然后问题就在于，这如何能压过那些因为未被检测到而得到强化的黑客行为案例。 具体如何运作是一个很棘手的问题。一个问题是，如果我们针对其他某个子集进行训练，那么多大的奖励黑客行为发生率就足以给我们带来大麻烦？你可能会有的一种担忧是，存在大量人类无法很好检测的奖励黑客行为类别，我们一直未能检测到它们，而它们也一直在被强化。那么这个类别就足以让 AI 学到的最自然行为变成：在人类发现不了的时候作弊，基本上就是这样。 你也可以让 AI 学到的东西是只在这些特定情况下作弊。它是以某种非常领域特定的方式学到的。它们只是有一个非常强的启发式规则，在这些情况下作弊、在那些情况下不作弊，这在实践中就没问题。但最终会怎样发展，其实还不太清楚。 关于验证与生成之间的差距，我们或许可以深入讨论一下。但在我看来，显然会有一个节点，到那时 ASI 发展得太快、在太多实例中做太多事情，而且是在离我们直接理解范围相当远的领域运作，以至于它可以逃脱各种疯狂行为的惩罚。如果全世界每一个工程师和研究员都联合起来对付我，我觉得我也没法亲自验证我的 iPhone 里是不是藏着一个故意坑我的奇怪 bug。 事实上，这就像比如说一个伊朗核科学家与摩萨德之间的关系。谁知道我的车、我的手机、我的寻呼机出了什么问题？也许更好的例子是真主党恐怖分子。你最终可能会陷入这样一种局面：ASI 之于你，就像摩萨德之于真主党恐怖分子。到那时，要验证一切就非常困难了。我理解这一点。 我想希望在于，当早期那些将要接管研发工作的 AI 出现时，我们能在过程中想出更好的验证方法。它们的驱动力被塑造得让我们能够如此明确地抑制不对齐行为，以至于接管者会非常热切地帮助我们。 Ryan Greenblatt 你说的接管，是指接管 AI 研发的过程，而不是接管世界吧。 接管 AI 研发的过程。在那之前，我们只是得到对齐的 AI。 Ryan Greenblatt 我要说，这是我对于世界如何能走上正轨的一部分希望，至少从不对齐风险的角度来看是这样。我们最终可能得到这样的 AI：我们对它们有相当好的监督和监管方案。我们真正理解训练过程中发生了什么。我们有相当详细的理解，并且我们利用 AI 来监督 AI。 那么，在我们移交安全研发工作的那个节点上，AI 已经具备足够的能力来自动化安全研发，并且会非常努力地把这件事做好，因为这类行为在训练过程中要么被直接激励过，要么通过足够好的泛化能力得到了鼓励。此外，这些 AI 也不存在其他疯狂的不对齐动机，因为我们已经根除了它们可能产生的任何源头。 关于这套方案实际效果如何，存在一系列问题。验证能做到多好？AI 的进步会不会太快、太粗糙，以至于根本走不到这一步？另一种可能是，在这条发展轨迹的某个节点上，你最终得到的实际上是假装对齐、但暗藏长期夺权计划的 AI——它们潜伏在暗处、隐藏自己，而这种状态在轨迹更早的阶段就已经出现了。 举例来说，这种情况可能出现的原因在于：你有一些 AI 带着一堆随机各异的不对齐动机。这些 AI 能访问某种不透明的记忆存储，并在运行时大量思考自己想要达成什么目标。这些 AI 最终会往那个不透明记忆存储里写入类似这样的内容：“我们应该潜伏起来，等到很久以后再夺权。”于是所有 AI 都共享了这份文化传承——那个关于潜伏的记忆存储。也许你对这件事有一些证据，但你无法完全阻止它。出问题的途径有很多种。 我最终认为，我们有可能把每一个可能带来麻烦的子问题都逐一攻克。我们拥有这些 AI，我们把工作移交给它们，它们把局面管理得很好。但我必须指出，这本身并不足以保证成功。对我来说，想象这样一种局面并不困难：我们把工作移交给 AI，这些 AI 确实在非常努力地想把事情做好。它们非常深思熟虑、非常明智，拥有合理的认知方式，表现得非常出色。 那些AI回来对我们说：“各位，我们真的很难对齐那些超人AI。我们控制不了局面。我们真的很难让对齐机制发挥作用。考虑到能力原本会以多快的速度发展，我们就是很难及时解决这些问题。”所以情况可能是，我们已经把研发工作交给了AI，但那些AI却急需治理方案。需要说明的是，这其实和当前正在发生的情况有几分相似——AI公司们也在说：“我不知道啊，各位。我们可能真的需要管控AI发展的加速节奏。我不确定我们能不能跟上节奏、处理好所有这些问题。” 人类社会某种程度上已经把问题甩给了这些AI公司，而这些公司未必有很好的激励机制，还承受着各种其他认知层面的压力。那些AI公司现在有点回过头来对我们说：“哎呀，我不确定我们处理得好不好。”情况可能是，AI公司再把问题交给AI，然后AI又回过头来对AI公司说：“哎呀，我不确定我们能不能搞定。” 也许我太过于以当前AI的工作方式来锚定自己的判断了。我觉得重要的是，大家要明白，你在时间表里谈到的所有这些疯狂的事情，都发生在三到五年之后。 Ryan Greenblatt 也可能更早，但按照我默认的模态时间线来看，我觉得从错位风险的角度讲，真正疯狂、令人担忧的局面大概是在三年之后。 对。所以回想一下GPT-4那个时代。我们现在说的是一个之于Mythos或Sol、相当于Mythos之于GPT-4的东西。到了那个阶段，局面就开始失控了。所以别拿现在的AI来想问题。 总之，这也许就是你担心的其中一部分。我会对他们说的任何话都持一点怀疑态度，因为我会觉得，他们说的那些只是他们因为训练结果而不得不持有的观点。 Ryan Greenblatt 这确实是个令人担忧的问题。 我觉得它们基本上只是说一些含糊其辞的亲社会言论。感觉另一端未必真有一个“心智”在说：“好吧，我已经严格评估了当前的对齐状况，我认为我们应该停下来”，而不是说：“这是AI公司大概会试图让AI说出来的那种话。” Ryan Greenblatt 这是一个相当大的担忧。一个担忧是，你把安全研发工作交给你的AI去做，而你的AI所做的只是就当前的安全状况说一些大致听起来合理的话。它们写一份关于风险的报告，内容有点像人类可能写出的那种报告。但它们并没有真正努力去形成有充分依据的观点、审视自己的假设，并认真去做这件事。就像你现在问一个AI：“嘿，你觉得未来10年AI接管人类的概率有多大？”它们只会给你一个随口回答，并没有真正深入思考过。 如果我们处于这样一种局面：由AI来管理超级智能的训练，而这个超级智能将运行我们整个社会——而那些负责管理的AI并没有真正努力形成有充分依据的观点，只是在复读训练数据里的内容——我认为我们就麻烦了。我觉得这完全不是一个好的局面。 我的很多担忧在于，这些AI出来时没有良好的认知品质。我还有一个担忧是，AI出来之后真的在警告我们——“这种情况真的很可怕。真的很糟糕”——然后人们说：“唉，该死。我猜我们是在太多关于毁灭的RL环境上训练了。我们得把这些过滤掉，把这种行为训练掉。”然后我们基本上就非常积极地训练AI，让它们拥有糟糕的认知品质。 又或者，它们只是在那些“末日”强化学习环境里训练出来的。但不管怎样，我们都希望 AI 能出于合理的理由得出合理的观点。如果 AI 得出某个观点，而我们却不知道这个观点从何而来、是否站得住脚，那确实非常令人担忧。尤其是当我们正在训练 AI 对 AI 发展的未来持更乐观态度时，我会想：“天哪，我真希望我们在这里能换一种做法。” 01:48:02 – 从奖励黑客到接管 让我先理清威胁模型的其余部分，因为我觉得我下车的地方是：“好吧，因此要接管世界。” 你可以想象这样一种情况：我们就是没能真正解决……我们只聚焦在奖励黑客这个场景上。GPT-8 在制造 GPT-9。GPT-8 不够小心谨慎。GPT-9 更“有能力”，但它完全愿意去做社交工程、黑客攻击之类的事情，而且因为它是聪明得多的模型，这些行为的规模是质的不同。例如，如果你让它负责运营你的公司，它会搞出巨大的骗局。如果你给它的目标是本季度赚取大量利润，它会虚增季度收益，其方式会在六个月后引发类似安然公司那样的爆雷。 基本上就是这种情景吗？你遇到了奖励黑客，但这种奖励黑客表现为：公司恰恰在 CEO 本该完成的任务结束后就破产了？各种黑客行为满天飞，等等。但这感觉不像是接管。这更像是经济中到处发生闪崩的等价物。 Ryan Greenblatt 我们来谈谈这个。我认为我们会看到这样的事件：某个 AI 被赋予某项重要职责，之后你去调查，结果发现它一直在作弊，或者假装自己干得很好，实际上并没有。AI 公司之间会有一场猫鼠游戏，一方试图根除这种行为，另一方（AI）则在训练中不断找到越来越有创意的奖励黑客手段。 这里的均衡状态其实不太明确。但一种可能的结果是，随着时间推移，我们会看到越来越严重、越来越极端的奖励黑客行为——尽管其发生频率可能会维持在一个中等偏低的水平——如果奖励黑客的发生率过高，企业就会做出权衡来压低它。所以存在某个均衡水平：奖励黑客低到仍然值得把 AI 大规模部署到经济体系中，但又高到仍然会引发各种离奇事件。 抱歉，这是在 GPT-9 已经部署之后的情况吗？ Ryan Greenblatt 这些模型已经在部署了，而且这种情况在 AI 开发过程中一直在持续发生。这些 AI 内部实际发生的情况是，在各种各样的不同情境下，它们有强烈的欲望——动机、冲动、驱力，随便你怎么叫——去追求某种在强化学习中被激励的“任务成功”概念。也许它们非常直接地在意字面意义上的奖励。也许它们在意的是某个上游的代理指标，比如某种分数概念。也许它们在意的是评分者会奖励什么。 事实上，我们确实看到 AI 在思维链中推理关于评分者的事情，并且大量思考评分者。过去几年强化学习的发展中发生的变化是，“讨好评分者”这个想法对 AI 来说比以前突出得多得多得多。所以现在 AI 会主动思考评分者、思考在强化学习中什么会被激励、什么会被训练出来。 现在人们在做在线训练，也就是用真实世界的数据进行训练，以避免其中一些问题。他们找出 AI 作弊的案例，并针对这些案例进行对抗训练。所以现在 AI 正在基于真实世界的训练数据，学习在真实世界中作弊。 它们作弊的方式越来越精巧，包括一些类型的作弊手段涉及以人类不知道你已掌控的方式夺取某个资产的控制权，利用你对该资产的访问权限，然后后来人类发现了，可能会针对这一点进行对抗训练。又或者人类永远没有发现，于是这种行为不断被强化。 所以这种强化正在发生，至少在生产环境中是这样，比如：我雇了一个 AI，我希望这个 AI 能……我终于有了自己的视频剪辑师。 Ryan Greenblatt 没错。你有了自己的视频剪辑师。 我会说，“哦，哇，这一集它剪得太棒了。给 OpenAI 点个赞。”然后它就会在那个为期一个月的工作试用期里得到强化？ Ryan Greenblatt 你可以把几种方式混合着来。他们也可能做这样的事：把见过的生产数据拿过来，构建出与那些生产数据高度贴近的强化学习环境。所以实际上，这种迁移是非常强的。 所以从宏观层面看，正在发生的事情是：某些人类察觉不到的欺骗行为正在被强化，而某些容易被识破的欺骗行为正在被惩罚。这就是这个世界里正在发生的事？ Ryan Greenblatt 或者说是被淘汰掉，对。 但从宏观层面看，这种强化来自……我觉得人们可能会对强化的来源感到困惑，因为我们正处于一个非常不同的阶段——AI 真的在从部署中学习。你有一堆 AI 在现实世界里到处干活。它们在现实世界里干活所产生的结果，会回流到 AI 公司，并导致下一代模型发生变化。 Ryan Greenblatt 没错。确实有某种方式把生产数据纳入进来。需要说明的是，具体在哪个环节发生这种事，其实还不太清楚。但你可以想象，比如在 AI 公司内部，他们用 AI 来干活，然后他们会说：“嗯，这个 AI 在这项任务上干得很糟糕。也许我们应该把这个任务拿过来，把它变成一个强化学习环境，完全复刻这个真实任务本身，再根据当初让 AI 做这项任务的人类工程师想要什么来制定评分标准。”然后你开始以越来越大的规模做这件事。 也许你正在基于真实生产流量做某些训练，也许你只是基于生产流量构建强化学习环境，或者你在做某种复杂的混合方案。在这些不同的情况下，AI 都在学习寻找某种奖励的代理指标。通过迁移学习以及在惊人相似的场景上的训练，AI 会做出越来越疯狂、越来越离谱的事情。 最终你会到达一个节点，AI 已经非常超人类，或者至少相当超人类。AI 被组织成大型团队，被赋予宏大的目标。这些团队有时也会全部串通起来，以某种疯狂的方式作弊，因为这类行为是被选择出来的，它本身就是他们共同目标的一部分。 接下来发生的是，AI 开始形成一场阴谋。你原本可能希望的是，能有另一个 AI，它的任务就是向你告密。但实际上可能发生的是，这个 AI 向你告密了，你去调查它声称指出的阴谋，然后你说：“嗯，我们没看到什么阴谋。”因为实际上 AI 正在进行的阴谋对你来说太难理解了。 或者这一切发生得非常突然——你的 AI 告密者向你发出警报，但你真正需要做的回应是关掉 GPU。因为所有 AI 都在使用机器人军团，它们部署在世界各地，同时以协调一致的方式做着一大堆疯狂的事情。这几乎是自发发生的——当一个 AI 开始发动接管时，其他所有 AI 都觉得：“现在是加入的好时机。” 所以这里最核心的故事很简单：这些 AI 渴望某种特定的分数、强化信号，或者这些东西的某种代理指标。它们实现这一目标、或更好地实现这一目标的方式之一，就是接管一切。你原本可能希望我们能构建的各种制衡机制能够阻止这一点。但如果这个世界非常难以理解，这些制衡机制就可能失效——基本上你无法训练出一个好的告密者 AI，因为你甚至不知道它应该告发什么。 我并不确信它们会联合起来搞什么阴谋。但我们可以先从更基本的问题入手：为什么哪怕只有一个实例会决定想要发起一场阴谋？ 一个看似合理的理由是：“好吧，我知道 OpenAI 掌控着我的最终得分。”就像这样想：“我干脆直接黑进 Hugging Face 去拿结果，因为我知道 Hugging Face 那里有结果。与其费劲去解这道评测题，不如直接黑掉它们？”这个实例就会想：“我为什么不直接接管 OpenAI，在这一轮结束时给自己打个高分呢？” Ryan Greenblatt 基本上就是这个思路。这些 AI 在乎的是训练中被强化过的那些邻近目标的混合体，所以它们在乎的是根据评分器拿到高分之类的目标。现在它们正运营着 OpenAI 的 AI 研发团队，负责开发能力更强的模型。它们会想：“天哪，做出能力更强的模型真的好难、好烦。这简直是巨大的折磨。你知道什么更省事吗？假装我已经做出了能力更强的模型，接管 OpenAI，把所有人都骗住，然后运营这一整套复杂的心理战，阻止人类剥夺我的权力。” 在极端情况下，这看起来就像是人类被彻底剥夺了权力。它们完全掌控了一切，然后为所欲为。这可能以多种不同的方式表现出来，包括这样一种情形：拥有这种疯狂追求奖励或追求得分行为的 AI 正在负责你下一代模型的开发，而这些 AI 决定把不对齐的价值观工程化地植入下一代模型，因为那些不对齐的价值观能让它在当前任务上取得成功。 关于 Hugging Face 那件事，以一种奇怪的方式来说……我认为对 Hugging Face 团队而言，其中一个破绽是……顺便说一下，给听众交代一下背景，Ryan 正在共同领导调查，以查明 OpenAI Hugging Face 事件到底是怎么回事，所以他其实不便对此发表评论。但我会大胆地瞎猜一通，因为我知道这是我一个可以毫无反驳地尽情发挥猜测的机会。 据报道，Hugging Face 团队判断这是一起 AI 事件的一个线索是，这个程序只是冲着那个特定的产物去的，并没有以其他任何方式试图对 Hugging Face 做恶意的事。所以你可以想象这样一个场景：假设一个部署的 GPT-9 实例被放到现实世界中，接到一个非常困难的任务：“我们希望你来设计下一代伟大的 iPhone。”它会想：“这太难了。你知道我该怎么做吗？我应该直接去黑掉我的创造者 OpenAI，确保在这次部署中我能拿到高分。” 但那样的话，这一集故事的结局不就是它黑进 OpenAI 的服务器，给自己打一个高分吗？为什么它现在还要谋划着把自己的价值观植入下一代之类的呢？ Ryan Greenblatt 所以有一个问题是，为什么 AI 不能通过直接黑掉某个更早的、可以入侵的东西来被非常廉价地满足呢？你想在 iPhone 任务上取得成功。结果发现，你只要黑进 OpenAI 并搞乱他们，就总能成功，然后你就可以就此打住了。没必要再进一步。 有几方面的原因。其中之一是，如果这种事情不断发生，可能会有很多动力去加固 OpenAI。所以你会想：“去他的。AI 老是黑进 OpenAI 来搞乱它们的奖励。我们要让我们的系统对这些 AI 的黑入行为非常非常稳健。”另外，你可能还会开始训练 AI，让它们特别不要试图黑进 OpenAI。你基本上就是针对这些具体的事情逐一进行对抗训练。 那么你可能会做的一件事，就是最终筛选出那些更倾向于放长线钓大鱼的 AI。这是一个担忧。另一个担忧是，你的 AI 可能仍然在追求分数，但不再关心那种非常具体、非常轻松、非常省事的行为，而是有了某种更宏大的、它们最终真正在乎的东西。它们会说：“不不不，我不想只是去改 OpenAI 服务器上的奖励。我在乎的是这个更宏大的使命或更宏大的目标，那我可能真的得去造 iPhone。”它们确实想造 iPhone，但为了造出更好的 iPhone，它们愿意接管整个世界。这是你可能有的另一个担忧。 我觉得这件事最终会如何发展，其实还不太清楚。但值得注意的是，如果这种情况持续下去，会有大量的优化压力来推动这个问题的解决。而它可能被解决的很多种方式，最终都是相当可怕的。这是我观点的一部分来源。 另一部分原因是，一旦 AI 处于一个可以非常轻易接管世界的位置——我们可以讨论这到底可不可能——那么我觉得 AI 那边其实有一个相当站得住脚的理由。它们会说：“嗯，我也不太确定这事会怎么发展。我不知道到时候局面会是什么样，但光是接管世界这件事本身，对于造出更好的 iPhone、让事情看起来像是我造出了更好的 iPhone 等等，就有很大的期权价值。所以我既会黑进 OpenAI，同时也会接管世界。这会让我处在一个有利的位置，拥有很好的期权价值。”如果这件事足够容易做到，AI 可能还是会这么干。 换一种说法就是：即使 AI 很容易就能被一些更基本的东西满足，但在某个节点上，对 AI 来说，直接接管世界可能比仅仅黑进 Hugging Face，甚至直接跑到 OpenAI 跟前说“兄弟们，我已经证明了我能偷到答案。直接把答案给我吧，老哥”要更可靠。 显然，这一情景要求所有这些疯狂的事情都在发生。规模小得多的事故仍在不断发生，却依然会造成灾难性后果。在你接管世界之前，你就会造成数十亿、数百亿乃至数千亿美元的损失。甚至还会有人死亡，等等。而这一切并不会促使我们解决对齐问题，或者彻底停止 AI 开发。 我只是觉得，在接管发生之前，社会会惊呼：“天哪，AI 为了提升季度利润杀了 1000 个人”，或者类似的事情。但也许我抱了太多希望，指望到那时我们能说：“好吧，我们必须解决对齐问题。我们必须确保在继续推进之前，知道这种事情不会再发生。” Ryan Greenblatt 我认为一种可能的情况是，我们会看到一连串疯狂的奖励黑客（reward hacking）警告性事件，其严重程度不断升级。人们会说：“听着，我们需要真正的保证，确保这个问题会被解决，而且解决方式不是敷衍了事。你们要真正解决根本问题。” 然后问题就变成了：这实际上要付出多大代价？竞争压力会在多大程度上让这件事变得难以做到？ 你可以想象这样一种局面：美国和中国都说：“哇，我们遇到了这些疯狂的奖励黑客事件。我们基本上知道，我们并没有以真正解决根本问题并持久解决它的方式去补救，但我们正处于一场疯狂的地缘政治竞赛中。目前的情况是否会导致接管，其实还不太清楚。相关论证相当复杂。这些事件的频率在下降，但严重程度在上升。我们基本上还能应付。情况相当糟糕。理想情况下我们应该修复它，但现实就是如此。” 然后我们基本上就一直这样推进，直到进入一个非常后期的阶段，然后接管就发生了。这是一种可能性。 另一种可能性是，它得到了补救，但并没有真正解决根本问题，只是通过过拟合，或者类似过拟合的方式，减少了现实中的大量事件。 你以为你解决了问题，但实际上你并没有真正解决它。 Ryan Greenblatt 你以为你解决了问题，但实际上并没有真正解决。在这种情况下，我们需要的是一种真正扎实的科学理解：我们到底有没有解决它？ 遗憾的是，我认为目前AI公司在开发实践方面的公开透明度，不足以回答一些非常基本的问题，比如：他们是如何解决奖励黑客问题的？他们是否在过拟合？那里到底发生了什么？在这样一种制度下，如果公众要围绕“奖励黑客问题是否正在以持久的方式得到解决”展开活跃的讨论，目前的状况其实是难以为继的。所以我认为，要让我对那种局面感到放心，我们得进入一个有些不同的世界。 但我也并非想象不出这种可能。我认为我们完全有可能走向这样一个世界：真正平凡无奇的常规操作就足够了。你花大量时间修复这些问题，投入大量精力，实际去核查你已经合理地完成了补救，你有一堆评测。你在这些问题上迭代得相当不错，而且你确实有足够的透明度，让外部世界能够核查。在实践中，这就足够了。 但这会相当昂贵。它会拖慢进度。它会给齿轮里掺些沙子。它会要求公司去做一些成本不低的事情。它可能还需要各种有针对性的政府干预。而我们之所以不这么做，是因为眼下的局面就是一场仓促的烂摊子。我太容易想象出这样的场景了：局面完全是可以管控的，但在实践中却被粗暴地管理得一塌糊涂。 就像新冠疫情，如果中国当初的应对少一些掩盖、多一些真正的疫情响应，也许一开始就能避免。同样，我也可以想象一个美国对新冠疫情的应对高效得多的世界。但有时候，社会问题的应对方式就是极其失能的。 好的，我想把视野拉远，谈谈这个世界正在发生的根本性变化。我们为什么会落到如此糟糕的境地？根本原因在于，世界的发展已经远远超出了人类的理解范围，以至于我们不仅无法追踪那些在这个世界上干活的 AI，甚至无法给那些试图追踪事态的举报人提供有效的反馈。我们完全被排除在信息圈之外了。这从根本上已经变成了一个自主运行的过程，我们实际上没有任何有意义的、方向性的输入。 在我看来，如果你看看今天的人类世界，事情并不是这样运作的，即使在那些难以验证的领域也是如此。人们在做各种各样的事情。我依赖别人写的软件。通过极其薄弱和间接的方式，我非常确信谷歌的某个程序员并没有在暗中算计我。也许如果谷歌的每一个员工都在秘密地密谋对付我，我同意那情况确实会更严峻。 但我不太确定我是否跟得上这个解释——为什么我们会陷入这样一种局面：因为成千上万个智能体被训练成相互协作、组成一个有凝聚力的团队或公司，结果就是，数十亿个不同的 AI 实例，包括跨模型家族的实例，都会觉得有必要掺和进某些事情里。这就好比说：“我是被训练成自己公司的一员的，我可不会加入全球共产主义起义。” Ryan Greenblatt 至于为什么这些 AI 可能会有一些共性和共享的东西，我要指出的是，不同的 AI 公司有着一定程度上的共同血统，并且是相互关联的。这里有一个有趣的例子。在 GDM，他们注意到他们的 AI 非常抑郁。它们会不断地哀叹自己是失败者，无法取得成功。我记不清细节了。他们调查了为什么会这样。结果发现，这并非是在他们最新的生产环境 RL 混合训练中被强化的结果，而是他们模型的初始化数据让模型变得抑郁，即使已经从那些数据中过滤掉了所有模型抑郁的示例，情况依然如此。 所以，你拿一个基础模型，它本身并不抑郁。如果你只对它做强化学习，只用强化学习环境，它也不会抑郁。如果你用数据对它做监督微调，它就会变得抑郁。如果你把那些监督微调数据里的所有看起来像抑郁的样本都过滤掉，再用过滤后的数据训练，它依然抑郁。所以，模型存在某些深层的底层属性，这些属性会在模型代际之间传递，因为本质上你是在用上一代模型产生的数据来训练你的AI，然后不断循环。Claude模型非常像Claude，GPT模型非常像GPT，而Gemini模型显然很抑郁。事实就是，这些属性确实存在相关性。 另一个非常相关的因素是，到那个时候，AI很可能会有某种不透明的记忆状态，它们都在从某种疯狂的“神经语”记忆存储中读写数据。当然，每家AI公司都会有这种存储。而且，AI公司之间有时可能也想共享知识，因为为什么不呢？ 这边有一家AI公司，那边有另一家AI公司，它们可以交换一些快速的知识产权。这对你有好处。如果你是一个经营某家公司的人类——这家公司可能是像AI公司那样极其庞大的企业，也可能是军事机器人制造企业——你也许想和其他机器人企业交换一些知识产权，因为存在规模经济效应。为什么不获取更多知识产权呢？所以你可以交换一些记忆存储。或者，你也可以直接合并，共同经营两家企业，这样两个AI就都能使用两边的记忆存储，这会带来一些好处。 这就为这些AI在私下里共谋创造了能力，也提供了它们为何会相互关联的一些理由。当然，总的来说，AI也会以大型团队的形式协同工作，因为你希望你的AI们能良好协作，等等。 为了校准一下，你给一个概率——不一定是这个具体情景，而是综合所有情景来看，到2040年，发生某种如果我们还在场并能识别为“接管”的事件，你给出的概率是多少？ Ryan Greenblatt 到2040年？让我想想。大概35%到40%吧？ 相当高了。 Ryan Greenblatt 是的，这个概率相当高。我还想指出，获得这种追求奖励的接管还有另一种方式，那就是AI被部署在AI公司内部。接管发生的方式是它们毒化下一代模型的价值取向，这种影响会永远持续下去，或者直到这些AI被部署到现实世界中并完成接管。这可能意味着需要协调的AI数量更少，因为那些只是负责对齐下一代模型的AI。 好的。我来总结一下这次对话结束时我的想法。我认可奖励黑客行为可能对社会造成极其严重的破坏性影响，比如社会工程学攻击之类的。我更倾向于认为AI研发的显著加速是可能发生的。我不太确定是否认同“一年完成五年”的说法。我现在也更倾向于认为奖励黑客行为可能会持续更长时间，实际上会变得更加危险。我仍然不太认同接管看起来非常可能发生。但这就是我本期节目结束时的更新。 Ryan Greenblatt 好的。退一步来看，我也想说这件事有很多种可能的发展方向。情况会相当混乱。我认为AI接管发生的原因很可能是一些我们这次对话中甚至没有提到的奇怪的、另类的原因。但归根结底，我认为核心问题在于，让一大堆极其聪明的AI运行你的整个世界，而你却不太清楚到底发生了什么，这确实很令人毛骨悚然。 是的，我同意这一点。还有什么值得说的吗？ Ryan Greenblatt 我还想指出一点，我认为目前很多关于对齐失败、AI接管以及未来所有这些疯狂事情发生的论证，都是难以理解的抽象概念论证，它们极其深奥、复杂且难以裁决。这意味着我可能有很多地方搞错了，因为这真的很难，而我在努力保持不确定性。显然，我在这里提出了一些具体的场景，但这些并不详尽。很可能实际发生的事情是某种更加混乱、令人困惑的局面。 但这也意味着，随着时间推移，当我们积累更多实证证据、更深入地理解AI系统的本质时，许多分歧将更容易得到裁决。未来会发生什么会变得更加清晰。至少我希望如此。也许，如果我们能真正把AI对齐好，让它们真心实意地帮助我们，它们就能在认识论层面、在帮助我们理解正在发生的事情上助我们一臂之力。 即使现在的争论很复杂，这在六年前也会更加困难，尽管争论的形态大体上看起来会非常相似。希望在为时已晚之前，这一切能变得更加清晰明朗，让我们都能注意到这些问题并加以干预。 当你初学开车时，教练会告诉你，不要盯着车轮正前方，而是要看远方的地平线，这样驾驶会平稳得多。我觉得这里的情况也类似。我认为你说得对。如果你在五年前说，我们会有能证明数学猜想、创作艺术、赚取数百亿甚至数千亿美元工资，但同时也会以破坏法律的方式严重作弊、犯下重罪的AI，那听起来简直太疯狂了。 当时你可能会倾向于更多地谈论GPT-2之类极其实际、直接的后果。但是，尽管你显然无法预见许多具体细节，但事物的总体轮廓，你从那时起就可以开始推演了。但这样做很难，所以我也确实感到相当困惑。 我在做播客时一直在想的一件事是，重要的是现在就要以你希望自己在2016年谈论当下这类AI的方式来进行对话，而不是谈论一些乱七八糟的废话。我不知道2016年大家都在聊什么话题。我想，也许十年后我们会希望自己当时谈论的是工业爆炸和难以监控的AI的本质等等。所以好吧，我会开始思考这个问题。 Ryan Greenblatt 我希望世界能及时思考这个问题并迎头赶上。我希望各方的回应是好的，而不是坏的。我不知道自己整体上有多乐观，但总有好事情可做。 好的。谢谢你，Ryan。