# 下一个重大突破：AI在工作中学习

- 来源：Dwarkesh Patel：Podcast & Blog（RSS）
- 作者：Dwarkesh Patel
- 发布时间：2026-06-26 23:51
- AIHOT 分数：61
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmqy4ykbx0046slrr88vjxpf9
- 原文链接：https://www.dwarkesh.com/p/the-next-paradigm

## 精选理由

RLVR 范式能否通向 AGI？Dwarkesh 指出关键瓶颈在于样本效率和 grindability，他提出的 OPSD 和 dreaming 方案重新定义了「学习中」的边界，虽然离落地尚远，但值得每一个关心 AI 下一步的人细读。

## AI 摘要

AI实验室的研究赌注是：在数千个多样化RL环境中训练模型完成数百万可验证任务，就能构建AGI。这种训练会培养出能连续数周处理开放任务、应对错误和歧义的问题解决技能。虽然模型训练时的样本效率仅为人类的百万分之一，但训练成本是一次性的，可摊销到数十亿次用户会话中；真正重要的是模型在单个会话内的智能和样本效率，而这随着RL训练正在提升。持续学习或许不再必要——如果上下文内的学习能力足够强、时间跨度足够长，就无需将经验蒸馏回权重。Transformer架构创新已能大幅扩展上下文存储，未来可能实现任意大的上下文窗口。论文还指出，一个领域不仅需要可验证性，还需要可碾压性——能在确定性、可重播的模拟器中并行运行大量rollout。

## 正文

以下是所有实验室正在下注的重大研究方向。

0:00 以下是所有实验室正在下注的重大研究方向。他们认为，如果我们训练 AI 在数千个不同的强化学习环境中完成数百万个可验证的任务，那么我们就基本上构建出了 AGI。因为这种训练将创造出一种能够解决问题的智能体，

0:17 一种能够在面对错误、失误和模糊性时，连续数周在开放式任务上取得进展的智能体。而对这个愿景持乐观态度的人会说，我们目前所谈论的当前训练范式的所有根本性缺陷，例如，

0:33 这些模型的数据效率低下，或者它们缺乏持续学习能力，如果我们只是扩大训练规模，这些问题都可以被碾压。就像在自然语言处理中，当我们向大语言模型投入足够多的算力时，所有基础研究问题都迎刃而解一样。所以在上一篇文章中，

0:50 我谈到了这些模型的样本效率只有人类的百万分之一。而支持当前训练范式的人会说，看，这可能是事实，但这只是在训练期间如此。而训练是一次性成本，可以分摊到模型将经历的数十亿次会话中。

1:08 真正重要的是模型在一次会话中的智能程度、通用性和样本效率。而随着我们进行更多的强化学习训练，这一点显然一直在改善。AI 智能体能够在越来越长的时间跨度内解决越来越有挑战性的问题。

1:33 人们常说，他们的员工需要工作六个月或更长时间才能产生净生产力。所以显然，在线学习对于胜任工作是必要的。但如果你能把那六个月的学习内容直接塞进上下文窗口呢？已经有大量的架构创新能够极大地增加

信息量，或者说 Transformer 架构能够存储的上下文量。为什么不能认为，再经过几年的进步，我们或许就能拥有近乎无限大的上下文窗口呢？好了，在进一步讨论这项研究之前，我想先退一步，问一个完全带有倾向性的问题，

这个问题我觉得对于理解当前 AI 进展的本质来说，其实非常有趣且令人困惑。为什么在计算机使用方面的进展比其他领域慢这么多？计算机使用显然是可验证的。你可以问这样的问题：我在 Etsy 上订购的商品是否已送达？我试图组织的活动场地是否已预订？

我的税是否已提交？那么，计算机使用进展缓慢难道不奇怪吗？我相信这背后有很多原因。其中一个原因当然是，模型在预训练期间接触到的优质多模态数据要少得多。但我认为有一个原因实际上被人们大大低估了，

而且我认为这个原因揭示了 AI 进步这条河流只能缓慢侵蚀的峡谷壁垒，那就是：一个领域仅仅可验证是不够的。它还必须非常“可打磨”，也就是说，你必须能够针对一个确定且可重放的模拟器，

运行大量并行的试运行。而且你必须从相同的起点运行这些试运行。如果你试图让模型在编程方面变得更好，你可以定义一个容器，里面包含一个缺少某个功能的软件仓库，并且你已要求 AI 创建这个功能。

然后你让一千个并行智能体去处理这个问题，每个智能体都有一份完全相同的容器副本。但这在计算机使用上行不通，至少不是轻而易举就能行得通。你不能仅仅让一千个智能体去尝试亚马逊上相同的结账流程，

来让它们更擅长使用网站，因为 Andy Chassie 会发现你的机器人，然后把你封杀。你可以通过克隆 Slack、Gmail 以及其他所有常见的应用程序和网站来解决这个问题。但至少目前，这是一种非常耗费人力且难以扩展的构建环境的方式。当然，

一旦 AI 在编程方面足够强大，能够以极高的保真度自行构建这些克隆体，那么我相信计算机使用领域的进展会比现在快得多。而且，这类流程还能一举两得，因为让 AI 从头重建整个应用程序，本身也是

一个极佳的编码强化学习目标。因此，尽管计算机使用本身可能很快就会被攻克，但它目前进展缓慢的状况告诉我们：除非你能为一个领域构建一个高度可复现的训练目标，否则模型将难以取得显著进步。当然，之所以如此，是因为模型在训练过程中样本效率极低。

这是我上一期视频文章里提出的观点。所以，对于计算机使用，我们或许可以通过构建这些可大规模复现的确定性模拟器来弥补样本效率的不足。但对于我们需要 AI 掌握的许多其他不同类型的技能，我们根本无法做到这一点。

我们如何训练一个 AI 真正擅长从零开始创业？如何让它擅长打赢官司？或者在市场中实现盈利的一天交易？又或者帮助候选人赢得选举？这些场景的落地需要与现实世界互动，而这是无法仅仅在数据中心内部重现的。

这里的外部循环验证可能需要数月甚至数年的真实世界行动才能触发，你无法通过并行运行数千次、对模型动作进行微调来隔离出模型究竟做了哪些有效操作。处理这种无重置、非平稳的环境，是强化学习中一个公认的开放性问题。

我并不是在提出什么新观点。但我确实想强调，由于世界上大多数领域的数据都具有特殊性和稀疏性，你需要样本效率才能变得精通。如果 AI 要发展出人类拥有的所有技能，甚至人类尚未拥有的技能，

它们需要能够从少量真实世界互动中，以非结构化、不可验证且模糊的方式所揭示的信息中学习。因为在许多领域，相关的训练信息根本不存在于其他任何形式中。要制造一个像林登·约翰逊一样擅长政治的AI，其强化学习环境是什么？

或者像埃隆·马斯克一样擅长建立太空发射业务？实验室们正在押注，基于验证的强化学习（RLVR）能够泛化。也就是说，如果你在足够多的容器化、可复现的环境上进行训练，你将开发出一个非常通用的智能体，它能够制定并执行计划，从新信息中快速学习，甚至在一个会话内掌握新技能。

如果你把这个经过无尽RLVR训练的AI丢进1948年的得克萨斯州政坛，它能在赢得参议院席位方面给你比LBJ更好的建议。如果你在2002年给它1亿美元并让它放手去做，它会为你打造出SpaceX。现在，RLVR能否如此良好地泛化，是一个实证问题。

如果实验室将花费在RL环境上的资金从数十亿美元增加到一万亿美元，你是否会得到那种在上下文窗口内完全具备类人通用智能的东西？达里奥在我们一起录制的播客中给出了一句意味深长的引述，我认为这暗示了RLVR的泛化能力并非无限强大。

他在解释为什么模型性能在长上下文下往往会下降时说道：有两件事。一个是训练时的上下文长度，另一个是服务时的上下文长度。如果你在短上下文长度下训练，然后试图在长上下文长度下提供服务，可能就会出现这种性能下降。

现在，也许我过度解读了，但这似乎是在说，短视界的RL训练不一定能泛化到长视界的RL性能。如果你无法从短视界泛化到长视界，那么智能体又如何能期望从针对一堆白领任务的训练泛化到，比如说，

7:34 拥有像山姆·沃尔顿那样被投放到现实世界、从零开始建立一家企业的能力？而且，即使经过足够多的上下文内经验，AI 能变得像亨利·福特或罗伯特·爱因斯坦一样，如果你无法将这些学到的知识回传至模型权重，那么这一切都将是短暂且被浪费的。

7:50 一个实验室大约 30% 到 50% 的计算资源用于推理。而这些计算资源目前并未在帮助改进模型方面发挥任何生产性作用。这似乎是一个巨大的浪费。而且情况比听起来更糟，因为只有在部署过程中，你的模型能够从中学习到的最有价值的信息才会被揭示出来。

8:06 这些信息包括：在我被使用的组织中实际发生了什么？他们用我来做什么？我在现实世界中倾向于犯哪种错误？我们有一些天才的研究生，却从未被允许进行真正的实习。

8:20 而我们却不断地以在环境中进行强化学习训练的形式，给它越来越多的课堂案例研究。这太奇怪了，我们已经有了广泛部署在经济体系中的 AI，它们参与了如此多种多样的任务，并接触到了如此多领域和组织特有的隐性知识。

8:39 而它们却无法利用这些知识。但这种持续学习需要回归到模型权重。AI 不能仅仅因为从越来越多的用户那里学习，就不断地建立越来越大的缓存。这根本不可扩展。而且人类也不是这样做的。

8:53 我们的大脑中，参数和激活之间并没有清晰的界限。而且，并不是说你大脑的某个部分会随着你一生中学习更多东西而不断扩张。当我们学习东西时，显然存在某种压缩。这有助于我们的泛化和顿悟。事实上，

有些人类拥有类似蚂蚁般的特殊能力，能在多年后回忆起随机的数字表格或无意义音节，这基本上就是模型在上下文中所拥有的那种保真度信息。而这种庞大的信息量反而削弱了这些人类理解抽象概念和隐喻的能力。人类的持续学习，与其说是将所有观察结果都放在嘴边随时调用，

不如说是将正确的直觉和大局观知识重新雕琢进模型权重中。但一旦进入权重领域，你就必须放弃上下文学习的样本效率。因为梯度更新的样本效率极低，所有成功上线的在线学习模型都必须

在数百万用户身上学习完全相同的内容。例如，Cursor 的标签补全模型通过每天预测超过 4 亿次请求的完全相同的目标来进行在线学习。这里的目标是哪些编辑操作最终被用户接受了。至少到目前为止，我们还没有看到模型针对不同用户在线学习不同类型的内容，

因为虽然单个会话产生的数据量可能足以让人类从中学习，但这并不足以训练出能力更强的 AI。当前的在线学习只能适用于非常有限的用例，但持续学习的核心意义在于，世界是非常复杂的。

每一项工作、每一家公司、每一个问题都各不相同。你需要你的智能体能够学习与特定部署场景相关的具体信息，而这些信息根本无法塞进某个共享的训练过程中。这就是我们谈论在职学习时所涉及的所有内容。

比如，你所在组织的一切是如何运作和相互配合的，如何与所有基础设施以及周围的其他人协作，以在某个更大的项目上取得进展，常见的故障模式有哪些，以及许多其他类似的事情。

12:07 要从这些数据中学习，需要样本效率，模型可以在上下文窗口中做到这一点，但使用的是通过注意力机制即时构建的快速权重，这虽然实现了样本效率，但在内存方面扩展性很差。因此，我们需要某种架构创新，以实现某种中间表征。

12:25 我之前谈到过，对于这类问题，我们已经有了许多不同的可行思路，从稀疏保留到 KV 缓存压缩。每周都会有人发布新论文，提出某种其他的架构优化。在我看来，架构并非从根本上制约持续学习的瓶颈。因此，瓶颈可能在于损失函数。

12:44 我们如何根据从某一次会话中学到的信息来更新权重，也就是如何改进模型本身？即使在这个问题上，粗略看来，似乎也有许多应该可行的思路。最近很多人都在讨论一种叫做“同策略自蒸馏”的技术。如果你想了解更多，

13:02 几周前，我和 Sasha Rush 用我的 iPhone 即兴录制了一期黑板讲座，链接在描述里。简单概括一下这个解释，其核心思想是，我们鼓励基础模型在尝试解决某些现实问题时，做出与积累了长时间会话中所有上下文的模型相同的预测。

13:19 整个过程的目的，是将模型在一次会话中学到的东西蒸馏回权重本身。这比 RLVR 更好，原因有二。第一，OPSD 不需要我们拥有某种外部循环的可验证奖励。

13:36 我们只需要一个能在上下文窗口内学到正确内容的模型。只要有了这个，我们就可以训练基础模型，使其与我们的资深教师模型相匹配，后者在会话期间积累了所有这些经验。第二，OPSD 提供了比 NaiveRO 密集得多的监督信号。

13:53 你不需要在整个轨迹上投射单一奖励，而是可以基于教师模型与学生模型之间每个 token 的概率差异进行训练。对于持续学习而言，OPSD 也优于监督微调。你能想到的针对此应用最朴素的 SFT 版本，就是

14:10 训练基础模型去预测该会话期间观察到的所有 token。但如果你把它当作一个学习目标来思考，这根本说不通。你提升工作能力的方式，并不是靠完美回忆每天发生的每一件事的逐字记录。

14:23 相反，它是通过整合那些真正有助于你提升工作能力的少量洞见和知识。强化学习训练不会出现这种失败模式。RL 擅长将更新集中在与获得正确结果相关的部分。

14:38 这就是为什么在 RL 训练步骤中，实际上只有很少的参数被改变。这对持续学习来说是一个非常重要的特性，因为当你在工作中学习时，你不想覆盖并遗忘基础模型已知的所有其他知识。我几个月前写过一篇文章，认为

14:53 RL 每个样本学习到的信息比监督学习少得多。但这可能是一件好事，而非坏事。你只对模型进行实现结果所绝对必要的修改，不多一分。OPSD 保留了监督学习的这一特性，它不像监督学习那样让你直接冲向教师分布，

15:12 而是只提取那些让你在真实世界任务上达到与教师相同结果所必需的知识。OPSD 是解决样本效率问题的一种方法。你获取稀缺的真实世界经验，并将所有信号压缩成一个微小、精准的更新。

15:31 但还有另一个更具推测性的想法。我们姑且称之为“梦境模式”。如果 AI 能够构建一个足够好的现实模拟环境，在其中演练新技能、尝试替代策略并强化真正有效的方法，那么 AI 就能在相同的实际时间内获得数量级更多的模拟样本。让我们稍微回顾一下历史。

15:53 DeepMind 发布 AlphaZero 几年后，一组研究人员训练了一个名为 EfficientZero 的模型。这个模型的核心目标就是极其高效地利用数据。因此，如果这个模型和一个人类都有两个小时的时间来与一个他们从未见过的 Atari 游戏模拟器进行交互，

16:09 这个模型实际上很可能会击败那个新手人类。这是否意味着该模型比人类更擅长样本利用？嗯，这确实是训练的目标，但这取决于你如何衡量样本效率。因为在真实游戏的每一步中，EfficientZero 都在其“脑海”中模拟了数十局游戏。

16:26 类似地，未来的大语言模型或许能够消耗更少的真实世界数据，同时在自己构建的环境中无休止地练习。当然，最大的区别在于，构建整个世界的模拟远比模拟围棋要困难得多。

16:41 这就是为什么我说这是一个更具推测性的想法。如果它奏效，它将与预训练、强化学习和推理时计算一起，成为扩展的第四个维度。你可以称之为“测试时训练”或“梦境模式”。模型消耗算力来编写强化学习环境，然后针对这些环境进行训练，

16:57 并且它演练所有将实际用于特定用户生产环境中的技能。因此，与其在 Codex、Cursor 或 Claude 中按下“/compact”来消耗少量算力生成摘要，从而获得一种持续学习的假象，你只需按下“/dream”。

17:16 而这会消耗海量算力，用于构建一个视频游戏版的世界模型，并针对模型在现实世界中观察到的情况进行训练。那么，到 2027 年或 2028 年，持续学习会是什么样子？我们又如何实现它？以下是一种设想。所有这些 RLVR 训练正在催生一个智能体，它能够在面对陌生问题时找准方向，

17:34 尝试不同的策略，并在遇到障碍时进行迭代。这正是 RLVR 带给你的关键能力：一个至少足够胜任、能够开始积累真实世界经验的 AI——前提是你懂得如何从这些经验中学习。而一旦你拥有了这样的 AI，

17:51 你就可以把它派到现实世界中去做真正的工作，即使是那些偏离训练数据分布的项目。假设到这个时候，有效上下文长度已经扩展到足以让 AI 与你连续协作一整周（按实际时间计算）。

18:06 一周结束时，你给它一个好评或差评，做一次工作评估。如果你给了好评，基础模型就会将 AI 在这一轮会话中学到的一切进行知识蒸馏。它可能会用到 OPSD，可能会用到梦境回放，

18:17 也可能用到我们尚未知晓的其他技术，或者综合运用以上所有方法。一旦完成这一步，AI 就会在与之前 RLVR 训练所明确针对的领域相邻的领域里变得更强。而在接下来的下一轮中，

18:33 它又能在与之前在线学习内容相邻的领域里进一步提升。通过这种方式，AI 的技能、知识和能力范围可以远远超出模型在部署前最初训练时所针对的那些可验证领域。正如预训练创造了一个足够聪明的基础智能，

18:52 到这个时候，AI 进步的主要方式已不再是发布前所接受的训练，而是来自它们被广泛部署到经济活动中、参与大量不同类型任务所积累的全部经验。

19:22 每次你与 AI 互动，它都会变得更聪明。这不仅是因为它从你之前的对话中学习，还因为它从与全世界所有其他用户的互动中学习。这既令人恐惧又令人兴奋，并且与当前 AI 的改进方式截然不同。

下一个重大突破将是 AI 在工作中学习。实验室正在丢弃最有价值的数据。

Dwarkesh Patel

2026 年 6 月 26 日

以下是各大实验室目前押注的重大研究方向：如果我们训练 AI 在数千个不同的强化学习环境中完成数百万个可验证的任务，那么基本上我们就已经构建出了 AGI。因为这样的训练将培养出通用的解决问题能力（比如如何在面对错误、失误和模糊性时，连续数周推进一个开放式任务）。对这一愿景持乐观态度的人认为，当前学习范式中的任何所谓根本性缺陷——例如数据效率低下和缺乏持续学习——都可以通过扩大训练规模来碾压，就像自然语言处理中所有那些所谓的“根本性”研究问题，最终都被投入到大语言模型中的海量算力所淹没一样。没错，这些模型在训练时的样本效率只有人类的百万分之一。但训练是一次性成本，可以分摊到数十亿次用户会话中。真正重要的是模型在一次会话中的智能程度、通用性和样本效率，而随着我们进行更多的强化学习训练，这一点显然在持续改善。任何使用过这些模型进行编程的人都知道，AI 能够解决越来越有挑战性的问题，并且能够持续越来越长的时间。同样地，持续学习——定义为模型权重在部署过程中得到更新——可能根本就不是必需的。原因还在于，如果上下文学习在越来越长的时间跨度内变得如此出色，那么我们就不需要将学习成果蒸馏回权重中来实现在职学习了。人们常说，员工入职六个月甚至更久才能产生净生产力，因此在线学习对于胜任工作显然是必要的。但如果你能把这六个月的学习内容直接塞进上下文窗口呢？Transformer 架构已经涌现了大量创新，极大地增加了可存储的上下文长度。再经过几年的发展，我们为什么不能拥有任意大的上下文窗口呢？可磨砺性与可验证性同等重要。

为了探讨这是否可行，我想先绕个弯，问一个关于当前 AI 进展本质的问题，这个问题让我既困惑又感兴趣。为什么计算机使用方面的进展如此缓慢？计算机使用显然是可验证的（想要的 Etsy 商品是否已下单、活动所需的企业服务是否已全部预订、税款是否已提交）。那么，计算机使用在编码、数学和其他可验证领域进展慢得多，这难道不奇怪吗？我相信原因有很多，其中之一是模型在预训练期间接触到的高质量多模态数据要少得多，而且视频消耗上下文窗口的速度要快得多。[1] 但我认为有一个原因被严重低估了，它也揭示了 AI 进展这条河流只能缓慢冲刷的峡谷峭壁，那就是：一个领域仅仅可验证是不够的。它还必须非常“可反复试炼”——也就是说，你可以针对一个确定且可重放的模拟器，运行大量并行的试运行。如果你想让模型更擅长编码，你可以创建一个环境，其中有一个软件仓库，里面有一些你要求 AI 实现的缺失功能，然后你让一千个并行智能体去解决这个问题，每个智能体都拥有容器的一份相同副本。[2] 但这在计算机使用上行不通——至少不是轻而易举就能做到。你不能让一千个智能体去尝试 Amazon.com 上相同的结账流程。因为安迪·贾西会发现并检测到你的机器人，然后把你封杀。你可以通过克隆 Slack、Gmail 以及所有其他常见应用和网站来解决这个问题。但至少目前，这是一种非常劳动密集且难以扩展的环境构建方式。当然，一旦 AI 在编码方面足够出色，能够自己以极高的保真度构建这些克隆，那么我相信计算机使用将取得巨大进展。而且，这种流程还能一举两得，因为让 AI 从头重建整个复杂应用本身也是一个很好的编码强化学习目标。但是，尽管计算机使用本身可能很快就会被解决，它目前的迟缓告诉我们：除非你能为一个领域构建一个非常可重放的训练目标，否则模型将难以取得太大进展。之所以如此，当然是因为模型在训练过程中样本效率极低。这是我上一段独白中提出的观点。在计算机使用方面，我们或许可以通过构建这些可耕种的确定性模拟器来弥补样本效率的不足。但对于通用人工智能需要学习的许多其他不同类型的技能，我们根本无法做到这一点。我们如何训练 AI 去创办一家企业？如何让 AI 非常擅长打赢官司？或者在市场上进行盈利的日内交易？或者帮助候选人赢得选举？这些试运行需要与世界互动，无法简单地在数据中心内重现。而外部循环验证可能需要数月或数年的真实世界行动才能触发，并且无法通过并行扰动模型行为数千次来重新观察，以便隔离出模型究竟做了什么才真正有效。处理这种无重置的非平稳环境是强化学习中一个已知的开放问题。我并不是在指出什么新东西。但我确实想强调，由于世界上大多数领域的数据具有特殊性和稀疏性，你需要样本效率才能变得精通。如果 AI 要发展出人类拥有的所有技能，甚至人类没有的技能，那么它们就需要能够从非结构化、不可验证且模糊的方式中，从稀缺的真实世界互动所揭示的信息中学习。因为在许多领域，相关的训练信息根本不存在于其他任何形式中。什么样的强化学习环境能让 AI 像林登·约翰逊一样擅长政治，或者像埃隆·马斯克一样擅长建立太空发射业务？仅靠 RLVR 就能实现泛化吗？

各大实验室正押注于基于验证奖励的强化学习（RLVR）能够泛化到所有这些其他领域。如果你在足够多的容器化、可复现环境中进行训练，你将开发出一个非常通用的智能体，它能够制定并执行计划，从新信息中快速学习，甚至在一个会话内掌握新技能。如果你把这个经过无尽RLVR训练的AI扔进1948年的得克萨斯州政坛，它能在赢得参议院席位方面给你比林登·约翰逊更好的建议；如果你在2002年给它一亿美元并任其发挥，它就能为你打造出SpaceX。RLVR能否泛化到这种程度，是一个有待实证检验的问题：如果各大实验室把在RL环境上的投入从数十亿美元增加到一万亿美元，你是否会得到一个在上下文窗口内运行的、完全通用且类人的智能？达里奥在我们一起录播客时说过一句意味深长的话，我认为这暗示RLVR的泛化能力并非无限强大。当时他在解释为什么模型性能在长上下文下往往会下降时说道：

训练时使用的上下文长度和实际服务时使用的上下文长度是不同的。如果你用小上下文长度训练，然后试图用长上下文长度提供服务，就可能会出现性能退化。也许我过度解读了，但他似乎是在说，短视界的强化学习训练不一定能泛化到长视界的强化学习表现上。如果我们无法从短视界泛化到长视界，那么智能体又该如何从大量白领任务的训练中泛化到——比如说——被扔进现实世界，像山姆·沃尔顿那样白手起家创办一家企业呢？而且，即使经过足够多的上下文内经验，AI 能够成为爱因斯坦和亨利·福特那样的人物，但如果你无法将这些学到的知识回馈到模型权重中，那么这一切都将是短暂且被浪费的。一个实验室大约 30% 到 50% 的计算资源都用于推理，而这些计算资源目前并没有真正用于帮助改进模型。这是多么大的浪费！实际情况甚至比听起来更糟。因为只有在部署过程中，模型可以从中学习的最有价值的信息才会显现出来（我在被使用的组织中实际发生了什么？他们用我来做什么？我在现实世界中倾向于犯哪种错误？）。我们有一位天才的研究生，却从未被允许去实习。我们不断地以强化学习训练环境的形式，给它提供越来越多的课堂案例研究。我们不让 AI 利用所有这些经验来训练——这些经验本可以通过在经济中广泛部署、在数百万个不同的任务中实践、并接触到大量隐性的组织和领域特定知识而不断积累——这既奇怪又浪费。让学习成果回归到权重中去。

但这种持续学习需要回到权重本身。AI 不能仅仅通过不断累积 KV 缓存来学习，因为随着从越来越多用户那里持续学习，缓存规模会不断膨胀。这种方式根本不可扩展，也不是人类的学习方式。我们的参数和激活值之间没有分离。当我们一生中不断学习新事物时，也不会有一团快速权重表征从我们的头骨中越伸越长。当我们学习东西时，显然存在某种压缩，这种压缩实际上有助于泛化和顿悟。确实有一些人类拥有自闭症学者式的记忆力，能在多年后回忆起随机的数字表或无意义音节——基本上就是模型在上下文中拥有的那种信息保真度。而如此庞大的信息量反而削弱了这些人理解抽象概念和隐喻的能力。人类的持续学习，与其说是把所有观察结果都挂在嘴边，不如说是将正确的直觉和全局知识重新雕琢进权重之中。但一旦进入权重领域，你就必须放弃上下文学习在样本效率上的优势。因为梯度更新的样本效率极低，所有成功上线的在线学习模型都不得不通过数百万用户来学习同一件事。例如，Cursor Tab 模型通过每天预测超过 4 亿次请求的完全相同的目标来进行在线学习（这个目标就是哪些编辑被接受了）。至少到目前为止，我们还没有看到模型为不同用户在线学习不同类型的内容，因为虽然单个会话产生的数据可能足以让人类学习，但还不足以训练一个更强大的 AI。当前的在线学习只能适用于非常有限的用例。但持续学习的全部意义在于，世界非常复杂，每项工作、每家公司、每个问题都各不相同，你需要你的智能能够学习与特定部署场景相关的具体信息，而这些信息根本无法塞进一个共享的训练过程中。比如你所在组织的一切如何运作和衔接，如何与基础设施以及周围其他人协作以推进某个更大的项目，常见的故障模式有哪些，等等。从这个意义上说，样本效率和持续学习实际上是两个深度关联的问题。模型在“上岗”时能获得的数据相对较少。要从这些数据中学习，就需要样本效率。模型可以在上下文中做到这一点，但由注意力机制即时构建的“快速权重”在内存方面扩展性极差。因此，我们需要架构上的创新，以实现某种中间表征。我之前谈到过，针对这类问题已经有很多不同的可行思路，从稀疏注意力到 KV 缓存压缩。在我看来，架构从根本上说并不是持续学习的瓶颈。瓶颈可能在于损失函数。如何根据从某个特定会话中学到的信息来更新权重（也就是改进模型本身）？即使在这个问题上，似乎也有很多应该可行的想法。最近很多人都在讨论同策略自蒸馏。如果你想了解更多关于它的工作原理，可以看看几周前 Sasha Rush 给我做的一个即兴黑板讲座。不过，简单概括一下这个想法：我们鼓励基础模型在尝试解决某些现实世界问题时，做出与经过长时间会话积累了所有上下文的模型相同的预测。这个过程的全部意义在于，将会话中模型学到的东西重新蒸馏回权重本身。这比 RLVR 有两个好处。第一，OPSD 不需要外部循环的可验证奖励。我们只需要一个能在上下文窗口内学到正确内容的模型。只要有了这个，我们就可以训练基础模型，去匹配那个在会话中积累了所有经验的资深教师模型。第二，OPSD 提供了比朴素 RL 密集得多的监督信号——不是将单一的奖励投射到整个轨迹上，而是可以针对每个 token 的概率差异在教师和学生之间进行训练。对于持续学习而言，OPSD 也优于监督微调。你可以想象，SFT 用于此场景最朴素的版本，就是训练基础模型去预测会话中观察到的所有 token。但这作为学习目标毫无意义——你提升工作能力的方式，并不是完美无缺地回忆每一天发生的所有对话记录。相反，你需要整合那些与更好地完成工作相关的少数洞见和知识片段。RL 训练没有这个缺陷，它非常擅长将梯度更新集中在与获得正确结果相关的部分——这就是为什么 RL 的更新极其稀疏。这对于持续学习来说是一个非常重要的特性，因为当你在工作中学习时，你不想覆盖和遗忘基础模型已知的所有其他内容。我几个月前写过一篇文章，认为 RL 每个样本学习到的信息比监督学习少得多。但这可能是一件好事而不是坏事——你只对模型进行实现结果所必需的最小程度修改，仅此而已。OPSD 保留了 RL 的这一特性：你不会像监督学习那样弹射式地趋向教师分布，而是只提取在现实世界任务上实现相同结果所必需的知识。

因此，OPSD 是解决样本效率问题的一种方法：你可以获取稀缺的真实世界经验，将所有信号压缩到一次微小而精准的更新中。但还有另一个更具推测性的想法。我们不妨称之为“梦境模拟”[5]。如果 AI 能够构建一个足够好的现实模拟环境，在其中演练新技能、尝试替代策略并强化有效行为，那么它就能在相同的实际时间内，获得数量级更多的模拟样本。DeepMind 发布 AlphaZero 几年后，一组研究人员训练了一个名为 EfficientZero 的模型。如果该模型和人类各有两小时时间，与一个他们从未见过的 Atari 游戏模拟器对战，这个模型很可能会击败人类新手。这是否意味着该模型比人类更擅长样本效率？这取决于你如何衡量样本效率。因为在真实游戏的每一步中，EfficientZero 都在其“脑海”中模拟了数十场游戏。类似地，未来的大语言模型或许能够消耗更少的真实世界数据，同时在自己构建的环境中无限练习。当然，最大的区别在于，构建整个世界的模拟远比模拟围棋游戏困难得多。这就是为什么我说这个想法更具推测性。如果它奏效，将成为继预训练、强化学习和推理时计算之后的第四个扩展维度。你可以称之为测试时训练或梦境模拟。模型会消耗算力编写强化学习环境，在其中演练那些最终将用于特定用户生产环境的技能。与在 Codex、Cursor 或 Claude 上点击 `/compact`（仅消耗少量算力生成摘要，给你一种持续学习的假象）不同，你点击 `/dream`，它会消耗大量算力，构建一个视频游戏版本的模型所观察到的世界，并针对其进行训练。这就是 2027 年可能呈现的景象。

那么，到 2027 年底，持续学习会是什么样子，我们又如何实现它？所有这些 RLVR 训练正在打造一个智能体，当它被抛向一个陌生问题时，能够找准方向，尝试不同的策略，并在遇到障碍时进行迭代。这就是 RLVR 带给你的关键所在：一个至少具备足够能力、可以开始获取一些真实世界经验的 AI。一旦你拥有了它，你就把它派到现实世界中去完成真正的工作，即使是那些偏离训练数据分布的项目。到那时，有效的上下文长度可能已经扩展，使得这个 AI 能够与你协作整整一周的挂钟时间。一周结束时，你给它一个赞或踩。如果你给了赞，基础模型会提炼 AI 在该会话中学到的一切，并可能使用 OPSD、梦境（dreaming），或某种我们甚至尚未意识到的其他技术，或上述所有方法的组合来完成提炼。AI 还能在那些与它之前通过 RLVR 明确训练过的领域相邻的领域中变得更好。而在下一轮中，它会在之前在线学习到的内容相邻的领域中变得更好。AI 的技能、知识和能力的范围，将远远超出模型在部署前所训练的、可验证的领域。正如预训练创造了一个足够聪明的基础智能，使其能够通过进一步的 RLVR 训练成为一个有能力的智能体一样，RLVR 也创造了一个足够有能力的智能体，使其能够真正部署到世界中，从而利用未来持续学习的范式。到那时，AI 进步的主要方式，不再是通过模型向公众发布之前所接受的训练。相反，它来自于这些 AI 通过广泛部署到世界各地、参与如此多种多样的任务而积累的所有经验。每次你与 AI 交互，它都会变得更聪明。这不仅是因为它从你之前的所有会话中学习，还因为它从与世界上所有其他用户的交互中学习。这既令人恐惧又令人兴奋，并且与当前 AI 进步的方式截然不同。赞助商

仅一小时的视频就消耗约 100 万文本 token。

我听说 AI 智能体尤其擅长围棋，因为围棋拥有出色的标准化包管理器，而 Python 和 TypeScript 则存在“框架、类型化方法和工具库的庞大组合空间”。这类空间不太适合通过梯度下降进行干净、高吞吐量的并行搜索。

我们以 Llama 3 70B 为参考。KV 缓存（即通过学习上下文而构建的表示）每增加一个 token 就会增长 320 KB。而在训练中，模型每个 token 仅存储 0.075 比特（这是一个 70B 参数、16 比特精度、在 15 万亿 token 上训练的模型）。因此，在上下文学习与预训练之间，每个 token 存储的信息量存在 3500 万倍的差异。

你可能会预见到 OPSD 的一个明显问题：在学生犯错之前和犯错的那一刻，你能获得密集的监督，但轨迹的其余部分都沿着这个错误延续下去——它继续沿着一条已经出错的路径前进，而教师原本根本不会走这条路。因此，超过那个点之后，在后续的 rollout 中你再也无法从教师那里获得有用的反馈。这似乎可以通过一种名为“轨迹精炼蒸馏”的技术来修复，即教师将错误之后的轨迹重写为完整、正确的延续。

顺便说一句，我指的不是泄露的 Claude Code 源代码中即将推出的“做梦”功能——我猜那更多是关于模型为自己编写大量 Markdown 文件。我指的是实际更新权重本身。我只是不认为你能通过给自己传纸条来积累新技能。我在之前的一篇博客文章中用过这个类比：想象一下，如果学生学习吹萨克斯的方式是，拿起这个你从未尝试过的新乐器试吹一下，记下哪里出了问题，然后把它交给下一个同样第一次演奏的学生。