智能的一种定义是样本效率——也就是说，在某个特定领域内，你需要看到多少数据才能流畅且胜任地运作。目前尚不清楚我们在训练样本效率方面在过去几年是否取得了实质性进展——似乎更多是我们极大地拓宽和改进了数据分布。

AI 变得更好的主要方式，是添加更多、更优质的数据，并首先通过扩展算力来开发这些数据。显然，强化学习是实现这一目标的主要途径。你可以将强化学习视为一种合成数据生成——你投入大量算力，针对一个验证器来寻找“好”的数据。然后，你训练你的模型去预测这些正确的展开结果，其方式与训练它预测互联网文本中的下一个词大致相同。

要使这个过程有效，模型必须至少具备一定的先验概率来预期正确的解决方案，这就是为什么你还需要在每个你希望模型胜任的领域和技能中，投入海量的人类专家轨迹数据。

这些人类专家数据的任务特定性和定制化程度，再怎么强调也不为过。如果你想对此有些直观感受，可以去 Mercor 或 Surge 的网站上看看一些职位描述。那里有招聘文字专家，负责将旧文档转换成精美的 Word 文件；有法律专家，负责撰写逼真的并购尽职调查或证券申报文件；有管理顾问，负责撰写模板化的市场调研报告；还有几十种其他特定类别。

而且，不仅数据需要如此领域特定，其数量也必须极其庞大！每一项技能都对应着至少数百名人类专家，他们负责生成示例完成结果、编写评分标准，并解释他们的思维链。生产这些专家标注数据（以及那些能让其精心编录的技能得以固化的强化学习环境）的数据产业，年收入已达数十亿美元，并即将达到数百亿美元，这并非没有原因。

想象一下，你需要花费相当于几十年的课程、同时与数百位教授学习、并完成数百万道练习任务，才能学会如何排版一个 Word 文件。即便是任务数量的差异，也低估了其中的差距——模型必须反复处理数量远超人类的、且每个都更加困难的任务。人类学生可能只练习一两遍教科书上的题目，而 GRPO 却让模型为每个任务生成数百到数千次 rollout。我们正在建造某种弗兰肯斯坦式的怪物，由数十亿个精心构造的示例拼接而成。

Epoch 最近报告称，开源模型仅落后最先进的闭源模型 4 个月。我认为，开源模型和此前的落后者之所以能相对容易地在数月内追上前沿水平，原因在于数据才是进步的真正驱动力。数据可以轻松地从公开 API 中蒸馏出来，而超参数、训练技巧和架构层面的微优化则无法做到——如果后者才是进步的主要驱动力，那么追赶的难度就会比我们目前观察到的要大得多。

人们很容易忘记这些模型是在多么庞大的数据上训练的，也容易忘记这比我们人类一生所见的数据要多出多少。我们把这些 AI 视为一个闪耀着各种能力的星系，但在它们的中心，肉眼不可见之处，维系着所有星座的，是一个难以想象的、巨大的数据黑洞。

幕间：比较人类与 AI 的样本效率

• 如果一个人平均每小时听到和看到约 2000 个词，那么从出生到成年，他们大约会接触到 2 亿个 token。相比之下，前沿模型的训练数据量在数十万亿到数百万亿个 token 之间。这几乎是百万倍的差距。

• 一个人可以在几小时内学会远程操控任何随机的人形机器人或机械臂。机器人技术之所以还没有成为一个价值数万亿美元的产业，没有一支由宇树 G1 组成的无尽大军在世界各地从事各种有用的工作，原因在于我们的 AI 学习效率远低于人类，而且即便我们已经收集了数百万小时的演示数据，仍不足以让它们执行复杂、开放式的任务。

• 一个青少年大约只需 20 小时的练习就能学会开车。即使把其约 16 年积累的身体直觉也算作相关训练数据，这仍然比 Waymo 和特斯拉训练自动驾驶汽车模型所需的数据量至少少 3 到 4 个数量级。

我想回应一下对这种比较常见的一些反对意见：

• 数十亿年的进化是我们的预训练，因此将我们一生中看到的少量数据与这些从零开始的大语言模型必须学习的数据量进行比较，是不公平的。

  • 我们的基因组大小为 3GB，其中约 1-2% 是蛋白质编码区。这个空间根本不足以存储那些据称是预训练出来的模型参数（前沿模型的参数规模是 TB 级别的）。更贴切的类比可能是，进化找到了正确的超参数和损失函数（附注：我与 Adam Marblestone 做过一期有趣的播客，他认为损失函数才是进化中更重要的发现），但相当于参数训练的过程仍然发生在个体生命周期内，并编码在毕生建立起来的大脑神经连接图谱中。

  • 即使我们可以将预训练基础模型所需的数万亿个 token 解释为追赶进化的代价，这也无法解释为什么边际能力的获取需要如此多的数据——当你受过教育后，学习一门新编程语言并不需要 100 位不同的教授，但人工智能（即使已经完成预训练）却需要。

• 这些比较并未包含我们一生中看到的多模态数据。如果将所有感官信息都算进去，从出生到成年，我们可能接触到了数百亿到数千亿个 token 量级的数据。

  • 失去这类感官信息的盲人或聋人，虽然可能缺乏相应感官的能力，但依然拥有与其他人相同的通用智能。这表明，这数十亿的感官 token 并非真正让人类变得聪明的关键。

  • 事实上，只能通过手语和阅读（而非听觉）进行交流的聋人，其摄入的语言 token 数量远低于我们之前计算的 2 亿个模型 token，而即便如此，这也足以让他们成为完全通用智能体。

• 规模定律告诉我们，更大的模型样本效率更高。人脑拥有 100 万亿个突触——如果每个突触约等于 1 个参数，而当前前沿模型大约有 5 万亿个参数，那么或许我们再将参数规模扩大一到两个数量级，就能达到人类水平的样本效率。

  • 规模定律方程的工作方式是，参数项和数据项独立地加到损失函数上。如果你有一个按计算量最优方式训练的模型，然后假设你问：如果我只想最大化样本效率、使用更少的数据——并且我愿意投入任意多的参数来实现这一点，那会怎样？根据 Chinchilla 规模定律论文中的常数（即使使用不同的常数，结果的性质也不会改变），即使你将参数数量增加到无穷大，也只能将保持相同损失所需的数据量减少约 10 倍。而人类的样本效率比这些模型高出数千到数百万倍。当前模型的规模扩展根本无法弥补这一差距。这确实表明，人类完全处于一条不同的规模曲线上。

样本效率重要吗？

但你可能会问，样本效率为什么重要？各大实验室有两个总体目标：实现白领工作自动化，以及实现 AI 研究本身的自动化。人类水平的样本效率对于其中任何一个目标都是必要的吗？

对于白领工作，关键在于软件工程师、分析师或会计师所做的常见任务，嗯，它们很常见。我们可以通过强化学习和监督微调，相当容易地将常见任务纳入数据分布。这些 AI 实验室的收入曲线表明，即使我们无法复制人类的样本效率，将任务纳入数据分布也能带来巨大的价值。

训练人工智能完成这些任务，远比训练人类要低效得多。但那又怎样？人类的寿命不允许他们拥有这些模型所经历的训练数量与广度。如果你作为人类，有一种奇怪的学习障碍，需要通读 GitHub 上每一个公开仓库才能成为一名合格的开发者，那么训练你这件事本身就不合理。你会在教育早期阶段就靠社会保障金过活，而且即使你训练完成，一次也只能处理一个项目。但人工智能可以通过一次投入千兆瓦级的训练来学习这些技能。而且它们学到的东西可以分摊到数十亿次会话中，因此我们在训练它们时可以极其低效，却仍然能获得巨大收益。

白领员工需要做多少“分布外”的思考，是你根本无法提前训练的？这其实更多是关于不同工作性质的问题，而非人工智能研究的问题。同时也取决于具体工作——有些工作足够机械化和可预测，早在现代人工智能时代之前就被自动化了，例如银行柜员或旅行代理人。而另一些工作则需要每天处理与数据分布相去甚远的问题。即使是软件工程（被认为人工智能会最先取代的工作）也是如此。我敢打赌，到 2028 年，对人类软件工程师的整体需求会比现在更大，这在很大程度上是由于人工智能的互补性输入。

各大实验室针对这些较晚被自动化的工作的计划是，首先实现人工智能研究的自动化，然后让自动化的 AI 研究人员解决样本效率问题。那么问题就变成了：不具备人类级别样本效率的人工智能，是否仍然能够解决通往类人智能与学习之路上的剩余研究难题。

这个问题我会在未来的博客文章中讨论——我认为目前人们对智能爆炸的思考方式相当粗糙。要么人们完全否定 AI 加速 AI 进步的可能性，要么他们就直接假设上帝从另一端蹦出来。人们并没有在推理：从大语言模型出发，极其迅猛的进步究竟会是什么样子。

赞助商

感谢 Mercury 对本文的赞助！

• Mercury 刚刚发布了一项名为 Command 的新功能，它让我的银行平台里直接有了 AI。由于我基本上用 Mercury 来运营整个业务，Command 能够获取完成实际工作所需的所有信息。我可以让它发送发票、分类支出，甚至转账……而 Command 直接就能处理。了解更多请访问 mercury.com/command