激动人心的消息！我试图向世界分享后训练知识的书已经完成，即将发货。可在 Manning 或 Amazon 上订购。感谢大家的支持。目前这本书在 Amazon 上排名 AI 类图书第一。
Nathan 和 Florian 坐下来讨论开放模型领域正在发生的一切。继上周 Kimi K3 发布之后，感觉一切都在加速——美国与中国的地缘政治、开放模型与封闭模型的经济学、AI 前沿的安全问题等等。章节：00:00 欢迎与背景介绍；04:38 与 Kimi K3 共存/使用体验；08:53 GLM 5.2 的持续角色；12:47 中国模型为何如此出色？17:41 数据、环境以及中国实验室巡礼；19:47 中国供应商概览：通义千问、DeepSeek、MiniMax……；24:08 美国开放模型生态系统；30:25 前沿与近前沿，以及网络安全角度反对禁令的理由；34:58 知识蒸馏与 Ben Thompson 的争论；44:12 预测与前沿模型层级列表；48:36 总结。
可在 Apple Podcasts、Spotify 以及你收听播客的任何平台收听。如需查看 Interconnects 的其他访谈，请点击此处。
如需更多教育性的后训练视频，请查看我正在整理的课程。
00:00:06 Nathan Lambert：好的，欢迎回到 Interconnects。我们正在进行季度开放模型盘点，这主要是我们在调侃或解释——不是调侃——为什么那么多关于知识蒸馏的观点是错误的，并了解当前局势。我想上周四是 Kimi K3 发布的日子。我认为在不久的将来我们会看到更多。这似乎不可避免。比如上周末，习主席发表了讲话，直接承诺将开放和开源作为一项战略。这并不是一个详细的布局说明。
通义千问宣布他们的下一个大模型将开放权重，这是一个重大变化。我认为有太多内容可以深入探讨。Flo，我想你已经开始谈论一些性能差距和知识蒸馏的观点了。所以我们可以从那里开始，然后我手头有一个小清单，我们可以逐一讨论这些话题以及我写的那篇博客，内容都非常细致入微。所以我觉得我们有说不完的话题。继续畅所欲言吧。
00:01:17 弗洛里安·布兰德：是的，我认为，每次模型发布，至少每次开源模型发布时，最大的话题就是它落后闭源前沿模型多少个月。人们喜欢给这个时间定一个确切的数字，但这其实非常模糊，因为现在我们有太多不同的评测提供方，也有太多不同的评测基准，每个网站——我在这方面也不无辜——都会拿出自己偏好的评测基准来证明当前或新发布的模型已经达到前沿水平，然后另一方又会拿出另一个评测基准来反驳，说它实际上落后了一年左右。很大程度上，这个问题似乎就取决于一个关键点：我们的开源模型到底落后了多少个月。
00:02:26 内森·兰伯特：是的。所以我的观点是，有些评测基准实际上与人们的实际使用情况是合理相关的，比如智能体编程和智能体计算机使用任务，而另一些评测基准则与长尾需求相关，我认为 Claude 和 GPT 在这方面非常有价值。但如果问题是，Claude Code 和 Codex 目前的市场在哪里，而答案是软件工程，那么模型在这方面落后几个月可能就是一个非常、非常严重的问题。我推测这个模型应该还行，但需要说明的是，模型权重据称要到 7 月 27 日才发布，而很多讨论都将基于它们会如期发布这一假设。
但人们可以对这款模型进行后训练，使其在人们所期望的许多这类细分领域上，非常有可能达到 Opus 和 GPT 的水平。我认为，我们两人对后训练开源模型行业的看法虽有不同，但在让这些模型针对特定高价值任务进行微调方面，进展中充满了巨大的兴奋点。这一直以来都是在通义千问（Qwen）和智谱（GLM）的混合基础上进行的，而 GLM 5.2 确实加速了这一进程。我很好奇，第一个发布博客说“我们在自己的任务上微调了 Kimi K3”的人会是谁，因为我敢打赌能获得巨大收益。我觉得，即使你比我更常使用 Kimi K3，但我的直觉是，由于它的规模扩展幅度如此之大，后训练过程可能会有些粗糙，这通常意味着它仍有大量性能可以挖掘。不。
00:04:03 Florian Brand：是的。运行、运行、运行，尤其是后训练这部分会极其困难，因为仅加载权重就需要一个节点的 B300，这在规模上简直疯狂。所以，我听说可能需要一些时间和大量的工程工作，才能让它真正达到可微调的状态。嗯，但人们想讨论的是如何使用这个模型——你实际上已经注册了编程项目并使用过它。所以，把这些信息分享出来是很好的背景。
00:04:38 Nathan Lambert：是的。我在发布后第二天左右就注册了 200 美元的套餐，这是他们最大的套餐，和其他公司类似，但他们好像还有 40 美元和 100 美元的套餐。嗯，最大的套餐有 100 万上下文窗口，而且我觉得，至少在 API 请求方面它似乎也有一些优先级，因为网上很多人说他们不断遇到 API 错误，而到目前为止，我可以说我的情况还算不错。嗯，就模型能力而言，除了前端表现非常出色之外，它在某些方面也确实大放异彩、表现卓越。
嗯，就连我自己的预期，比如在处理一些研究任务时——我在 Interconnects 这边已经积累了超过一年的开源模型数据——我会让前沿模型去做一些我们之前没做过的有趣分析，因为我们自己做分析并发表过。我让它们做点新东西，基本上就是给我点惊喜。结果很多模型，或者说前沿模型，基本上所有模型都会抓住我们做过的事情，重新做一遍数据分析部分，然后再加上一些奇怪又冷门的东西。
月之暗面 Kimi K3 做了一些更有趣的事情。我明确告诉它去爬 Reddit，然后它找到了一些我甚至没考虑过的子版块，接着发现，比如 Reddit 上的讨论通常比下载量数据早一两个月——它们能提前一两个月发现有趣的模型，比如大家都在讨论通义千问（Qwen），然后人们才开始大量下载 Qwen 模型。这类分析是突破性的，但这是 Kimi 让我感到惊喜的地方，相比之下其他所有前沿模型都没做到。
一个简单的问题：你能不能用这个模型来完成你大部分核心工作？比如你手头有一堆任务，大部分你都是用 Codex 做的——我觉得你是个 Codex 用户，而不是 Claude 用户——你觉得在韦恩图的重叠部分里，有多大比例的任务这个模型也能胜任？
00:07:24 Florian Brand：嗯，这真的取决于我给它多大的自由度。目前我在 Prime Intellect（我工作的地方）做框架开发，我发现 Kimi K3 最大的特点是它的代码简单很多，可读性更强，但它会漏掉一些东西，而 Codex 在 56、55 尤其是 54 这个水平上能做到。所以我会说，对于这类任务，Kimi K3 大概相当于 54-55 的水平。
但如果我读了代码，觉得写得确实不错，然后我用 Codex 过一遍，它会发现所有那些它不擅长的边缘情况，但对于监督运行或运行某些实验来说，它实际上非常好用。嗯，对于其他一些特定场景，你甚至可以让它自主运行。唯一的缺点是——这也是因为 API 的用户量完全饱和了，而且他们的服务器在中国——实际耗时比 GPT 要长得多。但我会说，如果我硬要把它融入日常流程，我的速度会变慢，但也不至于慢到让我觉得“好吧，这玩意儿没法用”。
00:08:53 Nathan Lambert：那这和 GLM 5.2 相比如何？因为在我看来，GLM 5.2 的故事还在展开，比如我在旧金山转悠时，人们会说“是的，我真的用它来做智能体编码或工作流中的这部分”。嗯，你感觉如何？我觉得你属于用 GLM 的那一类人吗？
00:09:20 Florian Brand：是的。我也用过并且现在还在用 GLM，主要是因为我们有一个内部端点，速度非常快，或者在那之前，我也用过另一个 API，每秒能处理大概 200 到 300 个 token。嗯，如果你能以足够好的水平非常快速地完成大量任务，你就会直接用那个模型，而不是先去 Codex，再选择次优模型，再选择正确的推理努力程度，再选择快速模式——我就直接用 GLM，得到同样的结果，而且效果相当不错。它的能力绝对达到了 Sonnet 级别，对于很多清理任务或纯粹的苦力活来说，它真的很管用。我觉得，对于很多工作，你完全可以用 Kimi K3 作为主要智能体，用 GLM 做子智能体，这样就能走得很远。
00:10:24 Nathan Lambert：Kimi 的发布以及当前模型规模的一个显著不同之处在于，我认为这些开源模型要真正得到优化并在推理服务商那里可用，还需要更长的时间。比如 GLM 5.2 速度很快，但第一，我们还没有拿到权重；第二，我认为它的采用推广速度不会像那些 500B、700B 的 MoE 模型那么快。我认为那里会出现更多问题，这是一个截然不同的局面——过去中国模型完成强化学习运行后，会在几小时到几天（可能一周内）发布开源权重，然后生态系统几乎立刻就知道该如何处理。
我认为，对于下一代开源权重模型来说，基础设施方面需要更大的提升，这一点我们必须考虑到——闭源实验室在发布模型之前，会在幕后完成这些工作。所以，这实际上是在以一种方式操纵时间差，导致人们可能需要额外一个月的时间，才能真正对 Kimi 进行后训练，并将其大规模应用于自己的工作流程。作为开源权重爱好者，我们总喜欢说，只有在闭源模型可用时，你才能利用这个时间差；但现在开源模型中也出现了类似的动态——Kimi 的 API 已经完全崩溃了。供应太多，需求太多，供应又不足。所以，这个模型并没有像……我只是在思考这与性能时间差之间的关系。
00:11:54 Florian Brand：因为这一点确实没错，但另一方面，开放生态系统在过去几个月里已经相当专业化了。嗯，比如在你们最初推出的时候，他们都会和一些事先拿到权重的合作伙伴一起行动。他们现在会提前几天甚至几周就发布 vLLM 补丁，这和一年前的情况完全不同——那时基本上权重一扔，模型制作者就说“好了，你们自己搞定吧”。所以我预计，发布当天的通用可用性会相当不错，然后所有服务商之间的竞赛就开始了，他们会开始优化，追求越来越高的速度，因为这关乎巨大的声望。
00:12:47 Nathan Lambert：是的。好的。有两个方向可以聊。为什么我们认为中国模型能做得这么好？我想我写过，在我们的 Discord 里，和 Epoch 的 JSD 有过一场讨论，我觉得那场讨论非常好，而且我在文章里也有一段，我逐渐开始认为中国实验室的资本效率更高，他们能够把资本转化为算力、数据和人才，从而让模型变得更好。我认为这一点极其重要，如果这确实是一种结构性优势的话。无论原因是什么，我认为原因可能是，他们的教育体系培养出来的人才更擅长解决那些能让大语言模型变得更好的问题。
也可能只是因为在中国的算力、人才和所有东西的成本都更低。无论是通过补贴，还是仅仅因为平均薪资更低。但当我们不断推进模型迭代时，这是一个非常重要的问题。如果下一代模型对 Anthropic 来说要花费 100 亿美元，但对月之暗面来说只需要 40 亿美元，那影响可能非常巨大，但目前还不清楚为什么会这样。例如，我认为月之暗面的工程师 Big Eagle 回复了我关于此事的推文，他说这有帮助是因为我们不是在试图推动前沿，我们只是在努力追赶。这很可能是一种心态上的差异，即中国实验室的目标设定方式使得他们构建这些模型的成本要低得多。
但在过去一年里，我们问了很多类似“中国模型会不会掉队”的问题。我曾以为，由于训练所需的资本密集度，闭源与开源模型之间的差距会拉大，但现实似乎正朝着相反的方向发展——这很难说清楚——不过，你是否同意，中国那些实验室的跟进速度比我们预期的要快一些？如果是，原因是什么？
00:14:43 弗洛里安·布兰德：嗯，我实际上看了我们基于去年总结对今年所做的预测，我们基本上是说差距会保持在几个月以内。嗯，这个预测目前看来大体上仍然成立。嗯，幸运的是，我们没有给出一个具体的数字，比如是3个月、6个月还是9个月。所以我们在这一点上是安全的。嗯，但我觉得，我们俩在中国时都有一种普遍的感触，那就是和那些人交谈时，感觉他们——那些研究人员——本身都是二三百人的团队，全是二十多岁，一心只想把一个模型做得非常好，他们似乎不做任何旁支任务。
他们似乎不做任何偏离这些事情的事。嗯，至于算力方面，这对我们来说是一个很难回答的问题，尤其是考虑到现在中国的芯片正在投入使用。我也认为，芯片走私在过去6到9个月里大幅增加了，或者说，那些被走私的芯片已经开始投入使用。
00:15:58 内森·兰伯特：走私是一个绕过出口限制的通用说法。如果芯片在马来西亚，而他们在使用，我认为这算是一回事，而且我认为这种情况在过去六到九个月里大幅增加了，这在一定程度上就是那个结果。你也是这么说的，但我只是想指出这一点——我确实认为，相比他们训练上一代模型时，他们现在拥有的算力要多得多。
00:16:24 弗洛里安·布兰德：是的。我们喜欢，或者说，为了提供背景信息，大约两周前，我认为 LongCat 发布了他们的模型，他们声称，而且我们也知道这很可能是真的，该模型完全是在中国芯片上训练的。他们没有公开具体是哪些芯片，但人们猜测是华为的某些昇腾芯片。随着国内产能的提升，这些芯片可能主要用于训练，但它们在推理方面尤其有用，而推理也是训练中非常重要的一部分。
所以，他们可能在训练部分混合使用了英伟达和其他芯片，而在推理部分，其占比越来越大，这个阶段非常重要。因此，我认为他们的总算力在增加，而且他们实际上并没有很多用户。他们不需要像 ChatGPT 那样为 10 亿用户提供支持，也不需要像 Anthropic 那样服务成百上千家企业，因为他们没有那个规模的付费客户。
00:17:41 内森·兰伯特：是的。而且我认为，即使是那些付费客户，至少在企业端，当你支持这些业务时，也会占用公司的时间和精力。即使你不是做研究的，即使这不在你的职责范围内，它也确实会分散公司的注意力。如果 SSI 推出一个好模型，那将最终证明分心确实是个问题，但这是题外话，我们可以等等再看。我认为，数据与环境行业也开始在那里崭露头角。
你还记得有哪些具体的公司吗？因为我们在中国的时候，有点震惊地发现他们似乎很少利用外部数据。所以，仅仅几个月后，我们四月份去旅行，然后就在七月份，也就是几个月后，我们听到了一些消息，比如中国出现了新公司，他们想要购买数据等等。这真是一个有趣的时间线，看看事情是如何变化的。
00:18:40 弗洛里安·布兰德：对于他们实际告诉我们的内容，我会持保留态度。
00:18:44 内森·兰伯特：因为时间上太接近了，所以我也不确定。
00:18:49 Florian Brand：是的，这有可能确实如此。但这类事情很难准确判断。不过我想说的是，购买外部数据似乎正成为一个更重要的因素。这有助于开源模型追赶闭源模型——如果它们能以折扣价买到同样的数据（因为它们在更晚的时间点购买这些数据环境）。但这确实是一个因素。至于这个因素有多大，我们不得而知。我们没有任何公开的洞察，而且我怀疑我们也不会从任何人那里真正获得这些洞察。所以这无疑是为什么我们能够追赶或提升模型分数的原因之一。
00:19:47 Nathan Lambert：好的，接下来快速盘点一下其他中国模型提供商。我们聊过了Kimi，也聊过了智谱/GLM。我认为很快会有更多非常优秀的GLM模型问世。它们可能会被命名为GLM 5.5之类的。至于通义千问（Qwen），我们谈到了它们即将推出的最大模型。我想说的是，通义千问的最大模型，相对于其小模型的卓越表现，在绝对性能排名上往往没有那么突出——这很可能是因为注意力分配的问题。我认为这跟云厂商的特性有关。如果你眯起眼睛看，这几乎有点像Google。
就像是，通义千问——阿里巴巴在这里拥有巨大的机遇，而通过这些小模型让开发者与阿里巴巴通义千问建立联系，对其云业务来说是一个巨大的机会，我认为他们在这方面做得非常成功。但他们的最大模型一直不如他们的小模型那样出色。所以我不认为他们的模型会像Kimi K3或GLM 5.2那样具有突破性。我预计它会被新闻媒体报道为一次重大的开源发布——毕竟作为中国开源领域的领军者，他们发布了重磅模型——但我不认为它会像DeepSeek那样成为一个持续性的新闻热点。你们可以随时补充意见。
00:21:01 弗洛里安·布兰德：有意思的是，我不知道你有多关注这个，但他们确实有一个端点，可以用于预览版本，而且他们每天都在更新这个端点，所以他们的迭代周期非常快，因为我们在所有这些推特上的基准测试中都在进步。所以很多像 SVG 和 three.js 这类视觉生成任务，这个模型在过去几天里提升了很多。他们似乎找到了一种快速反馈机制，其他公司也有类似的。我们知道这一点，或者 Cursor 有很多关于他们如何快速迭代的博客。但他们似乎一直在上传新的检查点并使其可用。
00:21:47 内森·兰伯特：嗯，我同意。我猜这就像是在他们最终强化学习运行中的时间门控。在强化学习运行的末尾，模型仍在轻微改进，他们只是像在打勾确认。
00:22:03 内森·兰伯特：好的。通义千问 DeepSeek V4 应该会发布一个预览版本。关于 DeepSeek V4，我认为 Flash 模型实际上更受欢迎，那是他们较小的模型，对人们来说似乎绝对是个主力。所以我认为那才是他们值得关注的模型。我不指望 V4 Pro 会是一个巨大的突破。这类似于，如果小米很快发布一款新的 MiMo Pro 模型，我不认为它的影响力会那么大，但它很可能是一个非常扎实的模型。只是很难说。他们仍然算是比较新的入局者。我认为 MiniMax 玩的是不同的游戏。我不觉得 MiniMax 在追求那种 Kimi/智谱的登月式 AGI 路线。
00:22:46 弗洛里安·布兰德：哦，我不同意这一点。
00:22:49 内森·兰伯特：你认为，你认为 MiniMax 还在这个赛道上？
00:22:52 Florian Brand：是的，我我我我觉得他们确实感受到了这种压力，尤其是因为他们和智谱一样都是上市公司。如果你看看股价表现——过去几天那些股票真是惨不忍睹——嗯，这似乎造成了巨大的差异。有趣的部分在于许可证，因为他们已经多次修改许可证，变得越来越严格。嗯，如果在习主席讲话之后他们又改变主意的话……
嗯，看看 MiniMax 是否会回到完全开源许可证，这将会很有意思。另外一件值得关注的事情是，K3 最终会采用哪种许可证，因为他们说过会开源，但我不认为他们在实际采用的许可证方面做出过任何承诺。
00:23:45 Nathan Lambert：是的，我是说，这一点非常重要。嗯，我们拭目以待。嗯，零一万物、美团 LongCat 也差不多，都是非常强的模型，可能在内部获得了大量价值，但没有同样的开发者突破。嗯，所以这大概有七八家中国实验室，我可能漏掉了一些。我们也可以聊聊美国实验室。另外，Gemini 3.6 Flash 发布了，看起来还行。就像……就像……就像是一个小小的提升，速度更快了，废话少了点，但好像也没什么大不了的。我们就不多说了。嗯，这就是 Gemini 在我们这里能得到的提及量。
但我确实认为值得聊聊美国生态。我觉得有一些新兴玩家。Thinking Machines 发布了他们的第一个模型。我和他们中的一些人聊过，他们非常致力于通过 Tinker 来弄清楚如何打造一个可微调的模型。我认为这是一个我强烈推荐给大多数开源模型构建者的研究领域。我认为如果你能在那里获得心智份额，你将会获得大规模采用，因为这更多是关于针对实际任务的可微调性，而不是拥有最好的数据。嗯，所以这是他们的 Inkling 模型，一个一万亿参数的模型，得分还不错，但并非前沿水平。
我认为，就像 DeepSeek V4 一样，他们计划发布一个更小的版本，总参数量大约只有四分之一，但性能非常非常出色。如果 Inkling 的小型预览版在几周内发布，我确实认为那将是一个被广泛使用的模型。它的尺寸非常适合自动化任务和特定领域的任务，可能不像 Kimi 和 GLM 5.2 那样是通用智能体类型，但我认为这非常适合他们的业务。嗯，我知道还有一些其他玩家，我想说，美国的一些较小玩家，比如 Arcee 今年早些时候发布了他们的模型，仍在稳步推进。Poolside 也开始发布一些模型了。
他们在过去几个月里已经发布了几款模型，并且似乎准备在此基础上发布更多模型。所以，Reflection 一直处于“模型即将推出”的状态，如果他们真的致力于开源，那么尽快发布一些模型或代码等成果，以便启动开发者飞轮，对他们来说非常有利。这需要大量投入，实际上把模型做出来很难。我和 Thinking Machines 的一些人聊过，感觉就是“哦，这工作量真大”，我认为确实如此。嗯，Nvidia 也在稳步推进。我认为他们目前已经是稳定的参与者了。他们持续发布模型，很快还会发布更多。他们发布了大量数据。我正在催促他们，希望他们能发布像 Qwen 风格那样的小型模型，也就是类似 Gemma 的那种。
Gemma 只有像 Qwen 这样的竞品模型非常流行。嗯，Gemma 模型在尺寸或架构方面有点五花八门，但就采用率而言，Gemma 模型确实非常匹配 Qwen 模型。嗯，我不确定它们是否同样易于用于研究，这可能需要一段时间。可能需要多次迭代。比如，现在很多语言模型研究都是围绕小型 Qwen 模型和基于 Qwen 的模型设计的，所以需要一段时间。人们非常清楚如何使用这些模型，并且能结合研究结果。所以我希望 Gemma 能继续推出，并在这个细分领域展开竞争。我不知道我有没有漏掉谁。
00:27:22 Florian Brand：不，我认为两者都是主要参与者。嗯，它正在变得更广泛。就模型创建者而言，比如去年，除了 Gemma 3 和 GPT-OSS 之外，我们还有其他发布吗？
00:27:41 Nathan Lambert：GPT-OSS 2 会很厉害，当然还有 Nemotron。嗯，哦，还有年初的 Llama 4，但呃，我不想让它被遗忘，但我们确实看到越来越多的参与者现在加入进来，并以令人难以置信的速度推出模型。
00:27:59 Florian Brand：比如 Poolside 在过去两三个月里已经发布了三四个模型。嗯，他们似乎找到了某种方法来相当稳定地推出模型。嗯，这也是我们在开源方面看到的情况。我们正在谈论 GLM，我认为他们的迭代时间，也就是模型发布的时间间隔，现在在 1 到 2 个月之间，每次新迭代都变得更好，这非常接近闭源实验室的做法，比如我们现在大约每 6 周就会得到一个新的 GPT、一个新的 Claude。嗯，所以，就拥有足够好的流水线来发布越来越强的模型而言，他们必须这样做，或者说开源生态系统确实已经搞明白了，或者看似搞明白了。
00:28:59 Nathan Lambert：是的，我同意。这很有前景，但有趣的是，美国生态系统开始发布一些模型，然后你又有 Xi 在麦克风前和这两个模型。追赶起来实在太难了，因为训练出人们实际使用的模型需要大量的机构专业知识。我认为，这正是那些正在发布模型的美国公司现在意识到的——这些模型不仅仅是刷榜的、蒸馏出来的、窃取知识产权的模型。
这些是真正优秀的模型，人们正在用它们与自己的内部交易基准进行比较，然后发现要在可衡量的指标上击败它们有多难。我认为，这就是我从几位美国交易模型的人那里感受到的情绪——我觉得人们应该在模型规模和可微调性上进行创新，并尝试利用这个近在咫尺的潜在市场，但同时，每家公司都面临着巨大的压力，要发布一个可以宣称是前沿的模型。我认为投资者对许多这样的参与者抱有期望，他们正在尝试做一件相当困难的事情，未来一年中美之间的平衡将如何演变，会很有趣。
00:30:25 Florian Brand：是的，我认为，总的来说，我和许多其他人都讨论过整个生态系统，这也是你一开始就谈到的话题。我认为我们越来越看到模型能力之间的分化——对于许多任务来说，比如许多编码任务，当前的前沿模型，无论是开源的还是闭源的，都已经足够好了。嗯，改进在这里感觉越来越不重要了。
但如果我们看向最前沿的领域，比如发现新的数学证明、找到新的疗法、研发新药以及发明新事物，那完全是另一回事，并且在相当长一段时间内很可能由最前沿的模型主导。那么，关键问题就变成了：这在可触达的市场中占多大比重？以及这会在多大程度上成为焦点？我认为，或者说我的一般基准判断是，我们看到前沿正在越来越封闭。这一点在网络安全领域已经有所体现，比如 GPT……或者说在生物技术领域，这些模型不会对所有人开放，甚至可能不对外部合作伙伴开放——如果我们考虑到有报道称 Anthropic 正在组建或创建一些内部实验室来研发药物。
因此，最前沿的模型对所有人来说都是不可及的，而接近前沿的能力则变得越来越商品化，这带来了许多不同的影响，尤其是当你考虑到网络安全之类的事情时。就在两三天前，Hugging Face 有一份报告称，他们发现某个智能体试图入侵他们的系统。他们尝试用 GPT 和 Claude 来分析它，但都失败了，因为所有的安全护栏都阻止了它们。于是他们不得不使用 GLM——一个能力较弱的模型——但它对此类防御性行为没有设置安全护栏。他们不得不使用一个更差的模型来保护自己或分析数据，这是一种糟糕的处境：美国公司现在因为封闭的前沿模型无法被访问，而不得不依赖能力较弱的模型。
00:33:10 Nathan Lambert：是的。而且我认为这实际上是不采取任何行动的最佳论据之一。情况是这样的：如果世界其他地区都能使用这些开源模型，而我们却禁止美国公司使用它们，那么美国公司的防御能力与全球攻击者之间的差距就会越来越大，尤其是在网络安全方面。我们可以争论当前能力水平下网络威胁的即时风险有多大，但如果你在结构上设定防御方无法随时间提升能力，而攻击方却可以，那么网络风险什么时候会变得更真实呢？需要明确的是，如果你禁止美国公司使用中国最优秀的开源权重模型，这种情况就会发生。
而这种禁令很可能是一种变相禁令，即通过法律诉讼或惩罚的威胁来实施，但具体执行路径并不明确。目前关于此事的讨论很多。我不确定我们是否会有太多要说的，但很明显，华盛顿正在尝试各种限制中国最优秀开源权重模型进入美国的方式。我认为这源于一些恐慌情绪的煽动。我们稍后也会谈到知识蒸馏的问题。所有这些都源于美国主流 AI 媒体叙事，它们将中国模型描绘成窃取知识产权、具有危险性或与威权中国政府有关联。
这一切似乎都指向了当前对人工智能采取行动的兴趣，但随后又不知从何下手。于是，人们可能会对所谓的“敌人”使用一种粗糙的手段，然后我们就能过渡到知识蒸馏这个话题。我认为对此已有大量讨论。最近，本·汤普森终于就知识蒸馏发表了看法。在我看来，本很可能是科技领域阅读量最高的博客（Stratechery）的作者。我认为这场辩论——让我们想想该从何说起。核心问题是：知识蒸馏到底有多大帮助，以及应该对此采取什么措施？我一直认为，随着中国模型越来越接近前沿水平，并且训练范式转向强化学习，知识蒸馏的影响力正在逐渐减弱。知识蒸馏通常发生的方式是，中国实验室破解API。“破解”这个词可能有点重，但他们确实是通过越狱Claude和GPT的API来提取推理token。
当你同时拥有推理token和工具调用时，这就构成了完美的监督微调数据或中期训练数据，可以用来训练基础模型，从而在某个重要领域植入一些智能体行为。在此之后，后训练的核心部分是在智能体领域进行大规模强化学习，以推动前沿发展——这正是他们如今所做的一切。随着监督微调在上一代模型中的重要性下降，强化学习在这方面正变得越来越普遍。在以往，仅通过扩大监督微调的规模，你就能非常接近前沿水平；如果你能从Claude或GPT那里获取一百万次智能体交互数据，将其作为你的监督微调数据集并进行训练，那将会产生巨大的影响。
我认为在过去的几年里，这样做确实能让你更接近前沿。但本·汤普森的说法让我非常恼火，他在文章中强烈宣称，随着你进行强化学习，知识蒸馏的影响力会变得更大。他在他那篇题为《谁害怕中国模型》的文章中提出了这个观点。我们可以在下方附上链接，那是一篇公开文章。随后，他也在自己的播客节目中宣扬了同样的观点。我认为有必要指出，在强化学习阶段进行知识蒸馏要困难得多。
他当时说的是，在强化学习过程中可以使用的那种评分模型，本质上就是让一个模型去检查整个智能体运行轨迹，并对不同部分进行评分，判断它是否完成了奖励目标、采取了哪些行动。他暗示中国的研究机构正在使用 Fable 和 GPT 5.6 这类最强模型来实际执行强化学习中的这种监督工作。问题在于，大规模的强化学习运行需要数百万乃至数千万次的 rollout。我记得 Thinking Machines 那篇博客文章提到，他们最终的强化学习运行大概用了 2000 万到 4000 万次 rollout。所以，如果通过 Fable 或 GPT 5.6 这样的 API 来做这件事，成本会极其高昂，而且很可能还会成为时间瓶颈，因为这些模型运行速度相当慢，坦白说，与你使用自己定制的更强模型或类似方案相比，可能根本不会带来性能提升。
因此，我认为那种“因为强化学习越来越普及，所以知识蒸馏的作用更大”的论点，在我们目前已有的文献中并没有依据。这对我来说很为难，因为 Ben 的文章还得出结论说，我们应该让禁止知识蒸馏的服务条款变得不合法。我其实挺想支持他那个“让知识蒸馏对美国公司合法化”的激进结论，但我无法支持任何我认为建立在虚假或误导性信息之上的结论。不过，我也是 Ben 的粉丝。如果你也是 Ben 的粉丝，并且能在这方面给他提个醒，我觉得你真的应该这么做，因为可能还有一期播客。他会在哪里录呢？他什么时候录 Sharp Tech？周四。
我们得赶紧让他纠正说法，因为我不知道。我觉得最烦人的是，科技界最有影响力的人物居然试图成为我们观点的盟友，认为在知识蒸馏问题上我们应该什么都不做。但这事很难。他的影响力太大了，以至于这现在成了我们必须反驳的现状。我想这比另一种现状要好——其实不，这没什么帮助，因为他说蒸馏更重要，这意味着那些对此感到担忧的人会拿这个作为论据，说我们应该采取行动，即使他们可能不会同意他的结论。我不知道。这就是我的吐槽。Ben，你错了。
00:39:16 Florian Brand：是的，我认为区分这些阶段确实很重要。而且毫无疑问，在 SFT 阶段（这是后训练的第一个阶段或其中一个阶段）会用到蒸馏，模型也是在这个阶段学会行为举止的——比如模型会说“我是 Claude”，因为它们是在 SFT 阶段学到这些的，个性也是在这里形成的。但强大的能力来自 RL 阶段，那才是花钱的地方，你需要一个足够快的评判模型，在最好的情况下，它就在同样的 GPU 上或非常靠近你的 GPU 运行，使用较小或足够快的模型，这样你就不会因此受到瓶颈限制。
至于影响，也很难说更好的模型 SFT 数据能带来多大的影响或提升，相比于较差的模型。所以，如果你能从最新的 Claude 模型获得 1000 万个 token，而相比之下从落后两代的开源模型获得同样数量的 token，在保持阶段相同、预训练阶段也相同的情况下，这究竟能带来多大的提升，这是一个悬而未决的问题。我认为我们不会在论文中看到答案，因为那样你就得展示你的 SFT 能力和越狱能力了。
00:40:48 Nathan Lambert：但我想进一步强调这一点——关于生成 SFT 推理轨迹的文献已经不少了，其中最突出的工作之一是 Open Thoughts 系列，他们推出的 Open Thoughts 3 和 Open Thoughts Agent 在某种程度上是过去几年里扩展推理 SFT 的基础性工作。每当有人重新审视这个问题时，他们都没有找到这样的答案：在你所在领域性能最强的模型就是 SFT 的最佳教师。人们尝试过，很多人都尝试过，这个想法非常简单——目前最先进的开源 SFT 数据集是基于 QwQ-32B 构建的，而 QwQ-32B 几乎算是一个古老的推理模型了。
为什么我们不能直接用 GLM 5.2 生成补全结果，做 SFT，然后改进模型呢？我们不知道。这就是研究现状——很多人尝试过，但这仍然是一个尚未得到解答的研究问题。可能的原因之一是，基础模型的中期训练与 Qwen 过于接近，因此很难突破。你必须重新做中期训练。我认为推理的中期训练必须重做。推理的中期训练和推理的 SFT 是如此紧密地交织在一起，以至于用不同的词来区分它们几乎没什么意义。这可能是问题所在。但文献甚至不知道如何解释——如果我有一个神奇的 API，能给我提供来自 Claude/Gemini 的推理轨迹，我实际上也不知道，在 OLMo 模型上针对这些轨迹进行微调，是否能让 OLMo 变得更聪明。
这是最令人费解的未解研究问题之一。这也让知识蒸馏这件事变得非常有趣——是的，我认为中国实验室确实在使用像 Opus 这样的强模型来生成部分 SFT 数据，但他们也在进行创新。我当时想，我真希望他们能告诉我们到底该怎么让这玩意儿跑通。我认为目前的范式是：OpenAI 和 Anthropic 找到一个他们做得特别好的细分领域，然后中国实验室可以从那里获取一些样本，用来启动自己的数据引擎，这样你就能在某个特定领域上领先几个月。
但在数学、代码和 Terminal-Bench 这类核心领域上，他们做的其实都是同一件事——生成那些对当前模型来说很难、且能提供真实非奖励破解学习行为的环境问题提示词。这就是前沿数据研究目前的样貌。生成这些难题确实很困难。我相信中国的研究机构也在做同样的事情。我不确定。这就是我的吐槽。我有点忘了我们聊到哪了。
00:43:23 Florian Brand：不，不，我同意。或者说，总结一下，是的，SFT 或知识蒸馏确实有一定效果。没错，它能带来提升，但并没有人们期望或认为的那么大。
00:43:39 Nathan Lambert：我觉得这是对这次对话很好的总结。这也让人有点厌烦，因为总有人说所有开源模型之所以好，只是因为它们在蒸馏。这显然不是事实，因为如果真是这样，任何人都能轻易通过使用某个模型的数据进行蒸馏来追上 GLM 或 K3。但我们并没有看到仅靠 SFT 就能实现这一点，未来也不会。
00:44:12 Florian Brand：是的，我同意。你有什么预测，或者还有什么想聊的话题吗？
00:44:18 Nathan Lambert：说到预测，我回顾了我们去年做的预测，基本上就是说一切都会像前一年那样继续发展。我们预测会看到超过两万亿参数的更大模型，这确实发生了，但我不认为今年模型规模会有更大的爆发。我们可能会看到某个模型总参数量略超三万亿，但我预计今年不会出现五万亿或十万亿参数的模型，那会让我非常惊讶。至于去年列出的那些预测，我们可以重新讨论，没必要全部重来一遍。
00:45:03 Florian Brand：哦，当然。
00:45:03 Nathan Lambert：这就是我们在 2025 年底所处的位置。现在你认为谁属于前沿阵营？嗯，是 Kimi 和智谱。DeepSeek 如今有点难啃。我觉得他们算是紧密竞争者。所以我会把 DeepSeek 和通义千问（Qwen）列为紧密竞争者，而 Kimi 和智谱则属于前沿阵营。你觉得还有谁配得上紧密竞争者这个位置？因为在那之后，值得关注和更靠后的公司就太多了。
00:45:38 Florian Brand：我认为到今年年底，我们会看到 MiniMax 带来一个惊喜。我认为他们会发布一个大模型，一个真正的大模型，不是 M3 那种规模，而是万亿参数以上，其输出结果会让我们对 MiniMax 刮目相看。所以到年底时，我仍然会把他们放在紧密竞争者的位置。
00:45:54 Nathan Lambert：你认为到今年年底，会有任何美国公司进入紧密竞争者行列吗？Nemotron 我觉得不会放进去。Thinking Machines 更接近一些，尤其是如果那个小模型真的取得突破的话。但我认为现在还不能把他们放进去。Reflection 据说只会在拥有前沿模型时才考虑发布。但问题是，我们能看到它吗？你觉得到今年年底，会有任何美国公司进入这个大致相当于我们前五的阵营吗？所以前五名还是那些公司，只是排名会重新洗牌。
00:46:36 Florian Brand：我会说，他们有可能非常接近。嗯，这也取决于我们认为什么因素对“接近”这个判断更重要。我觉得 Nemotron 和 Thinking Machines 会发布一些模型，这些模型作为基础模型非常出色，可以针对你的领域进行微调。这并不意味着它们能像前沿模型那样直接可用，但它们具有极高的实用性，以至于我会把它们归入紧密竞争者行列，因为你只需要找到自己的数据，然后把模型往正确的方向推一把就行。
00:47:12 Nathan Lambert：嗯，我当时在想，如果我们到那时能把这个做成一个包含一家美国公司在内的六家组合，比如我们在11月底做这件事的话，我猜很可能是一家美国公司，最可能是Nvidia、Thinky或Reflection Mo，它们会做出一些事情，让我们可以说这个顶级集群里有一家美国公司，这会是相当一段时间以来的第一次。
00:47:43 Florian Brand：是的，我认为这很现实。我心中的一个变数是腾讯，我觉得我们可能在年底前看到他们有所动作。嗯，他们有了新的领导层。这次他们以Apache许可发布了混元模型。等等，腾讯之前一直使用自定义许可证，禁止英国、韩国以及整个欧盟的用户使用他们的模型，并且还有可接受使用政策等等。嗯，而随着混元模型和新领导层的到来，他们拥有一个约2500亿参数、能力很强的模型。嗯，我认为到年底我们可能会看到一个大型模型的发布，会让那些不关注这个生态的人感到惊讶。
00:48:36 Nathan Lambert：是的，我也确信我们会遇到一些惊喜。AI领域，尤其是开源模型，总是这样，非常非常难以预测。好了，我觉得我们在这里停下来是个好时机。我们可能真的应该每季度做一次这个。这并不难，大家也会喜欢。嗯，很高兴见到你，我们很快再聊。希望很快能当面聊。
00:49:02 Florian Brand：再见。