# Grant Sanderson 谈 AI 与数学的未来 - 来源：Dwarkesh Patel：Podcast & Blog（RSS） - 作者：Dwarkesh Patel - 发布时间：2026-06-30 23:53 - AIHOT 分数：61 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmr0vkch300f5slate2n251dm - 原文链接：https://www.dwarkesh.com/p/grant-sanderson-2 ## 精选理由 这次对谈没有停留在AI刷数学题的喜报上，而是追问了‘验证循环’和‘定义生成’两个终极难题。Grant Sanderson的视角让人重新思考AI的进展究竟缺什么，数学家未来的角色会是什么。 ## AI 摘要 3Blue1Brown 创办人 Grant Sanderson 正在制作记录 AI 在数学领域进展的新项目。他在与 Dwarkesh Patel 的对谈中指出，AI 在 IMO 获金牌并不等于 AGI，只是又一个被攻克的基准。即使 AI 未来解决千禧年大奖难题，仍可能存在大量人类任务无法被自动化。对话还探讨了概念突破验证周期可长达一个世纪、Riemann 假设的 AI 证明能否被人类理解、AI 能否在已有文献间发现隐藏联系，以及现实经济任务难以套用强化学习环境等话题。 ## 正文 今天我和格兰特·桑德森聊天，他运营着 Blue and Brown 频道，目前正在做一个新项目，记录人工智能在数学领域取得的进展。我想和你聊聊这个，因为 AI 在数学领域取得的进步比其他任何领域都快。 所以，无论这里正在发生什么，无论我们看到 AI 进步发生与否，都将告诉我们，随着 AI 变得越来越强，世界其他领域会发生什么。我想从三年前我第一次采访你时问过的一个问题开始。我当时问你， 一旦我们有了能在国际数学奥林匹克竞赛中获得金牌的 AI，那不就是 AGI 了吗？考虑到这些问题的难度，它难道不能做任何人类能做的事情吗？你当时有一个答案，事后看来非常明智和正确，大意是， 这会是另一个基准测试，就像它们正在通过的所有其他基准测试一样。显然，自那以后，AI 在整体上变得更好了，但当这件事发生时，并不会有什么顿悟时刻。首先，我很好奇，想听听你对此的看法，为什么结果会是这样。 其次，我很好奇你认为这种狭隘性还能持续多久。也就是说，当 AI 解决了百万美元级别的难题时，你是否认为那时在经济活动中，仍然有很多人类在做的工作是 AI 无法自动化的？ 这是个有趣的问题，因为如果不事先知道解决方案是什么样，就很难回答。我的意思是，就拿 IMO 来说，我认为你三年前那个问题的精髓在于，看到这些问题的某些解决方案似乎确实需要创造力。 而这些问题的设计者，他们会试图让题目涉及那些不容易通过训练来掌握的东西。我认为 IMO 的一个不为人知的秘密是，你其实真的可以为其中很多题目进行训练。所以……随着整个 AI 与数学项目的推进，我认为，正如你指出的那样， 人工智能之所以引人关注，原因之一在于其能力分布存在一个尖峰状的前沿。数学恰好就位于其中一个尖峰之上。但这种尖峰特性又带有某种分形性质，因为当你放大到数学领域内部的具体进展时，会发现有些任务比其他任务要容易得多。 就拿国际数学奥林匹克竞赛（IMO）来说，这在当下已不算新闻，大概是两年前的事，AI 的表现确实相当出色。如果不是因为以下原因，它们在 2024 年本应获得金牌。它们非常擅长，基本上已经完美解决了几何问题。而 IMO 的题目分为四类。 这四类是几何、数论、代数和组合数学。到 2024 年，AI 解决几何题只需大约 19 秒，因为它本质上是一种暴力求解器。一个不为人知的秘密是，对学生来说，解决这类问题也存在某种可以套用的暴力方法。 组合数学则是一张“百搭牌”，题目往往更具趣味性和谜题感。那一年的考试中有两道组合数学题。但并非每年都如此。比赛有四个类别，共六道不同的题目。所以哪个类别会出两道题，有点像抽签。 如果那一年几何题更多，它们本应获得金牌。但它在组合数学题上遇到了困难。你知道，那些试图坚守“数学属于人类”最后阵地的人可能会说，嗯，这些题目才更需要创造力。即便如此，我认为…… 你问题的核心在于，如果它们能解决千禧年大奖难题，这是否也能推动大量白领工作的进步？这表明，从我们目前所处的位置到解决千禧年难题之间的瓶颈，与提升白领工作水平的瓶颈是相同的。我们或许可以设想几种不同的路径，比如专注于……我不确定，比如黎曼猜想。解决它会是什么样子？一种可能性是，这些 AI 在某个特定知识领域极其擅长，对该领域理解得非常深入，然后再掌握另一个领域，再掌握另一个领域。 描绘几种不同的路径，比如我们专注于……我不知道，黎曼猜想。解决它会是什么样子？一种可能性是，这些 AI 在某个特定知识领域极其擅长，对该领域理解得非常深入，然后再掌握另一个领域，再掌握另一个领域。 你曾指出这一点——拥有这种超人类广度、对各个领域都如此精通，并且不只是找到那些连接各领域的闪电般灵感，这本身就有些不可思议。我认为我们正在开始，我开始看到这种迹象了，即真正找到它作为专家所精通事物之间的关联。 我相信我们会谈到这一点。如果黎曼猜想的解法的本质是那样的话，那在我看来，它与做好白领工作所需的能力有着显著区别。而且我们有理由相信，解法的本质可能确实如此。 我不知道你是否了解休·蒙哥马利和弗里曼·戴森在高等研究院的故事。这是个题外话，但算是个有趣的故事，关于……我不确定是不是在午餐时间发生的。大致是，这位数论学家正在指出，试图理解 黎曼ζ函数零点对之间的统计相关性。黎曼猜想的核心问题是：所有这些零点是否都位于一条直线上？这是一个可以提出的定量问题。他写下了一个公式，看起来像是1除以正弦平方之类的形式。 弗里曼·戴森，一位物理学家，说：我知道这个表达式。这个表达式出现在研究随机厄米矩阵的特征值时，而随机厄米矩阵又出现在研究原子核能级的过程中。这两个看似截然不同的事物的统计特性竟然相同，这引发了一个潜在的探索方向：嘿， 随机矩阵理论中是否有些方面可能与黎曼ζ函数相关？我认为这仍是一个有待解答的问题，即这里面是否真有可挖掘的东西。但这种将两个不同领域连接起来的方式——如果最终黎曼猜想的解法是沿着这个方向探索出来的—— 像这样的想法再往前推一步，就带有那种你期待大语言模型擅长数学的特质。它们就像是量子物理的专家，也是解析数论的专家。它们应该能够以某种方式看出那种相似性， 而不需要蒙哥马利和戴森恰好一起吃午饭、恰好聊到那个话题。这与白领工作完全不同，对吧？比如，你很难把AI当作编辑来用。这并不是因为AI什么都知道，你只需要它找到 两者之间的那道闪电。另一种可能性是……什么类比更合适呢？也许我们可以想想费马大定理——从费马提出这个问题，到最终解决方案的样子，最终解决方案涉及了极其复杂的数学工具，对吧？ 这个问题的美妙之处在于，你可以用非常简单的方式表述它。你问的是，x 的 n 次方加 y 的 n 次方等于 z 的 n 次方，当 n 大于 3 时，是否存在整数解？这看起来像是可以用初等数论方法解决的问题， 但就我们所知，就是没有。而实际的解决方案——也许存在更简单的办法，但可能这就是它必须的样子——是一套极其复杂的思想，建立在围绕椭圆曲线长达几个世纪的工作之上。 然后还有另一座思想的高峰，围绕一种叫做模形式的东西。这两座高峰都必须先建立起来，你才能提出那个连接它们的关键问题。所以，如果黎曼猜想的解决方案需要建立一座新的高峰，那是一种技能， 一种提出正确新思想的能力，这种能力与它们目前智能的特质截然不同……这倒不是说你需要你的视频剪辑师具备这种能力，但如果它有能力建立起构成正确新理论的高峰，那就不一样了。 7:00 那种能够清晰揭示我们应如何思考某个主题的智慧，达到这种程度后，就会让人觉得，如果它不能渗透到经济领域的其他方面——而不仅仅是像数学本身那样堆砌高山——那反而会令人惊讶。 7:13 是的。或者至少，即使它不能像字面意义上那样完成白领人类能做的每一件事，它也会产生变革性的影响——就像在国际数学奥林匹克竞赛中获得金牌并没有对世界产生变革性影响一样。首先， 7:25 我确实想指出，我在这里完全是在移动目标，因为大约两三年前我采访达里奥时，问过这个问题：为什么他们没能利用其庞大的知识将各种想法联系起来，从而提出新的发现。这看起来像是那种事情， 7:38 即使是一个中等聪明的人，掌握了这么多信息，也应该能够根据“这种药物会导致偏头痛，而另一种东西，你知道，不管它有什么作用，也许同一种药物可以同时治愈这两种疾病”这样的事实，得出一个医学诊断。是的，我不知道，从一个外行人的角度来看， 7:53 数学显然是一个领域，在这个领域里，找到单位距离问题猜想的一个反例，就是这类事情的一个例子。这完全是移动目标，但随后我们可以问：既然AI已经能完成这件我们本应认为它们能做到的事情，那么下一个基准是什么？ 8:09 下一件令人印象深刻的事情是什么？这里有几个候选想法。一个是首先提出有趣的问题。另一个是提出新型的对象或概念化方式，从而创造或统一各个领域。关于第一个想法， 8:27 现在我们只是训练这些模型，比如我们有千禧年大奖难题，因为黎曼提出了黎曼ζ函数这个想法，并且因为他认为这个函数会与素数的密度有关，或者这个函数的零点会与某些东西有关联。 8:43 到质数，比如弄清楚为什么我们一开始认为这是一个值得研究的有趣对象，为什么我们要构建这个对象并试图回答关于它的问题，以及回答关于它的这个特定问题——这看起来像是下一个基准测试会涉及的事情。 8:59 我的意思是，你举的两个例子都很好。对于任何对单位距离猜想感兴趣的人，有一个叫 Polylog 的数学频道制作了一期非常棒的视频，专门讨论这个问题。而且参与讨论的人之一——因为所有这些讨论都会促使人们反思做数学的过程，对吧？ 9:15 他们会说，啊，这个东西能做这么厉害的事情。那对我们来说意味着什么？然后他引用了这样一句话：好的数学家证明定理，伟大的数学家提出猜想，而最伟大的数学家则创造定义。这基本上就是你刚才的框架——我们需要猜想生成器， 9:33 然后还需要定义生成器，那才是最高级别的数学家。我不太明白你具体要如何把它变成一个基准测试，因为通常我想到“基准测试”这个词时，我想到的是那种有明确球门柱的东西，球要么穿过了球门， 9:48 要么没有——你可以明确地说，是的，这完成了。部分原因是为了能够做像我们的 LVR 这样的事情，但部分原因也是为了知道你没有移动球门柱。而回答你，OpenAI 可以发布一个标题说他们推翻了 10:00 单位距离猜想，因为这是一个清晰明确的结果——就像它做对了一样。而想象一下，如果标题是“255.4 提出了一个非常好的猜想。我们保证大家都认为这是个好猜想。”——这感觉就完全不一样了。 10:16 但这也许并不否定这才是我们应该思考的正确方向。所以我怀疑它是否真的会以基准测试的形式出现，并且我们有一个分数说它已经通过了这个基准测试，因为我们可以量化一个猜想有多好。 10:30 但可能关键在于，你会感受到与数学家对话时，他们对与 AI 协作的实用方式所持的态度发生了转变，对吧？而你提到的那系列尚未制作完成的内容， 10:43 可能还要等几个月才会面世，其形式是我们采访大量数学家。有趣的是，我们其实一年多前就开始做这件事了。看到他们谈论 AI 时的态度发生微妙转变，很有意思。 10:54 从 2025 年中期到现在 2026 年这个时间点，在现实世界中，这只是一段很短的时间。但在 AI 领域，这已是沧海桑田。我们得以在这段漫长岁月中观察到这种态度转变。我认为衡量猜想生成能力的方式将 11:10 更多地取决于这种主观的态度转变——数学家们会说，他们不仅用 AI 来解决具体问题，而且在退后一步、决定自己的研究领域应该朝哪个方向走时，与某个模型的对话确实提供了实质性帮助。 11:24 我不认为你会看到这样的头条新闻：又一个基准测试被攻克了。 11:32 没错，所以很有意思的是，那些你无法为其制定基准测试的东西，至少在当前的范式下，往往也是你难以训练的东西，对吧？因为基准测试和训练环境之间其实没有根本区别。我认为人们很容易提出某种二元对立， 11:50 比如“这里有深层原因证明 AI 做不了某件事”，结果却发现，其实只是你思考的方式不对，而 AI 很快就能做到。但我还是会提出……你也会提出几个这样的例子吧？我认为这很可能 12:04 会证明，在相对短期内，我们确实有办法训练 AI 去做这类事情。但这似乎必须与当前的 RLVR 训练有所不同。所以我好奇的是， 在我看来，推动数学和科学领域许多重大进步的关键，往往在于提出一种看待问题的新方式，或一种理解世界的新框架，这种框架能够……统一不同领域，催生全新的学科， 甚至解决我们最初根本没想过要去解决的问题。爱因斯坦思考广义相对论，并不是因为他想解释光线为什么会弯曲，或者黑洞为什么存在。这些现象他最初甚至都不知道需要被解释。但在数学领域，情况常常是…… 好吧，作为一个完全的外行，我甚至不清楚自己具体在说什么。从外部来看，似乎常常存在这样的路径：比如证明某个具体问题，可以激发一种新的概念化方式，进而催生一个全新的领域、一套全新的思维方式，这种思维方式极具生产力，并且它并不…… 我想，我很想听听你的看法：伽罗瓦提出群论，从而解决了五次方程根式不可解的问题；而阿贝尔在几年前提出了一个不同的证明，却没有引出群论。那么， 如果你想做一个验证循环，比如判断群论是否是一个有趣的概念，它是否真的产生了有用的成果，为什么这个证明可能更优越——那么这个验证循环可能需要一百年的时间。它需要密码学的出现、物理学的进步，以及群论中的思想 在理解物理学中的对称性等事物时发挥作用。这是一个长达百年的验证循环。但问题是，为什么这个概念最初就是富有生产力的呢？ 是啊，哎呀，你这话可说到我心坎里了。因为我本来在2022年有一个关于伽罗瓦的项目计划，后来搁置了，但我确实花了大约一年的时间，深入思考了他所做的事情。所以，我可能会不小心在细节上讲得太久。 这一点你可以反驳我。这恰好是你观点的完美例证，因为描述它为何是有价值的洞见，并非源于其直接实用性。所以，如果你在思考 RLVR 环境，那确实会非常困难。但有趣的是，即便在人类验证者那里，人们也花了很长时间才认识到它的价值。 我认为爱因斯坦的广义相对论，人们当时就觉得，你能立刻感受到这是一个好理论。而伽罗瓦理论之所以如此有趣，是因为这个想法经历了整整一百年，在无数人的头脑中流转，才最终沉淀为数学界公认的杰作。 稍微回溯一下，我是说，你想了解这个问题的背景吗？好吧。我们都在学校学过二次方程的求根公式。 我还以为你要说，我们都在学校学过群论呢。我错过了那堂课。我们学的是群论，还有二次方程求根公式。 从某种意义上说，这早在古希腊时期就已知晓，他们能解二次方程，但并没有真正用代数方式表达出来。所以实际上是阿拉伯人写下了那个公式。还有一个关于几位意大利数学家对决的有趣故事——不是真正的决斗，而是智力挑战——他们秘密地找到了三次方程的求根公式。 紧接着，他们又找到了四次多项式的求根公式。于是，对数学家来说，一个自然而然的开放问题就是：能否找到解五次方程的公式？四次方程的公式已经非常复杂了，写出来会极其繁琐。通常你不会完整地把它写下来。 你会把它拆解成一系列步骤。所以你可能认为这些公式的复杂度会呈指数级增长。在之后的数百年里，没有人真正回答这个问题。通常我们认为阿贝尔是第一个证明它的人。他是挪威一位早慧的年轻数学家，他证明了这根本不可能。 15:54 并不是说你能找到一个五次方程的通解公式。他以为自己找到了，但后来证明这是不可能的。不过我认为真正的功劳，其实要往前回溯一下，谈谈拉格朗日，是拉格朗日提出了关于这个问题的正确提问方式。 16:08 如果你愿意，我可以深入细节，但我先给一个非常概括性的说明。他当时在研究这个问题，并意识到能否解出这些多项式，实际上与理解某些代数表达式在多大程度上具有对称性密切相关。 16:24 比如我写下 a 加 b 加 c 加 d，就像把四个变量相加。这个表达式的值不会改变；但如果我写下 a 加 b 乘以 c 加 d，某些排列不会改变它，但另一些排列会改变它。他有一个非常精妙的见解。 16:38 关于如果你能找到像这样具有四个自由变量的表达式，它们与将四次方程降阶为三次方程的能力之间存在这种意想不到的关系。于是他开始这样提问：我们能否找到一个五次方程的通解公式？他想知道是否能把这种方法推广。而要推广这种方法， 16:57 你就必须找到一个具有五个自由变量的表达式，使得当你对这五个变量进行全部 5 的阶乘种排列时，该表达式只取四个或更少的值。你可以把这个放进谜题书里，也可以把它放进一个 12 岁孩子也能参与的脑筋急转弯里。 17:12 而且你很容易就会觉得这是一项不可能完成的任务。所以拉格朗日当时就在想：嗯，这是我试图解决这个问题的一个策略。我能找到一个五次方程的通解公式吗？这个策略行不通。至少从这个策略来看，它似乎是不可能的。 17:28 但那是历史上人们第一次本能地意识到，某种关于对称性的问题才是研究这些多项式的正确途径。在他当时看来，这只是一种方法。人们尚未发现两者之间其实存在更紧密的联系。而且，也许与其去寻找那个公式， 17:43 我们应该反过来问：你能证明它不可能吗？所以他种下了这颗种子。大约 50 年后，阿贝尔肯定读过拉格朗日的著作并受其影响；伽罗瓦，我们知道他爱上数学时非常崇拜拉格朗日。所以很难想象 17:57 这两位年轻的天才，他们围绕那个问题得出了非常相似的见解，这并非源于拉格朗日。但针对你提出的“能否验证这是一个好想法”的问题，拉格朗日并没有得出任何具体结果。 18:12 他从未真正解决那个问题，因此我们也就无法知道那是否是正确的提问方向。他提出了问题，其中有一些内在的有趣之处。但这个问题在当时对数学来说并不十分重要。大多数人更感兴趣的是它在物理学中的应用。这几乎属于 18:26 那种边缘的、近乎娱乐爱好的领域。比如阿贝尔，他开始研究五次方程问题，但后来有人建议他把更多精力花在研究椭圆函数上，所以他生前更多的工作是在那个领域。他英年早逝，26 岁死于肺结核。而伽罗瓦 18:46 把这两个想法都推向了正确的方向，他真正理解了抽象的本质。实际上，他在狱中写了一篇非常精彩的文章。我们可以聊聊他的人生故事，相当离奇。但他当时只是个十几岁的少年，身陷囹圄。 19:01 他曾试图提交自己的数学论文，但都被拒绝了。所以，这又是一个“可验证的回报”问题。当时的验证者——也就是学院——拒绝了他写的东西。坦率地说，因为那些内容并不十分连贯。那不是完整的证明，他也没有清晰地阐述 19:15 这个理论到底是什么。他只是一个正在摸索方向的年轻数学家新手。所以，那里的可验证回报并不好。但他有一种直觉，觉得这里面有东西。于是他写了一篇长篇大论，论述数学的本质是一种…… 19:30 它会随时间经历这些类似的变化，他谈到代数本身的诞生，从仅仅以数字来思考，到对纯代数表达式拥有某种流畅性，不再受限于解释这些表达式。他有一种直觉，认为还有另一层抽象。 19:48 这似乎正是我们应该做的——不是思考公式本身，而是思考这些公式背后隐藏着怎样的对称性。但这在当时仍然是一个相当模糊的理论。所以，如果你试图说，好吧，已验证的奖励是他解决了一个别人没解决的问题吗？ 20:03 嗯，阿贝尔证明了五次方程不可解。你会问，伽罗瓦做了什么？原则上，伽罗瓦理论能让你做的是，取一个特定的多项式，它给你规则来判断：这个特定的多项式是否有你能写下来的根？例如， 20:16 比如 x 的五次方减一，你知道一个解是 1；或者 x 的五次方减二，你可以写出二的五次方根。所以，并不是每个五次多项式你都写不出解，而是你能不能找到一个特定的多项式，证明你无法用根式写出它的解？ 20:30 他其实连这个问题也没有完全解决。 20:32 他的方法要抽象得多，他并没有针对一个具体的例子证明他做不到。所以，就连描述他到底解决了什么问题都非常棘手。然后他就去世了。这是一个非常浪漫的故事，他进行了一场决斗。我们可以更深入地聊聊这个。 20:45 有很多传说，比如据说他在决斗前夜把所有想法都写了下来。实际上，他之前已经尝试发表过五次了。 20:50 研究五次方程似乎对你的健康不利。 20:52 非常不利。是啊，是啊，是啊。如果你是个年轻的天才，别去碰五次方程。于是他请求他的兄弟和密友，把这些笔记交给高斯，交给当时重要的数学家们，因为他觉得这里面有重要的东西。即便如此，这些成果当时也并未真正被接受。 21:06 于是，他的兄弟和朋友试图把他救出来。又过了二十年，路易斯维尔那边才看到这些笔记，意识到里面或许有些名堂，并试图整理和理解伽罗瓦到底想表达什么。即便到了那时， 21:19 又过了大约二十年，约当才真正整理出一套……类似现代群论的处理方式，并将其归功于伽罗瓦。你很容易想象历史走向会截然不同——这些思想本可以从数学的其他分支中萌发出来，而伽罗瓦如果性格不那么鲜明张扬，也完全可能被历史遗忘。 21:37 从拉格朗日隐约意识到“根的对称性”可能是正确方向，到一切看起来像现代群论，中间横跨了漫长的岁月。很多时候，这些思想甚至通不过人类评审员的“验证奖励”，对吧？ 21:54 因为当它被放到某人的案头时，对方会说：“我不太确定这里面有什么价值。”它又被放到另一个人的案头，对方同样不以为然。你必须找到那么一个能识别出它价值的人。而且即便到了那时，它实际上也并没有解决什么实际问题——比如你提到的密码学、物理学等等。 22:07 你必须一直等到20世纪，才会出现像盖尔曼这样的人思考：“嗯，也许理解某些群如何分解的方式，与粒子由什么构成之间存在某种关系。”他纯粹基于一个群论问题，就预言了夸克的存在。 22:25 而群论最有趣的应用之一，恰恰是连预言夸克的存在本身都是一个群论问题。从拉格朗日到出现这样的成果，中间隔了那么久。所以你必须问：衡量进步的方式，难道非得是“解决某个问题”吗？ 22:44 而这在某种程度上捕捉到了——当伽罗瓦说“我觉得这里面有东西”时，他头脑中的直觉是什么？当拉格朗日说“我认为这是思考这个问题的正确方式”时，他头脑中的直觉是什么？当刘维尔说， 22:57 这位早已逝去的年轻人留下的这些零散笔记，可能确实有些名堂时，他头脑中的直觉又是什么？这很难说清楚，但我的意思是，我目前正在制作的另一系列视频，主题就是“压缩即智能”这个想法。尽管我并没有完全从这个角度切入， 23:13 但那种更简洁、更具预测性的表达方式，确实让人感觉更“智能”，这个观点是有道理的。所以我在想，在多大程度上，我们可以给出某种可验证的奖励，不仅仅是针对“你是否解决了问题”或“它在解决什么”， 23:29 而是针对完成这件事所需概念的简洁性。我的意思是，回到黎曼猜想的解法，如果一个人工智能解决了它，那会是什么样子？我认为可能发生的第三种方式是，它直接采用一种方式，就像你或许可以用初等方法证明费马大定理一样， 23:44 但那种证明可能洋洋洒洒数千页，会让人难以理解；而更清晰的视角是通过椭圆曲线等工具。也许会有某种长达数千页的黎曼猜想证明，但没人能从中真正获得什么洞见。而你真正想要的是， 23:58 那些简洁的、压缩过的思想版本，这样它们才能便于人类理解。就像，我不知道，柯尔莫哥洛夫复杂度？也许你可以把它纳入你试图量化“优雅”含义的尝试中。但我不认为这很容易， 24:15 但我确实认为，为了奖励那种类似伽罗瓦的直觉，而不仅仅是奖励“你是否解决了一个问题”，这是你必须做的事情。 24:23 为科学提出一个启发式方法非常困难。但很明显，人类不知何故一直在这样做，而且显然，人工智能在某个时候也会做到这一点。嗯，这也相关，不仅仅是在…… 在验证奖励方面，但最终目标大概还是理解，比如人类的理解。所以即使你确实有某个数学问题的上千页证明，或者某个宏大的新物理理论，目标仍然是理解。没错。也许如果目标是预测能力，你可以直接让 自动化工程师去造火箭之类的。我们就像，完全不知道这些东西怎么工作的，但我们能飞到星际之间。但会有很多人想要理解。你仍然需要一个浓缩函数，能把 这种复杂的思维方式蒸馏成正确的那个，就像牛顿的万有引力定律那样。你仍然需要训练 AI 能够做到这一点，并找到压缩后的表征。 AI 会证明它们关于人类的假设，而我们对于数学的理解并不会因此变得更好。关于这一点我有几个问题。第一个是，这是否是你应该预料到的事情。难道人类在解决重大问题时提出通用自然对象和子目标 等等，不正是因为当你试图解决一个复杂且重要的问题时，我们可以从理论上思考，这甚至会不会是一种更简单的解决黎曼猜想的方法，而不是 直接提出与思考该问题相关的自然抽象？然后第二个问题是，从经验上看，这是否就是我们今天观察到 AI 在问题上取得进展时的情形？当 AI 提出那个单位距离问题猜想的反例时， 你可以直接读它的思维链，它对我来说是不可理解的，因为我完全不懂数学，但在其他数学家看来，它是可以理解的，并且它利用了数学中已知的概念，证明了它们之间的关系， 以及所有自然语言，结果加速了我们对于这个对象与这个猜想之间联系的理解。那么从经验上看，这真的是我们需要担心的事情吗？ 27:23 关于这个问题，我认为这取决于问题的性质。是的，如果我们再次分解一下解决黎曼假设的三种可能方式，那么今年另一个重大问题是关于一个编号为 1196 的特定埃尔德什问题，但它涉及的是所谓原始集合。 27:40 但基本上，它具有那种从看似不同领域引入一个想法的特征。一旦你向一位数学家展示这个基本想法，他们就会说，嗯。如果我们尝试使用马尔可夫链过程来证明会怎样，在这个过程中我们展示 27:54 这个东西是从下往上以概率方式而非从上往下构建的，并且使用冯·曼戈尔特函数。如果你对懂行的人这么说，他们大概就知道该如何继续推进了。所以你就有了一个非常小的想法，其形式是 28:06 一个领域的专长，另一个领域的专长，然后在它们之间画一道闪电。这些想法对人类来说非常容易理解，对吧？因为你只需要展示这些连接关系的起点和终点。如果进展的性质是建造一座山， 28:19 那么你就需要投入更多时间去理解那座新建成的山，因为它是一条全新的线索，而不仅仅是它们之间的一道闪电。如果进展的性质仅仅是纯粹的苦干，对吧？它只是一条非常非常长的 28:32 推理链条，没有新理论，那么你就会遇到这种情况：好吧，这里有一个完整的消化过程。所以我不认为有一个明确的答案，我认为这取决于解决方案会是什么样子。而在建造山的那一面， 28:46 我其实很想看看，它默认情况下是否是一种非常人类可理解的方式，就像我们看待伟大数学家提出的新理论那样，还是说它像是一种外星异类、不同种类的山被建造起来，以至于我们甚至需要重新处理这类 29:00 我们所接触的抽象概念中，最接近的例子大概就是ABC猜想的所谓解决尝试——我们或许不该深入讨论这个——但那个解法很可能并不正确。不过，这本质上是一种全新的思维方式。 29:18 这是日本一位原本声誉卓著的数学家提出的。数学家们花了很长时间才勉强理解他所说的内容，但这感觉就像一种来自异域的数学理论构建。这不仅仅是长期性的工作。 29:32 因此，你可能会担心——确实如此——最大的担忧就是它会产生这样的结果，然后就像ABC猜想一样，人们花费数年时间攀登那座山峰，结果却发现它并不正确，尽管它看起来非常正确。 29:49 即使它是正确的，攀登一座新的山峰也需要付出巨大的努力。 29:54 如果我们最终陷入那种局面，大卫·贝西斯有一篇非常精彩的博文，题为《定理经济的衰落》。他在文中讨论到，正如你所说，历史上数学是围绕着这些定义和问题展开的，其核心在于证明关于它们的定理。 30:12 实际上，定理证明工作获得了所有的赞誉，但它其实更像是定义工作的寄生虫。从历史上看，这在功劳分配上甚至不成问题，因为如果你提出了一个定义，你很可能也会是提出那个定理的人。 30:27 但现在我们面临的情况是，如果有价值的工作在于提出洞见，而人工智能只是自动化了后续的部分。那么，设想一个场景：人工智能针对世界上许多重要猜想提出了类似阿贝尔式的直接论证，然后我们得到了这些证明。 30:46 现在，需要由人类或未来的人工智能来整合这些成果。我的意思是，如果你能接触到这些成果，它肯定会让你更容易思考：这到底是怎么回事？是否存在某种更深层的方式，让你理解这个证明为何成立？ 31:07 这会让提出群论背后的想法变得更容易吗？ 31:10 是的，我认为会……这会有巨大的帮助，对吧？因为探索新数学的过程中，大部分时间都是在犯错。你试图解决一个问题，感觉并不像是一步一步正确地向山顶攀登。大多数时候，它更像是一场随机的醉汉漫步，你在那里做着一件事。 31:29 所以，至少如果你知道，消化你已知的东西最终会导向一个正确的解决方案，那感觉就像是取得了进展，仅仅因为它提供了一种“知道它会导向解决方案”的确定感。而且在近代数学史上有很多这样的例子， 31:46 感觉是“触及”超越了“掌握”——有些东西在被真正理解之前很久就已经被证明了。我的意思是，我最喜欢的一篇论文的开头，甚至不是研究论文，更像是一篇阐述性文章， 31:59 它来自一位名叫蒂莫西·周（Timothy Chow）的数学家，他试图理解一个叫做“力迫法”（forcing）的概念。这里有一个问题叫做连续统假设，它大致问的是：自然数有一个无穷大的基数，实数也有一个无穷大的基数。那么，是否存在介于两者之间的东西呢？ 32:16 而答案既是“是”也是“否”。这取决于你的公理。它有点超出了我们通常公理系统的范围，这是一个有趣的答案。但描述它的方法真的非常非常难以理解。这就是所谓的“力迫法”。在这篇论文的开头， 32:30 他写道：每个人都知道“未解决的研究问题”这个概念。我想提出一个“未解决的阐述性问题”的概念，即我确信我们已经证明了它，但我们并不真正知道它为什么成立。然后他提出了对这个阐述性问题的一个部分解决方案。你可以想象我为什么喜欢这个框架。 32:47 因为这几乎就是我整个人生的写照——我不做数学研究，而是完全专注于如何以最清晰的方式理解某个事物，即便它已被证明。证明与解释之间是有区别的，而我认为你恰恰触及了这一区别的重要性。 33:04 没错。而这将成为主要驱动力——或者说，驱动力必须改变，不仅是在数学领域，也包括其他科学领域：从证明关于世界的结论，转向将证明整合为问题或更高层次的洞见。不过我们午餐时讨论过你最近的一场演讲。 33:25 那场演讲是关于设计如何帮助我们理解事物。那么，在极限情况下，对一个想法的概念化与想法本身之间，真的存在区别吗？比如，当你思考狭义相对论、时空图以及闵可夫斯基时空时，这确实是我们阐释这个想法的一种方式。 33:47 关于为什么会有长度收缩和时间膨胀。但这是否就是现实本身呢？从这个意义上说，阐述似乎就是解释。 33:58 是的，这里面有几个有趣的点。其一，那些提出真正新颖见解的人，往往也能非常清晰地传达这些见解，这两者之间存在很强的相关性。你可能会想，根据大学生的普遍体验，给他们授课的专家未必是最擅长解释该主题的人，因为他们被自己的专业知识“宠坏”了。但至少在某些情况下，事实似乎是这样的：那些真正提出全新东西的人——比如爱因斯坦或克劳德·香农—— 34:14 你读他们的论文，会发现它们非常清晰易懂，对吧？你不会觉得“哦，这只是给专家看的，得用砍刀劈开才能读懂”。他们都是非常优秀的阐述者，费曼也有这个特点，是一位非常出色的阐述者。所以，也许…… 34:29something there, you read their papers, they're really lucid papers, right? It doesn't feel like, oh, this is just for the experts and you have to chop through it with a machete to get, they're like very good expositors, like Feynman has this characteristic too, like very good expositor. And so maybe... 34:44大脑中那个能在研究层面想出正确新思路的区域，同时也具备擅长做出好解释的诀窍。我认为这与 AI 领域相关——我过去曾以为 AI 会变成自动化的定理证明器， 34:59但数学家的角色会转向像我这样的工作，即解释这些事物。我现在反而怀疑，它们（AI）也会非常擅长做这件事，而且很可能在解释和提炼这一半工作上比大多数人类做得更好。 35:14而实际上，留给数学家的工作并不是消化和解释发生了什么。这些事物的发展方向很可能如此。我可以设想——我们也可以讨论哪些情况可能并非如此——但很可能，那个能想出真正优秀的新想法、解决某个新问题的同一套机制，也恰好擅长解释它。 35:28是的。这就是我新的看法，我认为我的信念已经发生了这样的转变。 35:37你认为你最后会做的事情是什么？既指你个人，也指数学界——人类数学界——最后会做什么？ 35:45我大概会一直做我现在做的事情，直到我死去。即使……我知道那些末日论者是对的。 35:54也许那会是同一回事。没错。出于同样的原因。 35:58是啊，是啊。你知道，这就像：你给人一堆火，他暖和一晚上；但你把一个人点着了，他暖和一辈子。这就是我对 AI 的感受。不，因为—— 36:10解释者或教师的部分职能，是为某个让人好奇的事物增添清晰度。这是一方面。但还有一部分职能更偏向关系层面，更像是提供动力、提供一种筛选感。我听过一个有趣的观点—— 36:26 数学家最终的角色，实际上更像艺术博物馆的策展人，而不是其他任何东西。他们解决问题，所以艺术存在，对吧？他们甚至知道如何很好地解释它，你知道，一切都在那里。你仍然需要有人帮助你在近乎无限的空间中导航。 36:43 哪些想法值得深入探讨，就像有人在做这件事。而且，即使人工智能在某种意义上更擅长这件事，我认为我们始终会更喜欢一个我们与之建立了关系的人类，因为我们被激励去对事物产生兴趣的方式是一种社会现象。 37:00 如果你有某个特定的技术想要构建，那可能就不同了。你需要知道。收听这个播客的人，他们首先信任你策划的，比如什么是有趣的话题，他们并不是因为你下一个话题是什么，就恰好是他们事先想了解的，才来到这里。他们信任你，是的，所以我的角色，可以说还有其他数学家的角色，可能只是微妙地转向那个策展方向，即哪些想法值得展示。 37:13 而这实际上已经是我现在工作的很大一部分了。即使现在，基本上就是，我认为人们很多时候以为制作视频的大部分精力都花在视觉效果上，当然有一点，但不是立竿见影的，但实际上，很大一部分工作首先是决定什么值得说。 37:28 或者什么值得放在那里。嗯，因为那只是，我想参与其中，而且我认为我与某些人建立了信任，他们好奇我会选择提出什么，即使人工智能在这方面做得更好。 37:41 就像人类音乐家总是会有一席之地一样，因为背后有故事的那种社会功能，即使输出的 MP3 文件的客观质量来自某个模型会更好。这大致就是我所看到的我的工作正在发生的变化，是的。 37:54 就像人类音乐家总是会有一席之地一样，因为背后有故事的那种社会功能，即使输出的 MP3 文件的客观质量来自某个模型会更好。这大致就是我所看到的我的工作正在发生的变化，是的。 38:08 我想回到之前那个问题，我们刚才谈到，AI 已经跨越了这样一个重要的门槛——能够连接现有想法，从而做出新发现，或者证明或证伪某个命题。就在它刚刚跨过这个门槛的时候， 38:23 我们却在想：好吧，那下一步是什么？嗯，我只是想说，其实 38:27 在这个方向上还有很多工作要做。虽然已经出现了几道“闪电”，但我认为，未来几年内，这方面还会有蓬勃的发展，真正实现深度的连接。是的，所以 38:36 从极限意义上讲，你甚至可以说——我不确定这样说是否准确——但可能很多最重大的突破，在某种程度上看起来都是这样的。就像广义相对论。哦，你只是把黎曼几何和狭义相对论连接起来了，对吧？ 38:54 因此，随着 AI 在这种“连接”能力上不断进步，也许很多重大突破在本质上并没有质的不同。我不知道你是否对此有看法。 39:04 我的意思是，很多讨论的焦点都集中在问题解决和数学的本质上了，比如攻克埃尔德什难题之类的。我想说的是，即使是数学家，也未必是大多数，会把自己的工作描述为“瞄准下一个要攻克的问题”。 39:18 你了解朗兰兹纲领吗？不了解。啊，好吧。它与其说是一个数学领域，不如说是一种研究精神。费马大定理就是这方面的一个端倪：两个看似毫不相干的东西，它们之间的连接导致了问题的解决。朗兰兹是一位数学家。 39:39 他有一封著名的信，基本上阐述了这样一种观点：很可能存在更多类似的连接。他甚至对连接的性质做了更具体的描述，以至于你可以想象这样一幅巨大的地图：这边有一个山谷，那边有一片平原。 39:56 有很多数学家会将自己的工作描述为，就像是试图理解这张地图上的线索。而那里的进展，甚至不是那种“我们知道某个具体问题会通过那个联系得到解决”的情况。更多的是，一次又一次地出现这样的情况： 40:11 重大难题是通过发现联系而被攻克的，以至于几乎是在预先主动地寻找联系。所以你可以——是的，这其实非常有趣。任何时候你遇到一位数学家，都可以问问他们，他们的工作性质更像是朗兰兹纲领， 40:30 还是更像针对某一个具体问题，你会得到一个明确的分野。而AI作为超级连接器的可能性，感觉可能会成为这项探索中的一种放大工具。不过很难衡量，对吧？因为这又回到了我们之前说的。 40:51 你怎么给“是的，你做到了”这件事打分呢？如果是攻克一个难题，你有一个明确的方式来说“是的，你做到了”。你可以写头条新闻。你可以像AI公司那样做公关宣传，说“我们做到了”。 41:03 而如果感觉那是正确的联系被建立起来了，你可以围绕它写出定理。这就是该领域论文的本来面貌。但我认为……我认为这将需要更多的人在回路中， 41:14 来基本上判断一下，比如，我们追求的是哪种类型的联系。但我的猜测是，未来五年里，这些模型带来的大部分有用进展，看起来都会是这样：真正地填补那个图景——也就是，如果你是多领域的专家，你能够建立的那些联系。 41:30 就像你指出的那样，我们居然还没有实现这一点，这有点令人惊讶。而我会好奇——我很好奇，在技术层面上，是什么导致了那里的突破？因为一方面，你可以在脑子里描绘出一种解释，说明为什么你可以成为某个领域的专家， 在所有这些东西中，不去建立那些联系——而这正是推理发生的时候，即推理的方法就是这种自回归的思维链现象。我认为，如果你仔细想想，自回归实际上是一种非常非常奇怪的生成内容的方式。你是一个聪明人。 想象一下，我把你锁在一个盒子里，对吧？然后你与外界互动的唯一方式就是收到一张纸条，有人问你：你能预测接下来会发生什么吗？然后你预测了接下来会发生什么，接着你的记忆就被清除了，对吧？ 然后你又拿到另一张纸条，你继续做同样的事。想象这个过程重复了很多次，最后另一端出来的东西，他们跟你说：看，这是你写的文章。你看着它可能会想：这太糟糕了。这根本不是我会写出来的文章，对吧？ 因为反复预测某个东西的过程，与你作为一个作家去构思、去深思熟虑地创作文章的方式，是截然不同的。特别是，很可能发生的情况是，你成了你上下文环境的奴隶——你可能正在回答某个特定领域的问题。 当我们把周围的所有上下文都拉进来，你顺着那个方向走，而实际上所有实质内容真正来源的那个联系，本质上是一个非常不可能发生的联系。而且你知道，你可以做所有 你想做的强化学习，试图以某种方式变得更好，但真正专门去加权和激励这些不可能的联系的东西是什么？因为绝大多数这样的联系都不是那种可预测的、会出现在那里的下一个 token。所以这就像是—— 可能的情况是，你只是拥有这种被锁在那个盒子里的智能，但这只是一种与之互动的奇怪方式。所以我好奇的是：仅仅通过这种方式，你究竟能不能得到任何有价值的成果？ 43:25 时不时从某种角度质疑 token 生成的前提，对吧？而且我不认为这会像调整温度参数之类那么简单。但有没有什么方法，能在现有智能水平的基础上，找到正确的方式来激发这些连接，从而解锁我们正在看到的这类能力？还是说，只需要再增加一点点智能，使得在预测层面，它能够预测到自己应该向另一个领域做出那种闪电般的跨越？ 43:38 还是说，只需要再增加一点点智能，使得在预测层面，它能够预测到自己应该向另一个领域做出那种闪电般的跨越？ 43:55 我认为，与其在架构甚至损失函数上推理，不如在数据上推理更有成效。比如，我们有处理文本的扩散模型，它们产出的东西并非性质完全不同，只是还没有被充分探索。我觉得 44:14 更相关的问题是：无论你采用什么架构、什么损失函数，它激励你生成的数据是什么？而且，它们似乎确实在变得更好——比如，好吧，先不谈数学。我的意思是，我们确实有过这方面的几个例子。 44:32 但如果你只看它们为什么在作为自主智能体方面变得更好，我不知道，它们只是处于一个环境中，在这个环境里，自回归地生成这样一个步骤：先退一步，对整个代码库进行搜索。然后，再退一步，评估自己的错误。 44:48 这就是有效的方法。我猜测，在科学或数学进步的情况下，发生的事情是：存在像前沿数学问题那样的问题，需要数学家专门设计，因为它们需要连接两个不同的领域，而且我猜，有各种各样 45:07 巧妙的、部分合成的方法，可以制造出越来越难、需要这类连接的问题——例如，通过消除假设，同时仍然要求 AI 继续得出答案——然后，最终架构是什么其实并不重要。 45:22 损失函数是否关键在于，你是否能设计出一个能够激励这种能力的环境？是的，感觉你应该能够做到。 45:30 我无法，我当然无法谈论实现这一切的正确方法，但仅仅是这样就会相当令人惊讶，难道你不觉得吗？如果未来三年内没有出现更多这样的“闪电时刻”，那才奇怪。 45:42 所以我认为这是一件值得思考的重要事情：我们常常只考虑单个系统有多聪明，却没有考虑 45:49 AI 拥有的一些优势更多源于它们的其他特性。在此背景下，它们的关键特性在于，我们可以对它们进行并行化和任意规模扩展，因此无论它们的能力水平如何，它们都不像数学史上某个特立独行的天才，只做出 46:11 几次联系，然后就在决斗中死去。我觉得这是数字思维天生拥有的众多优势之一，而我们对此思考不足——其他优势还包括，它们可以将所有知识融合在一起，至少 46:31 会有技术手段实现这一点，你可以生成拥有完全相同知识水平的副本。但没错，我觉得这种并行化是一个非常重要的特性。我很好奇你的预测：即使它们不如你的数学家那么聪明， 46:46 但仅仅因为它们有 46:47 你知道， 46:47 数十亿个——因为出于公关原因，AI 公司正在投入数十亿、数百亿美元——这种数量本身就构成了一种质量。 46:57 如果这个方向看起来是对的，我认为，我的意思是，如果我们以蒙哥马利和戴森在高等研究院的那次对话为例——那次对话暗示了黎曼猜想或黎曼 zeta 函数零点与随机矩阵之间存在某种联系——这感觉就像是那种你可以尝试自动化的事情，而且你拥有 47:17 你知道，智能体代表了所有这些领域的专业知识，基本上就是，好吧，我们都知道一个机构比一个人更聪明，而把所有人聚集在同一个地理位置的原因，是因为你想要那些偶然的对话发生。那么，在智能体之间设计这种对话会是什么样子呢？ 47:35 我的意思是，这很有趣。你指出，你可以某种程度上汇集你所有的知识。我实际上在想，其中一个优势可能是你可以做相反的事情——有时候，当一个人工智能失败时，是因为它陷入了一种 47:48 糟糕的思维链，而且很难让它从中摆脱出来。我就直接重新开始。人类也一样，对吧？有时候你以某种方式开始思考一个问题，而实际上需要的是退一步。也许有时候，形式就是 48:01 你知道，有故事说人们试图证明某件事很长时间，然后在某个时刻他们说：“等等，如果我试着证明这是不可能的，比如证明相反的情况，会怎么样？” 然后，解开你自己的上下文，以全新的思维去处理它，你可以想象将这个过程系统化， 48:15 或者让多个不同的智能体被刻意赋予不同的上下文片段，然后尝试比较其中的可信度。我们对自己的上下文没有同样程度的操控能力。在这个关于人工智能和数学的系列中，第一集将会是关于他们解决国际数学奥林匹克竞赛（IMO）题目的。 48:31 我想聚焦于一道他们失败了的特定IMO题目，这道题很多非常聪明的学生也失败了。陶哲轩也在这道题上失败了。这道题的本质基本上是，人们对这道题非常恼火，因为他们称之为一道“恶搞题”。 48:47 我几乎不想剧透，因为我想围绕引导一个人进入情境来构建这一集，让他不知道这道题其实有一个简单的解法，这样你就能真正共情一个学生解题时的感受。基本上， 有一种非常优雅的解题路径，它基于国际数学奥林匹克竞赛题目的上下文，让你感觉这很可能就是正确答案。这种解题思路的特性非常吸引人，但很难证明它是最优解。原因在于，它并非最优。 实际上存在一种近乎“无脑”的解法，那才是最优解。这件事与整个 AI 故事的相关性在于：对人类而言，回答这个问题的关键在于摆脱你的上下文。摆脱你身处 IMO 竞赛的上下文。摆脱你被训练来解决这类竞赛数学题的方式。 如果你只是把它当作一个脑筋急转弯，随便扔给一个路人，他们很可能回答得很好。有时你希望在其他情境下的人类研究也能如此……比如，有时仅仅能够刷新你的思维，用一种完全不同的方式去思考问题，这本身就是一种优势。 数字心智所拥有的诸多优势中，这可能就是其中之一——比如更系统化地思考：刷新思维意味着什么？尝试回答两个独立的问题，比如分裂出两个智能体，一个试图证明它，一个试图证伪它。 一个尝试用这种方法，另一个尝试用另一种方法，并且它们被刻意赋予了不同的上下文。我很好奇，如果三年后我们再聊这个话题，有多少登上头条的重大成果会具备这种特质——本质上就是抹去先前的上下文，尝试大量不同的方法。 而不是将大量不同方法的结果进行合并。 这非常有趣，因为人们对 AI 的一个普遍担忧是“熵坍缩”——即所有 AI 都以相似的方式思考，因为它们以相似的方式被训练。这也是它们不擅长写作的原因。它们往往会沿着相同的路径前进，拥有相似的说话模式等等。 50:40 但或许人工智能真正的优势在于，你可以系统性地……听起来，单位距离猜想之所以花了那么久才被推翻，部分原因在于人们原本假设这个猜想是正确的。所以大多数人主要是在想办法证明它。 50:57 因此，人工智能的一个关键优势或许在于，能够通过系统性地尝试否定某个命题和试图证明其肯定形式，或者通过系统性地赋予不同智能体不同的偏向，来增加熵值。 51:16 这是个好观点。 51:17 人类科学史上有一件重要的事：爱因斯坦之所以有如此强烈的动力，正是源于“事物在不同参考系中应该看起来一样”这个偏向。他还有多个类似的偏向。而这在他的思想形成过程中起到了决定性作用。你可以说，确实如此。 51:36 所以你的建议是，基本上要在提示词层面系统性地增加熵值，尽管在自回归层面存在不可避免的坍缩。是的，是的。爱因斯坦会是一个有趣的例子，因为他既有这种“事物应该能够做到”的偏向，同时也有另一种偏向—— 51:54 比如“上帝不应该掷骰子”，对吧？这几乎是在说，你要确保不会意外地让所有大语言模型都变成爱因斯坦，否则你可能会在量子力学的进展上停滞不前。 52:03 对吧？这恰恰说明，科学并不存在唯一正确的启发式方法。没错。你实际上需要多个独立的研究方向。是的，是的。 52:11 这听起来很像传统的软件，对吧？只要你能够以某种方式描述它，传统的软件就能以某种方式放大这种熵值。如果你能为想要提示的不同思维方式建立一个清晰的分类体系，你就能探索整个分类体系。 52:28 然后每个个体各自去执行自己的任务。我认为这里存在一个设计问题，即如何准确描述不同的方法。简单的方法是：你是想证明它，还是证伪它？更难的方法则是：要证明这一点，你可以采取哪些策略？ 52:44 并且要确保你在探索时具备足够的广度。 52:50 我认为人们并没有充分认识到，当你为这些模型配备像 Cursor 这样好的工具时，它们能直接为你处理多少事情。例如，我开始在 Bilibili 上发布我的节目，希望能吸引越来越多的中国观众，但我上传到那里的所有内容都需要剪掉赞助商片段。 53:06 通常这意味着我得让我的编辑回去把所有旧节目都过一遍，剪掉相关内容。显然，AI 在数学领域的进展比其他所有领域都快得多，人们指出该领域的可验证性是出现这种情况的关键原因。我认为这是两个重要原因之一， 53:59 但我不认为——我觉得人们确实忽略了另一个原因。我不在实验室内部，不知道实际情况如何，但这完全是一个天真的理论。好了，一个与 AI 在数学领域取得如此大进展相关的问题：为什么它在计算机使用方面进展如此缓慢？ 54:18 实际上，计算机使用是非常可验证的。比如，我的 Etsy 包裹到了吗？或者，我的活动预订成功了吗？等等。这些都是非常容易验证的事情。计算机使用所缺乏的是“可规模化打磨性”。因为网站有机器人检测机制，而且运行并行 rollout 也需要 54:36 巨大的算力。很难在亚马逊上对同一个结账流程同时运行一千个并行 rollout，因为你会被安迪·贾西亲自按下那个红色 X 按钮，对吧？没错。所以你可以尝试为每个网站都构建克隆版本。 54:55 这非常耗费人力，而且会拖慢你的速度。顺便说一句，目前在使用深度学习时，你需要进行如此多的并行 rollout 才能学会一项技能，原因在于我们还没有解决样本效率问题。 就像用吸管吸取监督信号一样。 完全正确。当然，人们正在研究许多不同的技术，但根本上，在训练 AI 的方式上存在一个巨大的问题，一个巨大的约束。而通过代码，你可以将特定水平的进展封装在一个代码仓库中，然后启动数千个或数百个并行容器。 然后说：“尝试实现这个功能。”这个过程是完全确定性的。正因为是确定性的，你可以解决信用分配问题，因为你知道，导致这次运行成功而那次失败的原因，差异就在于那个起作用的改动。这样你就解决了信用分配问题。 如果情况是从不同的起点开始的，那么这个信用分配问题就会变得难以解决。但现实世界中的大多数事情都很难用同样的方式进行容器化。编程和数学……是这条规则的例外。 但如果你只是想弄清楚“如何建立一个成功的新业务？”或者“如何在市场上交易一天并赚钱？”你做不到。因为你必须与现实世界互动，而且情况每天都在变化，这意味着你不能反复重放。 在模拟器中不断重复、刷经验。但数学当然是个例外，我觉得这实际上是该领域以及编程领域取得进展的一个重要驱动力。这不仅仅是可验证性，还必须能够反复试炼。人们指出的 AI 取得快速进展的第三个原因，是他们非常关注 Lean 和形式化。 再次强调，我对实验室里具体发生了什么一无所知。我觉得 Lean 对于当前 AI 的进展水平来说并没有那么重要，或者说，它并不能解释为什么 AI 能够解决单位距离问题。哦，抱歉，是证伪单位距离问题的猜想。 56:43 他们发布了思维链，或者至少是思维链的一个改写版本。里面没有任何 Lean 的内容。我认为，Lean 所提供的基于过程的监督——即你知道每一步都是正确的——似乎不如拥有一个可验证的、可反复打磨的结果来得重要。 56:59 这是一个有趣的观点，即“可反复打磨性”更重要。我想我会说，嗯，好吧，所以天真地看，你可能会认为 Lean 为数学提供了独特的东西，因为你能够看到它是否能证明某个命题，你有老式的软件可以告诉你“是”或“否”，你可以把它用作你的验证器。我的意思是…… 57:17 所以，能够佐证你观点的是这样一个想法：最初的尝试——我再回到 IMO 的例子——最初 DeepMind 基本上就是这么做的，一切都在 Lean 里完成；然后到了第二年，全部变成了自然语言。所以，正如你所说，并不需要 Lean。我认为确实存在一个…… 57:32 一个尚未被探索的、形式化领域的好处是：目前，你最终仍然需要——你知道——由人类来审查那个针对单位距离猜想的反例，并说“看起来没问题”。这为事物的无限探索性设定了一个特定的边界。如果你考虑 AlphaGo…… 57:52 ……像 AlphaZero 那样的东西，它们在自己的宇宙里，只是下大量的围棋并自我探索，完全可能偏离任何人类需要的轨道，但它们仍然拥有一个自动化的、可验证的奖励。这不仅仅是说，嘿，你可以对此进行强化学习。还在于…… 58:10 ……你基本上永远不需要检查，你可以直接把算力砸进去，就像探索围棋的宇宙一样。有趣的地方在于——也许这不会成功，但我认为对于这是否会带来成果，结论仍悬而未决。有了 Lean，你可以想象拥有一个…… 58:28 基本上就是一个永不停歇的程序，不断尝试扩展 Mathlib。Mathlib 是一个 GitHub 仓库，本质上就是把所有数学都用代码写出来。当然它离“所有数学”还差得很远，但他们的目标就是让所有数学都能用代码表示，这样你就可以问：这个证明对吗？而编写这些证明非常耗费人力。 58:45 围绕它有一个完整的子社区。但你可以想象一下，如果你有一个 AI，你告诉它：你就只管去扩展 Mathlib。也许可以做一个它的分支，这样就不会混进乱七八糟的东西，因为人们…… 58:59 所以你就有了一个纯 AI 的 Mathlib 分支，它就一直运行，永不停歇。它不需要任何人来检查，对吧？它可以一直跑下去。它可能会自己提出猜想，也可能会提出自己的理论，甚至不同的定义。 59:14 也许其中很多都是无用的，但它就像一棵可以无限生长的树。这是数学独有的、其他任何领域都不具备的特性：你按下启动键，然后只管往里投入算力，扭头离开十年，再回来。 59:27 然后问：你搞出了什么？那里肯定会有东西，对吧？然后问题就是：它有没有用？你怎么判断出来？光是能做到这一点本身就很有趣。如果这样都产生不出某种有趣的数学洞见，那才叫奇怪，对吧？ 59:41 所以我认为，这才是真正的理由——好吧，在这个故事里，Lean 的重要性体现在两个不同的方面。这是第一个方面：基本上，你可以放手不管，甚至不去检查，进步就会自动发生。你在围棋上也能这么做。 59:55 但我不认为你能用自然语言数学做到这一点。 59:57 嗯，这很有意思。你看到 Karpathy 的自动研究（auto-research）想法了吗？他写了一个基本上就是单个 Python 文件的东西，用来做基础的 LLM 训练，然后建了一个仓库，让智能体尝试对这个文件进行修改。如果修改能加速“速通”（speedrun），这个修改就会被保留下来。 1:00:18 埃里克·张（Eric Jang）曾来节目解释 AlphaGo 的工作原理，他在尝试构建一个非常强大的围棋机器人时也做过类似的事情。他有一个有趣的观察：它非常擅长直接运行实验并沿着那条路径走下去，但不擅长在死胡同前停下来。 1:00:35 并且不擅长做那些极度并行的事情。无论如何，这很可能会被改变，未来会发生变化。思考它在极限情况下是什么样子非常有趣。我的意思是，这本质上就是人类数学研究机构的样子，对吧？它就像一个以有趣且有用的方式扩展的图书馆。 1:00:53 这样一来，你就不需要任何基于结果的监督。没有你想要激励的结果。但你有一个过程。你知道步骤是正确的，只是不知道它是否在朝着有趣的方向发展。但没错，如果你在做 1:01:05 那件事，你不想完全偏离轨道，在逻辑空间里做随机游走。你可能想要某种监督模型，试图提供关于它是否有用的启发式方法。但没错，就是类似的东西。我的意思是，你知道，人们正在研究这个。 1:01:19 这是那种五年后我会好奇的事情，希望能让未来的我们讨论一下，也许这根本行不通。但特里·陶（Terry Tao）曾谈到一个研究项目，基本上就是穷举搜索 1:01:34 所有可能的代数系统空间。你可以想象应用于代数系统的不同公理。所以当我们提出群论时，有一个特定的公理系统，它给人的感觉是——除非你知道动机——否则它们看起来有点像任意的规则。 1:01:47 但它基本上就是：如果你尝试所有公理会怎样？其中任何一个能产生有用的东西吗？而绝大多数在某种程度上都是垃圾。它们全都坍缩成没有有趣的结果。但时不时地，会出现一小片 一种完全不同类型的公理体系，至少从它能推导出的定理数量来看，似乎非常丰富。而这正是你想象中自动证明器所擅长的核心领域。这就像是在探索那个空间，看看其中哪一个最终能成为有价值的东西。 也许其中某个“孤岛”最终会被发现，你可以事后为其赋予动机，说这是一种试图触及的结构，就像你可以想象，看着群的公理时并不知道它关乎对称性。 但事后才意识到：哇，这对研究对称性非常有用。所以你可以想象出类似的结果，只不过不是仅仅探索可能的代数系统，而是探索任何类型公理的所有可能的逻辑推论。 关于是否能在没有 Lean 的情况下提供基于过程的监督这一点，DeepSeek 有他们的 DeepSeek Math 模型，他们发表了一篇关于如何训练该模型的论文，这相当有趣。他们面临的问题是，使用自然语言证明时，你无法判断它是否正确。 因此他们有一个验证器，而这个验证器是由一个元验证器训练的，该元验证器确保他们训练该模型解决的所有问题——以及解题艺术——中，验证器都能提供良好的反馈。所以，带有某种元验证机制的自然语言验证，至少在已发表的文献中似乎到目前为止是有效的。 而且在我们正在使用的已发布产品中，它似乎也有效。比如看看编程智能体，它们在编写干净代码、重构代码等方面变得越来越好。 而且我确信，存在一些基于过程的、类似大语言模型评判器的东西，它们试图提供判断力，比如：嘿，这是编写这个函数的干净方式吗？是否存在重复的同类模块化形式等等。我觉得这同样应该适用于数学，对吧？ 1:03:46 在数学领域，这似乎比其他任何领域都更合理，即使你只使用自然语言，也可以信任一个验证器。我的意思是，你和我之前聊到过为什么它们不擅长写作，我问过为什么不能直接让……它们似乎是很不错的评判者。 1:04:00 如果我给它们两篇学生写的文章，它们应该能判断哪篇更准确、更有见地。那么，为什么不能直接让一个验证器来判断：这篇写得好不好？也许最终的失败之处在于，即使它们擅长区分B等作文和A等作文， 1:04:17 它们实际上并不擅长区分A等作文和那种你真正想读的、能在Substack上发布、有见地且具备所有这些特质的文章。它们最终反而会更喜欢那些缺乏见地的文章。那么在数学方面，我想问题就在于，那一步 1:04:34 仅仅是判断“这个证明是否正确”，这本身就适合用自动验证器来处理。即使在自然语言领域，你可能仍然能取得大量进展。但我仍然喜欢Lean那种逻辑树的方式，因为你在自然语言里真的很容易跑偏，对吧？ 1:04:50 就像，之前表述事物的方式完全没有约束，就像大家谈论AlphaGo中第37步那样。是什么东西让你能够跳出先前的启发式方法？ 1:05:05 在那种探索中，与外部世界保持脱节似乎是有成效的，可以作为自然语言数学领域的一种补充性研究路径。Lean在那里的另一个意义是：假设你有了纯自然语言的 1:05:24 强化学习环境，以及一套纯自然语言的证明集，人们说“让AI数学家去干吧”，然后它们每天生成10篇论文，产出大量成果。如果存在任何错误率的话——Alex Kontorovich曾谈到过这一点。 1:05:43 这让人难以忍受，作为一名数学家，因为你基本上会想，每次我看到这样的东西，我都不确定它是否值得我花时间。即使一百篇里有九十九篇是正确的，我也不确定是否值得我花时间去仔细审阅。 1:05:55 因为要找出那个错误所在，工作量非常大，而且如果你发现自己把时间都花在一篇毫无价值的论文上，那会非常令人沮丧。所以，任何能够给你一个绿色勾号标记的东西，告诉你即使这篇论文理解起来会很复杂， 1:06:09 即使它会很麻烦，你至少知道它是正确的。其他每个领域都会不惜一切代价想要这个，对吧？而数学就拥有这个，嗯，如果模型也能够把它们的自然语言证明形式化，那看起来就太重要了，对吧？拥有这种能力， 1:06:24 每个领域都会喜欢拥有这样的东西，所以我认为你是对的。是的。 1:06:44 我也很喜欢将 MathLiv 的这个延伸作为隐喻，来说明我们的文明很快会发生什么。几千年来，人类一直在构建这个知识和理解的主体，我们拥有的一切现在都浓缩到了这些模型里。在某个时刻，模型将任意地扩展这个主体。顺便说一句，在写作方面， 1:07:08 我实际上有一个理论，解释为什么写作的进展比其他领域要差。所以我认为其中一个原因是你说的，它们不仅不擅长判断 A 和 B 哪个更好，而且它们会被 B 星完全带偏，B 星就是那种糟糕的文章，却恰好满足了 1:07:25 A 应该满足的所有花里胡哨的条件，然后奖励黑客行为就完全失控了。但我认为另一个重要原因是，写作不像代码和数学那样具有模块化特性。 1:07:40 你知道，你可以用很多不同的方式写一个函数，它们基本上做同样的事情，当然你希望它非常干净整洁，但归根结底，它能用就行。引理和数学也是同样的道理。 1:07:48 那么你就知道，你可以拥有某种最终产品，它与生产过程不同。代码是产生某种最终产品的东西，而你希望得到一个功能性的最终产品；而在写作中，最终产品直接就是 AI 所生成的东西。每一个段落、每一个句子、 1:08:08 每一个词都很重要，因为那就是实质内容。它不像写作之外产生的某种独立的东西。因此，它不能只是粗制滥造的东西，不像代码那样，即使写得粗糙，也仍然能产生你想要的结果。 1:08:25 但你刚才指出，实际上我们在让智能体编写代码方面已经进步了很多，它们不仅能写功能性代码，还能写整洁的代码。为什么同样的进步——让你从仅仅实现功能到写出整洁、可合并的 PR——却没有带来更清晰的写作呢？ 1:08:41 是啊，这是个好问题。我是说，也……难道没有吗？我同意它们在很多方面是糟糕的写作者，但对于我阅读的很多内容，我发现更好的做法是直接把它复制粘贴到大语言模型里，然后说：给我解释一下这个。 1:08:56 它给出的解释会比人类产出的内容更好。所以这很有趣：我们一边说这些模型是糟糕的写作者，而我自己的显示性偏好却是——能不能让另一个模型来解释一下？即使我正在和 1:09:07 一位人类专家实时通话，如果那是他们独有的、没有编码在分布中的知识，我希望他们能向我解释。但如果为了理解那个知识，我需要先理解一个更基础的概念， 1:09:20 我更希望社会能接受我这样说：我们暂停一下，我先去问另一个大语言模型那个概念是怎么运作的，然后再回来听你讲你那个独特的知识。 1:09:32 这听起来……我是说，那就是知识蒸馏和解释，对吧。所以如果你在考虑我作为文章写手的质量——比如我给你一本书去读，我想要一篇读书报告——那么我可能会相信，好吧，大语言模型也许能给我一篇更好的读书报告。 1:09:48 但我认为，当人们说它不擅长写作时，他们真正想表达的是什么？什么是写作？它不仅仅是已有思想的提炼，也不仅仅是清晰解释——因为它们在解释方面很擅长。关键在于：什么是洞见？ 1:10:01 而这正是问题所在——自回归本质上是一种非常奇怪的生成方式，因为当你写作时，你隐约知道，要想写得好，就必须包含不可预测的元素，而不仅仅是增加…… 1:10:15 它需要精确地知道在哪个节点做出不可预测的举动，而这恰恰是更具洞见的地方。因此，即使它在解释已有事物方面更出色，但最初生成那本你想要提炼的书的东西又是什么呢？ 1:10:29 那本书并非由大语言模型生成，你只是需要它；它是由某位作者完成的——作者在世间进行了大量的思想探索，然后决定哪些方面有趣，哪些呈现方式能构成连贯且有说服力的叙事。是他们把这些整合在一起。 1:10:46 某种程度上，如果作者足够优秀，你很可能宁愿去读他的书，而不是读提炼版。但最初是什么让探索本身变得有价值，让你愿意上传它？我认为，正是所有这些方面。 1:10:59 当人们批评它们不擅长写作时，指的就是这一面——那种不可预测性，那种刻意选择新颖事物、直接与现有生产方式相悖的能力。 1:11:12 没错，说得好。我认为它们也非常不擅长构建关于人的良好心智模型，而这在写作中是一项非常重要的技能。安妮·马图扎克和另一位我一时想不起名字的合作者，做了一项有趣的研究，他们试图教大语言模型写出好的间隔重复提示词。 1:11:29我真的很喜欢这一点，因为尽管这看起来像是一项完全随机的技能，但就像人们正在谈论一年内的递归自我改进一样。没错。而你却无法让这些模型写出好的闪卡。这到底是怎么回事呢？对吧。他们尝试了许多不同的技术，然后说， 1:11:46你知道，都是些很厉害的人。他们尝试对开源模型进行强化学习。他们尝试了各种方法，包括思维链，以及向最好的闭源模型发送大量提示词等等。在我看来，关键的限制在于，写好一张卡片是关于 1:12:03预判一个人三个月后的思维状态，以及他们会以何种方式将问题关联起来，比如在那一刻他们会思考什么样的答案，以及如何通过启发式提问，激发你真正想从试图制作卡片的段落中提取的细节？ 1:12:22我认为写作也与此类似。当你写作时，这个过程之所以如此耗费精力、如此漫长，是因为每个词你都应该思考，或者每个句子你都应该思考：如果我调整一下措辞，比如 1:12:37把结尾的短语放到开头，那么在你阅读句子剩余部分之前，首先映入脑海的是这个意象。那种可能存在的“自动攻击性”不擅长这种处理方式，而更像扩散模型那种从整体出发、而非逐句推进的特性，或许更擅长。 1:12:51但我也认为这需要大量的心智化能力，而这些模型却出奇地不擅长。 1:12:55嗯，我的意思是，这是个有趣的问题。它们不擅长这个，这很奇怪吗？所以……我可能会说得不太准确。你知道那种感觉吗，当你引用曾经读过的研究时，可能那项研究根本不存在或什么的？这是一个非常令人难忘的例子……好吧，假设你想测试人们的情商。 就像你展示一张印有某人面部表情的闪卡，另一个人试图描述那是什么情绪。所以我在网上放了一些很好的测试题，会显示一张脸和四种可能的情绪选项。令人惊讶的是，要准确描述出正确的情绪其实相当困难。 但你也会感觉到确实存在一个正确答案。如果你拿这些题去测试你生活中的人，你会发现那些社交能力比较强的人通常做得很好，而那些 偏左脑思维的人则表现不佳。所以这是一种你可以做的测试。我隐约记得有一个相关的实验，他们找了一些刚打过肉毒杆菌的人，让他们做了前测和后测，结果发现后测时他们在解读他人表情方面的能力明显变差了。 这感觉有点奇怪——他们打了肉毒杆菌然后去参加测试。也就是说，你先做测试，然后去打肉毒杆菌，脸变得僵硬。之后你再去看别人表情时，理解情绪的能力反而变差了，对吧？ 有一种观点认为，理解你所看到的情绪，部分过程在于你自己也要做出那种表情。在面部层面，你移动自己的面部肌肉，你看到那个表情，然后模仿它，接着你就会在某种非常潜意识的层面上意识到："哦，那是焦虑"。从这个意义上说， 如果模型确实缺乏心智理论，那也不奇怪。当然，它们知道一切，因为它们读过了所有人写的东西。但在真正能够设身处地理解你的层面上——就像我的面部肌肉在模仿你的面部肌肉，这帮助我理解你的感受——模型显然做不到。 它们没有面部肌肉。它们的大脑运作方式完全不同。就像一个外星人在试图共情。它怎么可能有心智理论呢？心智理论对它们来说会是一种非常涌现性的能力。而我们人类可以直接把它接入自己的心智——我们拥有现成的硬件来承载它。 这非常有趣。从这个角度来看，模型缺乏心智理论也就不那么令人意外了。 1:15:03好，Grant，我们都是 Jamestreet 的合伙人。我相信这些年来你和很多 Jamestreet 的人打过交道。你觉得他们或者他们的文化有什么独特之处？ 1:15:11我今年对他们做过一次访谈，之所以有意思，部分原因在于他们通常不怎么对外露面。我的意思是，在业内，他们以极高的员工留存率而闻名——人们就是愿意一直待在那里。我觉得从内部视角来看这一点很有意思。我记得有人评论说，即使 1:15:26人们有像研究员、交易员或工程师这样的职位头衔，但他们往往不知道同事的实际角色是什么，因为每个人都在做一点其他方面的事情。即使你名义上是交易员，你也在做大量研究工作。即使你名义上是研究员，你也在写大量代码。 1:15:40我猜想，这或许就是他们拥有惊人留存率的部分原因——因为任何想要成长的人，都有机会去做很多不同种类的事情。 1:15:49好了 Grant，这次我来帮你做个推广。如果你想看 Grant 与那里一些人的完整访谈视频，请访问 3b1b.co 斜杠 Janestreet。好了 Grant，我们来多聊聊 AI 和数学吧。 1:16:02关于使用大语言模型来学习，你有什么建议？ 1:16:07正如我刚才描述的，对于很多众所周知的概念，我觉得它们非常有帮助。但往往只需要再往下追问几句，当我试图理解某个东西时，它们自己就变得非常困惑，把我也搞糊涂了，而且它们没有用正确的方式解释。 1:16:24然后我知道，如果和合适的人聊一聊，三分钟就能解决我的困惑。我觉得，作为一个在教育、知识表征等方面有很多经验的人，我们会越来越想用这些东西来学习。 1:16:42你有没有注意到一些能更高效地利用它们来理解概念的方法？ 1:16:45 我很想听听你对此的看法。我先说说我的。即便在大语言模型出现之前，我就觉得学习中的一个重要洞见是认识到“谁”比“什么”更重要。所以给任何大学生选课时的建议是：少在意一点你已有的兴趣，因为它们现在多少有些随意， 1:17:03 多在意一点授课老师是不是一位好的教育者、是不是与你产生共鸣的人。我认为在选择读什么、比如读什么书时，作者是谁可能比是否与已有兴趣相符更重要。所以如果你 1:17:16 之前喜欢过某本书，那就去读那位作者的其他作品，而不是去读同一主题的另一本书。我现在要联系到大语言模型上。当你尝试学习某个东西时，感觉是有区别的：如果你看 1:17:28 它的维基百科页面，与看——比如说它是一个哲学话题，你去斯坦福哲学百科全书；或者它是一个数学话题，你去普林斯顿数学大全——这两者之间的区别在于，后者的文章是由某一位作者精心撰写的，他 1:17:46 会真正尝试围绕它构建一个动机和整体脉络。而维基百科则是一个达到的局部最优解，基本上每一句话都必须正确。而我认为一篇好的讲解，你在过程中可以少在意一点正确性，但可以有意识地构建一些稍微有偏差的内容， 1:18:03 然后在过程中再纠正，而这些在众包环境中会被编辑掉。所以就是这样。目前大语言模型的解释给我的感觉很像维基百科，也就是说，非常棒，对吧？想象一下没有维基百科的世界，要花多长时间才能找到并核实所有信息。 1:18:20 但尽管如此，维基百科页面最有用的部分是什么？往往只是底部的参考文献，对吧？你看到关键参考文献，然后点进去阅读。实际上，有时这样反而能给你一个更好的整体概览。 1:18:33 我经常喜欢直接问一个大语言模型，比如，我应该读谁的作品？我甚至还可以具体说明我想通过什么方式来学习。有一次我确实被它误导了，我记得当时想学习半导体之类的东西。我说，这感觉非常视觉化。但这些都是文字。 1:18:48 我说，有没有什么特别好、可视化做得好的数学视频？不对，不是数学，抱歉。就是一个可视化做得好的视频，能解释你提到的那些概念。然后 Claude 说，有，这里有几个，第一个是。它说，这是来自 Three Blue and Brown 的一个视频。我说，我敢肯定没有。 1:19:06 那确实是一个真实的视频，一个真实的链接，但它只是把别人的作品张冠李戴了。而且那个视频本身不错。我发现，点过去看那个视频来学习这个东西，比继续在那里追问问题，体验要好得多。所以从这个意义上说， 1:19:20 基本上就是把它当作一个功能极其强大的谷歌，用来精准定位到正确的人类撰写的资源。你呢？你经常和这些东西打交道。 1:19:29 从中学习的最佳方式是什么？我觉得你说到点子上了。我最有成效的学习经历，都是当有一个人类产出的成果时——无论是一篇文章、一本书还是一个视频——它用正确的方式组织了相关概念，并逐步建立起动机， 1:19:44 说明为什么构建下一个想法，对于解决你遇到的下一个问题、再下一个想法、再下一个想法是相关的。然后利用大语言模型，在这本书已经指出的这个分支周围，做一些小小的修剪。所以我当时正在读…… 1:20:04 我想可能是你推荐的 Steven Strogatz 的教科书……是那本关于混沌的吗？对。《混沌与非线性动力学》。对。我超爱那本书。所以我当时在读它。那感觉就像极乐。就像你的视频变成了书的形式。他写得真好。读起来非常有趣。 1:20:20 我学习它的方式是，屏幕的三分之一放他的大学讲座视频，三分之一放教科书的那部分内容，另外三分之一放一个大语言模型。 1:20:30 我其实在想，如果我回到大学时代，现场听这堂课，那绝对会完全听不懂。这些孩子一定非常聪明。因为我得不断暂停、翻课本、读关于大语言模型的内容，然后再重新开始播放，而他却能精心策划出正确的顺序。 1:20:46 来理解概念，用正确的问题来激发对某个概念的理解。哦，还有一件事，大语言模型非常不擅长的是，一个真正优秀的人类能做到的是，当你提问时，他们会说，其实你并没有用正确的方式思考这个问题。 1:21:00 关于这个话题，你真正想问的问题应该是 X，组织这些概念的正确方式也是 X，而大语言模型就是做不到这一点。 1:21:08 是的，它有点过于迎合了。我的意思是，这归根结底就像那种非常……那种讨好式的回应，你知道，就是那种“哦，这个问题真有见地”之类的。你需要去掉这些。这是个好观点。而且我认为这触及了一点心智理论。 1:21:24 就像认识到，提出某种问题，恰恰暴露出你的心智结构至少与讲解者的心智结构不同。有时候人们会在这方面做得过头，对吧？我觉得一个真正的好老师，比如说你在一间初中数学课堂上。 1:21:41 如果一个学生提出了一个问题，表明他们正在用不同的方式思考。实际上，在你说“哦，别那样想，我们这样来”之前，当场认真对待这个问题，看看他们能否用那种方式得出正确答案，是非常困难的。 1:21:54 而真正优秀的老师能够巧妙地利用学生那种创造性的思考方式，并将其融入进来。我的意思是，大语言模型在不能重新组织你的问题时，是做不到这一点的。相反，它们会直接跑偏。 1:22:11 没错，但至少感觉这里有三个层次：大语言模型处于第一层，好的讲解者处于第二层，而那种 A+ 级别的讲解者，是能够巧妙地利用你的思维方式，然后说“哦，原来那种方式在这里是有用的”的人。 所以也许存在某种循环，五年后的大语言模型仍然在做同样的事情，但方式会更好。你对此有什么建议？ 给那些肯定会发邮件来问的学生们。 我不会相信我给出的任何建议。这大概就是我会如何委婉表达。即使在 AI 出现之前，对于你将要从事的任何工作，真正理解……如果我们是在谈论一份工作，对吧？我们不是在说，你是一个绅士科学家，想要…… 比如，与数学世界打交道之类的。你应该明白钱从哪里来，你实际创造了什么价值，以及这两者之间的联系。我认为，人们对此投入的思考往往少得惊人。尤其是学生，他们身处这样的环境…… 他们可能想进入数学领域，因为他们一直擅长数学，并且在生活中因为正确完成下一个关卡、下一个步骤而不断获得回报。当他们认为自己想成为一名数学家时，那是因为这可以让他们继续从事…… 他们会想，我去哪里能做这个？而不是思考：我为他人增加了什么价值？这在多大程度上是薪水流向我的原因？不同情况差异很大。在某些情况下，一位非常有声望的数学家…… 他们在一所大学的存在带来了某种品牌价值。这就是大学想要他们的原因。在某些情况下，国家科学基金会的拨款是因为我们有一种公益信念，认为基础科学具有这种价值，并且你周围有这样一个机构…… 并且会有一整套官僚体系，试图作为我们心目中那种公益的代理，还会有一整套繁文缛节，关于如何正确地让他们预测你的进展有时会符合那种资助的精神。 这纯粹就是教学，对吧。就像人们喜欢把孩子送到有专家授课的机构一样，而你现在所做的正是如此——你作为专家提供了品牌价值，同时通过亲自教学提供了直接价值。所以无论如何都是这样。 无论AI是否能证明定理，也不管我们谈论的是2016年还是2026年，有一件事是很多想成为数学家的学生没有充分考虑到的，但我认为值得思考。对我来说，我觉得…… 我当初并没有刻意去思考这件事，几乎是偶然踏上了这条职业道路——基本上就是把数学探索变成一种可以变现的娱乐活动。我很庆幸自己误打误撞走上了这条路，但这纯属意外，并非精心规划的结果。 我觉得我本可以不必依赖这种机缘巧合，而是更有意识地去做这件事，如果我当时能更批判性地思考这个问题的话。所以回到你的问题：假设你已经几乎实现了定理证明的自动化，同时假设它们也是极其优秀的讲解者—— 那么即便是在人类理解层面，我认为数学家所承担的许多社会角色实际上并不会发生太大变化。作为公众，我们仍然觉得基础科学有其价值，并且我们信任数学家的判断，由他们来决定研究经费应该投向何处。 而声望来自这个社群内部——是其他成员说“这是一个非常好的成果”，而不是某个真正懂代数数论的基金申请书撰写者来判断它是不是好成果。所以这个社群内部会形成一种关于什么才算好成果的文化。 我实际上认为，教学是后AGI时代最稳定的职业之一，因为它非常注重人际关系。如果父母拥有充裕的财富，他们愿意把钱花在优质的教学和教育上。而这远远超出了单纯讲解的范畴——即使大语言模型是很好的讲解者。 老师所做的事情本质上是一种社交性、教练式、导师式的工作，这很可能是未来50年里最稳定的职业之一。而许多数学家的角色与这一点有重叠之处。 你作为即将进入这个领域的学生，可以朝这个方向努力。实际上，我认为更多的学生应该认真考虑并重视成为一名数学教育者的想法，以及这能为下一代带来的价值。所以我要再次强调， 我不认为自己有资格说“未来的年轻数学家，你们应该这样看待未来”，因为我只是个YouTuber，对吧？我并非他们考虑进入的那个学术体制内的人，所以我是以一个局外人的视角在观察。但总体感觉是， 一个普适的好建议是：搞清楚钱从哪里来，搞清楚你如何融入其中。如果你只是在问这些问题，实际上你已经领先其他所有初出茅庐的准数学家们好几步了。没错。 事实上我认为，在那个疯狂的世界里——在未来5到10年内，AI不仅会提出千禧年大奖难题的解决方案，还会首先提出全新的待解决问题、全新的数学领域和数学对象等等。 在那个世界里，首先会有极大的丰裕；其次，AI思维体走得最远、超越我们视野最多的地方，很可能就是数学领域。届时会有巨大的需求：AI看到了什么？你能解释给我们听吗？ 对，对。我觉得在那个世界里，如果还有什么工作的话，那么提炼AI所学到的东西，肯定就是其中之一。另外，有趣的是， 这一切在某种程度上都预设它是无用的，对吧？就像我们并没有在讨论所进行的数学运算的实际应用。因此，只要它有任何经济效用，你就可以想象，那些理解它并能够决定其应用方向的人，他们实际上拥有多得多的经济价值，因为他们能够作为策展人做出判断，并将这头数学新巨兽指向一个有用的方向。突然间，这比起以往来说，是一个杠杆效应大得多的举动。 这一切在某种程度上都预设它是无用的，对吧？就像我们并没有在讨论所进行的数学运算的实际应用。因此，只要它有任何经济效用，你就可以想象，那些理解它并能够决定其应用方向的人，他们实际上拥有多得多的经济价值，因为他们能够作为策展人做出判断，并将这头数学新巨兽指向一个有用的方向。突然间，这比起以往来说，是一个杠杆效应大得多的举动。 我能问问你这个问题吗？显然，对于数学领域的 AI 来说，问题不仅在于它能不能做，还在于它做得好不好？或者说它对任何事情有没有用。你刚才描述了群论的各种方式，我们试图解决这个问题，我们试图弄清楚不同类型函数根的一些随机事实，而现在它有了所有这些横跨许多不同领域的实际应用。 你是否觉得，如果我们完全达到这样一个境地，即人类数学领域被加速了 10 倍或 100 倍，那么就会发生一些疯狂的事情？还是说我们实际上会被其他因素所制约？ 我认为有些领域可能会，我的意思是，这非常不均衡，对吧？我觉得像代数数论方面的进展，感觉不太可能因此就解锁某些东西。但我不确定，我记得和一位更专注于动力学和 PDE 求解的数学家聊过， 他提到，基本上是他的团队有一些想法，让我看看我是否总结对了，就像波音公司制造飞机的方式一样，他们会先制造出来，然后进行大量测试，之后又不得不根据测试结果将其拆解并重新组装。 他们基本上有一些关于如何在模拟中做更多事情的见解，这样你就不必拆解和重建它了，这为波音公司节省了数十亿美元之类的，然后他们就开始资助那个团队，事情就是这样。 1:30:39 这显然更贴近应用层面，因为偏微分方程本身就属于这类问题。所以在这个领域取得进展，你可以想象确实会解锁一些东西。我不确定是不是那种阶跃式变化，但或许更多体现在引擎设计变得稍微更灵活一些。 1:30:57 或者说，想出合适的机翼形状，而不必运行一大堆复杂的计算流体力学模拟；又或者，由于某些纯数学的洞见，你能够加速计算流体力学模拟，使其更高效。我敢打赌，你会看到大量很棒的渐进式改进。 1:31:14 数学上的重大突破立刻转化为巨大的经济突破，这种可能性似乎较小。你解决了纳维-斯托克斯问题，然后这解锁了模拟更多事物的能力。但你很可能会在那些边缘地带看到一些有意义的溢出效应，从纯数学洞见渗透到其他领域。另外，我的意思是， 1:31:39 有大量的人在从事人工智能工程师、物理工程师、材料科学等领域的工作，你可以想象，他们应该处于有利位置，能够审视人工智能的数学洞见，并判断它们是否在某种程度上具有相关性。所以…… 1:31:57 这是另一件我不会坐在这里断言预测一定会发生的事情。但如果未来五年内没有产生直接可归因于人工智能在数学领域进展的、具有经济价值的改进，那会有点令人失望，也有点令人意外。 1:32:10 如果只是解决了一大堆人造问题，而实际上没有一个真正触及直接作用于物理世界的数学，那确实会让人有点失望。 1:32:24 是的。我的意思是，针对你刚才提到的观点——很多历史和数学其实就是在堆积概念、联系之类的东西。没错。有时候这些堆积会相互连接，或者你在别处发现了某个应用。至少，你只是堆起了这么一大堆。而作为一个， 1:32:41 当社会取得更广泛的进步，发生在奇点期间，当我们进入奇点的工业化阶段时，你就拥有了所有这些不同的想法，希望它们能在世界的其他地方发挥作用。 1:32:53 我的意思是，是的，就像我说的，正在发生的事情中一件有趣的事是，它促使人们退后一步去问：数学到底是什么？而其中一个可能令人尴尬的结论将会是揭示出：哦，天哪，在过去这段时间里，它已经变得完全没用了。 1:33:06 就像，人们提出的那种问题已经变得与物理应用如此脱节。这是数学家们必须面对的事情之一，届时每个人都会看着说，等一下，你们这些人应该， 1:33:18 如果那边有这么多进展，比如 10 倍的进步，为什么我们在这边看不到呢？ 1:33:22 然后数学教会就会说，呃。每次我们写那些资助申请，说，相信我们，椭圆曲线的进展会帮助到密码学。这就像，它揭示了一个事实，也许它并不会。所以这是一种可能性。Grant，这太有趣了。非常感谢你来做这个。绝对如此。 1:33:38 这是我的荣幸。 Grant Sanderson – AI 与数学的未来 数学将是我们最先看到超级智能的领域。它会是什么样子？ Dwarkesh Patel 2026 年 6 月 30 日 与 Grant 聊天总是乐趣无穷。AI 在数学领域取得的进展远比其他领域更快。因此，数学正非常具体地向我们展示，AI 在其他领域的进步将会是什么样子。即便在数学内部，也存在一个参差不齐的景观。它看起来是怎样的？数学史上最重要的概念性突破其本质是什么，它们与当前 AI 所能做到的事情有多大不同？AI（总体上）是增加还是减少了人类对该领域的理解？让 AI 系统性地尝试连接文献中已有的想法，这种“悬置”效应有多大？对于有志于成为数学家、程序员以及其他对正在被 AI 深刻变革的领域充满热情的学生，Grant 有什么建议？可在 YouTube 上观看；在 Apple Podcasts 或 Spotify 上收听。 (00:00:00) – AI 正在发现新的证明。这是 AGI 吗？(00:11:32) – 概念性突破的验证循环可能长达一个世纪 (00:26:12) – 我们能理解 AI 对黎曼猜想的证明吗？(00:38:08) – AI 能找到领域之间隐藏的桥梁吗？(00:53:48) – 为什么现实世界的任务不适合强化学习环境 (01:07:07) – 好的写作需要 AI 仍然缺乏的心智理论 (01:16:02) – 为什么学习仍将依赖人类策展 文字记录 00:00:00 – AI 正在发现新的证明。这是 AGI 吗？ 德瓦克什·帕特尔：今天，我和格兰特·桑德森聊天，他运营着 3Blue1Brown 频道，目前正在做一个新项目，记录人工智能在数学领域取得的进展。我想和你聊聊这个，因为 AI 在数学领域取得的进步比其他任何领域都快。这里发生的一切，以及我们观察到的 AI 进步是否在发生、如何发生，都将告诉我们，随着 AI 变得越来越强，世界其他领域将会发生什么。我想从三年前我第一次采访你时问过的问题开始。我问过你，一旦我们有了能在国际数学奥林匹克竞赛中获得金牌的 AI，那不就等于 AGI 了吗？考虑到这些题目有多难，它难道不是就能做任何人类能做的事了吗？你当时有一个回答，事后看来非常明智和正确。你说，这会是又一个基准测试，就像 AI 正在通过的所有其他基准测试一样。显然，自那以后 AI 在通用能力上确实变强了，但这件事发生时并不会有什么“顿悟”时刻。首先，我很好奇，你对于为什么这个判断成真了，有什么经验法则？其次，我很好奇，你认为这种“狭窄性”还能持续多久？到 AI 解决了一个千禧年大奖难题的时候，你认为经济中是否仍然存在大量人类在做、而 AI 还无法自动化完成的任务？ 格兰特·桑德森：这是个有趣的问题，因为如果不事先知道解决方案长什么样，就很难回答。拿 IMO 来说，你三年前那个问题的核心，在于看到这些问题的某些解法似乎确实需要创造力。这些题目的设计者试图想出一些不那么容易通过训练来应对的题目。但 IMO 有个不为人知的秘密：其实很多题目是可以通过训练来应对的。正如你指出的，随着整个 AI 与数学项目的推进，它之所以有趣，原因之一在于 AI 的能力前沿是参差不齐的，而数学正好处在一个尖峰上。但这种参差性本身又具有分形特征，因为当你放大到数学内部的特定进展时，会发现有些东西比其他东西容易得多。就拿 IMO 来说吧，这现在已经算是旧闻了。AI 在 IMO 上表现很好已经有两年的时间了。如果不是因为以下原因，它们在 2024 年本应拿到金牌的。它们非常强。它们基本上已经能直接硬解几何题了。IMO 有四类问题：几何、数论、代数和组合数学。自 2024 年以来，AI 能在 19 秒内解出几何题，因为它用的是暴力求解器。不为人知的秘密是，对学生来说，也存在一种暴力求解的方法。组合数学是最大的变数：题目看起来更灵活、更像谜题。那一年的考试中有两道组合数学题，但并非每年都有。总共有四类、六道不同的题目，所以哪一类会出两道题是随机的。如果那一年几何题更多，它们就能拿到金牌。但它在组合数学题上表现挣扎。那些试图守住数学最后一块人类阵地的人可能会说，这些题目需要更多创造力。即便如此，你问题的核心——如果它们解决了一个千禧年大奖难题，那是否也意味着能胜任大量白领工作？——暗示着，从我们目前所处的位置到那个目标之间的速率限制因素，与让 AI 更好地完成白领工作的速率限制因素是相同的。我们可以设想几种不同的情况。如果我们聚焦于黎曼猜想，解决它会是什么样子？这些东西在特定知识领域极其擅长，了解得非常深入，然后又了解另一个领域，再一个领域。你指出过这一点。拥有这种超人的广度，对所有领域都了如指掌，却仍然找不到连接它们的那些“闪电”，这很奇怪。我认为我们开始看到一些火花，它实际上正在它擅长的领域之间建立联系。我相信我们之后会谈到这个。如果解决黎曼猜想的本质是那样的话，我觉得这与我所说的做好白领工作所需的能力是截然不同的。而且有理由相信，那可能就是解决方案的本质。我不知道你是否知道休·蒙哥马利和弗里曼·戴森在 IAS 的故事。这是个题外话，但很有趣。我不知道是不是在午餐时间或类似场合，有一位数论学家，他正试图理解黎曼 zeta 函数零点对之间的统计相关性。黎曼猜想的核心就是所有这些零点是否都位于一条直线上。他找到了一个可以量化的具体问题，并写下了一个公式。看起来像是 1 除以正弦平方之类的。物理学家弗里曼·戴森说：“我知道这个表达式。这个表达式出现在研究随机厄米矩阵的特征值时，”而随机厄米矩阵又出现在研究原子核能级的问题中。这两个看似不同的事物的统计特性竟然相同，这一发现促使人们探索随机矩阵理论的某些方面是否可能与黎曼 zeta 函数相关。我认为，这条路是否能结出硕果，目前还是一个悬而未决的问题。但是，这种连接两个不同领域的方式——如果最终解决黎曼猜想的方法就是进一步探索这样的想法——恰恰符合我们预期大语言模型擅长数学的方式。它们是量子物理的专家。它们是解析数论的专家。它们应该能够看到这种相似性，而不需要蒙哥马利和戴森恰好一起吃午餐并碰巧聊到这件事。这与白领工作完全不同。如果你觉得很难把 AI 当作编辑来用，那并不是因为它们什么都知道，只需要你帮它们找到中间的“闪电”。另一种可能性是……用什么类比好呢？也许我们可以想想费马大定理，从费马提出这个问题到最终解决方案的样子，解决方案最终涉及了极其复杂的数学工具。这个问题的美妙之处在于，它的表述可以如此简单。你问的是 x^n + y^n = z^n。当 n 大于 3 时，是否存在整数解？你可能会期望有一种初等数论的方法来解决它，但就目前所知，就是没有。而实际的解决方案，也许有更简单的方法，但这可能就是它必须的样子。它涉及一套极其复杂的思想，这些思想建立在围绕椭圆曲线的数百年工作之上。然后还有另一座思想的高山，围绕着被称为模形式的东西。这两座山都必须先被建立起来，你才能提出连接它们的正确问题。如果解决黎曼猜想需要建立一座新的高山，那是一种技能——提出正确新思想的能力——这感觉与它们目前智能的特性截然不同。这本身并不是你雇佣的视频编辑所需要的。但如果它能够建立起一座高山，即能够结晶出我们应该如何思考某个主题的正确新理论，那这种智能水平之高，以至于如果它不渗透到经济中的其他方面（而不仅仅是数学领域的“造山运动”），那才令人惊讶。 德瓦克什·帕特尔：或者至少，即使它不能真正做白领人类能做的每一件事，它也会产生变革性的影响，就像在 IMO 获得金牌并没有对世界产生变革性影响一样。首先，我想指出，我完全是在移动球门柱。两三年前我采访达里奥时，问过这个问题：为什么他们不能利用自己广博的知识来连接各种想法，并以此做出新发现。这看起来像是，即使是一个中等智力的人，如果知道这么多信息，也应该能够从“这种药会引起偏头痛，而另一种东西有这种效果，也许同一种药可以同时治疗这两种病”这样的事实中得出一个医学诊断。从外行的角度看，数学显然是一个领域，其中找到“单位距离猜想”的反例就是这类事情的一个例子。所以这完全是移动球门柱。但接下来我们可以问，下一个基准测试是什么？既然 AI 已经能完成我们本应认为它们能完成的事情，那么下一件令人印象深刻的事情会是什么？这里有几个候选想法。一个可能是首先提出有趣的问题，另一个可能是提出新的对象或概念化方式，从而创造或统一各个领域。关于第一点，我们现在有这些千禧年大奖难题，是因为数学家们注意到了它们。黎曼提出黎曼 zeta 函数这个概念，是因为他认为这个函数的零点与素数密度有某种联系。弄清楚为什么我们首先认为这是一个值得研究的有趣问题，为什么我们要构建这个对象并试图回答关于它的问题——并且回答关于它的这个特定问题——这看起来像是下一个基准测试。 格兰特·桑德森：你举了两个很好的例子。对于任何对单位距离猜想感兴趣的人，有一个叫 Polylog 的数学频道制作了一个非常棒的视频，里面谈到了它。所有这些讨论都促使人们反思做数学的过程。他们会想，“哦，这个东西能做这么厉害的事。这对我们意味着什么？”那个视频里有一个人引用了这样一句话：“好的数学家证明定理，伟大的数学家提出猜想，最伟大的数学家提出定义。”这几乎完全就是你的框架。我们需要猜想生成器，然后是定义生成器。那是顶级数学家。我不太明白如何将其变成一个基准测试。通常，当我想到“基准测试”这个词时，我想到的是一个球门。球要么进了，要么没进。你可以明确地说：“是的，这个完成了。”部分原因是为了能够做像 RLVR 这样的事情，但部分原因也是为了知道你在回答时没有移动球门柱。OpenAI 可以发布关于推翻单位距离猜想的头条新闻，因为这是一个清晰、明确的事情。它做到了。而想象一下，要发布一个关于 GPT-5.4 提出了一个非常好的猜想的头条新闻。“我们保证，每个人都认为这是一个好猜想。”这根本就不是一回事。但这也许并不否定思考这个问题本身是正确的。我怀疑它是否会以基准测试的形式出现，比如我们有一个分数说它通过了，因为我们可以量化一个猜想有多好。它要达到那种状态，其本质很可能是你会感觉到与数学家对话的基调发生了变化，关于用它来工作的有用方式。你提到的这个系列，目前还完全没有制作出来，可能几个月内都不会发布，它的形式是我们采访很多数学家。有趣的是，我们一年多前就开始做这件事了，很高兴看到从 2025 年中到我们现在所处的 2026 年，他们谈论 AI 的基调发生了一些变化。在现实世界中，这是非常短的时间。在 AI 世界里，这是永恒。我们能够看到在这段“永恒”中基调的转变。我认为衡量猜想生成能力的方式将更加主观，基于这种基调的转变。那将是数学家们说，他们不仅用它来解决自己的问题，而且当他们退后一步，决定自己的研究领域应该是什么时，与某个模型的对话在这方面确实很有帮助。我不认为你很可能看到它以头条新闻的形式出现，说这又是被攻克的一个基准测试。 00:11:32 – 概念性突破的验证循环可能长达一个世纪 德瓦克什·帕特尔：这非常有意思。那些你无法为其制定基准测试的事情，至少在当前范式下，也是你无法轻易训练的事情。基准测试与训练环境之间其实并没有根本性的区别。人们很容易提出某种二分法，认为“人工智能之所以无法做某件事，背后有一个深层原因”，结果却发现你只是思考方式错了，而实际上它很快就能做到。不过我还是会提出—— 格兰特·桑德森：你反正还是会提出几个例子的。 德瓦克什·帕特尔：很可能在相对短期内，我们就能找到训练人工智能做这类事情的方法。但这似乎必须与当前的RLVR训练有所不同。我好奇的是——在我看来，这也正是推动数学和整个科学领域取得重大进展的动力——提出一种看待问题的新方式，或者一种理解世界的新方法，这种方法能够统一不同领域，催生全新的学科，并解决我们最初甚至没打算解决的问题。爱因斯坦研究广义相对论，并不是因为他想解释光线为什么会弯曲，或者黑洞为什么存在。这些现象他最初甚至都不需要解释。在数学领域，作为一个完全的外行，我甚至不知道自己在说什么，但似乎常常存在这样的情况：证明某个具体问题的方法，可以激发一种新的概念化——这种概念化会带来一个全新的领域、一种全新的思维方式，并且极具生产力——而另一些方法则做不到。我很想听听你谈谈伽罗瓦提出群论的故事，他以此区分了五次方程根式无解的问题，而阿贝尔在几年前提出了一个不同的证明，却没有引出群论。如果你想对“群论是否是一个有趣的概念”进行验证循环——即判断它是否真的有用，或者为什么这个证明更好——那么这个验证循环可能长达一百年。它涉及密码学的出现、物理学的进步，以及群论中的思想与理解物理学中对称性的相关性。这个验证循环需要一百年才能证明它最初为何是一个富有成效的概念。 格兰特·桑德森：你说到点子上了，因为我本来在2022年有一个关于伽罗瓦的项目，后来搁置了，但我花了一整年时间深入思考他所做的事情。我可能会不小心在细节上讲得太久，你可以随时打断我。这对你的论点来说是一个完美的例子，因为描述它为何是一种有价值的洞见，并非源于其直接的实用性。当然，如果你考虑的是RLVR环境，这将会非常困难。但有趣的是，即使当时有人类验证者，也花了很长时间才认识到它的价值。而对于爱因斯坦和广义相对论，人们当时就能立刻感觉到这是一个好理论。伽罗瓦理论之所以是一个如此有趣的例子，是因为这个思想确实经历了一个长达百年的传播过程，在它最终被数学界公认为优秀理论之前，它流经了许多不同人的头脑。先稍微回溯一下……你想了解这个问题的背景吗？我们都在学校学过二次公式。 德瓦克什·帕特尔：我还以为你会说我们都在学校学过群论呢，但我错过了那堂课。 格兰特·桑德森：我们都学过群论……不，是二次公式。这个公式是已知的。从某种意义上说，希腊人就能解二次方程，但他们并没有真正用代数来书写。实际上是阿拉伯人写下了这个公式。还有一个关于意大利数学家对决的有趣故事——不是真正的决斗，而是智力挑战——他们秘密地找到了三次方程的公式，然后很快又找到了四次方程的公式。因此，对数学家来说，一个自然的开放问题是：能否找到一个解五次方程的公式？四次方程的公式非常复杂。把它完整写下来会很疯狂。通常你不会完整地写出来，而是把它分解成一个程序性的步骤。你可能会认为这些东西的复杂度是指数级增长的。所以几百年来，没有人真正回答这个问题。通常，我们认为阿贝尔是第一个证明它的人。他是一位年轻早熟的挪威数学家。他证明了这根本不可能。并不是说你能找到一个五次方程公式。他最初以为自己找到了一个，但他证明了这是不可能的。不过，我认为真正的功劳，还得稍微回溯一下，谈谈拉格朗日。他找到了关于这个问题的正确提问方式。我会从一个非常高的层面来阐述。他研究了这个问题，并认识到能够解这些多项式与理解某些代数表达式的对称性密切相关。如果我写下 a + b + c + d，只是把四个变量相加，然后我重新排列它们，表达式的值不会改变。而如果我写下 a + b * c + d，某些排列不会改变它，但某些排列会。他有一个非常精妙的洞见：如果你能找到具有四个自由变量，但所有排列只产生三个不同值的表达式，那么这与能够将四次方程降阶为三次方程有着意想不到的联系。他开始思考能否找到五次方程公式的问题，方法是思考能否扩展这种方法。要扩展这种方法，你必须有一个具有五个自由变量的表达式，当你用所有5的阶乘种排列去排列它们时，它只取四个或更少的值。你可以把这个放进谜题书里，也可以把它放进一个十二岁孩子都能参与的脑筋急转弯里。你很容易就会觉得这是一项不可能完成的任务。拉格朗日当时就在那里说：“这里有一个解决五次方程问题的策略。看起来这似乎是不可能的，至少从这个策略来看是这样。”但这是历史上第一次，人们直觉地认为某种关于对称性的问题是研究这些多项式的正确方法。在他的脑海里，这仅仅是一种方法。人们尚未发现两者之间实际上存在更紧密的联系。另外，也许与其寻找公式，我们应该问相反的问题：你能证明它是不可能的吗？他算是播下了这颗种子。大约五十年后，阿贝尔肯定读过拉格朗日的著作并受其影响。我们知道伽罗瓦在爱上数学时非常喜欢拉格朗日。很难想象这两位年轻的天才围绕那个问题得出非常相似的洞见，不是源于拉格朗日。但回到你的问题：能否验证这是一个好想法？拉格朗日并没有得出任何结果。他没有解决这个问题，所以并不是基于一个解决方案才知道这是正确的问题。他只是提出了这个问题。这本身就有一些内在有趣的东西。而且这在当时对数学来说也不是非常重要。大多数人对它在物理学中的应用更感兴趣。这几乎是一种边缘的、娱乐性的、业余爱好者的东西。阿贝尔开始研究五次方程问题，但后来他被建议把更多精力花在研究椭圆函数上，所以他在英年早逝前，更多的工作是在那个领域。他26岁时死于肺结核。然后伽罗瓦把这两个想法都推向了正确的方向，他真正理解了抽象的本质。他在狱中写了一篇非常精彩的文章。我们可以聊聊他的人生故事，非常精彩。但他当时只是个十几岁的少年，在监狱里，他曾试图提交他的数学论文，但都被拒绝了。所以，再想想可验证的奖励，当时作为验证者功能的学术界拒绝了他写的东西。坦率地说，他的文章并不连贯。这不是一个完整的证明。他没有清晰地阐述这个理论到底是什么。他只是一个正在摸索方向的年轻、初出茅庐的数学家。那里的可验证奖励是“不行”。但他有一种直觉，觉得这里面有东西。所以他写了一篇长篇大论，论述数学的本质是随着时间的推移而发生这些转变的。他谈到了代数本身的出现，从仅仅用数字思考，到对纯代数表达式有了一定的熟练度，不再受限于解释这些表达式。他有一种直觉，觉得我们应该进行另一层抽象，不是思考公式本身，而是思考这些公式背后隐藏着什么对称性。但这仍然是一个定义相当模糊的理论。如果你想说可验证的奖励是他解决了一个别人没解决的问题，那么，阿贝尔已经证明了五次方程是不可解的。那么伽罗瓦在做什么呢？原则上，伽罗瓦理论允许你取一个特定的多项式，并给出规则来判断这个特定多项式是否有你能写下来的根。例如，对于 x^5 - 1，你知道一个解是1。或者 x^5 - 2，你可以写出2的五次方根。所以并不是说每个五次方程的解都不能写下来，而是你能找到一个具体的例子，证明你无法用根式写出它的解吗？他甚至连这个也没有完全解决。他没有针对一个具体的例子证明他不能。甚至描述他解决了什么问题都非常棘手。然后他就去世了。这是一个非常浪漫的故事，关于他进行了一场决斗。有很多神话传说，说他如何在决斗前夜写下了他所有的想法，但实际上，他之前已经尝试过五次发表这些想法。 德瓦克什·帕特尔：研究五次方程似乎对你的健康不利。 格兰特·桑德森：非常不利。如果你是个年轻的天才，别研究五次方程。他请求他的兄弟和密友把他的笔记交给高斯，交给当时重要的数学家，因为他认为这里面有东西。即使在那时，也没有真正被接受。他的兄弟和朋友试图把笔记传出去，但又过了二十年，直到刘维尔看到了这些笔记，觉得里面可能有点东西，并试图整理它们，理解伽罗瓦的意图。即使在那时，又过了大约二十年，直到若尔当才真正整理出类似现代群论的处理方式，并将其归功于伽罗瓦。你可以很容易地想象历史会走向不同的方向，这些思想可能来自数学的其他分支，而如果伽罗瓦不是一个更富有传奇色彩的人物，他可能会被历史遗忘。但从拉格朗日隐约感觉到根的对称性可能是正确方向，到这一切看起来像现代群论，中间经历了漫长的跨度。很多时候，它甚至没有通过人类评审员的可验证奖励。它被放在某人的桌子上，他们说：“我不太确定这里面有没有东西。”你必须要有这么一个人能识别出它。即使在那时，它也没有真正解决实际问题。你提到了密码学、物理学等等。你必须进入二十世纪，才能看到盖尔曼思考，理解某些群如何分解的性质，可能与粒子由什么构成有关。他纯粹基于一个群论问题预言了夸克的存在。这是群论最有趣的应用之一：甚至预言夸克的存在都是一个群论问题。这距离拉格朗日已经过去了那么久，才出现这样的成果。所以你必须问，衡量进步的方式是什么？不是基于解决一个问题，而是以某种方式捕捉伽罗瓦脑海中的那种直觉，当他说“我觉得这里面有东西”时；捕捉拉格朗日脑海中的那种直觉，当他说“我认为这是思考这个问题的正确方式”时；捕捉刘维尔脑海中的那种直觉，当他说“这个早已去世的年轻人留下的零散笔记可能有点名堂”时。这很难说清楚。我正在制作的另一个系列视频是关于“压缩即智能”这个想法的。尽管这不是我真正要切入的角度，但这个想法确实有点道理：更小、更具预测性的表达式感觉更智能。所以我想知道，在多大程度上，你可以给出某种可验证的奖励，不仅仅是关于你是否解决了问题或者它解决了什么，而是关于完成它所需的概念的“小”或“简洁”。回到黎曼猜想的解决方案，如果人工智能解决了它，那会是什么样子？我认为第三种可能的方式是，它只是更努力地工作。同样，你也许可以有一个费马大定理的初等证明，只是用几千页纸详细展开，但会很不连贯。而更清晰的方式是用椭圆曲线等概念来看待它。也许有一个关于黎曼猜想的千页证明，没有人能从中得到任何东西，而你真正想要的是这些思想的简洁、压缩版本，这样才便于人类理解。也许你可以把柯尔莫哥洛夫复杂度引入你试图量化“优雅”的尝试中。我不认为这很容易，但我确实认为，为了奖励伽罗瓦式的直觉，而不是仅仅奖励你是否解决了一个问题，你必须这样做。 德瓦克什·帕特尔：为科学提出一个启发式方法非常困难。但很明显，人类一直在以某种方式做到这一点，而且显然，人工智能在某个时候也会做到。 格兰特·桑德森：这不仅与可验证的奖励有关，而且可以推测，最终目标是理解，是人类的理解。即使你确实有某个数学问题的千页证明，或者某个宏大的新物理理论，目标仍然是理解。也许如果目标是预测性，你可以让自动化工程师去建造火箭飞船，我们完全不知道它们是如何工作的，但我们可以穿梭于星际之间。但会有很多人想要理解。你仍然需要某种“简洁函数”，它能将这种复杂的思维方式提炼成正确的形式，就像牛顿的万有引力定律那样。你仍然需要训练人工智能能够做到这一点，并找到压缩的表示形式。 00:26:12 – 我们能理解人工智能对黎曼猜想的证明吗？ Dwarkesh Patel 人们对于数学领域尤其存在这样一种担忧：AI 会证明黎曼猜想，但我们对数学的理解却不会因此有任何提升。关于这一点，我有几个问题。第一个问题是，这是否是我们应该预料到的情况？人类在攻克重大难题时，之所以会提出通用的、自然的对象和子目标，难道不正是因为这对于解决复杂且重要的问题是有用的吗？从理论上讲，与仅仅提出与思考该问题相关的自然抽象概念相比，这难道不是一种更简单的解决黎曼猜想的方式吗？其次，从经验上看，这是否就是我们在当今 AI 解决问题时所观察到的情况？当 AI 提出单位距离猜想的那个反例时，你可以直接阅读它的思维链。我无法理解它，因为我对数学一无所知，但其他数学家似乎能够理解。它运用了已知的数学概念，并证明了它们之间的关系，而且全部使用自然语言。因此，它加速了我们对这个对象与这个猜想之间联系的理解。从经验上看，这真的是我们应该担心的事情吗？ Grant Sanderson 我认为这取决于性质……如果我们分解解决黎曼猜想的三种可能方式……今年另一个重大成果是某个编号为 1196 的 Erdős 问题，关于一种叫做本原集的东西。它具有将看似来自不同领域的想法引入的特点。一旦你向一位数学家展示这个基本想法……你会说，“如果我们尝试马尔可夫链过程，从下往上概率性地证明这个东西，而不是从上往下，并使用 von Mangoldt 函数，会怎么样？”如果你对懂行的人这么说，他们就知道该如何继续下去。你有一个非常小的想法，它表现为一个领域的专业知识和另一个领域的专业知识，在它们之间画出一道闪电。这些想法将非常易于人类解析，因为你所要做的就是展示这些连接的起点和终点。如果其性质是建造山峰，你就需要投入更多时间来理解那座新建的山峰，因为它是一条新的线索，而不仅仅是它们之间的一道闪电。如果进展的性质仅仅是原始的蛮力——一个非常长的推理链，没有新的理论——那么你就会担心整个消化过程。所以我认为没有一个明确的答案。这取决于解决方案会是什么样子。就建造山峰而言，看到它实际上会非常有趣。它是否默认就像我们看到伟大数学家提出的新理论那样，非常易于人类理解？或者它是一座外星般的、不同类型的山峰，需要我们重新处理我们所接触的抽象概念？最接近的例子是 abc 猜想的所谓证明。我们或许不应该深入讨论那个，但它很可能不是一个正确的证明。基本上，这是那位原本声誉良好的日本数学家提出的一整套全新的思维方式。数学家们花了很长时间才理解他所说的内容，但它给人的感觉是一种外星般的数学，是在构建理论，而不仅仅是一个长的推理链。他称之为“宇宙际 Teichmüller 理论”。最大的担忧是 AI 也这样做，然后就像 abc 猜想一样，人们花费数年时间攀登那座山峰，然后发现，“该死。这根本不对。”如果它被证明是错误的，但它看起来非常正确。即使它是正确的，攀登一座新山峰也需要付出巨大的努力。 Dwarkesh Patel 如果我们最终陷入那种情况，David Bessis 有一篇非常棒的博文，叫做《定理经济的衰落》。他在文中谈到，历史上，正如你所说，数学是提出这些定义和问题，然后证明关于它们的定理。证明定理的工作获得了所有赞誉，但它实际上是寄生在提出定义的工作之上的。从历史上看，这在功劳分配方面并不是问题，因为如果你提出了一个定义，你很可能就是那个提出定理的人。但现在我们面临的情况是，如果有价值的工作是提出洞见，而 AI 自动化了后面的部分……想象一个场景，AI 针对世界上许多重要的猜想提出了像 Abel 那样的直接论证，然后我们得到了这些证明。现在，就轮到人类或未来的 AI 去整合它们了。再次强调，我对这个论证本身没有任何具体层面的理解，但我确信，如果你能接触到它，它会让你更容易思考正在发生的事情。是否存在某种更深层的方式，让我们能够理解这个证明为何有效，从而更容易提出群论背后的思想？ Grant Sanderson 我认为这将有巨大的帮助。尝试发现新数学的过程，大部分时间都是在犯错。你试图解决一个问题，感觉并不像是在不断向山顶迈出正确的一步。大多数时候感觉就像一次随机的醉汉漫步，你做了一件事，然后发现错了，并不断发现这一点。如果你至少知道，尝试消化你已有的东西最终会导向一个正确的解决方案，那感觉就是进步，仅仅因为你知道它通向一个解决方案。在近代数学史上，有很多例子让人感觉力所不及，即事物在被理解之前很久就被证明了。我最喜欢的一篇论文的开头——它甚至不是研究论文，更像是阐释性论文——来自一位名叫 Timothy Chow 的数学家，他试图理解一个叫做“力迫”的概念。有一个问题叫做连续统假设，它大致问的是：自然数有一个无穷大基数，实数也有一个无穷大基数。它们之间是否存在某个东西？答案是既肯定又否定。这取决于你的公理。它超出了我们通常公理系统的范围，这是一个有趣的答案。但描述它的方法非常难以理解。就是这种叫做“力迫”的东西。在这篇论文的开头，他写道，每个人都知道未解决的研究问题的概念。我想提出一个未解决的阐释问题的概念。当然，我们已经证明了它，但我们并不真正知道它为什么成立。然后他提出了那个阐释问题的一个部分解决方案。你可以想象我为什么喜欢这个框架，因为这就是我的全部生活。我不做数学研究。我的全部工作就是找到最清晰的方式来理解某个东西，即使它已经被证明了。证明和解释之间是有区别的，我认为你触及了这种区别的重要性。 Dwarkesh Patel 是的。这将是主要的激励因素。或者说，激励因素必须改变，不仅在数学领域，在科学的其他领域也是如此，从证明关于世界的事物，转向将证明整合成问题或更高层次的洞见。我们之前在午餐时讨论过你最近的一个关于设计的演讲，以及它如何帮助我们理解事物。在极限情况下，一个想法的概念化与想法本身之间真的有区别吗？如果你想想狭义相对论和时空图，以及闵可夫斯基时空，这是一种我们用来解释为什么存在长度收缩和时间膨胀的方式。但那正是现实……所以，在某种意义上，阐释似乎就是解释本身。 Grant Sanderson 这里有几点有趣的事情。一点是，那些提出真正新颖洞见的人，与那些能够非常清晰地传达自己想法的人之间，似乎存在着非常强的相关性。你可能会想象相反的情况，因为大学生的经历往往是，教他们的专家不一定是该主题的最佳解释者，因为他们被自己的专业知识宠坏了。但至少在某些情况下，实际情况似乎是，那些真正提出相当新颖东西的人——比如爱因斯坦或克劳德·香农——你读他们的论文，会发现它们非常清晰易懂。感觉这不仅仅是给专家看的，你需要用砍刀劈开一条路才能理解。他们是非常优秀的阐释者。费曼也有这个特点，他是一个非常优秀的阐释者。也许大脑中用于在研究层面提出正确新思维方式的同一部分，也拥有擅长解释的诀窍。我认为这与 AI 相关。我曾经认为 AI 会成为自动化的定理证明器，而数学家的角色将转向我的工作，即解释这些东西。现在我怀疑，实际上它们也会非常擅长做这件事，可能比大多数人类更擅长解释和提炼。所以，消化和解释正在发生的事情，可能实际上并不是留给数学家的工作，这是由这些事情的发展性质决定的。我们可以讨论可能并非如此的情况，但很可能，那个提出真正好的新想法来解决新问题的东西，也同样擅长解释它。这就是我的信念发生变化的一个方面。 Dwarkesh Patel 你认为你最后会做的事情是什么？既指你个人，也指人类数学界会做什么。 Grant Sanderson 我可能会一直做我现在做的事情，直到我死去。 Dwarkesh Patel 如果末日论者是对的，也许出于同样的原因。 Grant Sanderson 是的。你给一个人生火，他能暖和一夜。但你把一个人点着，他能暖和一辈子。这就是我对 AI 的看法。解释者或教师的部分功能是为某个让人好奇的事物增加清晰度。这是一回事。但另一部分则更具关系性，提供动机和策展感。我听到过一个关于数学家最终会变成什么样的有趣观点，那就是他们实际上更像艺术博物馆的策展人，而不是其他任何角色。AI 解决了问题，所以艺术品存在了。它们甚至知道如何很好地解释它。但你仍然需要有人帮你导航这个近乎无限的空间，告诉你哪些想法值得去接触。即使 AI 在某种意义上更擅长这一点，我认为我们总是会更喜欢一个我们与之有关系的真人，因为我们被激励去对事物产生兴趣的方式是一种社会现象。如果你有某个特定的技术想要构建，那可能会有所不同。但收听这个播客的人，首先就是信任你对什么是有趣话题的策展。他们来到这里，并不是因为你下一个话题是什么，那就是他们事先想要理解的。他们信任你作为策展人。所以我的角色，也可以说是其他数学家的角色，可能实际上会微妙地转向策展方向，即决定哪些想法值得追求。这已经是我现在工作的一大部分了。我认为很多人以为制作一个视频的大部分时间都花在视觉效果上。当然，确实如此。这不是一蹴而就的。但实际上，很大一部分工作只是决定首先说什么值得说，什么值得放在那里。我想参与其中，而且我认为我与某些人建立了信任，他们好奇我会选择推出什么，即使 AI 在这方面更优秀。这和人类音乐家永远会有一席之地的原因是一样的：他们背后故事的社会功能，即使某个模型输出的 MP3 文件的客观质量更好。这就是我所看到的我的工作未来的走向。 德瓦克什·帕特尔：我想回到之前的一个问题。既然人工智能已经跨越了这个门槛，这个重要的基准——能够连接现有想法以产生新发现，或证明/证伪某个事物——我们就会问：“好吧，那下一步是什么？” 格兰特·桑德森：顺便说一句，这方面还有很多工作要做。仅仅因为出现了几次“闪电”般的突破……我认为未来几年将会迎来一个真正实现连接的蓬勃发展期。 德瓦克什·帕特尔：没错。所以在极限情况下，你甚至可以说——我不知道这准不准确，但有可能——许多最重大的突破在某种程度上看起来都是这样的。以广义相对论为例，它只是将黎曼几何与狭义相对论连接起来。因此，随着人工智能在连接能力上不断提升，也许许多重大突破在本质上并没有质的区别。我不知道你对此有何看法。 格兰特·桑德森：很多讨论都集中在解决问题和数学的本质这类事情上，比如逐个攻克埃尔德什难题。但我要说，大多数数学家并不会把自己的工作描述为真正瞄准下一个要解决的难题。你了解朗兰兹纲领吗？ 德瓦克什·帕特尔：不了解。 格兰特·桑德森：它与其说是一个数学领域，不如说是一种研究理念。费马大定理就是这方面的一个初步体现。有两个看似毫不相干的事物，它们之间的连接引出了一个解决方案。朗兰兹是一位数学家。他有一封著名的信，大致阐述了似乎很可能存在更多类似连接的观点。他甚至更具体地描述了这些连接的性质，以至于你可以想象一张巨大的地图，这边有一个山谷，那边有一座山，那边还有一片平原。很多数学家会把自己的工作描述为试图理解这张地图上的线索。这方面的进展，甚至不是“这里有一个具体问题，我们知道通过那个连接就能解决”。更多的是，一次又一次，重大难题都是通过发现连接而被攻克的，以至于这几乎成了一种预先寻找连接的行为。这其实非常有趣。任何时候你遇到一位数学家，都可以问问他们，自己的工作性质更接近朗兰兹纲领，还是更接近瞄准某个特定问题。你会得到一个二分的结果。人工智能作为超级连接器的可能性，感觉就像是在这种探索中成为了一种放大工具。不过，这很难衡量。这就回到了我们之前说的：你怎么给“是的，你做到了”打分？如果是攻克一个难题，你有一个明确的方式说“是的，你做到了”。你可以写头条新闻。你可以让AI公司做公关宣传说“我们做到了”。而如果感觉那是应该建立的联系，你可以围绕它写出定理。这就是该领域论文的样子。但我认为，这将需要更多的“人在回路中”来判断“我们想要建立的是哪种连接？”我猜测，未来五年这些模型带来的大部分有用进展都会是这个样子。就是真正地填补那张连接图景，这些连接只有当你成为多个领域的专家时才能绘制出来。正如你指出的，我们居然还没有实现这一点，这有点令人惊讶。我很好奇，在技术层面上是什么导致了这种解锁。一方面，你可以在脑海中描绘出一种解释，说明为什么你可能是所有这些领域的专家，却没有建立那些连接。当推理方法是这种自回归的思维链现象时……自回归实际上是一种非常奇怪的生成方式，如果你仔细想想的话。你是一个聪明人。想象一下我把你锁在一个盒子里，你与世界互动的唯一方式就是收到一张纸条，有人问：“你能预测接下来会发生什么吗？”你预测接下来会发生什么，然后你的记忆被清除了。你又收到另一张纸条。想象这个过程重复了很多次，然后看看另一端出来的是什么。他们说：“看看你写的这篇文章。”你可能会看着它说：“这太糟糕了。这不是我会写出来的文章。”这种反复预测的过程，与你作为作者构思和思考的方式截然不同。特别是，很可能发生的情况是，你成了你上下文语境的奴隶。你可能在回答某个特定领域的问题，所以你利用了该领域的所有上下文。但所有实质内容将要来源的那个连接，本质上是一个非常不可能出现的连接。你可以做任何你想要的强化学习来试图在某些方面变得更好，但具体是什么在提升权重并激励建立这些不太可能的连接呢？因为绝大多数这样的连接都不是可预测的下一个 token。所以，可能的情况是，你只是把这种智能锁在了那个盒子里，但与之互动的方式很奇怪。我好奇的是：通过质疑 token 生成的前提，你能否得到任何成果？我认为不会像调整温度参数那么简单，但有没有什么方法可以利用现有的智能水平，找到正确的方式来激发那些连接，从而解锁我们看到的这类成果？或者，你只是需要再多一点智能，使得在预测层面上，它能够预测到自己应该向另一个领域发射那道“闪电”？ 德瓦克什·帕特尔：我认为，与其讨论架构甚至损失函数，不如讨论数据，这样更有成效。我们有处理文本的扩散模型，它们生成的东西在本质上并没有完全不同。只是它们还没有被充分探索。我认为更相关的问题是：无论你采用什么架构或损失函数，它激励你产生的数据是什么？看起来它们确实在变得更好。先不谈数学。我们确实有过几个这方面的例子，但如果你只看它们为什么在作为自主智能体方面变得更好……它们处于一个环境中，在这个环境中，它们自回归地生成步骤，比如“让我们退一步，在整个代码库中搜索”，然后“让我们退一步，评估我的错误”，这才是有效的方法。我猜想，在科学或数学进步的情况下，发生的事情是出现了类似前沿数学问题那样的难题。数学家们专门设计了这些问题，因为它们需要连接两个不同的领域。我猜测，有各种各样巧妙的、部分合成的方法，可以制造出越来越难的、需要这类连接的问题——例如，通过消除某些假设，同时仍然要求AI得出答案——这样一来，损失函数是什么最终就不重要了。真正的问题在于，你是否能设计出一个激励这种能力的环境。 格兰特·桑德森：感觉你应该能做到。我当然不能说清楚做这件事的正确方法是什么，从而解锁这一切，但如果未来三年没有出现更多这样的“闪电”，那才真叫奇怪。你不觉得吗？ 德瓦克什·帕特尔：我认为这是一个值得思考的重要问题。我们常常思考单个系统有多聪明。但我们没有考虑到AI的优势更多是源于它们的其他特性。所以在这种情况下，它们的关键特性是我们可以并行化并任意扩展它们。无论它们的能力水平如何，它们都不是数学史上某个特立独行的天才，做出几个连接然后就在决斗中死去。而是将那个能力水平线普遍应用于所有在该能力水平下可及的问题。这是数字思维天生拥有的众多优势之一，而我们对此思考不足。其他优势包括它们可以合并所有知识——或者至少会有技术允许这种情况发生——以及你可以生成具有相同知识水平的副本。这种并行化是一个非常重要的特性。我很好奇你的预测。即使它们不如人类数学家聪明，但出于公关原因，AI公司正在投入数十亿甚至数百亿美元，这意味着数量本身就有其质量。 格兰特·桑德森：这似乎方向是对的。如果我们回顾蒙哥马利和戴森在高等研究院的那次对话，它暗示了黎曼假设——或者说黎曼zeta函数零点——与随机矩阵之间存在某种联系，这感觉像是你可以尝试自动化的事情。你有代表所有这些领域专业知识的智能体。我们都知道，一个研究所比一个人更聪明。让人们都聚集在同一个地理位置的原因，就是希望发生那些偶然的对话。那么，在智能体之间设计这种对话会是什么样子呢？这很有趣，因为你指出你可以汇集所有知识，但我真的想知道，其中一个优势是否恰恰相反。有时AI失败，是因为它陷入了一条糟糕的思维链，并且很难摆脱出来。所以你会说：“我重新开始。”人类也是如此。有时你以某种方式开始思考一个问题，而需要做的就是退回去。有故事说，有人试图证明某件事很长时间，然后某个时刻他们说：“等等。如果我试着证明它是不可能的，或者证明相反的情况呢？”解开你自己的上下文，以全新的思维去处理……你可以想象将这个过程系统化，或者让多个不同的智能体被刻意赋予不同的上下文，然后尝试进行比较和对比。我们对自己的上下文没有同样程度的操控能力。在这个AI与数学系列中，我们做的第一集将关于他们解决国际数学奥林匹克竞赛问题的时候。我想聚焦于一个他们失败的具体IMO问题，这个问题很多非常聪明的学生也失败了。陶哲轩也失败了。人们对这个问题非常恼火，因为他们称之为一个“恶搞题”。我几乎不想剧透，因为我想围绕引导一个人进入这个情境来构建这一集，而他们不知道这个问题其实有一个简单的解法。你真的能体会到学生解决这个问题时的感受。基本上，有一种非常优雅的方法，基于它是国际数学奥林匹克竞赛问题这个上下文，你会觉得这很可能就是解决方案。这个解法的特性非常诱人，但很难证明它是最好的。原因在于，它并不是最好的。有一个几乎“无脑”的解法才是最好的。这与整个AI故事的相关性在于，对于人类来说，回答这个问题的关键是摆脱你的上下文。摆脱你身处IMO的上下文。摆脱你被训练来解决这些竞赛数学问题的方式。如果你只是把它当作一个我随便扔给路人的脑筋急转弯，他们很可能回答得很好。在其他语境下的人类研究中，有时你也需要同样的东西：能够刷新你的思维，以完全不同的方式来处理问题。在数字思维拥有的所有优势中，这可能就是其中之一：一种更系统化的方式来刷新你的思维。分出两个智能体，一个试图证明它，一个试图证伪它，一个用这种方法尝试，另一个用另一种方法尝试。它们被刻意赋予不同的上下文。我很好奇，如果我们三年后再次进行这次对话，有多少登上头条的重大成果会具有这种特征：基本上是抹去之前的上下文，尝试大量不同的方法，而不是合并多个不同智能体的结果。 德瓦克什·帕特尔：这非常有趣，因为人们对AI的一个常见担忧是这种熵的坍缩——它们都以相同的方式思考，因为它们的训练方式相似。这就是为什么它们不擅长写作。它们沿着相同的路径走，有相似的说话模式等等。但也许AI的关键优势在于你可以系统地……听起来单位距离问题猜想之所以花了这么长时间才被证伪，原因之一就是人们假设这个猜想实际上是正确的，所以他们大多在试图找出证明它的方法。也许AI的关键优势之一就是能够通过系统地尝试否定和肯定任何给定陈述，或者能够系统地给不同智能体不同的偏见，来增加熵。在人类科学史上，一个重要的例子是爱因斯坦确实受到一种偏见的驱动，即事物在不同参考系中应该看起来一样。他还有其他类似的偏见，但那个偏见对他的思想形成至关重要。你可以系统地调查一系列启发式方法，看看哪些在特定问题上有效。 格兰特·桑德森：所以你会建议在提示词层面系统地增加熵，尽管在自回归层面存在不可避免的坍缩？爱因斯坦会是一个有趣的例子，因为他有这种偏向于事物相对性的偏见。他也有“上帝不会掷骰子”的偏见。你要确保不会不小心让你所有的LLM都变成爱因斯坦，因为这可能会阻碍量子力学的发展。 德瓦克什·帕特尔：这恰恰说明，科学上没有正确的启发式方法。你只需要多个独立的研究项目，各自拥有自己的启发式方法。 格兰特·桑德森：这感觉像是老派的软件。只要你能以某种方式描述它。你有老派的软件来放大这种熵。如果你能够为你想提示的不同思维方式建立一个清晰的本体论，你探索那个完整的本体论，然后每个个体各自运行，做自己的事。这里有一个特定的设计问题，关于你如何精确地描述不同的方法。简单的方法是：你是想证明它还是证伪它？更难的方法是：说出你可以用来证明它的所有策略，并确保你在探索它们时应用了足够的广度。 00:53:48 – 为什么现实世界的任务不适合强化学习环境 Dwarkesh Patel 显然，人工智能在数学领域取得的进展比其他所有领域都要快得多，人们指出该领域的可验证性是出现这种情况的关键原因。我认为这是两个重要原因之一，但人们确实忽略了另一个原因。我不在实验室内部，所以不知道实际情况如何。这完全是一个天真的理论。与人工智能在数学领域取得如此大进展相关的一个旁支问题是：为什么它在计算机使用方面进展如此缓慢？计算机是非常可验证的。我的 Etsy 包裹到了吗？我的活动预订成功了吗？这些都是非常容易验证的事情。计算机使用所缺乏的是“可反复试错性”。因为网站有机器人检测程序——并且运行并行部署需要消耗巨大的计算量——在亚马逊上对同一个结账流程运行一千次并行部署是非常困难的。你会被 Andy Jassy 封杀的。Grant Sanderson 他亲自按下那个红色 X 按钮，针对 Dwarkesh。Dwarkesh Patel 没错。你可以尝试为每个网站构建克隆版本，但这非常耗费人力，并且会拖慢你的速度。目前，你需要进行如此多的并行部署才能让深度学习学会一项技能，原因在于我们还没有解决样本效率问题。Grant Sanderson 就像 Karpathy 说的，通过吸管吸取监督信号？Dwarkesh Patel 正是如此。当然，人们正在研究许多不同的技术，但根本上，我们训练人工智能的方式存在一个巨大的限制。对于代码，你可以将某个级别的进展容器化到一个代码仓库中，然后启动数百个并行容器，并说：“尝试实现这个功能”，这完全是确定性的。因为它是确定性的，你可以解决信用分配问题，因为你知道，无论是什么原因导致这次部署成功而那次失败，差异之处就是有效的东西。如果你的情况是从不同的起点开始的，那么这个信用分配问题就会变得难以解决。现实世界中的大多数事物都很难像这样被容器化。编码和数学是这条规则的例外。但是，如果你试图弄清楚如何建立一个成功的新业务，或者如何在市场上交易一天并赚钱，那么你必须与现实世界互动，并且事物每天都在变化，这意味着你不能不断地重放、反复试错和利用模拟器。数学当然是个例外，我觉得这是该领域以及编码领域取得进展的重要驱动力。这不仅仅是可验证性；还必须具备可反复试错性。人们指出的第三个原因是人工智能正在快速进步，他们非常关注 Lean 和形式化。再次强调，我对实验室里实际发生的情况一无所知。我觉得 Lean 对于当前人工智能的进展水平来说并没有那么重要。为什么人工智能能够证伪关于单位距离问题的猜想？他们发布了思维链，或者至少是思维链的重写版本。其中并没有用到 Lean。我认为 Lean 提供的基于过程的监督——即你知道每一步都是正确的——似乎不如拥有一个可反复试错且可验证的结果来得重要。Grant Sanderson 关于可反复试错性更重要的观点很有趣。天真地想，你可能会认为 Lean 为数学提供了独特的东西，因为你能够看到它是否能证明某个命题。你有老式的软件可以告诉你“是”或“否”，然后你把它用作你的验证奖励。能够佐证你观点的是最初的尝试。再次回到国际数学奥林匹克竞赛。最初，DeepMind 基本上就是这么做的。一切都在 Lean 中完成，然后第二年就全部改用自然语言了。所以，正如你所说，它并非必需。我确实认为，这个形式化领域还有一个尚未被探索的好处，那就是目前你仍然需要人类来审查那个针对单位距离猜想的反例，并说“看起来没问题”。这为事物能被无限探索的程度设定了一个界限。如果你考虑 AlphaGo 或 AlphaZero 这类系统，它们在自己的宇宙里下围棋并自我探索，可能会偏离任何人类需要审视的轨道，但它们仍然拥有自动化的可验证奖励。这不仅仅意味着你可以在此基础上进行强化学习。还意味着你基本上永远不需要去检查，只需投入算力让它们探索围棋的宇宙。有趣的是——也许这不会成功，但关于它是否能产生成果，陪审团应该仍在审议中——有了 Lean，你可以想象一个基本上无限运行的程序，不断尝试扩展 Mathlib。Mathlib 是一个 GitHub 仓库，基本上包含了用代码编写的所有数学知识。它离涵盖所有数学还很远，但他们希望它能涵盖所有数学。它是用代码编写的，你可以问：“这个证明正确吗？”编写这些证明非常耗费人力。围绕它有一个完整的子社区。但你可以想象有一个人工智能，你对它说：“只需尝试扩展 Mathlib。”也许它是 Mathlib 的一个分支，这样里面就不会有垃圾内容，因为人们对希望包含什么内容有一定的品味。于是你有了纯人工智能 Mathlib 的分支，它就这样运行下去，永不停歇。它不需要任何人来检查。它可以一直进行下去。它可能会提出自己的猜想。它可能会提出自己的理论和不同的定义。也许其中很多是无用的，但它拥有这棵可以无限生长的树。这是数学独有的、其他任何领域都没有的非常独特的东西，你可以按下启动键，投入算力，然后十年不看，再回来说：“你有什么成果？”那里一定会有些东西。然后问题来了：它有用吗？你如何甄别出来？能够做到这一点本身就是一件有趣的事情。如果这不能产生某种有趣的数学洞见，那才令人惊讶。在这个故事中，Lean 的重要性体现在两个不同的方面。第一个是，你可以放手，甚至不去检查，进展就会发生。你可以用围棋做到这一点。我认为你不能用自然语言的数学做到这一点。Dwarkesh Patel 这非常有趣。你看到 Karpathy 的自动研究想法了吗？他写了一个 Python 文件，用于基本的 LLM 训练，然后有一个仓库，LLM 智能体可以尝试对该文件进行修改，如果它加快了运行速度，修改就会被保留。Eric Jang，他曾来讲解过 AlphaGo 的工作原理，在尝试构建一个非常强大的围棋机器人时也做过类似的事情。他有一些有趣的观察。它非常擅长运行实验并沿着那条路径走下去，但不擅长在死胡同前停下来，也不擅长进行极度并行的事情。无论如何，这未来可能会改变。思考它在极限情况下会是什么样子非常有趣。这从根本上来说就是人类数学研究机构的样子。它是一个以有趣且有用的方式扩展的图书馆。这种方式没有任何基于结果的监督。没有你想要激励的结果，但你有一个过程。你知道步骤是正确的，只是不知道它是否朝着有趣的方向发展。Grant Sanderson 如果你这样做，你肯定不希望完全偏离轨道，在逻辑空间中进行随机游走。你可能需要某种监督模型，试图提供关于它是否有用的启发式判断。你知道人们正在研究这个。这是那种“五年后”的事情，我会好奇未来的我们讨论它会是什么样子。也许这不会有任何结果，但陶哲轩曾谈到一个研究项目，试图穷举搜索可能的代数空间。你可以想象应用于代数系统的不同公理。当我们提出群论时，有一套特定的公理系统，如果你不了解其动机，看起来就像任意的规则。如果你尝试所有可能的公理呢？其中是否有能产生有用结果的？绝大多数在某种程度上都是垃圾。它们都会坍缩，无法产生有趣的结果。但时不时地，会出现一个完全不同的公理系统的小岛，至少从它能推导出的定理数量来看，它显得很丰富。这正是你可以想象自动证明器擅长的事情——探索那个空间，看看哪一个最终能成为有价值的东西。也许其中一个小岛最终被证明是你可以事后赋予其动机的东西，说这就是它试图捕捉的那种结构。就像你可以想象审视群的公理，不知道它关乎对称性，但事后你意识到这与研究对称性非常相关。你可以想象类似的结果，但不是仅仅探索可能的代数系统，而是探索任何公理的所有可能的逻辑推论。Dwarkesh Patel 关于是否可以在没有 Lean 的情况下提供基于过程的监督这一点，DeepSeek 有他们的 DeepSeek Math 模型。他们发表了一篇关于如何训练它的论文，非常有趣。自然语言证明的问题在于你不知道它是否正确。他们有一个验证器，这个验证器由一个元验证器训练，确保在他们训练这个模型解决的所有问题（在解题艺术方面）上，验证器都能提供良好的反馈。这很有效。有趣的是，在已发表的文献中，带有某种元验证的自然语言验证似乎到目前为止是有效的。在我们正在使用的已发布产品中，它似乎也有效。如果你看看编码智能体，它们在编写干净代码和重构代码方面变得越来越好。我确信有一些基于过程的“LLM 作为评判者”系统在提供品味判断，并问：“这是编写这个函数的干净方式吗？是否存在相同模块化形式的重复？”这应该也适用于数学，对吧？Grant Sanderson 对于数学来说，这似乎比其他任何领域都更可行，即使你只使用自然语言，你也可以信任一个验证器。你和我之前讨论过为什么它们不擅长写作。它们似乎是好的评判者。如果我给它们两篇学生写的文章，它们能够说出哪一篇更准确、更有洞察力。那么，为什么不能有一个验证器说：“这是一篇好文章还是坏文章？”也许最终的失败在于，即使它们擅长区分 B 级文章和 A 级文章，它们实际上并不擅长区分 A 级文章和一篇你真正想读的、能在 Substack 上获得关注且富有洞察力的文章。它们最终会偏好缺乏洞察力的文章。在数学方面，仅仅判断一个证明是否正确这一步，就适合用自动验证器来处理，即使是在自然语言环境下。你可能仍然能取得大量进展。我仍然喜欢 Lean 中的逻辑树，仅仅是因为你真的可以偏离轨道。对于之前事物被表述的方式，没有任何约束。每个人都在谈论 AlphaGo 中的第 37 手。是什么东西使得它能够跳出先前的启发式方法？在进行这种探索时，与现实世界的其他部分脱节似乎是有成效的，可以作为自然语言数学研究的一种补充研究途径。Lean 的另一个相关性在于，假设你有纯粹的自然语言强化学习环境和一套纯粹的自然语言证明。人们说：“前进吧，人工智能数学家们”，然后它们每天生成十篇论文。如果这其中存在任何错误率……Alex Kontorovich 曾谈到过这一点。对于数学家来说，这会变得令人难以忍受。每次你看到其中一篇，你都不知道它是否值得你花时间。即使 100 篇中有 99 篇是正确的，我也不知道是否值得花时间，因为找出那个错误所在非常耗费精力。把时间都花在一篇垃圾论文上是非常令人沮丧的。拥有某种能够给你一个绿色勾号，表明“即使这理解起来会很复杂，即使这会很痛苦，但你至少知道它是正确的”的东西，其他每个领域都会梦寐以求。数学拥有这个。如果模型也能够将它们的自然语言证明形式化，那似乎意义重大。每个领域都希望拥有这样的东西。所以，我认为你是对的，Lean 作为数学领域普遍进展的验证奖励环境，其重要性可能被高估了。但我肯定不会把它从故事中抹去。Dwarkesh Patel 我也喜欢将 Mathlib 的扩展作为一个隐喻，来比喻我们的文明很快将会发生的事情。几千年来，人类构建了这庞大的知识和理解体系，我们所拥有的一切现在都被提炼到这些模型中。在某个时刻，模型将任意地扩展这个体系。01:07:07 – 好的写作需要心智理论，而人工智能目前仍然缺乏这一点。 德瓦克什·帕特尔：顺便说一句，在写作方面，我有一个理论，解释为什么写作比其他领域进步更慢。一个原因是你提到的，它们不仅不擅长判断A与B的优劣，而且会被B*彻底带偏——B*就是那种表面上满足了A本该具备的所有花哨要素的劣质文章。这种奖励机制作弊的问题完全失控了。但另一个重要原因是，写作不像代码和数学那样具有模块化特性。你可以用多种不同方式编写一个函数，它们实现的功能相同。当然你希望代码整洁，但归根结底，只要它能运行，那就没问题。数学中的引理也是如此。你可以得到某个最终产物，而它的产生方式可以不同。代码是产生某种最终产物的东西，你追求的是一个功能正常的最终产物。而在写作中，最终产物直接就是AI产出的内容本身。每个段落、每个句子、每个词都很重要，因为它们就是实质内容。它不是写作过程中产生的某种独立的东西。它不能像代码那样，即使写得乱七八糟，仍然能产生你想要的结果。 格兰特·桑德森：但你刚才指出，我们在让智能体编写不仅功能正常、而且整洁的代码方面，实际上已经进步了很多。为什么同样的进步——让你从仅仅功能正常发展到能写出整洁、可合并的PR——却没有带来更清晰的写作呢？ 德瓦克什·帕特尔：这是个好问题。另外，难道真的没有进步吗？我承认它们在很多方面是糟糕的写作者。但对于我阅读的很多内容，我发现更好的做法是直接把它复制粘贴到大语言模型里，然后说：“给我解释一下这个。”它的解释会比人类写出来的东西更好。有趣的是，我们说它们是如此糟糕的写作者，然而我的显示性偏好却是让大语言模型来解释。即使我在电话里与一位人类专家实时交谈，如果那是只有他们才拥有的、未编码在数据分布中的知识，我当然希望他们来给我解释。但如果为了理解那个知识，我需要先理解一个更基础的概念，我宁愿在社交上能被接受的做法是：“我们暂停一下。我先去问一下大语言模型这是怎么回事，然后再回来听你讲那个特殊的知识。” 格兰特·桑德森：那是知识蒸馏，是一种解释。如果我在评价你作为文章作者的质量——比如我给你一本书去读，我想要一份读书报告——我可能相信大语言模型能给我一份更好的读书报告。但当人们说它很差时，他们真正想表达的是：写作是什么？它不仅仅是已有思想的蒸馏。它不仅仅是清晰解释的能力，因为它们在解释方面很擅长。它关乎的是洞见本身。这就是为什么自回归是一种非常奇怪的生成方式。当你写作时，你隐约知道，要想写得好，就必须包含不可预测的元素。这不仅仅是在你的思维中提高“温度”。而是精确地知道在哪个恰当的时刻做出一个不可预测的举动，而这正是更具洞见的地方。即使它在解释已有事物方面更出色，但最初产生那本你想要蒸馏的书的东西是什么？那本书不是大语言模型生成的，然后你只需要它。而是某位作者，通过对世界上的各种思想进行大量探索，决定了哪些方面有趣，以及用哪种方式呈现才能形成一个连贯、动机明确的叙事。他们以某种方式把所有这一切整合在一起。如果他们是优秀的作者，你很可能更倾向于阅读他们的书，而不是那个蒸馏版本。尽管如此，是什么让某个东西一开始就值得探索，并值得被上传？正是这一面，才是人们说大语言模型不擅长写作时所引用的。是那种不可预测的元素，是刻意选择新颖的东西，而这与事物通常产生的方式直接相悖。 德瓦克什·帕特尔：说得好。我认为它们也非常不擅长构建关于人的良好心智模型，而这在写作中是一项非常重要的技能。安迪·马图沙克和另一位我现在想不起名字的合作者，做了一项有趣的研究，他们试图教大语言模型编写好的间隔重复提示卡。我真的很喜欢这个研究，因为尽管这看起来像是一项完全随机的技能……就好像，人们在谈论一年内实现递归自我改进，而我们却无法让这些东西写出好的闪卡。这到底是怎么回事？他们尝试了许多不同的技术，而且他们都是经验丰富的人。他们尝试对开源模型进行强化学习。他们尝试了各种方法，包括思维链以及向最好的闭源模型发送一个大型提示词。在我看来，关键的制约因素是：写一张好卡片，本质上是预测某个人三个月后的心智状态。他们会以什么方式关联这个问题？在那个时刻他们会想到什么样的答案？什么样的引导才能激发你真正想从试图制作卡片的段落中提取的那个细节？我认为写作与此类似。如果你在写东西，这个过程之所以如此令人疲惫、耗时漫长，是因为每写一个词或一个句子，你都必须思考：此刻我的读者脑子里在想什么？即使我把措辞顺序颠倒过来，把结尾短语放到开头，让它在读者阅读句子其余部分之前成为他们脑海中浮现的第一个意象……也许自回归在这方面并不擅长。这更像是一种扩散模型的特性，即考虑整体，而不是逐句推进。但我也认为这需要大量的心智化能力，而这些模型却出奇地难以做到。 格兰特·桑德森：这是个有趣的问题。它们在这方面挣扎，这很奇怪吗？我可能会说错。你知道那种情况，你引用你曾经读过的研究，但也许那个研究并不存在？有一个非常令人难忘的例子。假设你想测试人们的情商。你展示一张某人面部表情的闪卡，然后有人试图描述那种情绪。网上有一些很好的测试，显示一张脸，然后有四种可能的情绪选项。要准确描述出正确的情绪出奇地困难，但你也会感觉到确实存在一个正确答案。如果你对你生活中的人做这个测试，你会注意到，那些社交能力较强的人做得很好，而那些偏左脑思维的人则差一些。这是一种可以做的测试。我隐约记得有一个相关的实验，他们找了一些刚注射过肉毒杆菌的人，进行了前测和后测。在后测中，他们在解读他人表情方面明显变差了。这感觉很奇怪。 德瓦克什·帕特尔：等等，是接受测试的人注射了肉毒杆菌？ 格兰特·桑德森：对，是参加测试的人。你先做测试，然后去注射肉毒杆菌，你的脸就僵住了，然后你在理解你所看到的表情方面就变差了。其想法是，理解你所看到的表情，部分原因在于你自己也做出那个表情。在面部层面，你在活动你的面部肌肉。你看到那个表情，你模仿它，然后在某个非常潜意识的层面上，你会想：“哦，对，那是焦虑。”所以从这个意义上说，如果模型的心智理论确实很差，那么当然，它们知道一切，因为它们读过所有人写的东西。但在真正能够设身处地为你着想这个层面上——就像我的面部肌肉模仿你的面部肌肉那样——这能帮助我理解你的感受——这完全不令人惊讶。它们没有面部肌肉。它们的大脑运作方式完全不同。就像一个外星人在试图共情。它怎么可能有心智理论呢？那将是一个非常涌现出来的东西。而我们人类则可以直接把它接入我们自己的大脑。我们有现成的硬件来直接进行这种模拟。从这个角度来看，这并不那么令人惊讶。 01:16:02 – 为什么学习仍将依赖人类策展 德瓦克什·帕特尔：关于利用大语言模型学习，你有什么建议？正如我所说，对于许多众所周知的概念，我觉得它们非常有帮助。但往往，再往下聊几句，当我试图理解某个东西时，它们自己却困惑不已，把我也搞糊涂了。它们没有用正确的方式解释。我知道，跟对的人聊上三分钟就能消除我的困惑。未来，我们会越来越想用这些东西来学习。人们经常谈论教育和表征之类的东西。你有没有注意到一些更有效地利用它们来理解概念的方法？ 格兰特·桑德森：我很想听听你的看法。我先说说我的。即使在大语言模型出现之前，我觉得学习中一个相关的洞见就是认识到“谁”比“什么”更重要。我给任何大学生的选课建议是：稍微少在意一点你现有的兴趣，因为它们目前多少有些随意；多在意一点授课老师是否是一位优秀的教育者，是否与你产生共鸣。在选择读什么书时，作者是谁可能比它是否是你之前的兴趣更重要。如果你之前喜欢过一本书，那就去读那位作者的其他作品，而不是去读同一主题的另一本书。我这就联系到大语言模型了。尝试从维基百科页面学习，与从其他来源学习，感觉是不同的。比如，如果是哲学话题，你会去斯坦福哲学百科全书；如果是数学话题，你会去普林斯顿数学指南。区别在于，那些文章是由某个人精心撰写的，他试图围绕主题构建一个动机。而维基百科则是一个达到的局部最优解，每一句话都必须正确。在一篇优秀的阐述中，你可以在过程中稍微不那么在意正确性。你可以刻意构建一些有点错误的东西，然后在过程中纠正，这在众包环境中会被编辑掉。目前，大语言模型的解释给我的感觉很像维基百科，也就是说，非常棒。想象一下没有维基百科的世界，要找到并弄清楚一切需要多长时间。但尽管如此，维基百科页面最有用的部分是什么？往往只是底部的参考文献。你查看关键的参考文献，然后点进去阅读。有时这能提供一个好得多的概览。所以我经常喜欢直接问大语言模型：“我应该读谁的作品？”我甚至可能给出一些关于我想如何学习的具体细节。实际上，有一次我试图学习半导体之类的东西时，就被它误导过。我觉得这是一个非常视觉化的主题，但所有资源都是文本。我问：“有没有一个可视化很好的视频来解释你提到的这些概念？”然后Claude说：“有，这里有几个。”排在第一的是：“这里有一个来自3Blue1Brown的视频。”我当时想：“我敢肯定没有。”那确实是一个真实的视频，一个真实的链接，但它只是把别人的视频错误地归给了3Blue1Brown。不过，这倒也不错。我点击过去观看那个视频来学习，体验比继续用提问的方式好得多。从这个意义上说，我基本上是在把它当作一个功能极其强大的谷歌，用来精准定位到正确的人类撰写的资源。你呢？你经常使用这些东西。使用它们的最佳方式是什么？ 德瓦克什·帕特尔：我觉得你说到点子上了。我最高效的学习经历，都是当存在某个人类产出的成果——无论是一篇文章、一本书还是一个视频——它以正确的方式组织了相关概念。它逐步建立起动机，说明为什么下一个想法对于解决你将遇到的下一个问题很重要，然后是再下一个想法，再下一个想法。然后你利用大语言模型，在这本书已经指明的分支上做一些小小的修剪。我实际上正在看——我想可能是你推荐的——史蒂文·斯特罗加茨的教科书，关于…… 格兰特·桑德森：混沌那本？《非线性动力学与混沌》？我爱那本书。 德瓦克什·帕特尔：是的，我正在看，那感觉太棒了。就像你的视频的书籍版。超级有趣。我学习的方式是，把他的大学讲座放在屏幕的三分之一，教科书的那部分放在另外三分之一，大语言模型放在最后三分之一。我实际上在想，如果我回到大学，现场听这个讲座，我肯定完全听不懂。这些孩子一定非常聪明，因为我需要暂停、阅读教科书、与大语言模型对话，然后再重新开始。但是，由他来策划理解概念的正确顺序，以及激发理解动机的正确问题……这是大语言模型非常不擅长的另一件事。一个非常优秀的人类能做到的是，当你问一个问题时，他能说：“实际上，你思考这个主题的方式不对。你应该问的问题，以及组织这些概念的正确方式，应该是X。”大语言模型就是做不到这一点。 格兰特·桑德森：它有点太迎合了。这归根结底是那种谄媚行为，总是“哦，多么有见地的问题”。你想要剥离掉这个。这是个好观点，我认为它触及了心智理论，即认识到提出某种类型的问题，表明学生的心理结构与解释者的不同。有时人们会在这方面做得过头。对于一个真正优秀的老师，比如说，你有一个初中数学课堂。如果一个学生提出的问题表明他们正在以不同的方式思考，那么在你说“别那样，我们这样做”之前，要当场认真对待并问“等等，用那种方式你能得到正确答案吗？”实际上非常困难。真正优秀的老师能够巧妙地利用学生思考问题的创造性方式，并将其引导过来。大语言模型做不到这一点。它们不会重新构建你的问题。相反，它们有点自顾自地跑偏了。至少，感觉这里有三个层次。大语言模型在一个层次，好的解释者在另一个层次，而A+级的解释者是能够巧妙地利用你的思维方式并说“这就是那个方法有用之处”的人。也许五年后，会有一个完整的循环，大语言模型也能做到这一点，而且做得更好。 德瓦克什·帕特尔：对于那些肯定经常发邮件问你这个问题（“我对做数学很好奇。我对这个学科真的充满热情，但看到AI取得的进步，我不知道追求这个作为职业是否还有意义”）的学生，你有什么建议？这不仅与数学领域的人相关，也与任何注意到自己领域因AI而获得生产力提升的人相关。编程与此非常接近。你对这些人有什么建议？ 格兰特·桑德森：我不会相信我给出的任何建议。这是我首先要说的。但即使在AI出现之前，对于任何你将要从事的工作，真正理解……如果我们谈论的是一份工作——而不是像绅士科学家那样涉足数学世界之类的事情——你应该明白钱从哪里来，你实际增加的价值是什么，以及这两者之间的联系。令人惊讶的是，很少有人思考这个问题，尤其是学生。他们身处这样一个环境：他们可能想进入数学领域，因为他们一直擅长数学。他们因为正确地通过了下一个关卡而在生活中得到了奖励。当他们认为自己想成为一名数学家时，是因为他们认为这是继续从事数学的一种方式。他们想的是“哪里能让人做这个？”，而不是想“我为他人增加了什么价值？这在多大程度上是薪水流向我的原因？”在不同情况下，情况实际上非常不同。在某些情况下，一位非常有声望的数学家，他们的存在为大学带来了某种品牌价值，这就是大学想要他们的原因。在某些情况下，美国国家科学基金会（NSF）的拨款是因为我们对基础科学所持有的公共产品信念。围绕这一点，有一个机构，以及一整套官僚体系，作为我们认为这种公共产品是什么的代理，并伴随着一整套的流程和说辞，以确保他们能正确预测你的进展符合该资助的精神。有时，这纯粹就是教学。人们喜欢把孩子送到有专家教学的机构。你通过成为专家来提供品牌价值，通过成为老师来提供直接价值。无论AI是否能证明定理，无论我们谈论的是2016年还是2026年，这是那些想着“我想成为数学家”的学生考虑得不够的。我认为这值得思考。对我自己来说，我未必考虑过这一点，我偶然发现了一条可以将数学探索作为娱乐来变现的职业道路。我偶然发现了它，并且非常感激，但这纯属偶然。如果我当时能批判性地思考这个问题，我本可以避免依赖运气，而是更有计划地去做。回到你的问题——如果我们有了近乎自动化的定理证明，并且假设它们也是非常好的解释者，以至于你甚至能获得人类层面的理解——我认为数学家所扮演的许多社会角色实际上不会改变太多。作为公众，我们仍然认为基础科学有价值，我们信任数学家的判断，来决定他们的时间最好花在哪里。声望来自那个社群内部。是其他成员说某个结果非常好，而不是拨款申请者真的理解代数数论才知道那是个好结果。关于什么构成有价值的贡献，会存在一种内部文化。也许它会从定理证明转向好的定义撰写。也许是那种博物馆策展人的想法。但只要整个社会仍然重视基础科学的前提，你就会拥有同样的社群。如果我们处于AI带来的富足世界，从某种意义上说，可能还会有更多的资金流向这个方向。至于机构因其讲师是谁而获得的声望，我实际上认为教学是AGI之后最稳定的工作之一，因为它非常注重关系。如果父母拥有富足的财富，他们愿意把钱花在好的教学和教育上。这远远超出了解释的范畴。即使大语言模型是好的解释者，老师所做的事情是一种社交、辅导、导师式的事情，这很可能是未来五十年内最稳定的职业之一。就许多数学家的角色与此重叠而言，作为即将进入这个领域的学生，你可以朝这个方向努力。我实际上认为，更多的学生应该思考并重视仅仅成为一名数学教育者的想法，以及这能为下一代带来的价值。我再次强调，我不认为我是那个可以说“听着，未来的年轻数学家，你应该这样思考未来”的人，因为我是一个YouTuber。我不在他们考虑进入的机构里，所以我是一个旁观者。但这感觉像是普遍的好建议：知道钱从哪里来，知道你在其中扮演什么角色。如果你只是在问这些问题，实际上你已经领先于所有其他初出茅庐的未来数学家了。 德瓦克什·帕特尔：事实上，想象一下这个疯狂的世界：在五年或十年内，AI不仅会提出千禧年大奖问题的解决方案，还会首先提出全新的问题、全新的数学领域和对象等等。在那个世界里，首先，会有大量的富足。其次，AI思维走得最远、看得最远的地方，将是数学。届时将会有巨大的需求：“AI看到了什么？你能解释给我们听吗？”在那个世界里，如果还有任何工作可言，那么提炼AI所学到的东西肯定是其中之一。 格兰特·桑德森：而且，这很有趣，因为所有这些都假设它是无用的。我们不是在谈论所从事的数学的实际应用。只要它有任何经济效用，你可以想象，那些理解它并能够决定其方向的人，通过作为策展人做出判断，并将这个新的数学庞然大物指向有用的方向，实际上会拥有多得多的经济价值。突然间，这比以往任何时候都更具杠杆效应。 德瓦克什·帕特尔：我能问问你这个吗？显然，AI在数学方面的一个问题不仅是它能不能做，还有它做得好不好？或者它对任何事情有用吗？你描述了群论中我们试图找出不同类型函数根的各种随机事实的所有方式，而现在这些理论在许多不同领域都有各种实际应用。你是否感觉到，如果我们只是让人类数学领域加速10倍或100倍，然后发生一些疯狂的事情，或者我们会被其他领域所瓶颈？ 格兰特·桑德森：我认为有些领域可能会。这非常不均衡。在代数数论方面取得进展，感觉不太可能因此解锁其他东西。但我记得和一位做更多动力学和偏微分方程求解类工作的数学家聊过。他提到他的团队有一些想法。让我看看我是否总结对了。就像波音制造飞机的方式：他们制造出来，做一堆测试，然后必须根据测试结果拆解并重新组装。他的团队基本上对如何在模拟中做得更多有了一些见解，这样你就不必拆解和重建了。这为波音节省了数十亿美元之类的东西，然后他们就开始资助那个团队了。这显然与应用更贴近，因为偏微分方程本身就是那样。你可以想象，在该领域的进展确实会解锁一些东西。我不知道是不是这些阶梯式的变化，但也许更多是在发动机设计变得更流畅，或者想出正确的机翼形状而不是运行一大堆复杂的计算流体动力学（CFD）方面。也许你能够加速你的CFD模拟，因为某些纯数学的见解使它们更高效。我打赌你会看到很多很好的渐进式改进。数学上的巨大突破立即转化为巨大的经济突破，比如你解决了纳维-斯托克斯问题，然后这解锁了模拟更多事物的能力，这种可能性似乎较小。但你很可能会在这些边缘地带，看到一些有意义的纯数学见解渗透到其他领域。有大量的人在从事AI工程、物理工程和材料科学等工作。你可以想象，他们处于有利位置，可以审视AI的数学见解，并判断它们是否在某种程度上相关。这是另一件我不会在这里立下flag预测它会发生的事情。但如果未来五年内，没有出现直接归因于AI在数学方面进展的、具有经济价值的改进，那将有点令人失望，也有点令人惊讶。如果它只是解决了一堆埃尔德什问题，而没有一个是在做直接触及物理世界的数学，那将令人失望。 德瓦克什·帕特尔：关于你的观点，即数学的很多历史就是建立这些概念和联系的堆叠。有时这些堆叠相互连接，或者你在其他地方发现了应用。至少，你只是建立了一个巨大的堆叠。然后，随着社会在奇点期间取得更广泛的进步，当我们到达奇点的工业部分时，你就有所有这些不同的想法，希望它们在世界其他地方有用。 格兰特·桑德森：正如我所说，正在发生的事情的一个有趣之处在于，它促使人们退后一步问：“数学是什么？”也许其中一个尴尬的结论将是揭示它已经完全变得无用了。所提出的问题类型已经变得与物理应用如此脱节，以至于这是数学家必须接受的事情之一。每个人都会看着说：“等等，你们不是应该……如果那里有10倍的进展，为什么我们这里看不到？”然后数学家们会说：“呃。”每次我们写那些拨款申请，说“相信我们，椭圆曲线的进展将有助于密码学”，这都凸显了一个事实，即也许它并没有帮助。所以这是一种可能性。 德瓦克什·帕特尔：格兰特，这太有趣了。非常感谢你接受采访。 格兰特·桑德森：不客气。这是我的荣幸。