# 思考即回忆：推理如何解锁LLM中的参数化知识

- 来源：Google Research：Blog（网页）
- 发布时间：2026-06-24 00:00
- AIHOT 分数：69
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmqsbr8l701ndslfubzp0hnmi
- 原文链接：https://research.google/blog/thinking-to-recall-how-reasoning-unlocks-parametric-knowledge-in-llms

## 精选理由

发现一个反直觉现象，让模型推理能提升简单事实回忆，不是靠分步解题而是计算缓冲和事实预热，对理解模型知识召回机制很有启发，但中间步骤幻觉也带来风险。

## AI 摘要

Google Research研究发现，推理（chain-of-thought）能帮助大语言模型（LLM）回忆简单事实，即使这些事实无需复杂推导。在Gemini-2.5 Flash和Pro以及Qwen3-32B上，启用推理后模型能够回答原本无法直接回答的简单问题，pass@k显示正确事实存在于输出分布中。该现象由两个机制驱动：一是生成的推理token充当计算缓冲，允许模型进行隐藏计算以提取参数化知识；二是推理过程中产生的相关事实起到启动效应（factual priming），帮助模型激活正确答案。

## 正文

我们研究了一个反直觉的现象：即使不需要复杂的逐步求解过程，推理也能帮助语言模型回忆简单事实。我们证明，这一现象由两种机制驱动：（1）利用生成的推理 token 执行潜在计算，以及（2）生成相关事实以激发正确答案的回忆。

已有充分研究表明，允许大语言模型（LLM）生成逐步推理轨迹（通常称为思维链，即 CoT）能够提升其在复杂任务上的表现。当模型求解困难数学方程、编写软件或回答多跳事实性问题时，将问题分解为可管理的逻辑步骤非常有效。

然而，对于简单的单跳事实性问题，这种方法的作用仍不明确。例如，考虑这样一个查询：“玛丽·恩格尔·彭宁顿是哪一年入选国家发明家名人堂的？”大语言模型要么在其参数化记忆（直接编码到权重中的知识）中存储了这一事实，要么没有；不需要复杂的算术或逻辑推理。那么，推理轨迹为什么会有所帮助呢？

在即将于 COLM 2026 发表的论文《思考以回忆：推理如何解锁大语言模型中的参数化知识》中，我们研究了这一现象。我们证明，允许模型生成推理轨迹能够解锁原本实际上无法获取的正确答案。为了理解在没有复杂推理步骤需要执行时，推理为何有助于参数化知识回忆，我们进行了一系列基于假设的受控实验。我们的发现揭示了驱动这一过程的两种互补机制：计算缓冲效应和事实启动效应。

探索知识边界

我们首先使用 pass@k 指标来衡量参数化回忆能力边界。与仅检查模型生成的一个答案不同，pass@k 会检查正确事实是否存在于多次生成尝试中。通过评估模型输出分布中是否存在成功的推理路径，同时对其精确排序不那么敏感，pass@k 帮助我们评估推理在事实回忆方面的潜力，而不仅仅是观察模型当前的 top-1 行为。为了在控制参数化知识的同时评估推理的影响，我们聚焦于推理型大语言模型（R-LLM），这类模型的推理功能可以启用或禁用（在开启和关闭之间切换），并比较这两种模式下的 pass@k 指标。我们重点研究了 Gemini-2.5（Flash 和 Pro）以及 Qwen3-32B 模型，使用了两个具有挑战性的闭卷问答数据集：SimpleQA Verified 和 EntityQuestions。

结果出人意料地一致。当推理功能启用时，模型能够成功回忆起那些在推理关闭时几乎无法恢复的答案。重要的是，这种改进并不仅仅是因为模型在分解复杂问题。这一结论源于我们刻意选择了主要包含简单、单跳问题的数据集。

两个闭卷问答数据集和三个大语言模型上的 Pass@k 曲线，比较了同一模型在推理启用（ON）与推理禁用（OFF）状态下的表现。

这些结果引出了一个问题：如果这种效果并非来自逐步推理，那么是哪种推理模式让模型能够检索到正确答案？

机制 1：计算缓冲区

我们的第一个假设聚焦于生成过程的机制。我们沿用了一个长期存在的假设，即生成额外的 token 相当于通过提供更多前向传播来延长计算时间，并在 R-LLM 参数化知识回忆这一新场景中对其进行测试。具体来说，我们假设模型会隐式地将这些推理 token 用作计算缓冲区，以执行潜在处理，而这一过程独立于实际正在生成的语义内容。

为了验证这一点，我们设计了一项实验，将推理轨迹中的所有有意义内容移除。我们截获模型的推理过程，并将其生成的轨迹替换为一个无意义的字符串“让我想想”，重复该字符串直至其长度与原始推理轨迹一致。然后，我们让模型基于这段虚拟文本预测最终答案。

值得注意的是，与完全关闭推理的基线相比，让模型基于这段无意义轨迹进行预测，能显著提升其回忆正确答案的能力。这提供了有力证据，表明仅仅为模型提供更多的计算空间，就能帮助它优化内部状态并提取难以获取的事实。

Gemini-2.5-Flash 上的计算缓冲效应。开启虚拟模式后，系统会用一段不含事实内容的短序列覆盖思考轨迹，并将该序列重复至与原始轨迹的 token 长度一致。

然而，这种计算缓冲效应有其局限性。将虚拟文本延长到一定程度后，收益会逐渐递减，并且它永远无法完全达到模型自然推理轨迹的性能水平。这意味着，虽然额外的计算有所帮助，但思考的实际内容仍然至关重要。

在基于虚拟推理轨迹进行条件设定时，推理有效性随输入长度（以 token 计）的变化情况。开启虚拟模式 X 会用一段短虚拟序列覆盖推理轨迹，并重复该序列使输入长度达到 X 个 token。推理有效性指标（Ω）汇总了所有 k 值下的 pass@k 增益，我们将其定义为推理开启与关闭模式之间 pass@k 的加权平均相对差异。

机制二：事实预激活

在分析针对简单事实性问题生成的天然推理轨迹时，我们注意到一个常见模式。模型并非在撰写逻辑证明，而是在浮现相关事实。

在人类认知中，存在一种称为“扩散激活”的概念，即处理某个特定概念会激活语义记忆中与之相关的概念，使其更易于被提取。我们假设语言模型也存在类似的生成式自我检索机制，并将其称为“事实启动”。通过生成与问题主题相关的事实，模型构建起一座上下文桥梁，从而有助于提取出正确答案。

为验证假设，我们从模型的推理轨迹中仅提取具体事实，并应用严格过滤，去除所有填充性文本、搜索计划或对最终目标答案的明确提及。随后，我们分离出所回忆事实的影响，并证明：以一小段回忆事实为条件，能够恢复推理带来的大部分增益，甚至在推理功能关闭时也能起到帮助作用。

对 Gemini-2.5-Flash 的事实启动效应。我们首先提取推理过程中提及的事实。ON Facts 模式用这段简短的事实列表覆盖模型原有的推理轨迹，并重新生成最终答案；而 OFF Facts 模式则在禁用模型推理功能的情况下，将事实列表作为提示词中的额外输入上下文提供。

例如，如果被问及尼泊尔第十任国王的名字，一个推理模型可能会先列出前九位国王。回忆这前九位国王相当于一次语义热身，能够启动网络，使其成功回忆起第十位。这些事实本身便是垫脚石。

“事实启动”的示意图：中间的事实检索步骤（列出前九位国王）启动了模型，使其成功回忆起尼泊尔第十任国王。模型在启用推理功能（ON）时能够正确回答，而在未启用时则回答失败。当预测仅以推理过程中回忆出的一小段事实列表为条件时（ON Facts），模型同样能够成功回答。

幻觉陷阱

尽管生成式自检索是一种强大的机制，但它也引入了一个根本性风险。由于模型本身会生成这些中间事实，它们可能是模型幻觉的产物。因此，我们检验了这些推理阶段的错误如何影响最终答案。为此，我们构建了一个大规模审计流程，使用支持搜索的验证器，独立检查数十万条推理轨迹中生成的每一个中间事实的正确性。

审计揭示了一个显著的模式。如果一条推理轨迹中哪怕只包含一个模型幻觉产生的中间事实，模型得出正确最终答案的可能性就会显著降低。这表明，虽然事实启动机制很有效，但它可能很脆弱。

推理轨迹包含模型幻觉（含幻觉）与不包含模型幻觉（干净）时，正确答案的比例。

构建更可靠的模型

理解这些机制为提高模型可靠性提供了实用途径。由于事实启动是有效的，而模型幻觉产生的中间事实会降低性能，我们可以利用这两点洞察来提高模型准确性。

为了评估这些洞察的潜力，我们采用了一种测试时选择策略，为单个问题生成多条推理轨迹，仅保留那些包含可验证、无模型幻觉事实的轨迹。优先选择这些轨迹能显著提高准确性。在实践中，这种优先选择可以通过过程奖励在训练阶段实现，以鼓励中间步骤有事实依据。

基于事实召回和事实正确性的测试时选择标准下的预期准确率。

结论

我们的研究结果表明，大语言模型中的推理所服务的范围远比任务分解或数学逻辑更为广泛。它作为一种基本机制，用于暴露模型的内部记忆并扩展其参数化知识边界。这些见解为未来的研究开辟了令人兴奋的方向。认识到事实准确的推理轨迹能产生更优答案，意味着训练方案可以进一步优化。通过利用专门鼓励事实支撑的中间步骤的过程奖励，我们或许能够训练出本质上更可靠、更不易产生模型幻觉的模型。我们期待看到研究社区继续探索推理、记忆与检索之间的交叉领域。

致谢

本研究由 Zorik Gekhman、Roee Aharoni、Eran Ofek、Mor Geva、Roi Reichart 和 Jonathan Herzig 共同完成。我们感谢 Eyal Ben-David 和 Avinatan Hassidim 对本工作的审阅及提出的宝贵建议。