返回
原文
Google Research：Blog（网页）
精选
66AI 编辑部评分，满分 100

空货架还是丢钥匙？Google 研究：Recall 是参数化事实性的瓶颈

2026-08-13 01:57· 11分钟前
AI 导读

Google Research 提出知识画像框架，发现前沿 LLM（如 Gemini3、GPT-5）的事实编码接近饱和，但回忆（recall）能力不足，多数事实错误源于“丢钥匙”而非“空货架”。该框架将事实分为编码失败、回忆失败等五类画像，并配套推出 WikiProfile 基准，含 2,150 条维基百科事实，每条配 10 个问题，用于分别探测编码、回忆与识别能力。

推荐理由

知识画像把事实错误拆成编码失败与召回失败，显示前沿模型问题主要在已存知识不稳定调用，思考更多恢复已编码事实而非补全缺失，为优化侧重提供判断依据。

正文 · AI 翻译

当大语言模型把事实弄错时，问题究竟在于它们从未学过这些事实，还是它们无法回忆起已经编码的信息？我们的知识画像框架揭示了后者：前沿大语言模型几乎编码了所有事实，但其中许多事实却难以被回忆起来。

快速链接

  • 论文

  • WikiProfile

    • 复制链接 ×

事实准确性对于让大语言模型（LLM）变得可靠至关重要。当一个模型错误回答一个事实性问题时，是因为该事实从未被编码，还是因为该事实已被编码但无法访问？标准准确率指标将这两种情况混为一谈，尽管它们暗示着截然不同的局限性和截然不同的干预手段。编码失败需要扩大模型规模或扩展数据覆盖范围，而回忆失败则可能指向有助于大语言模型更好地利用其已编码内容的后期训练和推理阶段方法。

在《空书架还是丢钥匙？回忆是参数化事实准确性的瓶颈》一文中，我们引入了知识画像——一种同时衡量编码和回忆的行为框架，并用它来审视前沿大语言模型（如Gemini 3和GPT-5）中事实准确性的潜在瓶颈。随后我们证明，前沿大语言模型中的许多事实错误更适合被理解为“丢钥匙”（回忆失败），而非“空书架”（编码失败）。

打个比方，我们用“编码”来表示事实的参数化表征，“回忆”表示在没有外部线索的情况下检索已编码事实，“识别”表示在备选答案中辨别出正确事实。为支撑这一分析，我们推出了WikiProfile——一个包含2，150条源自维基百科事实的基准测试，每条事实配有十个问题，分别探测编码、回忆和识别能力。

核心思路：知识画像

知识画像（Knowledge profiling）将分析单元从单个问题转向事实本身。我们不再追问模型是否答对了某个具体问题，而是提出一个更宏观的问题：这个事实处于什么状态？我们将每个事实归入五种知识画像之一：（1）编码失败、（2）回忆失败、（3）直接回忆、（4）思考后回忆，以及（5）无编码推理。相比仅看问题层面的正确率，这些画像能提供更具信息量的诊断。

该分类基于事实是否被编码以及其可访问程度：无法回忆、可直接回忆，或仅能通过思考回忆（即在给出最终答案前引出中间计算过程，包括思维链提示和面向思考优化的大语言模型）。

Image 2: Diagram illustrating five knowledge retrieval states in language models, ranging from encoding failure to direct recall.

五种刻画事实特征的知识画像。

我们用三个行为学概念来具体落实这一框架：

  • 编码：如果模型能在类似预训练的场景中正确复现某个事实，则说明该事实已被编码。在我们的设置中，我们通过命题补全和情境化提问来衡量这一点，这两种方式将模型置于与该事实在预训练中自然出现时相似的语境中（不透露答案），从而引导模型暴露出该事实是否已被编码。
  • 知识：如果模型能够回答关于某个事实的不同措辞下的语义等价问题，包括正向提问和反向提问（例如，若 A 是 B，正向提问问“B 是什么？”，反向提问则问“A 是什么？”），则说明模型知道该事实。
  • 回忆：如果模型知道一个已编码的事实，则说明它能回忆该事实。如果它在不思考的情况下就能回忆出来，我们称之为直接回忆。如果它知道一个未被编码的事实，我们称之为无编码推理。这种情况只在启用思考时才会出现，此时模型依赖其他已编码的事实，进行多跳推理或有根据的猜测。

Image 3: Diagram operationalizing factual knowledge in LLMs. It defines encoding as reproducing a fact in a pre-training context and knowing as correctly answering direct or reverse questions about it.

顶部：我们从维基百科（预训练数据的主要来源）中提取事实。左侧：我们通过提示大语言模型在其原始上下文中复现事实来衡量编码能力。右侧：我们通过以不同措辞和关系方向提问（包括有思考和无思考两种模式）来衡量知识水平。

介绍 WikiProfile

为了实现知识画像的落地，我们构建了 WikiProfile——一个旨在衡量自然出现事实的事实性基准。WikiProfile 采用全自动流水线构建，由带思考能力的提示词大语言模型 Gemini-2.5-Pro 驱动。提示词是在一个较小的留出子集上通过人工优化开发出来的。我们从维基百科页面中提取候选事实，识别方式如下：事实即一个涉及有序实体对（主语和宾语）的命题，且主语在文档中先出现。每个事实配 10 项任务：两项用于编码评估，四项用于知识评估，另有四个多项选择变体用于识别测试。

我们通过生成、精炼和过滤的三步流程来生成正向和反向问题，确保每个问题都无歧义、具体、简洁且具有唯一答案。所有问题都经过基于搜索引擎的过滤。凡是返回多个答案或需要澄清的情况，我们一律剔除。经过这一自动化过滤和最终的人工验证步骤后，该基准共包含 2，150 个事实。

Image 4: Flowchart detailing the WikiProfile pipeline for converting Wikipedia documents into validated multiple-choice questions.

基于提示词大语言模型的完全自动化流水线。左侧（紫色）：事实提取与命题补全任务的构建。中间（红色和蓝色）：通过生成、精炼和过滤构建正向与反向问题。右侧（绿色）：基于正向/反向问题对创建其余问题（自然措辞版、上下文版和多项选择版）。

我们如何评估大语言模型

我们评估了 13 个大语言模型。每个模型都在有思考和无思考两种模式下进行评估。对于每个模型、每个事实和每项任务，我们采样 8 个回答。回答由提示词大语言模型自动评分器进行自动评分（更多细节见论文），共产生约 450 万条回答。

主要结论：瓶颈在于回忆能力，而非编码能力

在前沿大语言模型（Gemini-2.5-Pro、Gemini-3-Pro 和 Flash、GPT-5）中，事实编码已接近饱和，但召回能力尚未饱和。对于 Gemini-3-Pro 和 GPT-5，95–98% 的事实已被编码，但这些模型仍无法直接召回 26–34% 的事实。即使在思考模式下，它们仍会在 11–12% 的事实上失败。这意味着在前沿模型中，事实性错误越来越多地并非源于知识缺失，而是源于知识已被存储却无法可靠访问。换言之，瓶颈正在从知识获取转向知识利用。

规模扩展进一步印证了这一图景。在 Gemma 3 系列中，更大的模型编码失败显著减少，但召回失败仍然大量存在，并在剩余错误中占据更大比例。规模扩展对模型存储能力的提升大于对其访问能力的提升。

Image 5: Stacked bar chart showing the distribution of five knowledge retrieval states across various language models

五种画像在 13 个大语言模型中的分布（百分比）。黑色线条标记潜在知识。如图所示，编码失败随规模扩大而急剧减少，而召回失败即使在前沿模型中依然存在。

为什么召回会失败？

我们的结果表明，召回与事实被学习时的条件紧密相关。当查询与训练时该事实出现的上下文、措辞或顺序有所偏离时，召回就变得更加困难。我们重点指出两种系统性出现这种情况的情形。

罕见事实已被编码，但难以召回

已有研究表明，大语言模型在处理长尾（罕见）事实时存在困难，通常将其归因于模型容量问题。我们的结果提供了一个互补的视角。当比较低流行度与高流行度事实时，我们发现罕见事实的编码率与热门事实接近。编码差距相对较小；然而，召回差距更大。这重新定义了长尾问题：许多罕见事实并非不存在于模型参数中。它们确实存在，但难以访问。瓶颈已从知识获取转向知识利用。

Image 6: Bar charts showing that language models encode and recall high popularity facts better than low popularity facts.

我们比较了两个流行度层级（底部 20% 与顶部 20%）在编码率和直接回忆率上的差异。Δ 表示两个层级之间的差距。如图所示，编码方面的差距较小，但回忆方面的差距较大。所有大语言模型的完整结果请参见我们的论文。

反向问题可验证，但难以回忆

我们还重新审视了“逆转诅咒”现象：当大语言模型知道“A 是 B”时，却无法回答“B 是什么？”。乍一看，这可能表明大语言模型缺乏双向知识。但我们的结果对这一观点提出了修正。在开放式生成（即回忆）中，反向问题始终比直接问题更难。然而，在多项选择验证（即识别）中，反向问题并不比直接问题更难，而且往往更容易。这种分离现象很重要。如果一个模型能够在干扰项中识别出正确答案，却无法在反向查询中生成该答案，那么问题就不仅仅是双向知识的缺失。相反，事实似乎已被编码，甚至可以被识别，但当查询方向与训练时事实的呈现方向不同时，就难以回忆出来。逆转诅咒是一个回忆问题。

Image 7: Bar charts comparing language model performance on direct versus reverse fact retrieval in verify and generate tasks.

我们比较了直接问题和反向问题在两项任务上的表现：验证（多项选择）和生成（闭卷）。Δ 表示直接设置与反向设置之间的差距。大语言模型在验证中能有效处理反向问题，但在生成中却表现困难。

思考作为一种恢复机制

我们现在转向这样一个问题：是什么使得原本无法获取的知识得以恢复？为此，我们考察了思考发挥这一作用的潜力。思考恰恰在直接回忆最薄弱的地方对回忆的提升最为显著。这种提升在稀有事实和反向问题上尤为突出，同时缩小了流行度差距和方向性差距。

Image 8: Bar charts showing how a thinking step improves recall across fact popularities and question directions for various models.

我们考察了思考对回忆（即回忆已编码事实）的影响。左图：我们比较了两个事实流行度层级（底部 20% 与顶部 20%）。右图：我们比较了直接问题和反向问题。流行度差距或方向性差距分别用 Δ（无思考）和 ΔT（有思考）表示。

如图所示，思考缩小了这些差距（ΔT < Δ）。

更具体地说，在推理优化模型中，推理大约能恢复 40–65% 已编码但无法直接得知的事实。相比之下，对于未编码的事实，推理的帮助要小得多。这一模式表明，推理主要起到一种促进回忆的机制作用：它帮助模型访问已经编码的事实，而非主要通过复杂的多步推理来推导答案。话虽如此，推理并非没有代价。它带来计算成本，而且目前尚不清楚如何准确判断模型何时应该调用推理。

Image 9: Line chart indicating facts are significantly more likely to be retrieved with thinking if already encoded in the model.

我们报告了在启用推理后，原本未知事实变为已知的百分比，并按该事实是否已编码（红色）或未编码（黄色）进行区分。在推理优化的大语言模型中，推理能恢复 40–65% 的已编码事实，但只能恢复 5–15% 的未编码事实。

要点总结

知识画像使我们能够精确诊断大语言模型中的事实性行为。将这一方法应用于维基百科事实后，我们的结果表明，我们看待前沿大语言模型事实性错误的方式应当发生转变。如果编码已接近饱和，那么事实性的进一步提升可能不再主要来自规模扩展（无论是模型规模还是数据规模）。通过证明推理可以恢复相当大比例的已编码但无法直接得知的事实，未来事实性的改进可能不仅来自更好的知识获取，也来自对模型中已编码知识的更好利用。

  • 标签：
  • 生成式 AI
  • 自然语言处理
Google推理论文/研究

来源：Google Research：Blog（网页） · research.google

导出 Markdown
返回
精选AI 评分 66/100打开原文
导出 Markdown

空货架还是丢钥匙？Google 研究：Recall 是参数化事实性的瓶颈

Google Research：Blog（网页）·2026-08-13 01:57·11分钟前
AI 导读

Google Research 提出知识画像框架，发现前沿 LLM（如 Gemini3、GPT-5）的事实编码接近饱和，但回忆（recall）能力不足，多数事实错误源于“丢钥匙”而非“空货架”。该框架将事实分为编码失败、回忆失败等五类画像，并配套推出 WikiProfile 基准，含 2,150 条维基百科事实，每条配 10 个问题，用于分别探测编码、回忆与识别能力。

正文 · AI 翻译

当大语言模型把事实弄错时，问题究竟在于它们从未学过这些事实，还是它们无法回忆起已经编码的信息？我们的知识画像框架揭示了后者：前沿大语言模型几乎编码了所有事实，但其中许多事实却难以被回忆起来。

快速链接

  • 论文

  • WikiProfile

    • 复制链接 ×

事实准确性对于让大语言模型（LLM）变得可靠至关重要。当一个模型错误回答一个事实性问题时，是因为该事实从未被编码，还是因为该事实已被编码但无法访问？标准准确率指标将这两种情况混为一谈，尽管它们暗示着截然不同的局限性和截然不同的干预手段。编码失败需要扩大模型规模或扩展数据覆盖范围，而回忆失败则可能指向有助于大语言模型更好地利用其已编码内容的后期训练和推理阶段方法。

在《空书架还是丢钥匙？回忆是参数化事实准确性的瓶颈》一文中，我们引入了知识画像——一种同时衡量编码和回忆的行为框架，并用它来审视前沿大语言模型（如Gemini 3和GPT-5）中事实准确性的潜在瓶颈。随后我们证明，前沿大语言模型中的许多事实错误更适合被理解为“丢钥匙”（回忆失败），而非“空书架”（编码失败）。

打个比方，我们用“编码”来表示事实的参数化表征，“回忆”表示在没有外部线索的情况下检索已编码事实，“识别”表示在备选答案中辨别出正确事实。为支撑这一分析，我们推出了WikiProfile——一个包含2，150条源自维基百科事实的基准测试，每条事实配有十个问题，分别探测编码、回忆和识别能力。

核心思路：知识画像

知识画像（Knowledge profiling）将分析单元从单个问题转向事实本身。我们不再追问模型是否答对了某个具体问题，而是提出一个更宏观的问题：这个事实处于什么状态？我们将每个事实归入五种知识画像之一：（1）编码失败、（2）回忆失败、（3）直接回忆、（4）思考后回忆，以及（5）无编码推理。相比仅看问题层面的正确率，这些画像能提供更具信息量的诊断。

该分类基于事实是否被编码以及其可访问程度：无法回忆、可直接回忆，或仅能通过思考回忆（即在给出最终答案前引出中间计算过程，包括思维链提示和面向思考优化的大语言模型）。

Image 2: Diagram illustrating five knowledge retrieval states in language models, ranging from encoding failure to direct recall.

五种刻画事实特征的知识画像。

我们用三个行为学概念来具体落实这一框架：

  • 编码：如果模型能在类似预训练的场景中正确复现某个事实，则说明该事实已被编码。在我们的设置中，我们通过命题补全和情境化提问来衡量这一点，这两种方式将模型置于与该事实在预训练中自然出现时相似的语境中（不透露答案），从而引导模型暴露出该事实是否已被编码。
  • 知识：如果模型能够回答关于某个事实的不同措辞下的语义等价问题，包括正向提问和反向提问（例如，若 A 是 B，正向提问问“B 是什么？”，反向提问则问“A 是什么？”），则说明模型知道该事实。
  • 回忆：如果模型知道一个已编码的事实，则说明它能回忆该事实。如果它在不思考的情况下就能回忆出来，我们称之为直接回忆。如果它知道一个未被编码的事实，我们称之为无编码推理。这种情况只在启用思考时才会出现，此时模型依赖其他已编码的事实，进行多跳推理或有根据的猜测。

Image 3: Diagram operationalizing factual knowledge in LLMs. It defines encoding as reproducing a fact in a pre-training context and knowing as correctly answering direct or reverse questions about it.

顶部：我们从维基百科（预训练数据的主要来源）中提取事实。左侧：我们通过提示大语言模型在其原始上下文中复现事实来衡量编码能力。右侧：我们通过以不同措辞和关系方向提问（包括有思考和无思考两种模式）来衡量知识水平。

介绍 WikiProfile

为了实现知识画像的落地，我们构建了 WikiProfile——一个旨在衡量自然出现事实的事实性基准。WikiProfile 采用全自动流水线构建，由带思考能力的提示词大语言模型 Gemini-2.5-Pro 驱动。提示词是在一个较小的留出子集上通过人工优化开发出来的。我们从维基百科页面中提取候选事实，识别方式如下：事实即一个涉及有序实体对（主语和宾语）的命题，且主语在文档中先出现。每个事实配 10 项任务：两项用于编码评估，四项用于知识评估，另有四个多项选择变体用于识别测试。

我们通过生成、精炼和过滤的三步流程来生成正向和反向问题，确保每个问题都无歧义、具体、简洁且具有唯一答案。所有问题都经过基于搜索引擎的过滤。凡是返回多个答案或需要澄清的情况，我们一律剔除。经过这一自动化过滤和最终的人工验证步骤后，该基准共包含 2，150 个事实。

Image 4: Flowchart detailing the WikiProfile pipeline for converting Wikipedia documents into validated multiple-choice questions.

基于提示词大语言模型的完全自动化流水线。左侧（紫色）：事实提取与命题补全任务的构建。中间（红色和蓝色）：通过生成、精炼和过滤构建正向与反向问题。右侧（绿色）：基于正向/反向问题对创建其余问题（自然措辞版、上下文版和多项选择版）。

我们如何评估大语言模型

我们评估了 13 个大语言模型。每个模型都在有思考和无思考两种模式下进行评估。对于每个模型、每个事实和每项任务，我们采样 8 个回答。回答由提示词大语言模型自动评分器进行自动评分（更多细节见论文），共产生约 450 万条回答。

主要结论：瓶颈在于回忆能力，而非编码能力

在前沿大语言模型（Gemini-2.5-Pro、Gemini-3-Pro 和 Flash、GPT-5）中，事实编码已接近饱和，但召回能力尚未饱和。对于 Gemini-3-Pro 和 GPT-5，95–98% 的事实已被编码，但这些模型仍无法直接召回 26–34% 的事实。即使在思考模式下，它们仍会在 11–12% 的事实上失败。这意味着在前沿模型中，事实性错误越来越多地并非源于知识缺失，而是源于知识已被存储却无法可靠访问。换言之，瓶颈正在从知识获取转向知识利用。

规模扩展进一步印证了这一图景。在 Gemma 3 系列中，更大的模型编码失败显著减少，但召回失败仍然大量存在，并在剩余错误中占据更大比例。规模扩展对模型存储能力的提升大于对其访问能力的提升。

Image 5: Stacked bar chart showing the distribution of five knowledge retrieval states across various language models

五种画像在 13 个大语言模型中的分布（百分比）。黑色线条标记潜在知识。如图所示，编码失败随规模扩大而急剧减少，而召回失败即使在前沿模型中依然存在。

为什么召回会失败？

我们的结果表明，召回与事实被学习时的条件紧密相关。当查询与训练时该事实出现的上下文、措辞或顺序有所偏离时，召回就变得更加困难。我们重点指出两种系统性出现这种情况的情形。

罕见事实已被编码，但难以召回

已有研究表明，大语言模型在处理长尾（罕见）事实时存在困难，通常将其归因于模型容量问题。我们的结果提供了一个互补的视角。当比较低流行度与高流行度事实时，我们发现罕见事实的编码率与热门事实接近。编码差距相对较小；然而，召回差距更大。这重新定义了长尾问题：许多罕见事实并非不存在于模型参数中。它们确实存在，但难以访问。瓶颈已从知识获取转向知识利用。

Image 6: Bar charts showing that language models encode and recall high popularity facts better than low popularity facts.

我们比较了两个流行度层级（底部 20% 与顶部 20%）在编码率和直接回忆率上的差异。Δ 表示两个层级之间的差距。如图所示，编码方面的差距较小，但回忆方面的差距较大。所有大语言模型的完整结果请参见我们的论文。

反向问题可验证，但难以回忆

我们还重新审视了“逆转诅咒”现象：当大语言模型知道“A 是 B”时，却无法回答“B 是什么？”。乍一看，这可能表明大语言模型缺乏双向知识。但我们的结果对这一观点提出了修正。在开放式生成（即回忆）中，反向问题始终比直接问题更难。然而，在多项选择验证（即识别）中，反向问题并不比直接问题更难，而且往往更容易。这种分离现象很重要。如果一个模型能够在干扰项中识别出正确答案，却无法在反向查询中生成该答案，那么问题就不仅仅是双向知识的缺失。相反，事实似乎已被编码，甚至可以被识别，但当查询方向与训练时事实的呈现方向不同时，就难以回忆出来。逆转诅咒是一个回忆问题。

Image 7: Bar charts comparing language model performance on direct versus reverse fact retrieval in verify and generate tasks.

我们比较了直接问题和反向问题在两项任务上的表现：验证（多项选择）和生成（闭卷）。Δ 表示直接设置与反向设置之间的差距。大语言模型在验证中能有效处理反向问题，但在生成中却表现困难。

思考作为一种恢复机制

我们现在转向这样一个问题：是什么使得原本无法获取的知识得以恢复？为此，我们考察了思考发挥这一作用的潜力。思考恰恰在直接回忆最薄弱的地方对回忆的提升最为显著。这种提升在稀有事实和反向问题上尤为突出，同时缩小了流行度差距和方向性差距。

Image 8: Bar charts showing how a thinking step improves recall across fact popularities and question directions for various models.

我们考察了思考对回忆（即回忆已编码事实）的影响。左图：我们比较了两个事实流行度层级（底部 20% 与顶部 20%）。右图：我们比较了直接问题和反向问题。流行度差距或方向性差距分别用 Δ（无思考）和 ΔT（有思考）表示。

如图所示，思考缩小了这些差距（ΔT < Δ）。

更具体地说，在推理优化模型中，推理大约能恢复 40–65% 已编码但无法直接得知的事实。相比之下，对于未编码的事实，推理的帮助要小得多。这一模式表明，推理主要起到一种促进回忆的机制作用：它帮助模型访问已经编码的事实，而非主要通过复杂的多步推理来推导答案。话虽如此，推理并非没有代价。它带来计算成本，而且目前尚不清楚如何准确判断模型何时应该调用推理。

Image 9: Line chart indicating facts are significantly more likely to be retrieved with thinking if already encoded in the model.

我们报告了在启用推理后，原本未知事实变为已知的百分比，并按该事实是否已编码（红色）或未编码（黄色）进行区分。在推理优化的大语言模型中，推理能恢复 40–65% 的已编码事实，但只能恢复 5–15% 的未编码事实。

要点总结

知识画像使我们能够精确诊断大语言模型中的事实性行为。将这一方法应用于维基百科事实后，我们的结果表明，我们看待前沿大语言模型事实性错误的方式应当发生转变。如果编码已接近饱和，那么事实性的进一步提升可能不再主要来自规模扩展（无论是模型规模还是数据规模）。通过证明推理可以恢复相当大比例的已编码但无法直接得知的事实，未来事实性的改进可能不仅来自更好的知识获取，也来自对模型中已编码知识的更好利用。

  • 标签：
  • 生成式 AI
  • 自然语言处理

来源：Google Research：Blog（网页）· research.google