Transformer Circuits 线程 可言语化的表征构成语言模型中的全局工作空间 可言语化的表征构成语言模型中的全局工作空间

引言 方法 全局工作空间结构支持功能对齐 审计助手的视角 反事实反思 训练 讨论

作者 Wes Gurnee*、Nicholas Sofroniew*、Adam Pearce、Mateusz Piotrowski、Isaac Kauvar、Runjin Chen、Anna Soligo、Paul Bogdan、Euan Ong、Rowan Wang、Ben Thompson、David Abrahams、Subhash Kantamneni、Emmanuel Ameisen、Joshua Batson Jack Lindsey*†

所属机构 Anthropic

发布日期 2026年7月6日

• 核心贡献者；† 通讯邮箱：jacklindsey@anthropic.com

引言

如果心灵是一片海洋，我们终其一生都浮在海面。在我们之下，巨量的处理过程在不知不觉中进行：我们的视觉系统解析着脸庞的轮廓，我们的运动回路维持着身体的姿态。在任意给定时刻，只有这神经活动中极小的一部分对我们而言是可通达的。然而，正是这一小部分特权的活动，支撑着我们进行深思熟虑的推理：比如计划做一道菜需要买哪些食材，或者琢磨一台引擎为什么无法启动。这样的想法可以大声说出来，可以有意识地保持在脑海中，并应用于当下时局所要求的任何任务。这种可通达的思想与无意识处理之间的区分，或许是人类认知最引人注目的特征。

在本文中，我们呈现证据表明，现代AI模型中也出现了类似的功能区分。具体而言，我们观察到，语言模型维持着一组特权的内部表征，这些表征可供报告、调节以及灵活的内部推理使用，而它们的基础则是体量更大的自动处理过程。我们利用一种新的可解释性技术识别出了这些表征，该技术能够揭示模型在其处理过程中的任意时刻准备言语化的概念。测量并干预这些表征，为我们提供了一个窥探模型思维过程的窗口，能够揭示那些并未出现在其输出中的内部推理与反应。

动机：意识通达与全局工作空间

上述现象有时被称为“通达意识”：在大脑处理的所有内容中，只有一部分是可意识通达的，也就是说，这部分内容可以被用于推理，也可以直接控制行动和言语。需要注意的是，通达意识并

一个纯粹功能性的概念；它与主观体验（有时称为现象意识）之间的关系存在广泛争议。在本文中，我们对此问题不持立场，而是聚焦于可意识访问的信息所发挥的功能性作用。这类信息与其他信息在表征或处理方式上有何不同？哪些心智能力依赖它，哪些不依赖？通常认为，有若干功能性特征可以将可意识访问的信息与无意识处理区分开来。这类信息通常是可以报告出来的，即按请求能用语言表达；事实上，言语报告一直是有意识访问的主要经验性标志之一。它受自上而下控制的支配：一个概念可以被刻意唤起、保持在头脑中，然后被排除。它是审慎推理的媒介：即费力的、逐步地将一个想法与下一个想法链式连接。它允许灵活的泛化：相同的内容可以被路由到当前任务所需的任何操作，并与其他可访问内容以新颖的方式重新组合。而且它具有选择性：在任何时刻，大脑正在进行的处理中只有很小一部分能以这种方式被访问，而感知、运动和语言计算的大部分过程都是自动进行的，没有意识访问的参与。神经科学中一个具有影响力的理论——全局工作空间理论——将这些功能性特征归结于大脑的架构和计算特性。根据这一理论，大脑由许多专门化的处理器组成，这些处理器大部分以并行和隔离的方式运行，其活动发生在意识访问之外。当一个表征被发布到一个共享的“全局工作空间”后，它便成为可意识访问的，许多下游进程都可以从该空间读取。根据该理论，工作空间是一个处理和广播信息的中心枢纽，使信息能够用于灵活的内部推理和报告。值得注意的是，该工作空间被认为容量有限，因此进入是竞争性的，并受注意调制，且任何时刻工作空间的内容都只是大脑正在进行活动中的一小部分。虽然全局工作空间模型并未被普遍接受，且存在其他以不同方式解释意识访问的理论（？？），但我们认为它是一个有用的比较点，用以指导我们在语言模型中的研究。一个全局工作空间

ce 在语言模型中现代大型语言模型（LLM）已知会执行复杂的多步内部计算以选择其动作。作为其内部处理的一部分，LLM 是否可能发展出了自己的全局工作空间，以发挥类似于有意识访问的功能角色？这一点并不显而易见；在大脑中，工作空间与递归动力学和脑区交互密切相关，而这些在 LLM 所基于的 Transformer 架构中没有直接对应。另一方面，维持一个全局工作空间在计算上很可能是有用的：一种共同的表示格式允许中间结果被写入一次，并被多个神经过程读取。一个需要链式推理步骤、在任意上下文中应用通用操作，以及回答关于自身处理过程的问题的语言模型，也能从这种组织中获益。即使实现方式不同，我们自然会问：与全局工作空间相关的功能特性是否已经在 LLM 中涌现？LLM 拥有全局工作空间意味着什么？LLM 将内部状态表示为高维向量，这些向量由特定概念的更原始向量表示组成。这些表示编码了多种信息，从低层的簿记信息——当前单词的词性、一行文本的字符长度——到更高层的抽象，如实体（例如金门大桥）、心理状态（例如绝望）和情境知识（例如意识到自己正处于评估之中）。如果语言模型拥有类似全局工作空间的东西，我们可能会假设其中一些表示属于它，但并非全部。于是，我们的问题变成：在 LLM 的向量表示库中，是否存在一个特权子集，其计算角色类似于全局工作空间？如果一组向量表示满足以下特性——这些特性对应上述有意识访问的典型特征——我们就将其定义为类似工作空间的子集：言语报告。当模型被问及它在想什么时，它会命名工作空间中表示的概念。将一个活跃的工作空间向量替换为另一个，其回答也会相应改变。定向调控。当被指示在脑海中保持某个概念或进行心算时，模型能够激活工作空间中的向量并对其进行计算。

工作空间向量，独立于其输出。此外，当任务需要时，通常不在工作空间中表示的信息可以被拉入其中。内部推理。当模型链式推理步骤或编排计划时，工作空间向量可用于表示中间计算的值，并且对这些向量进行干预足以改变结论。灵活泛化。同一表示可作为多种不同下游计算的有效参数。换句话说，从一个上下文提取并放入另一个上下文的工作空间向量，会被新上下文提供的任何函数正确地操作。选择性。工作空间包含模型激活中总表示内容的一小部分子集。它仅对模型的一小部分行为是必需的，尤其不涉及文本解析或语法流畅性这类普遍、例行的处理。在本文中，我们提供了证据表明大语言模型确实拥有此类工作空间表示。我们通过搜索满足第一个属性（即具有可口头表达性）的表示来识别它们。然后我们发现，令人惊讶的是，它们也满足其他属性。这些表示由一小部分不断变化的不说出口的单词组成，既不是输入的纯粹回声，也不是下一个模型 token 的预测，它们命名了模型当前正在推理的概念。下面，我们提供一些我们为证明这些属性而进行的实验的示意性说明，这些实验将在后续章节中详细阐述。图1：全局工作空间的五个功能属性，以及我们用于在语言模型中测试这些属性的实验的示意性说明。雅可比透镜与 J-空间。我们的结果利用了一种称为雅可比透镜（J-lens）的新可解释性技术，该技术旨在识别易于用于口头报告的内部表示。对于模型词汇表中的每个模型 token，雅可比透镜识别出一个向量表示，该向量编码了模型未来口头表达该模型 token 的潜力。具体来说，对于每一层，它会计算一个激活对模型产生特定模型 token（现在或将来）可能性的平均线性化影响，该影响是在大量上下文语料库上平均得到的（详见方法部分）。平均步骤是关键，因为它区分了那些具有可口头表达性的表示——即那些准备被谈论的表示，

当场合出现时——从那些仅仅恰好在一个特定语境中被言语化的场合中区分出来。J-lens 可以被理解为 logit lens 的一种原则性改进。logit lens 假设表征在所有层中使用相同的坐标，而 Jacobian lens 则校正了跨层发生的表征变化，从而使其能够在 logit lens 产生不可解读读出结果的较早层中揭示有意义的信息。整体而言，J-lens 向量构成了模型表征空间的一个子组件，我们将其称为 J-space。从数学角度看，如果我们把模型的激活视为分解为一组稀疏激活的线性特征之和，那么这些特征定义了一个跨越激活空间的稀疏框架，而 J-space 是该稀疏框架的一个稀疏子框架。关于 J-space 的更详细形式化描述见??。我们发现 J-space 的作用远不止支持言语化，它还扮演了与全局工作空间相关的其他功能角色：定向调节、内部推理、灵活泛化和选择性（??）。模型在 J-space 被抑制的情况下仍能流畅地说话、解析其输入并进行大量自动推理；然而，它在执行更复杂形式的内部推理时会遇到困难。J-space 也具有全局工作空间的一些结构特征（??）。它仅在一部分层中扮演“工作空间样”的角色：连贯的内容仅在初始若干层之后才出现，而抽象概念在最后几层中让位于与即将到来的输出更直接相关的表征。在其起作用的层内，它的容量有限，模型的大多数表征特征位于其外部。而且它在机制上具有特权：J-lens 向量与模型权重（上游和下游）的组合比其他表征向量更广泛，这与其作为许多……的广播格式的提议角色一致。