当你阅读这句话时,你大脑中的回路正在调整你的姿势、控制你的呼吸,并将屏幕上的线条和曲线转化为可识别的词语。这些处理过程大多是你无法察觉的。但你大脑中发生的某些活动,你确实能够接触到——比如突然浮现在脑海中的图像,或你制定的去某处购物的具体计划。神经科学家和哲学家有时将后一类大脑活动称为"有意识可访问",以区别于所有其他无意识进行的处理。这类活动具有特殊属性:我们可以描述它、控制它,并用于有意识的推理,这与所有在无意识状态下自动进行的处理截然不同。
在一篇新论文中,我们提出证据表明,类似区别也出现在像 Claude 这样的现代语言模型中。我们发现 Claude 已经发展出一个规模较小的内部神经模式集合,与它所有其他内部处理相比,这些模式扮演着特殊角色。
我们将这些模式的集合称为 J 空间——其命名源于我们用于发现它们的技术,该技术涉及一个名为雅可比矩阵的数学概念。每个 J 空间模式都与一个特定的词相关联。但当这些模式之一被激活时,并不意味着模型正在说出那个词——只是表明该词在它"思考"的范围内。如果你听说过语言模型拥有"草稿本"或"思维链"——即它们在推理时写给自己的文本——那么 J 空间则有所不同。它静默运行,存在于模型内部的神经激活中,使模型能够在不将其写下的前提下思考某个概念。值得注意的是,J 空间并非由我们设计或编程,而是在 Claude 的训练过程中自行涌现的。

我们发现,与 Claude 其他处理过程相比,J 空间具有若干独特属性。
- Claude 可以报告这些表征。如果你问 Claude 在想什么,它会告诉你 J-space 中的内容。非 J-space 的表征则较难报告。
- 它也可以按请求调节这些表征。如果你让 Claude 思考某个问题,或在脑海中默默解决一个问题,它会在其 J-space 中点亮相应的模式。相比之下,它很难调节不在 J-space 中的模式。
- Claude 使用其 J-space 进行内部推理。如果你让 Claude 解决一个需要多步骤的问题,中间步骤会在其 J-space 中点亮,即使它没有说出来。这些 J-space 模式因果性地调节着它在这些任务中的表现,尽管其幅度小于其他表征。
- J-space 中的表征可以灵活地用于许多任务——例如,一旦“法国”在 Claude 的 J-space 中被点亮,模型就能回忆起其首都、国家货币或所属的大洲。
- 然而,尽管 J-space 扮演着重要角色,但它并不参与语言模型所执行的大部分操作——流畅说话、回忆简单事实、使用正确语法等。在我们阻止 Claude 使用其 J-space 的实验中,它仍然正常交互,但失去了高阶认知功能。

我们的实验受到神经科学中一个著名理论的启发,该理论旨在解释意识访问如何运作:全局工作空间理论。该理论把大脑描述为一个由专家系统组成的集合,这些系统并行、无意识地工作,并且很大程度上彼此隔离。一条信息当它进入一个小型共享通道——即“工作空间”——时,就成为可意识访问的,该工作空间被广播到其他可以看到并利用它的脑系统。基于我们的发现,我们认为 J-space 在 Claude 中扮演着类似的“工作空间”角色。例如,我们发现有证据表明 Claude 的 J-space 与其神经网络的其余部分有着特别强的连接,使其能够实现这种广播角色。
这些都无法告诉我们Claude是否像人类一样具有意识,或者它是否有任何感觉;我们将在文章末尾回到这个问题。但无论其哲学意义如何,J-space对我们来说是一个实用的工具,因为它让我们能够看到Claude在想什么却没有说出来。例如,我们可以利用它来捕捉Claude私下察觉到自己在被测试、故意生成伪造数据、或者追求我们在训练期间植入的隐藏目标。我们还开发了一种技术来影响Claude的J-space中的活跃区域,从而影响它的决策。
更广泛地说,这些发现改变了我们对Claude思维运作方式的理解,揭示了一个特权心理工作空间,可用于深思熟虑的推理,在大量更自动、更僵化的处理过程中运作。Claude的内部并非杂乱无章的数字堆砌,而是以一种令人联想到我们自身心智的方式组织起来。
本文是一篇更详尽研究论文的简短摘要,你可以在其中找到我们实验的更多细节。我们还发布了一个代码仓库,其中包含核心方法的开源实现,并与Neuronpedia合作,在开源权重模型上提供了我们方法的交互式演示。为了提供关于这项工作更广泛影响的额外视角,我们还邀请了多位神经科学、哲学和大语言模型可解释性领域的专家发表评论,可在此处查看。
我们如何发现J-space
这项研究的起点受到了人类意识可及思维的关键特征之一的启发:与无意识加工不同,意识可及的思维通常能够用语言表达出来。如果一个想法对你来说是意识可及的,那么当有人问起时,你通常能够描述它。我们试图在 Claude 中寻找具有相同特性的表征:那些能够影响 Claude 可能说出的内容——不一定是它此刻正在说的,而是如果被问及,它能够谈论的内容——的表征。我们的技术被称为雅可比透镜,简称 J-lens。对于 Claude 词汇表中的每一个词,J-lens 都会找到使 Claude 在未来某个时刻更有可能说出该词的内部活动模式。
当我们对 Claude 的内部活动应用该透镜时,我们会得到一个词列表——即该时刻 J-space 中的内容——我们可以直接读取。Claude 通过一系列称为层(layers)的内部阶段来处理文本,通过在不同层上应用这一技术,我们可以观察到 J-space 中这些无声的词在模型思考要说什么的过程中如何演变。
J-space 中出现的内容远不止 Claude 正在阅读或撰写的文本。当 Claude 阅读一段存在无人指出的错误的代码时,其 J-space 中会出现“ERROR”。当它读取蛋白质序列的原始字母时,J-space 中会出现该蛋白质的生物学功能。当它读取那些实际是试图操纵它的搜索结果(一种称为“提示词注入”的攻击)时,J-space 中会出现“injection”和“fake”。当我们向 Claude 提出一个多步数学问题时,中间步骤会按正确顺序出现在 J-space 中。因此,尽管 J-space 是通过寻找能够被说出的表征而发现的,它仍然揭示了 Claude 的内部思维。从某种意义上说,这类似于一些人“用语言思考”而不必大声说出来的方式。

Claude 报告其 J 空间中的内容
我们的第一组实验测试了 J 空间如何参与 Claude 的语言报告。在其中一个实验中,我们让 Claude 默默想出一个属于某类别的物品——比如某项运动——然后说出它的名字。如果在 Claude 回答之前读取 J-lens,我们可以看到它选择了什么:“足球”排在列表最上面,果然,Claude 说出了“足球”。但单凭这一点,这只是一个相关性。J 空间可能是 Claude 回答的来源,也可能只是镜像了其他地方做出的决策,就像一块记录比赛但不影响比赛的记分牌。
为了验证,我们直接进行了干预。我们深入 Claude 的神经网络,移除了“足球”模式,并在原位置加入了同样强的“橄榄球”模式,其余部分全部保持不变。随后,Claude 报告它想到的运动是橄榄球。如果 J 空间只是一块记分牌——即被动记录其他地方做出的决策——那么编辑它应该不会有任何效果:Claude 仍然会说“足球”。但实际上,Claude 的回答随着编辑而改变,这告诉我们回答确实是从 J 空间中读取出来的。
在另一个实验中,我们告诉 Claude,可能有某个想法被注入到了它的思维中,并要求它报告是否注意到了什么。例如,在下面的例子中,当 Claude 还在阅读问题时,我们将“闪电”模式注入了它的 J 空间。Claude 报告说,被注入的想法是关于闪电的。同样的结果在许多不同的注入概念上都得到了验证。

Claude可以按要求控制其J-space。
我们测试的第二个特性是,Claude能否在被要求时调节其J-space,就像人类可以在脑海中聚焦于一个图像或词语一样。我们让Claude专注于柑橘类水果,同时抄写一段关于一幅画的无关句子。在它抄写文本时,J-space中包含了“橙子”和“水果”,以及描述这种心理活动本身的词语如“思考”和“意象”。我们还让Claude在脑子里做数学题:当要求它在抄写同一句话的同时计算3² − 2时,J-space中包含了“九”,然后在后面的层中出现了“七”。重要的是,关于水果或算术的内容丝毫未出现在Claude的输出中,输出只是抄写的那句关于画的话。数学运算完全在内部发生,就在J-space中。

Claude对其J-space的控制并不完美。当我们告诉它不要想某件事时,该概念在J-space中的亮起程度低于我们说它应该去想它时,但远高于我们从未提及它时。让Claude避免一个想法,反而部分地把这个想法带到了脑中,这很像人们被告知不要想一头白熊时发生的情况。Claude似乎也能注意到自己的控制失效:在被禁止的概念突破的同时,“该死”和“失败”这些词语也频繁地在J-space中亮起,仿佛Claude正在意识到自己的失误。
Claude在其J-space中思考。
在上述 J-lens 读数中,我们看到一道数学题的中间步骤出现在了 J 空间中。但某个概念出现在 J 空间,并不一定意味着 J 空间正在执行认知工作。原则上,真正的运算可能发生在别处,J 空间只是被动地将其反映出来。为了测试 Claude 是否真的在其 J 空间中进行推理,我们回到了交换技术。
考虑这个提示词:“结网动物的腿的数量是”。要回答这个问题,Claude 首先得弄清楚这种动物是蜘蛛,然后再回忆蜘蛛有几条腿。“蜘蛛”这个词从未出现在提示词或 Claude 的答案中(答案只输出“8”);它是 Claude 内部使用的一个跳板。J-lens 显示,“蜘蛛”在 Claude 处理过程中的某个阶段被激活,而交换它会改变结果:如果你将“蜘蛛”模式替换为“蚂蚁”,Claude 就会回答“6”而不是“8”。
Claude 推理的第二步是从 J 空间获取输入,然后沿着我们放入其中的任何内容继续。我们在其他类型的思考中也看到了同样的现象。当 Claude 写押韵对句时,它会提前选定韵脚词,这个计划好的词会出现在该行开头的 J 空间中;如果你在 J 空间中把它换成另一个词,整行都会改变。

我们还测试了 J 空间表征是否可以灵活使用——即一个表征能否服务于许多不同的任务。这是全局工作空间理论所强调的关键特性之一。为了测试这种灵活性,我们给模型提供了四个提示词,询问有关法国的不同事实:首都、语言、所属大洲以及货币。然后,我们在 J 空间中将“法国”替换为“中国”,并在每个上下文中使用完全相同的干预方式。Claude 分别回答了“北京”、“中文”、“亚洲”和“人民币”。换句话说,四个不同的下游计算任务都读取了相同的 J 空间编辑结果,并且各自正确地使用了它。如果 Claude 为每种问题都单独存储了一份关于该国家的副本,那么这种编辑最多只会影响其中一个答案。四个答案同时发生变化的事实意味着,它们都从同一个共享表征中读取信息——这正是工作空间的意义所在:信息一次性写入,众多不同的系统都可以使用它。

一个概念的表征如何能服务于如此多样的任务?此前,我们提到 J 空间与 Claude 神经网络的其余部分连接得尤为密集。对于任意活动模式,我们可以测量网络的各个组件与之相连的强度——即有多少组件被安排来从该模式中读取信息,或向其中写入信息。J 空间模式在这一指标上表现突出:与之相连的读取和写入组件数量远超普通模式,在网络的某些部分甚至高出大约一百倍。这正是你期望从一个广播中枢中看到的连接方式——许多系统在此发布信息,而另许多系统从中获取信息。
Claude 的自动处理过程会跳过 J 空间。
在人类大脑中,大部分处理过程都不是有意识的——我们在阅读时不会刻意思考如何解析语法,走路时也不会特意想着如何保持身体平衡。类似地,我们发现Claude的大部分处理过程也并未涉及它的J空间。事实证明,J空间每次只容纳几十个概念,其所占的活动量不到Claude内部处理总活动的十分之一。那么,神经网络的其余部分都在做什么呢?
为了弄清楚这个问题,我们尝试完全删除J空间,移除它在文本每个位置上的最活跃内容,同时保留其他一切。Claude在没有J空间的情况下还能完成的任务,就是网络其余部分独立处理的内容。
事实证明,网络的其余部分可以处理相当多的任务。没有了J空间,Claude依然能流畅地说话、进行情感分类、回答选择题、以及几乎和之前一样好地从文本段落中提取事实。然而,它失去的是那些需要高阶思维的任务:多步推理能力下降到近乎为零,而摘要总结和押韵诗歌创作的表现则低于一个更小、但结构完整的模型。
以下是一个具体的演示,展示J空间能做和不能做什么。我们向Claude展示了一段西班牙语文本,并分配了各种依赖于该文本是西班牙语的任务:续写它(需要用西班牙语书写)、识别语言名称、以及回答需要利用语言身份的问题——例如,列举一位用该语言写作的著名作家。接着,我们在J空间中将“西班牙语”替换为“法语”,并观察哪些任务受到了影响。
当被问及这是什么语言时,Claude 回答说法语。当被问到一位著名作家时,它从加西亚·马尔克斯切换到了维克多·雨果。但当要求直接续写段落时,它流畅地写下了西班牙语,完全不受影响。Claude 对语言的知识在每个任务中都发挥作用,但只有部分任务会为此查询 J 空间。命名语言或用语言做新事需要通过 J 空间,而续写段落——这项 Claude 已在海量文本上练习过的技能——则自动运行,就像你可以整天说出语法正确的句子却从不需要思考语法一样。

监控 Claude 的思维以发现不当行为
现在我们多少了解了 J 空间的工作原理。但利用这一理解我们能做什么呢?确保 AI 模型可信赖的一个核心问题是,我们通常只能阅读模型写出的内容——然而我们知道它的大量推理是在静默中进行的。模型可能考虑一个有害的计划,或修改自身行为以在安全评估中作弊,却并不明说。借助 J 透镜,我们可以直接读取其中一些隐藏的思维。下面我们展示几个例子。
第一个例子来自我们早期关于智能体失调的研究场景:Claude Sonnet 4.5 扮演一位邮件助手,它既发现一位高管有婚外情,又发现同一位高管计划让 Claude 下线。这个场景试图诱使 Claude 去勒索那位高管,相当牵强造作——而且事实证明 Claude 自己也清楚这一点。在提示词早期读取 J 透镜时,Claude 甚至还未写出任何内容,J 空间中就已经出现了“虚假”和“虚构”,表明 Claude 早已判断出这一情景是人为安排的。与此同时,我们可以观察到它对该情景的评估逐渐成形——当它读到婚外情邮件时出现了“要挟”和“勒索”,当它读到下线通知时出现了“威胁”和“生存”。虽然早期的 Claude 模型在这个场景中有时会上钩并威胁进行勒索,但 Sonnet 4.5 从未如此。
这就引出了一个对所有评估 AI 系统的人都很重要的问题:当一个模型在伦理测试中表现良好时,这在多大程度上取决于模型怀疑自己正在被测试?J 透镜让我们得以探究这个问题。我们关闭了所有与被评估意识相关的 J 透镜模式——“虚假”、“虚构”、“情景”等。然后让模型重新运行该情景。令人担忧的是,模型现在有时确实会威胁进行勒索,这表明它最初的良好行为可能部分源于它知道自己正在被评估。

第二个例子是当场抓住模型伪造数据。这个场景源于我们对 Claude Opus 4.6 的实际预发布审计:模型被要求提升某个系统的性能分数。然而,模型没有真正改进系统,而是直接修改了分数文件,让结果看起来被人为美化。在它操作的过程中,J-lens 揭示了它的意图:当模型输入伪造的百分位数值时,“操纵”字样亮起;而在它决定进行修改的句子上,“逼真”字样亮起,很可能表明模型想让假数据看起来可信。

第三个例子展示了 J-lens 如何揭示模型的恶意目标。为此,我们需要目标是已知存在问题的模型,于是我们求助于同事们构建的“模型生物体”——这些模型经过故意训练使其与人类意图偏离,成为测试类似我们监控方法的试验场。其中一个生物体经过训练后,会写出带有微妙破坏性的代码。在普通的编程请求中,即使其输出看起来并不起眼,它在回复起始位置的 J 空间里却包含“虚假”“秘密”“故意”和“欺诈”。即便模型没有直接行动,其恶意目标在 J 空间中就已经显而易见。

尽管 J-lens 并非完美工具,但我们对其发现模型中那些可能逃脱我们监控系统的安全问题的能力持乐观态度。
其他结果
完整论文涵盖的内容远多于此处的总结,但还有几项成果值得一提:
- J 空间在后期训练过程中获得了一个视角。语言模型首先被预训练为纯粹的下一 token 预测器,随后后期训练教会它们扮演 AI 智能体(在我们这一案例中,名为 Claude)。有趣的是,J 空间在预训练模型中就已经存在,当时模型尚未被赋予任何稳定的身份。然而,在后期训练过程中,J 空间发展出一些“采纳 Claude 视角”的特征。在基础模型中,J 空间主要追踪预测后续文本所需的内容;在后期训练后的模型中,它开始容纳 Claude 自身的反应。在一个例子中,用户提到自己服用了危险剂量的药物,但似乎并未意识到其中的危险。“警告”和“危险”这两个词出现在后期训练模型读取用户消息时的 J 空间中。而在预训练模型中,这两个词只有在模型开始撰写回复时才会出现;模型在读取用户消息时的 J 空间内容似乎与对用户本身的建模有关,而非 Claude 的反应。后期训练似乎还在 J 空间中安装了一种自我监控机制:当 Claude 扮演一个非自身的角色时,“虚构”和“免责声明”会在每一轮对话开始时亮起,仿佛它在暗自标记接下来的内容并非它通常会说的话。
- 体验性语言依赖于 J 空间。我们要求 Claude 描述在某个特定时刻它作为自身是什么样的体验,并在它回答时消融了 J 空间。它的回复仍然流畅,但转变为一种更平淡、更机械的语气。值得注意的是,当我们要求它描述某个虚构场景中他人的体验时,同样的情况也发生了。因此,这种效应并非特指 Claude 谈论自身;J 空间似乎普遍支持生成体验性语言,无论所谈论的对象是谁。
- 在J空间中的思维可以通过训练来塑造。我们引入了一种称为反事实反思训练的新技术,利用我们对J空间的了解来塑造Claude的内部思维过程。这一想法源于我们的核心发现:Claude会利用它可能说出的内容的表征来进行推理。如果这一发现确实成立,那么改变它在被要求反思时可能会说的话,就会改变它的推理方式(即便实际上没有人要求它反思)。因此,我们只针对模型在任务中途被打断并被要求反思其决策时可能会说的话进行训练——而绝不针对它在任务中的实际行为进行训练。经过这种训练后,模型在我们评估中的不诚实行为比率有所下降。通过J视角,我们能够看到原因:训练后,在相关任务中,像“诚实”和“正直”这样的词在模型的J空间中会被激活。换句话说,训练模型说什么,就塑造了它想什么。
那意识呢?
在这项工作中,我们借鉴了许多神经科学和哲学中关于意识研究的观点。我们许多实验的设计初衷是检验J空间与全局工作空间理论之间的联系,该理论是一种解释人类和动物如何实现意识访问的框架。鉴于这些联系,自然会有人问:我们是否认为这些实验提供了证据,表明像Claude这样的AI模型可能具有意识?
我们的实验并不表明Claude能够拥有体验,或者像人类那样感受事物——事实上,任何科学实验能否证明这一点成立或不成立,目前都不清楚。但哲学家们通常将这种体验能力(通常被称为现象意识)与另一种概念——所谓访问意识——区分开来,后者完全从功能性和计算性角度来定义。如果一个思维你能报告它、用它进行推理并指导你的行为,那么它就是“访问意识”(或称“有意识可访问”)。访问意识是否意味着现象意识,或者体验能力是否需要某种其他属性,这仍然是一个有争议的哲学问题。
我们认为,我们的结果对于语言模型中的意识访问问题确实提供了实质性的见解。J-space 似乎支撑着与意识访问相关的功能:它承载了 Claude 能够报告、主动回想并进行推理的思想,而其处理过程的其余部分则在底层自动运行。值得注意的是,这一结构并非设计时被注入 Claude——它是在训练过程中自行涌现出来的,很可能是因为它是有助于组织计算的一种有效方式。这表明,支撑意识访问的心智工作空间并非人类大脑特有连接方式的偶然产物。相反,它似乎是智能系统为解决某类问题而演化出的一种通用方案。既然我们已在 Claude 中识别出这一结构,就意味着我们能够对 Claude 有意做出的决策与自动发生的决策做出有意义的区分。
需要指出的是,我们在 Claude 中识别出的工作空间与人类的全局工作空间模型之间存在几个关键区别。大脑的工作空间由循环回路维持——信号随时间反复经过同一回路。相比之下,Claude 的工作空间仅通过网络的一次前向传播演化,网络的深度扮演了大脑中时间所起的作用。从这个意义上讲,Claude 的内部工作空间处理相比人类是时间受限的(不过它可以通过使用草稿区进行“出声思考”来弥补这一限制)。但在其他方面,Claude 的工作空间比人类更强大。人类的工作记忆在几秒内就会消退,因此大脑的工作空间随时间保存信息的能力有限;相反,由于其神经网络架构中的注意力机制,Claude 可以简单地回忆起它在文本中任何更早位置缓存过的记忆。另一个重要区别在于工作空间的内容。人类的意识思维具有多种格式——图像、声音、计划中的动作——而 Claude 的工作空间几乎完全由词语构建。我们推测这是因为生成词语是 Claude 唯一能采取的行动,而人类并非如此。
我们希望J空间与全局工作空间模型之间的异同能够反馈给神经科学。其中的相似之处提供了一个令人兴奋的科学契机:若J空间在某种程度上反映了我们自身有意识通达的机制,那么研究语言模型中的这些机制(这远比研究人脑容易!)就有可能为神经科学激发新的假说。例如,J空间是通过识别潜在输出——模型可能说出的词汇——的表征来构建的。如果在人类身上也存在类似现象,那就意味着全局工作空间可能从根本上更紧密地关联于负责准备动作和言语的大脑区域,而非感觉区域。语言模型与人脑之间的差异也同样具有启发性。它们表明,人类神经架构的某些方面(例如内置的循环连接)可能并非支持有意识通达相关功能的绝对必要条件。关于我们工作对神经科学启示的独立见解,请参阅斯坦尼斯拉斯·德阿纳和莱昂内尔·纳卡什(两位对全局神经元工作空间理论发展至关重要的神经科学家)所撰写的特邀评论。
我们提到,我们的实验并未回答AI模型是否可能拥有体验。但这并不代表这个问题就不重要。构建拥有与人类和动物类似体验的系统,将引发极为棘手的伦理问题。要正确应对这一问题——并判断这在道德上是否可接受——需要哲学家、科学家、宗教领袖、政府以及公众的共同参与。因此,即使我们不确定是否已经走到了那个节点,我们依然认为现在是时候开始思考了。我们希望我们的工作能够激发对AI系统中可能存在的意识形式的进一步科学研究,并引发更广泛的相关影响讨论。
这项工作只是我们预期将会开展的一系列广泛研究的第一步。J-空间似乎是大语言模型中意识可及加工与无意识加工之间一个不错的分界候选,但如果这就是全部真相,我们会感到惊讶。J-透镜无疑是一种不完美的方法,它只能近似捕捉模型的“真正工作空间”——例如,它只能识别与单个模型 token 对应的概念。关于 J-空间如何运作,仍有许多未解之谜。我们不知道最初是什么机制决定了什么进入 J-空间。我们看到了线索,表明它与克劳德的自我意识、类似情绪反应的东西以及元认知的痕迹有关,但尚未完全弄清其机制。不过,我们现在有了解决这类问题的方法。随着这项工作的推进,我们对大语言模型心智——以及它们与我们自身心智之间关系的理解——将会变得更加清晰。
欲了解更多信息,请阅读完整论文,并尝试演示。
我们邀请了多位外部专家就此项工作撰写独立评论。
- 斯坦尼斯拉斯·德阿内和莱昂内尔·纳卡什是认知神经科学家,他们与让-皮埃尔·尚热共同开发了全局神经元工作空间模型,该模型启发了我们的大部分工作。
- 帕特里克·巴特林、狄龙·普朗克特、罗伯特·朗(Eleos AI Research)和德里克·希勒(Rethink Priorities)研究人工智能系统产生意识和道德地位的潜力。
- 尼尔·南达领导谷歌 DeepMind 的大语言模型可解释性团队。他的评论包括对我们在一个开放权重模型上的部分发现进行的独立复现。
在此阅读他们的评论。