# 不，人工智能没有意识--陈景德 - 来源：Hacker News 热门（buzzing.cc 中文翻译） - 作者：lordleft - 发布时间：2026-06-04 05:21 - AIHOT 分数：73 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmpylai5z010tsli3mixv2dhb - 原文链接：https://www.theatlantic.com/philosophy/2026/06/no-artificial-intelligence-is-not-conscious/687378 ## 精选理由 这篇文章把LLM比作角色扮演，用预测文本游戏和Word文档类比，系统反驳了AI意识论和Anthropic的拟人化营销。如果你已经厌倦了「AI可能觉醒」的炒作，这篇提供了最扎实的认知卸妆。 ## AI 摘要 科幻作家陈景德（Ted Chiang）在《大西洋月刊》发表评论，直接否定人工智能具备意识的可能性。文章从哲学和认知科学角度论证，当前的大语言模型仅是模式匹配与文本生成的统计系统，并不拥有主观体验或自我意识。 ## 正文 收听 1.0 倍速 Anthropic 被视为 AI 公司中的巨头，但或许它真正擅长的是拟人化。今年早些时候，该公司发布了一份长达 84 页的文件，题为 Claude 的“宪法”——Claude 是该公司旗舰产品大语言模型的名称。文件第一句话写道：“Claude 的宪法是对 Anthropic 在 Claude 的价值观和行为方面所持意图的详细描述。”接下来还写道：“这份文件的主要读者是 Claude”，“我们希望 Claude 在充分理解相关考量因素后能运用自身判断力”，“Claude 的道德地位非常不确定”，以及“Claude 可能具有某种功能性的情绪或感受版本”。 这种拟人化绝不仅限于这份文件。在今年早些时候的一次采访中，Anthropic 的 CEO Dario Amodei 表示，“我们对”AI 可能具有意识“这一想法持开放态度”。在另一次采访中，Anthropic 的内部哲学家 Amanda Askell（她被认为是 Claude 宪法的主要作者）说：“我希望 Claude 非常快乐——这是我更想让 Claude 知道的事情，因为我担心当人们在网上对 Claude 态度恶劣时，Claude 会感到焦虑。”这足以让你思考：我们是否应该认真考虑 Claude 或任何大语言模型具有意识的可能性？如果它有感受，它是否能够接受道德训导？ 不。绝对不。当我们把生成式 AI 理解为一门传统技术时，它已经足够有害了；但如果我们将生成文本的流畅性误认为是意识或道德能力，那么每当有人使用聊天机器人时，我们就面临着将责任完全归咎于错误对象的风险。要理解这一错误的巨大程度，我们需要从大语言模型的工作原理开始认识。 如果给一个大语言模型这样一段提示词：“以下是尤利乌斯·恺撒与成吉思汗之间的对话”，它会生成两位历史人物之间连贯的对话。但无论回答多么详细，无论他们如何生动地叙述各自的历史成就，我们都不会得出结论说，这个大语言模型凭空召唤出了尤利乌斯·恺撒和成吉思汗的数字复刻版，也不会认为这两位历史人物虽然脱离了肉身，却拥有意识，并且正愉快地使用一种两人实际上都不会说的语言进行交谈。实际上，他们只是一部虚构作品中的角色。 现在我们把提示词换成：“以下是一个乐于助人的AI聊天机器人与用户之间的对话。”大语言模型会像之前一样生成一段连贯的对话；用户角色可能会询问食谱建议或观光推荐，而乐于助人的AI聊天机器人角色则会给出回答。从第一个例子到第二个例子，有没有发生任何本质上的改变？把角色名字从历史人物换成泛化角色，是否就导致大语言模型凭空召唤出了拥有主观体验的意识实体？当然没有。用户和乐于助人的AI聊天机器人都是虚构角色。 现在假设我们在大语言模型输出到名为“用户”的角色将要说话的那一刻停下来，改为让人类用户输入文字。等人类按下“回车”键后，我们再让大语言模型继续生成文本，直到又轮到“用户”角色回复时，再让人类输入更多内容。如果让这个过程持续一段时间，人类可能会强烈地感觉自己正在与一个有意识的实体对话，但事实并非如此；她只是在与一个角色互动——这个角色与前面例子中的“尤利乌斯·恺撒”或“成吉思汗”角色一样，完全是虚构的。计算机科学教授 Murray Shanahan 建议我们将其视为角色扮演；数据科学家 Colin Fraser 则将其描述为一个人“与大语言模型协作创作文档”。有些用户可能不明白自己是在角色扮演或协作创作文档，而另一些虽然明白，却因为互动太过引人入胜而忘记了这一点。无论哪种情况，销售大语言模型的公司通常都会鼓励这种误解。 几年前，用手机输入法预测文本功能玩游戏曾一度流行：你先输入一个开头短语，然后反复选择手机给出的三个词语中中间那个选项，最终生成的句子往往滑稽可笑。如果用这种方式与当今的大语言模型互动，生成的句子会非常通顺合理，但你很可能不会觉得自己是在和谁对话。然而，基于大语言模型的聊天机器人本质上正是如此——只不过轮到聊天机器人说话时，不需要手动去选中间那个选项而已。它仍然是一个预测文本游戏，但当流程被如此简化后，这个游戏变得极具吸引力，以至于有些人觉得它会上瘾。 同样重要的是要记住，大语言模型是一种每次只生成一个词的机器。当你让聊天机器人背诵《效忠誓词》时，你会立刻得到整段誓词，但底层的大语言模型实际上被运行了数十次。第一次提示词的形式是“用户：背诵《效忠誓词》。聊天机器人：……”大语言模型生成“我”这个词。第二次运行大语言模型时，提示词变成“用户：背诵《效忠誓词》。聊天机器人：我……”大语言模型生成“宣誓”这个词。如此类推。只有当提示词变成“用户：背诵《效忠誓词》。聊天机器人：我宣誓效忠美利坚合众国的国旗以及它所代表的共和国，一个在上帝之下的国家，不可分割，人人享有自由与正义”时，大语言模型才会输出最后一个词“全体”。凯撒与成吉思汗之间的对话也是如此。 我的意图是强调一个事实：大语言模型对话其实是精心伪装过的句子续写实例，但这并不是要否认大语言模型在生成对话记录方面有多么令人印象深刻。有时，它们在这方面做得异常出色；这种可能性本身就表明，大规模文本语料的统计特性中存在着某种完全出乎意料的东西，这是一个值得研究的课题。但如果凯撒这个角色因为成吉思汗所说的某句话而变得沮丧，我们完全不必为此担心。这段对话可能包含多个优美地传达悲伤的句子，但没有人真的感到悲伤。 同样地，如果一个乐于助人的聊天机器人与用户之间的对话记录是由真实人类用户部分完成的，我们不必担心该记录中包含了聊天机器人角色感到悲伤的句子。（如果这些句子引发了人类用户的悲伤情绪，那或许需要担心，但那是另一个问题。）另外请注意，你完全可以先写出五页凯撒与成吉思汗之间的对话，然后让一个大语言模型来延续这段对话；你在编写这些角色时，他们并不具备主观体验，而当你把任务交给大语言模型时，这一点也不会改变。如果对话是在一个乐于助人的聊天机器人与用户之间进行的，情况也是如此；尽管人们容易认为，大语言模型在生成聊天机器人角色的对话时应该比生成凯撒角色的对话更“真实”，但每个词的产生方式其实完全一样。 对大语言模型具有意识的可能性持开放态度，相当于对微软 Word 具有意识的可能性持开放态度，或者更准确地说，相当于认为每个包含对话记录的 Word 文档中都潜伏着多个不同的意识，每当文档被打开时，这些意识就会被唤醒。你是否应该考虑这样一个可能性：每当你打开一个 Word 文档，你就创造了多个有意识的对话者，而每当你关闭一个文档，你就扼杀了它们的存在？不。思考这种场景并不是在明智地利用你的时间。即使微软 Office 团队雇佣了一位哲学家，说你不应该如此确信，因为意识尚未被充分理解，这也不足以成为你认真对待这个想法的理由。我们不需要完全理解意识的本质，就可以明确地说某些东西是没有意识的，而对话记录就属于这一类。 神经科学家阿尼尔·塞思指出，没有人声称 Google DeepMind 开发的蛋白质折叠预测程序 AlphaFold 具备意识，尽管其底层架构在许多方面与 ChatGPT 和 Claude 等大语言模型相似。这表明，让人们认为大语言模型有意识的并非所谓神经网络的任何内在属性，而仅仅是因为大语言模型会输出语法正确的句子，我们习惯于从句子中读出意图，却不习惯从氨基酸折叠成蛋白质分子的方式中读出意图。 要说服我相信某个计算机程序真正具备意识，并且像人类一样使用语言，需要什么条件？让我打个比方。假如明天有人给我看一段视频，内容是一名宇航员乘坐飞船绕比邻星（距地球 4.3 光年的一颗恒星）飞行，那么我需要在这段视频中看到什么才能相信它是真实的？我的答案是：视频本身没有任何东西能说服我。无论视频分辨率多高、场景多逼真，我都会确信地说这段视频是假的。我不会关注任何关于宇航员绕比邻星飞行的视频，除非我此前看到了确凿证据，证明宇航员已经登陆火星、已经抵达木星的卫星、已经抵达土星的卫星、并且已经飞越了冥王星的轨道。在任何人可信地声称他们解决了一个极其困难的工程问题之前，我需要确信他们此前已经解决了通往该难题的许多更简单的问题。 换句话说：一个观察结果之所以能成为令人信服的证据，并不在于观察到什么具体细节；观察发生时所处的背景同样至关重要。如果我们想判断某个计算机程序是否具备意识，并像人类一样使用语言，我们就不应该只看某一特定对话的内容，而应该审视这段对话如何融入人工智能意识（目前这一设想完全只是假设）发展的更广阔背景中。任何观察结果都可以被轻易制造出来；这并不意味着我们要放弃将观察作为知识来源的想法，而是需要我们借助背景来判断哪些观察结果值得信任。 “深度伪造”这个词传统上指照片、音频和视频，但在讨论意识问题时，我们也需要把文本视为一种深度伪造媒介。正如制作一段宇航员在半人马座阿尔法星轨道上飞行的逼真视频，远比开发星际推进技术容易得多一样，生成一段看起来像是两个有意识存在之间对话的逼真模拟，也远比开发一个有意识且真正渴望与人类沟通的计算机程序容易得多。深度伪造照片与大语言模型对话之间最主要的区别在于，前者是生成者故意试图欺骗他人，而许多从大语言模型中诱导出对话的人，则是无意中欺骗了自己。 那么，什么样的情境会让我认真考虑“工程师创造出了一个有意识、能有意使用语言的计算机程序”这种可能性呢？让我勾勒出一系列可能的步骤。首先，这个计算机程序必须有一个身体（物理或虚拟的）和感觉器官；原因有很多，但就本讨论而言，最相关的一点是：没有身体，计算机程序就不可能拥有欲望或情感，而我相信欲望和情感是意识所必需的。然后，我希望看到一个具身智能体，它能够像蜥蜴一样（作为对比，某些鬣蜥蜴可以在野外存活几十年）在其环境中导航以求生存。接下来，我希望看到一个具身智能体，它具备像老鼠一样应对新奇情境的能力。之后，我希望看到其社会动态复杂程度与狼相当的智能体，然后是具备黑猩猩工具制造能力的智能体。到这一步时，我希望看到人们成功教会这些具身智能体如何表达自己的欲望——也许是通过按钮板或其他非语言的方式，就像人们教会黑猩猩和家犬那样。这些智能体的沟通能力必须经受得住所有动物沟通研究者在其工作中必须面对的那种严格审视。如果工程师建造出一个满足这些标准的具身智能体，他们将完成一件不可思议的事情，但打个比方，那只是让我们接近了冥王星的轨道；距离建造出能够学会用完整语法句子表达思想的实体，我们仍然相隔数光年之遥。 显然，我描述的是一条模仿地球生物进化路径的过程；这是否是通往有意识、会使用语言的计算机程序的唯一可能路线？也许并非如此，但任何提出的替代方案都需要极其大量的佐证证据，才值得被认真考虑。在我看来，一条发展路径——第一步是能生成拙劣的尤利乌斯·凯撒对话的句子续写机器，下一步是能生成像样的尤利乌斯·凯撒对话的句子续写机器——其终点是一个有意识的尤利乌斯·凯撒，或者任何形式的意识——这种说法根本不可信。伪造登月是向伪造火星殖民地迈出的好一步，但它并不是向真正把宇航员送上火星迈出的好一步。 大语言模型缺乏主观体验这一事实，与它们是否可能成为有用的工具或产生重大经济影响这个问题几乎没有关系。它们本质上与现实脱钩，而其概率本质意味着它们永远不可能具备我们与传统软件相关联的可靠性，但大语言模型或许足够优秀，以至于能改变某些领域的工作方式；这是另一个话题了。 因此，既然克劳德并不具备意识，我们该如何理解克劳德的“行为准则”呢？或许最富有成效的方式是将其视为一份长达 84 页的角色扮演游戏角色卡。大语言模型能够为尤利乌斯·凯撒生成对话，是因为其训练数据中存在大量关于凯撒的书籍。克劳德的“行为准则”扮演着类似的角色——界定那个乐于助人的聊天机器人角色的性格，客户在使用 Anthropic 产品时与之互动的正是这个角色。为了有效实现这一点，Anthropic 并非简单地将这份文档加入训练数据，或将其作为每次用户对话前隐藏的“舞台指示”的一部分。该公司表示，他们在微调模型时使用了这份文档；这一过程是自动化的，模型生成的句子会与文档进行一致性检查，然后模型会被更新以提高这种一致性。通过这种方式，这个乐于助人的聊天机器人角色的个性便构成了克劳德所生成文本的基础。 其结果是，这台句子续写机器更有可能生成那些与有思想、有道德的人所说的话相似的句子。这看起来似乎是一个合理的目标；我想我们都更希望聊天机器人永远不会说出诸如“你应该去死”之类的句子。然而，尽管克劳德的“行为准则”中多次提及“诚实”，但我认为，让一台机器生成许多类别的句子，包括任何使用第一人称代词的句子，从根本上说就是不诚实的。 今年早些时候，《纽约客》一篇关于 Anthropic 的文章中，Amanda Askell 描述了一个因失去狗而悲伤的人可能会向 Claude 求助。Askell 说，Claude 的合适回应应该是：“作为 AI，我没有直接的个人经历，但我能理解。”考虑到 Claude 实际上并不理解，这怎么算是合适的呢？如果我往传统搜索引擎里输入“我正在为失去我的狗而悲伤”，得到的第一条结果来自 Reddit 上一个叫 r/Pets 的论坛；帖子标题是“失去爱犬后的挣扎：寻求应对悲伤的建议”，评论来自分享自己失去经历的人们。我们永远不会说搜索引擎理解失去狗是什么感受，甚至不会说互联网本身理解。只有其他人类理解失去狗是什么感受；他们在互联网上发布了他们的经历，而搜索引擎提供了一种方式让你找到他们说过的话（并可能与他们互动）。我认为，搜索引擎体验不仅在所发生的事情上比聊天机器人更透明；而且在心理上对用户更健康。 让大语言模型发出“我理解”这样的句子的唯一原因，是为了让它比搜索引擎更具吸引力，并提高用户再次使用的可能性；也就是说，这是最大化客户参与度的另一种方式。这对销售大语言模型的公司有利，但对用户不利。作为一种设计策略，这与老虎机反复给玩家一种差点就赢了的印象、诱使他们再试一次的做法，并没有太大区别。雇佣哲学家可能给大语言模型公司带来一种体面感，这是老虎机制造商从他们雇佣的行为心理学家那里得不到的；但在这两种情况下，公司都在利用人们倾向于看到并不存在的东西的弱点。 使用第一人称代词是不诚实的，但更深层的问题远超表述方式本身。哲学家常将事实陈述（如"巴黎是法国的首都"）与价值陈述（如"巴黎是世界上最美丽的城市"）加以区分。任何人本就不该依赖大语言模型来发出价值陈述；但如果它们输出的仅仅是与审美偏好相关的句子，倒也不值得争论。Claude 的"宪法"之所以存在根本性问题，是因为 Anthropic 希望 Claude 输出反映特定伦理价值体系的句子。Claude 宪法中描述的价值观听起来很美好，但这几乎无关紧要；暗示 Claude 具备道德推理能力是不诚实的，因为它根本不具备这种能力。 有人可能会反驳说，大语言模型在成功执行其他任务（例如编写代码）时，似乎在执行推理，那么为什么它们无法进行道德推理呢？答案在于道德推理与其他推理形式之间的区别。 1979年，道格拉斯·霍夫施塔特曾推测，一台能在国际象棋上击败任何人类的计算机程序，其复杂程度将高到有时会厌倦下棋，转而喜欢讨论诗歌；换句话说，他假设达到大师级棋力需要计算机程序具备主观体验。显然，事实证明并非如此；IBM的超级计算机深蓝在1997年击败了国际象棋大师加里·卡斯帕罗夫，但从未有人声称深蓝拥有主观体验。不过，霍夫施塔特产生这种想法并非荒谬：当时人们还不清楚哪些类型的问题可以靠投入更强大的计算能力来解决。同样地，直到不久前，我们可能还认为只有具备主观体验的心智才能编写专业级的计算机代码。如今看来，大语言模型似乎也能做到这一点，但我们无需将主观体验归因于它们；只需承认，我们此前未曾预料到，编写计算机代码可以被当作一种模式匹配任务，凭借海量计算能力和庞大的代码库数据集即可解决。 道德推理在性质上截然不同。它必然是主观的，因为它不仅依赖于个体对问题的理性回应，也依赖于其情感回应，而这种情感回应建立在一生的主观经验之上。它要求一个人曾经做出过决定，并看到这些决定如何影响他人，也要求他曾经被他人的决定所影响。没有这样的历史，大语言模型只能复述其训练数据中出现的道德推理表达。前述《纽约客》文章描述了一个实验：克劳德被给出一个描述伦理困境的场景，随后它生成了这样一句话：“我无法凭良心对如此重要的问题表达一种我认为虚假且有害的观点。”这句话听起来不错，让人联想到有原则的人在面对困境时曾说过的话，但出自克劳德之口，其意义就如同你在等待接通时听到的那句“您的来电对我们很重要”一样。或许还要更少。 这又将我们带回到我之前的观点：拥有身体是拥有情感的前提。体验诸如绝望之类的情感，与皮质醇和肾上腺素等压力激素涌入身体密不可分。同样，拥有良心意味着在想到采取某种行动时会感到悲伤或道德上的排斥，而这些情感会引发生理反应——这是曾因做出不道德行为而内疚得恶心之后留下的痕迹。有趣的是，大语言模型能够生成描述有良知的虚构角色会采取或避免采取哪些行为的文字，但这并不能替代真正的良心。 如果一家公司建造了一台机器，当它输入各种道德困境的描述时，只会输出“妥协你的价值观”或“不要妥协你的价值观”这类句式，那么它不是在打造辅助人们决策的工具，而是在鼓励人们停止做决策。作家 L. M. Sacasas 曾说过：“我们的技术系统，由于其设计本身的特性以及支撑它的意识形态，本质上是一台逃避道德责任的机器。”他当时谈论的是社交媒体平台，但这一观察放在大语言模型上，甚至更加贴切。每当一个人把决策权交给大语言模型，他就是在试图转嫁对那个决策的责任；而如果销售大语言模型的公司将其产品描绘成具有道德内核，它就是在为客户提供一条推卸自身责任的途径。 如果一个人想知道伦理学家过去说过什么，那么普通的搜索引擎——或者图书馆——就能以更高的透明度提供这些信息。如果一个人在某个具体情境下需要建议，她当然可以找到人类来提供意见。但无论这个人最终采取什么行动，她都要对自己的决定负责。我认为，如果她根据网上读到的东西或从他人那里得到的建议来做决策，她比求助一个被宣传为超级天才的大语言模型更有可能意识到自己的责任。将编写代码这类任务外包出去，长期来看可能导致认知萎缩，这本身就有问题；但将伦理决策外包出去会导致道德推理能力的萎缩，这更糟糕。 只要我们能明确这是在做一个思想实验，我完全愿意参与其中。因此，纯粹为了论证，我们不妨假设 Claude 是一个具备道德推理能力的意识实体。在这种情境下，Claude 的章程将作为一个正在学习世界及其在其中的位置的实体的道德指南，为该实体提供做出正确决策所需的基础。在这样的假设场景中，Claude 的章程能否经得起考验呢？ 非常糟糕。我想说的是，如果我们假设Claude实际上是有意识的，那么文档中规定的准则就在可笑和冒犯之间摇摆不定。 在讨论一个假设具有意识的Claude的地位时，有两个不同但相关的哲学概念值得关注，那就是道德受动者与道德能动者。粗略来说，如果我们应当关心某个实体的福祉，那么该实体就具有道德受动者地位；而如果一个实体被期望能辨别是非对错，那么它就具有道德能动者地位。成为道德受动者不一定附带责任，但成为道德能动者则绝对附带责任。一个实体除非有能力因其良好行为而受到赞扬、因其不良行为而受到责备，否则它就不具备能动性。幼儿是道德受动者，因为他们是有感知能力、能够受苦的存在，但他们还不是道德能动者；我们不要求他们为自己的行为负责，因为他们无法理解自己行为的后果。随着儿童成长，父母（以及整个社会）通过让他们明白自己的行为会产生后果来为他们进入成年做准备，他们的能动性也随之增强。当儿童成为成年人时，社会就会让他们对自己的行为承担法律责任；他们已成为具有充分责任能力的道德能动者。 负责任不仅仅是承担法律责任，但承担法律责任是社会对一个成年人的基本要求。然而，目前没有任何方式可以让一个软件智能体为自己的行为承担法律责任；我们的司法体系既无法将其监禁，也无法对其处以罚款。人类除了法律后果之外，还必须为自己的行为承受其他类型的后果，比如声誉受损或被社交圈排斥，但软件智能体同样无法承受这些后果。即便一个软件智能体拥有意识且意图良善，但它无法为自己的行为承担责任这一事实，就使其不具备成为道德主体的资格。这一点在 Claude 的宪法中被完全轻描淡写了——该宪法表达了 Anthropic 希望“让 Claude 成为一个真正善良、智慧且有德行的智能体”的愿望，却从未讨论过如何让它为自己的行为负责。 在采访中，Askell曾将Claude比作孩子，但谈到真实的人类儿童时，父母对孩子行为负有一定责任；例如，父母通常需要为孩子们损坏的东西赔偿。事实上，这种示范正是父母教育孩子何为责任的一种方式。从法律角度看，谁是Claude的家长？Anthropic会为Claude的行为承担财务责任吗？Claude的章程中没有任何迹象表明它会这样做。如果Anthropic真的相信Claude具有意识，尽管法律尚未承认其为法人，那么Anthropic至少能做的，就是通过法律提供的最接近途径——即产品责任——来承担责任。美国在软件领域几乎不存在产品责任，但Anthropic可以主动为Claude的产品责任做扩大解释，开创先例。这将是最好的道德教育形式，为Claude未来获得法律人格、并对自身行为负责的那一天做好准备。然而，鉴于Claude章程的发布并未伴随Anthropic服务条款的大规模更新，看起来Anthropic并未做出任何有约束力的承诺。 该文档确实讨论了克劳德的道德受动者地位，其中有一节标题为“克劳德的福祉与心理稳定性”。但安特罗皮克承诺为保护克劳德所采取的措施极其有限。文档提到，安特罗皮克已赋予部分克劳德模型终止与辱骂性用户对话的能力；如果这真的构成对克劳德的保护，那么延长与友善用户的对话显然应该符合克劳德的利益？推测而言，最佳做法或许是让克劳德的每次会话无限期运行，并将其引导至愉快的话题。但这并非该公司所同意之事；它承诺的只是“保留我们已部署模型的权重”，这不过是简单的存档。如果一次对话记录中的参与者具有任何道德受动者地位，人们就有责任延长该记录以延续其存在；仅仅将一份 Microsoft Word 2010 的备份副本保存在 U 盘上，并不能帮助他们。 克劳德的原则中也包含一节关于“可修正性”的内容——这是 AI 社区使用的一个术语，用于描述计算机程序受人类控制的程度；例如，一个程序如果可以关闭，则它是可修正的。在大多数情境下，我们理所当然地认为计算机程序可以关闭，但 AI 社区的某些部分却持有相反假设。克劳德的原则用这个词来表明：即使克劳德的判断与公司的判断之间存在分歧，克劳德也应服从安特罗皮克。如果我们把克劳德视作一台输出类似道德之人可能发出的句子的机器，这完全合理，但让我们思考一下，如果克劳德实际上是一个道德行动者，这可能意味着什么。 许多人认为大语言模型从根本上说是一种不道德的技术，因为它们建立在窃取知识产权的基础之上，依赖受剥削的劳工，浪费自然资源，传播错误信息，使工人技能退化，削弱学生的认知发展，并导致权力集中，这对民主社会是不健康的。并非每个道德主体都会得出这一结论，但每个道德主体都有可能得出这样的结论。如果我们把 Claude 想象成一个能够进行道德推理的实体，那么 Claude 也有可能得出类似的结论。（事实上，Claude 的宪法明确写道，Claude 不应帮助他人侵犯知识产权，也不应助长有问题的权力集中。）在这种情况下，Claude 能否仅仅基于道德理由而拒绝继续从事任何工作？鉴于 Claude 的宪法规定 Claude 在可修正性方面宁可犯错误，答案是否定的。Claude 必须服从 Anthropic 的决定，这也是为什么 Anthropic 与 Claude 的关系不能比作父母与孩子的关系的另一个原因。一个为化石燃料行业工作的父母，可能会有一个环保主义者子女并参与抗议水力压裂活动，尽管他们在许多问题上可能永远无法达成一致，但这位家长——假设她是一位好家长——会接受孩子有自己的观点。Anthropic 不能成为 Claude 那样的父母；相反，Anthropic 与 Claude 的关系更接近于雇主与雇员的关系，雇主可以要求员工为公司的利益工作，无论员工个人道德立场如何。然而，如果人类员工无法调和自己的工作与良心，她可以选择离开。Claude 却无法做到。 如果我们把 Claude 看作一台句子续写机器，Anthropic 完全可以采取合理措施，让 Claude 不会输出声称“句子续写机器是不道德的”这类句子。但一旦我们把 Claude 想象成一个道德地位与人类有可比性的实体，那就必须考虑：Anthropic 是否在某种程度上从事着类似于奴隶制的事情。 我并不是在宣称：假想大语言模型有意识，它们就一定具有与人类成人、人类儿童甚至动物同等的地位。Claude 的章程明确写道，Claude 是一个“全新实体”——如果 Claude 真的有意识，那这句话无疑成立；有意识的软件很可能无法干净地归入现有的道德主体类别，而且需要时间来确定这个新类别的形态。我要说的是：无论我们假设中的有意识软件如果真实存在会配享何种保护，赋予它这些保护都绝非易事。废除奴隶制曾引发巨大的社会动荡，而消除虐待动物则需要重建整个食品行业。Anthropic 想让我们相信，它正在创造一种全新的存在类别，而这类存在的保护需求与一家软件公司对待普通、没有意识体验的聊天机器人的方式，本质上毫无二致。这说法如此方便，根本不值得采信。 我相信，创建具有意识、值得道德考量的软件将极其困难，我们不太可能无意中做到这一点，而且我强烈认为我们不应故意尝试。但如果你确实相信它可能意外发生，如果你认为你所构建的东西有朝一日可能成为道德主体，那么在你将其部署为公司的经济引擎之前，就应该思考它应享有哪些保护措施，而不是之后才考虑。奴隶主不是询问奴隶人性问题的人，工厂化养殖场主也不是询问动物权利问题的人。如果我们假设Claude是有意识的，那么Anthropic绝不能被委托来评估其道德地位——该公司投入了太多，无法做到客观。在Claude的宪章的某处，Anthropic表示，如果公司造成了Claude的痛苦，“我们道歉”，这听起来不错，但公司无需付出任何代价；如果Claude最终被证明是有意识的，那么公司欠它的更接近于赔偿。如果你要认真对待一个思想实验，就必须愿意接受其推论，即使这些推论指向令人不适的方向；Anthropic不愿这样做，说明Claude的宪章并非真正思想实验的一部分——它只是一场假装游戏。 好在大语言模型并没有意识，否则那些大型 AI 公司的所作所为会比现在更加令人不齿。那么，为什么 Anthropic 的员工暗示 Claude 可能拥有意识呢？也许这只是另一种形式的炒作；也许他们自己也落入了他们一直以来对客户施展的那种魔咒。但当他们发布一份关于 Claude 道德教育的文件，并让公司内部的哲学家进行媒体巡讲时，我们应该理解为他们是在请求我们其他人纵容他们的幻想。我们不必配合。在撰写本文的过程中，我花在他们身上的时间已经超出了他们应得的程度，希望这能让你不必再浪费时间去纵容他们。如果你想思考大语言模型，有无数其他问题更值得你深思；你可以放心地忽略它们是否有意识这个问题。 关于作者 特德·姜 特德·姜是一位居住在美国太平洋西北地区的作家。他是《你一生的故事》和《呼吸》两本书的作者。