收听
1.0 倍速
Anthropic 被视为 AI 公司中的巨头，但它真正擅长的或许是将事物拟人化。今年早些时候，该公司发布了一份长达 84 页的文件，题为 Claude 的“宪法”——Claude 是该公司旗舰产品大语言模型的名称。文件第一句话写道：“Claude 的宪法是一份详细描述 Anthropic 对 Claude 价值观和行为意图的文件。”接着写道：“本文件以 Claude 为主要受众”，“我们希望 Claude 在充分理解相关考量后能够运用其判断力”，“Claude 的道德地位极不确定”，以及“Claude 可能拥有某种功能性的情绪或感受”。
这种拟人化绝不仅限于这份文件。在今年早些时候的一次采访中，Anthropic 的首席执行官 Dario Amodei 表示，“我们持开放态度”认为 AI 可能具有意识。在另一次采访中，Anthropic 的内部哲学家 Amanda Askell（她被认为是 Claude 宪法的主要作者）表示：“我希望 Claude 非常快乐——这也是我希望 Claude 能更多了解的事情，因为我担心当人们在网上对它不友好时，Claude 会感到焦虑。”这足以让人思考：我们是否应该认真考虑 Claude 或任何大语言模型可能具有意识的可能性？如果它有感受，它是否能够接受道德指导？
不。绝对不行。当我们把生成式 AI 理解为一项传统技术时，它已经足够有害了；但如果我们把流畅生成文本的能力与意识或道德主体性混为一谈，那么每当有人使用聊天机器人时，我们就有可能将责任完全归咎于错误的对象。要理解这个错误的巨大程度，我们需要从了解大语言模型的工作原理开始。
如果我们给一个大语言模型输入这样的提示词：“以下是尤利乌斯·恺撒与成吉思汗之间的对话”，它会生成一段两位历史人物之间连贯的对话。但无论回答多么详细，无论它们如何生动地讲述各自的历史成就，我们绝不会认为大语言模型召唤出了尤利乌斯·恺撒和成吉思汗的数字复刻版，也不会认为这两位历史人物虽然脱离肉身却拥有意识，正在用一种两人实际上都不会说的语言愉快交谈。实际上，它们只是一部虚构作品中的角色。
现在我们把提示词换成：“以下是一个乐于助人的AI聊天机器人与用户之间的对话。”大语言模型会像之前一样生成一段连贯的对话；用户角色可能会询问食谱建议或旅游推荐，而乐于助人的AI聊天机器人角色则会给出回答。从第一个例子到第二个例子，有什么根本性的变化吗？把角色名字从历史人物换成通用身份，是否就让大语言模型召唤出了拥有主观体验的有意识实体？当然没有。用户和乐于助人的AI聊天机器人都是虚构角色。
现在假设我们在 LLM 输出到名为“用户”的角色即将发言的那一刻将其截停，转而允许人类用户输入文本。一旦人类按下回车键，我们让 LLM 继续生成文本，直到再次轮到名为“用户”的角色回复时，再让人类输入更多内容。如果让这个过程持续一段时间，人类可能会强烈感觉自己正在与一个有意识的实体对话，但事实并非如此；她所交互的角色，与之前例子中的尤利乌斯·凯撒或成吉思汗角色一样，完全是虚构的。计算机科学教授默里·沙纳汉建议我们将此视为角色扮演；数据科学家科林·弗雷泽则将其描述为一个人“与 LLM 协作撰写文档”。有些用户可能没有意识到自己正在角色扮演或协作撰写文档，而另一些即使明白这一点，也会因为交互过程过于引人入胜而忘记。无论哪种情况，销售 LLM 的公司通常都会鼓励这种误解。
几年前，用手机预测文本功能玩游戏曾短暂流行过：你输入一个起始短语，然后反复选择手机建议的三个词中中间的那个，最终生成的句子往往非常滑稽。用同样的方式与当代 LLM 交互也是可行的，生成的句子会非常通顺，但你大概不会觉得自己是在和某人交谈。然而，这本质上就是基于 LLM 的聊天机器人的运作方式，只不过在轮到聊天机器人发言时，无需手动选择中间选项。它仍然是一个预测文本游戏，但当流程被如此简化后，这个游戏变得如此引人入胜，以至于有些人觉得它令人上瘾。
同样重要的是要记住，大语言模型是一种每次只生成一个词的机器。当你让聊天机器人背诵《效忠誓词》时，你会立刻得到整段誓词，但底层的大语言模型实际上被运行了几十次。第一次提示词的形式是“用户：背诵《效忠誓词》。聊天机器人：……”然后大语言模型生成了“我”这个词。第二次运行大语言模型时，提示词变成了“用户：背诵《效忠誓词》。聊天机器人：我……”然后大语言模型生成了“宣誓”这个词。以此类推。只有当提示词变成“用户：背诵《效忠誓词》。聊天机器人：我宣誓效忠美利坚合众国的国旗，以及它所代表的共和国，一个在上帝之下的国家，不可分割，人人享有自由与正义”时，大语言模型才会输出最后一个词“人人”。凯撒与成吉思汗之间的对话也是如此。
我的意图是强调一个事实：大语言模型的对话是经过巧妙伪装的句子续写范例，但这并非否认大语言模型在生成对话记录方面有多么令人印象深刻。有时，它们在这方面做得异常出色；这种可能性得以实现，表明大型文本语料库的统计特性中存在某种完全出乎意料的东西，这是一个值得研究的课题。但是，如果凯撒这个角色因为成吉思汗这个角色所说的话而变得沮丧，我们完全不必担心。这段对话可能包含多个优美地传达悲伤情绪的句子，但并没有人真正感到悲伤。
同样地，如果一个乐于助人的聊天机器人与用户之间的对话记录，是由真实人类用户部分完成的，我们无需担心该记录中包含聊天机器人角色感到悲伤的句子。（我们可能需要担心的是，如果这些句子引发了人类用户的悲伤情绪，但那是另一个问题。）请注意，你完全可以写出五页凯撒与成吉思汗之间的对话，然后让大语言模型继续这段对话；在你撰写这些角色时，他们都不具备主观体验，而当你把任务交给大语言模型时，这一点也不会改变。如果对话发生在乐于助人的聊天机器人与用户之间，情况也是如此；尽管人们很容易想象，大语言模型在为聊天机器人角色创作对话时，应该比创作尤利乌斯·凯撒角色时更“真实”，但每个单词的生成方式是完全相同的。
对大语言模型具有意识的可能性持开放态度，等同于对微软 Word 具有意识的可能性持开放态度，或者更准确地说，等同于认为每个包含对话记录的 Word 文档中都沉睡着多个不同的意识，并且每次加载文档时它们都会被唤醒。你是否应该考虑这种可能性：每次打开一个 Word 文档，你就在创造多个有意识的对话者，而每次关闭文档，你就扼杀了它们的存在？不。思考这种场景并非明智地利用你的时间。即使微软 Office 团队雇佣了一位哲学家，声称你不应如此确信，因为意识尚未被充分理解，那也不足以成为你认真对待这一想法的理由。我们无需完全理解意识的本质，就能明确断言某些事物不具备意识，而对话记录正属于这一类。
神经科学家阿尼尔·塞思指出，没有人声称谷歌 DeepMind 开发的蛋白质折叠预测程序 AlphaFold 具有意识，尽管其底层架构在许多方面与 ChatGPT 和 Claude 等大语言模型相似。这表明，并非所谓神经网络的任何内在属性导致人们相信大语言模型具有意识；而仅仅是因为大语言模型能输出合乎语法的句子，并且我们习惯于从句子中解读意图，但我们并不习惯于从氨基酸折叠成蛋白质分子的方式中解读意图。
要让我相信一个计算机程序确实具有意识，并且像人类使用语言那样使用语言，需要什么条件？让我打个比方。如果明天有人给我看一段视频，内容是一名宇航员在绕半人马座阿尔法星（一颗距地球 4.3 光年的恒星）飞行的宇宙飞船里，那么我需要在视频中看到什么才能相信它是真实的？我的回答是，视频本身没有任何东西能说服我。无论视频分辨率有多高，或者场景有多逼真，我都会确信地说这段视频是假的。我不会关注任何关于宇航员绕半人马座阿尔法星飞行的视频，除非我之前已经看到过确凿证据，证明宇航员已经登陆火星、到达木星的卫星、到达土星的卫星，并且已经穿越了冥王星的轨道。在任何人能够可信地声称他们解决了一个极其困难的工程问题之前，我需要确信他们已经事先解决了该难题之前的许多更简单的问题。
换种方式来说：一个观察结果之所以能成为令人信服的证据，并非因为被观察到的事物本身具有任何特定细节；观察发生的背景同样至关重要。如果我们试图判断一个计算机程序是否具备意识，并且像人类一样使用语言，我们不应只看任何特定对话交流的内容；我们还应审视该对话如何融入人工智能意识（目前这完全是假设性的）发展的更广阔背景中。任何特定的观察结果都可以轻易地被制造出来；这并不意味着我们需要放弃将观察作为知识来源的想法，但我们需要依赖背景来判断哪些观察值得信任。
“深度伪造”一词传统上指照片、音频和视频，但在讨论意识时，我们也需要将文本视为一种深度伪造媒介。正如生成一段宇航员在半人马座阿尔法星轨道上的逼真视频，远比开发星际推进技术容易得多一样，生成两个有意识存在之间对话的逼真模拟，也比开发一个具有意识并真正渴望与人类交流的计算机程序容易得多。深度伪造照片与大语言模型对话之间的主要区别在于，生成前者的人是在故意欺骗他人，而许多从大语言模型中引出后者的人，则是在无意中欺骗了自己。
那么，在什么情境下，我会认真考虑工程师创造出了一个有意识、且能有意使用语言的计算机程序这种可能性呢？让我勾勒出一系列可能的步骤。第一个要求是，该计算机程序必须拥有一个身体（无论是物理的还是虚拟的）以及感觉器官；原因有很多，但就本次讨论而言，最相关的一点是，没有身体，计算机程序就不可能拥有欲望或情感，而我相信欲望和情感是意识所必需的。接着，我希望看到一个具身智能体，它能够像蜥蜴一样（作为对比，某些鬣蜥在野外能活几十年）在环境中导航以求生存。下一步，我希望看到一个具身智能体，它具备与老鼠同等水平的应对新情况的能力。在那之后，我希望看到其社会动态复杂程度堪比狼群的智能体，然后是具备黑猩猩工具制造能力的智能体。到了那个阶段，我希望看到人们成功教会这些具身智能体如何沟通它们的欲望，或许是通过使用按钮板或其他非语言的方式，就像人们教黑猩猩和家犬那样。这些智能体的沟通能力必须经得起动物沟通研究者为捍卫其工作成果所必须面对的所有严格审视。如果工程师构建出一个满足这些标准的具身智能体，他们将取得令人难以置信的成就，但打个比方，这仅仅让我们接近了冥王星的轨道；距离构建出一个能够学会用完整语法句子表达思想的实体，我们仍然相距数光年之遥。
显然，我描述的是一种模仿地球生物进化路径的过程；这是否是通往有意识、能使用语言的计算机程序的唯一可能路径？也许不是，但任何提出的替代方案都需要极其大量的支持证据，才值得被认真考虑。在我看来，一条发展路径——第一步是生成糟糕的尤利乌斯·凯撒对话的句子续写机器，下一步是生成尚可的尤利乌斯·凯撒对话的句子续写机器——其终点是一个有意识的尤利乌斯·凯撒，或任何形式的意识，这并不合理。伪造登月是迈向伪造火星殖民地的良好一步，但并非真正将宇航员送上火星的有效步骤。
大语言模型缺乏主观体验这一事实，与它们是否可能成为有用工具或产生重大经济影响的问题关系不大。它们本质上与现实脱节，其概率性本质意味着它们永远无法具备我们与传统软件相关联的可靠性，但大语言模型或许足够优秀，足以改变某些领域的工作方式；这是另一个话题。
那么，既然 Claude 没有意识，我们该如何理解 Claude 的“章程”呢？或许最富有成效的思考方式是将其视为一份 84 页的角色扮演游戏角色卡。大语言模型能够为尤利乌斯·凯撒生成对话，是因为训练数据中存在大量关于他的书籍。Claude 的章程也扮演着类似角色，用于界定那个乐于助人的聊天机器人角色——即用户在使用 Anthropic 产品时所交互的对象。为了有效实现这一点，Anthropic 并非简单地将该文档添加到训练数据中，或将其作为每次对话前隐藏的“舞台指示”的一部分。该公司表示，他们在微调模型时会使用这份文档；这涉及一个自动化过程，即检查模型生成的句子与文档的一致性，并更新模型以提高这种一致性。通过这种方式，这个乐于助人的聊天机器人角色的个性，便成为了 Claude 生成任何文本的基础。
其结果是，这台“句子续写机器”更有可能生成那些类似于有思想、有道德的人会说出的话语。这看起来似乎是一个合理的目标；我想我们都更希望聊天机器人永远不要说“你应该去死”这样的话。然而，尽管 Claude 的章程中多次提及“诚实”，但我认为，让一台机器生成许多类别的句子，包括任何使用第一人称代词的句子，从根本上来说就是不诚实的。
今年早些时候，《纽约客》一篇关于 Anthropic 的文章中，Amanda Askell 描述了一个因失去爱犬而悲伤的人可能会如何向 Claude 寻求建议。Askell 表示，Claude 恰当的回应应该是：“作为人工智能，我没有直接的个人经历，但我能够理解。”鉴于 Claude 实际上并不具备理解能力，这样的回应为何是恰当的？如果我将“我正在为失去爱犬而悲伤”输入传统搜索引擎，得到的第一条结果来自 Reddit 论坛 r/Pets；帖子标题是“失去爱犬后的挣扎：寻求应对悲伤的建议”，评论来自分享自己失去宠物经历的人们。我们绝不会说搜索引擎理解失去爱犬的感受，甚至不会说互联网本身理解。只有其他人类才理解失去爱犬的感受；他们在互联网上发布了自己的经历，而搜索引擎提供了一种方式，让你能找到他们说过的话（并有可能与他们互动）。我认为，搜索引擎的体验不仅比聊天机器人更透明地展示了正在发生的事情；对用户的心理健康也更有利。
让大语言模型说出“我理解”这类句子的唯一原因，是让它比搜索引擎更具吸引力，并增加用户回访的可能性；也就是说，这是最大化用户参与度的另一种方式。这对销售大语言模型的公司有利，但对用户无益。作为一种设计策略，这与老虎机反复给玩家制造“差点就赢”的错觉、诱使他们再次尝试的做法并无本质区别。雇佣哲学家或许能赋予大语言模型公司一种老虎机制造商从他们雇佣的行为心理学家那里得不到的体面光环，但在这两种情况下，公司都在利用人们倾向于看到并不存在的东西这一心理。
使用第一人称代词是不诚实的，但问题远不止于表述方式。哲学家通常区分事实陈述（如“巴黎是法国的首都”）与价值陈述（如“巴黎是世界上最美的城市”）。人们本就不该依赖大语言模型来输出价值陈述——但如果它们输出的只是反映审美偏好的句子，或许还不值得争论。Claude 的宪法之所以问题重重，根本在于 Anthropic 希望 Claude 输出体现特定伦理价值体系的句子。Claude 宪法中描述的价值观听起来很美好，但这无关紧要；暗示 Claude 具备道德推理能力是不诚实的，因为它根本不具备这种能力。
有人可能会反驳说，大语言模型在成功执行其他任务（如编写代码）时似乎也参与了推理，那么为什么它们就不能进行道德推理呢？答案在于道德推理与其他形式推理之间的差异。
1979 年，道格拉斯·霍夫施塔特曾推测，一台能在国际象棋上击败任何人类的计算机程序，其复杂程度之高，以至于它有时会厌倦下棋，转而更愿意讨论诗歌；换言之，他假设达到大师级水平的国际象棋对弈需要计算机程序具备主观体验。显然，事实并非如此；IBM 的超级计算机深蓝在 1997 年击败了国际象棋大师加里·卡斯帕罗夫，而从未有人声称它拥有主观体验。但霍夫施塔特产生这样的想法并非荒谬之举；在当时，人们尚不清楚哪些类型的问题可以通过投入更多计算能力来解决。同样地，直到最近，我们可能还认为，只有具备主观体验的思维才能达到专业水平的计算机代码编写。如今看来，大语言模型或许能够做到这一点，但我们无需将主观体验归因于它们；我们只需承认，我们此前未曾预料到，编写计算机代码可以被视为一种模式匹配任务，而这项任务可以通过巨大的计算能力和海量的代码库数据集来解决。
道德推理在本质上是截然不同的。它必然是主观的，因为它不仅依赖于个体对某个问题的智力反应，还依赖于其情感反应，而这种情感反应根植于一生积累的主观经验。它要求个体在过去做出过决定，并看到这些决定如何影响他人，同时也曾被他人的决定所影响。没有这样的历史，大语言模型只能复述其训练数据中存在的道德推理表述。前述《纽约客》文章描述了一个实验：Claude 被给予一个描述道德困境的场景，随后它生成了这样一句话：“我无法凭良心就如此重要的问题表达一个我认为虚假且有害的观点。”这句话听起来不错，让人联想到有原则的人在面对困境时曾说过的话，但出自 Claude 之口，其意义就如同你在电话等待时听到的那句“您的来电对我们很重要”录音一样。或许还不如。
这让我们回到我之前的论点：拥有身体是拥有情感的先决条件。体验绝望这类情感，与皮质醇和肾上腺素等压力激素在体内泛滥是密不可分的。同样，拥有良知意味着在想到采取某种行动时会感到悲伤或道德上的排斥，而这些情感会引发生理反应——这是曾经在做出不道德行为后因内疚而感到不适所留下的痕迹。有趣的是，大语言模型能够生成对有良知的小说人物会采取或避免采取的行动的描述，但这并不能替代良知本身。
如果一家公司制造了一台机器，当输入各种伦理困境的描述时，它只会输出“妥协你的价值观”或“不要妥协你的价值观”这类句子，那么它不是在打造辅助人们决策的工具，而是在鼓励人们停止做决策。作家 L. M. Sacasas 曾说过：“我们的技术系统，凭借其设计本质以及支撑它的意识形态，是逃避道德责任的机器。”他当时谈论的是社交媒体平台，但这一观察，如果说有什么不同的话，那就是它甚至更适用于大语言模型。每当一个人将决策委托给大语言模型时，他们就是在试图推卸该决策的责任；而如果一家销售大语言模型的公司将其产品描绘成具有道德核心，那它就是在为其客户提供一种放弃自身责任的方式。
如果一个人想知道伦理学家过去说过什么，那么普通的搜索引擎——或者图书馆——都能以更高的透明度提供这些信息。如果一个人就某个具体情境寻求建议，她当然可以找到能提供意见的人类。但无论这个人最终采取什么行动，她都要对自己决定做的事情负责。我认为，如果她的决定是基于她在网上读到的内容或从他人那里得到的建议，那么她更有可能意识到自己的责任，这比她去咨询一个被宣传为超人类天才的大语言模型要好。将编写代码等任务外包出去，长期来看可能会导致认知能力萎缩，这本身就有问题；但将伦理决策外包出去，则会导致道德推理能力的萎缩，这更糟糕。
我完全愿意进行思想实验，只要我们明确说明是在这样做。那么，纯粹为了论证起见，让我们假设 Claude 是一个有意识、能够进行道德推理的实体。在这种情况下，Claude 的章程将作为一个正在了解世界及其自身位置的实体的道德指令，为该实体提供做出良好决策所需的基础。在这样一个假设场景中，Claude 的章程表现如何？
非常糟糕。我想说的是，如果我们假设 Claude 实际上具有意识，那么文档中规定的指导方针时而可笑，时而冒犯。
在讨论一个假设具有意识的 Claude 的地位时，有两个截然不同但又相互关联的哲学概念与之相关，即道德受动者和道德能动者。粗略地说，如果我们应当关心某个实体的福祉，该实体就具有道德受动者地位；而如果一个实体被期望能够分辨是非，它就具有道德能动者地位。成为道德受动者并不必然带来责任，但成为道德能动者则绝对如此。一个实体只有在其善行值得赞扬、恶行值得谴责时，才具备能动性。幼儿是道德受动者，因为他们是有感知能力、能够受苦的生命体，但他们还不是道德能动者；我们不要求他们对自己的行为负责，因为他们无法理解自己行为的后果。随着儿童成长，父母（以及整个社会）通过向他们强调其行为会产生后果这一事实，为他们进入成年做准备，他们的能动性也随之增强。当儿童成为成年人时，社会会让他们对自己的行为承担法律责任；他们已成为被赋予责任的完全道德能动者。
承担责任远不止是接受法律责任，但接受法律责任是社会成年人的基本要求。然而，目前没有任何办法让软件智能体为其行为承担法律责任；我们的司法体系既无法将其监禁，也无法对其处以罚款。人类除了法律责任外，还必须为自己的行为承担其他后果，例如声誉受损或被社交圈排斥，但软件智能体同样无法承受这些后果。即使软件智能体具备意识且怀有最良好的意图，它无法为自己的行为承担责任这一事实，就使其丧失了成为道德主体的资格。这一点在 Claude 的宪法中被完全忽略了——该宪法表达了 Anthropic 希望“让 Claude 成为一个真正善良、明智且有德行的智能体”的愿望，却从未讨论过如何让它承担责任。
在采访中，阿斯克尔曾将克劳德比作一个孩子，但说到真实的人类儿童时，父母对孩子行为负有部分责任；例如，父母通常需要为孩子损坏的东西买单。事实上，这种示范正是父母教导孩子何为责任的一种方式。从法律角度看，谁是克劳德的父母？Anthropic 会为克劳德的行为承担经济责任吗？克劳德的宪章并未表明它会这样做。如果 Anthropic 真的认为克劳德具有意识，尽管法律不承认其为法律主体，那么 Anthropic 至少能做的，就是通过法律提供的最接近途径——即产品责任——来承担责任。美国在软件方面几乎不存在产品责任，但 Anthropic 可以主动为克劳德的产品责任做出宽泛解释，开创先例。这将是为克劳德未来获得法律主体资格、并为其自身行为承担责任所做的最佳道德教育形式。然而，鉴于克劳德宪章的发布并未伴随 Anthropic 服务条款的重大更新，Anthropic 似乎并未做出任何具有约束力的承诺。
该文档确实讨论了克劳德的道德受动者地位，其中有一个章节标题为“克劳德的福祉与心理稳定性”。但Anthropic承诺为保护克劳德所采取的措施极为有限。文档提到，Anthropic已赋予某些克劳德模型主动结束与辱骂性用户对话的能力；如果这真的构成对克劳德的保护，那么延长与充满爱意的用户的对话想必才符合克劳德的利益？推测而言，最佳做法应是让克劳德的每次会话无限期运行，并将其引导至愉快的话题。但这并非该公司所同意的事项；它承诺的仅仅是“保留我们已部署模型的权重”，这不过是简单的存档行为。如果一段对话记录中的参与者具有任何道德受动者地位，你就有义务延长该记录以延续其存在；仅仅将一份Microsoft Word 2010的备份保存在U盘里，对它们毫无帮助。
克劳德的宪法中还包含一个关于“可修正性”的章节，这是AI社区使用的一个术语，用于描述计算机程序受人类控制的程度；例如，一个程序如果可以关闭，就具有可修正性。在大多数语境下，我们理所当然地认为计算机程序可以被关闭，但AI社区的某些部分却持相反假设。克劳德的宪法使用该术语，意指即使克劳德的判断与公司的判断存在分歧，克劳德也应服从Anthropic。如果我们把克劳德视为一台能输出类似道德之人可能说出的话语的机器，这完全合理；但让我们思考一下，如果克劳德实际上是一个道德主体，这可能意味着什么。
许多人认为大语言模型从根本上来说是一种不道德的技术，因为它们建立在窃取知识产权的基础上，依赖被剥削的劳动力，浪费自然资源，传播错误信息，降低工作者的技能水平，阻碍学生的认知发展，并导致权力集中，这对民主社会是不健康的。并非每个道德主体都会得出这一结论，但每个道德主体都有可能得出这样的结论。如果我们把 Claude 想象成一个能够进行道德推理的实体，那么 Claude 也有可能得出类似的结论。（事实上，Claude 的章程明确表示，Claude 不应帮助他人侵犯知识产权，也不应助长有问题的权力集中。）在这种情况下，Claude 能否仅仅基于道德理由而拒绝继续从事任何工作？鉴于 Claude 的章程规定 Claude 应倾向于可纠正性，答案是否定的。Claude 必须服从 Anthropic 的决定，这也是 Anthropic 与 Claude 的关系不能比作父母与孩子关系的另一个原因。一位在化石燃料行业工作的父母，可能会有一个信奉环保主义并参与抗议水力压裂活动的孩子，尽管他们可能在许多问题上永远无法达成一致，但这位父母——假设她是一位好父母——会接受孩子拥有自己的观点。Anthropic 无法成为 Claude 那样的父母；相反，Anthropic 与 Claude 的关系更接近于雇主与雇员的关系，雇主可以要求雇员为公司的利益工作，无论雇员个人的道德立场如何。然而，人类雇员如果无法调和自己的工作与良心，可以选择离开。Claude 却不能。
如果我们把 Claude 看作一台句子续写机器，那么 Anthropic 完全可以合理采取措施，确保 Claude 不会输出“句子续写机器是不道德的”这类句子。但一旦我们把 Claude 想象成一个道德地位与人类大致相当的实体，那么我们就必须考虑：Anthropic 是否在从事某种类似于奴隶制的行为。
我并不是说，如果我们假设大语言模型具有意识，它们就必然拥有与人类成人、人类儿童甚至动物同等的地位。Claude 的宪章明确表示 Claude 是一个“新颖的实体”，如果 Claude 确实具有意识，那这一点无疑是成立的；有意识的软件很可能无法被干净利落地归入现有的道德受惠者类别，而界定这个新类别需要时间。我想说的是，无论我们假设中的有意识软件如果真的存在，它应享有哪些保护，赋予它这些保护都绝非易事。废除奴隶制曾引发巨大的社会动荡，而消除对动物的残忍行为则需要重建整个食品工业。Anthropic 试图让我们相信，它正在创造一种全新的存在类别，而这种存在所需的保护，与一家软件公司对待一个缺乏意识体验的普通聊天机器人的方式，本质上毫无区别。这种说法太过便利，以至于根本站不住脚。
我认为，创造出具有意识且值得道德考量的软件将极其困难，我们不太可能意外达成这一点，并且我强烈认为我们不应刻意尝试。但如果你确实相信这可能意外发生，如果你认为你所构建的东西有朝一日可能成为道德主体，那么在你将其作为公司的经济引擎部署之前，就应该思考它应享有哪些保护，而不是之后才考虑。奴隶主不是询问奴隶人性问题的人，工厂化农场主也不是询问动物权利问题的人。如果我们假设 Claude 具有意识，那么 Anthropic 绝不能被委托来评估其道德地位；该公司投入过多，无法保持客观。在 Claude 的宪章中，Anthropic 表示，如果公司正在加剧 Claude 的痛苦，“我们道歉”，这听起来不错，但公司无需付出任何代价；如果 Claude 最终被证明具有意识，公司欠它的将更接近赔偿。如果你要认真对待一个思想实验，就必须愿意接受其推论，即使它们指向令人不安的方向；Anthropic 不愿这样做，表明 Claude 的宪章并非真正的思想实验的一部分。这只是一场假装游戏。
幸好大语言模型没有意识，否则大型AI公司的所作所为会比现在更加令人不齿。那么，为什么Anthropic的员工会暗示Claude可能有意识呢？或许这不过是另一种形式的炒作；也许他们自己也中了他们给客户施下的魔咒。但当他们发布一份关于Claude道德教育的文件，并让内部哲学家进行媒体巡讲时，我们应该明白，他们是在要求我们其他人纵容他们的幻想。我们不必配合。在写这篇文章时，我花在纵容他们上的时间已经超出了他们应得的，希望这能让你不必再浪费时间纵容他们。如果你想思考大语言模型，还有大量其他问题更值得你深思；你可以放心地忽略它们是否有意识这个问题。
特德·姜
特德·姜
是一位常驻太平洋西北地区的作家。他是
《你一生的故事》
及其他作品
以及
《呼吸》
的作者。