# 前谷歌DeepMind研究员因公司签署无限制军事AI协议而离职 - 来源：Hacker News 热门（buzzing.cc 中文翻译） - 作者：apsec112 - 发布时间：2026-07-16 03:37 - AIHOT 分数：73 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmrmibbm801m8biulhl6uejzo - 原文链接：https://turntrout.com/why-i-left-google-deepmind ## 精选理由 Alex Turner用亲身经历戳穿了AI巨头们的伦理承诺，Jeff Dean、Stuart Russell等名人在关键时刻失声，这份记录比任何声明都真实。 ## AI 摘要 前谷歌DeepMind研究员Alex Turner因谷歌向国土安全部出售云服务并最终签署无限制军事AI协议而离职。他曾起草25页提案要求加入禁止杀手机器人和大规模监控的合同条款，但提案被CEO转交后无人跟进。Turner指出，包括Jeff Dean和Stuart Russell在内的多位AI伦理领袖在关键时刻未能兑现承诺。 ## 正文 我为何离开谷歌 DeepMind 作者：亚历克斯·特纳 发表于 2026 年 7 月 15 日 目录 Google supports the immigration enforcement supply chain 但我又能对此做些什么呢？ 与杰夫·迪恩交谈 The Pentagon tries to intimidate Anthropic 我想动员大会上的 AI 领域权威人士 与本吉奥和斯图尔特交谈 斯图尔特关闭 iaseai 国际 AI 伦理沉默协会 Trying to stop Google from signing 为谷歌制造内部成本 杰夫·迪恩，你是我唯一的希望 杰夫签署支持 Anthropic 的非当事人意见陈述 高层管理人员坚称谷歌不会屈服 Preparing for lunch with Jeff Dean 我安排了社会支持 交易的艺术 My lunch with Jeff 寻找另一条产生影响的道路 No one is responding, so why not just DM the ceo? 我的框架未获评估 谷歌悄然签署协议 Demis insists Google’s AI principles “haven’t changed” 我们可以“与西方民主国家合作”以“击败中国”，而不必屈服于特朗普的每一项要求 在个人信任基础上构建重塑世界的技术 Reflections 承诺签署者如何能继续留在 GDM？ 伦理的重压 AI 领域的权威人士在做什么？ 杰夫为何不坚决反对？ 挣脱角色的束缚 我为何离开谷歌 DeepMind 类似文章 Appendix: Anticipated questions 如果你批评的人正在保存他们的政治资本呢？ 也许他们认为你不值得他们花时间；你无权得到他们的帮助 不是每个人都必须对每个问题都发声 即使谷歌采纳了你的框架，五角大楼也会拒绝 这对 AI 带来的生存风险有影响吗？ 附录：“别担心，只是 API 访问权限” 脚注 今年一月，国土安全部官员至少杀害了两人。在这两起事件中，一名联邦探员握住手枪，瞄准一名和平公民，并将其射杀。 蕾妮·古德，在国土安全部杀害她之前片刻。 亚历克斯·普雷蒂，在国土安全部杀害他之前片刻。 我了解到谷歌向国土安全部内的相关机构出售其云服务。我认为这是错误的。联邦探员不应该能够在街头杀害公民。我开始寻找最有效的方式，推动我的公司停止为这些机构提供服务。当五角大楼开始向 AI 提供商施压，要求其签署没有禁止用于杀手机器人或大规模监控条款的军事 AI 协议时，我的撤资运动迅速扩大为阻止谷歌签署不道德的军事 AI 协议的努力。1 我希望人工智能伦理承诺能在压力下坚守。具体而言，我希望谷歌深度思维（GDM）能维持其反对支持杀手机器人的现有承诺。几个月来，我请求许多人采取行动。我找过资深人士——德高望重的人——那些因关注人工智能伦理与安全而声誉卓著的人。几乎所有人都拒绝了。 以斯图尔特·罗素为例，他是一位著名的人工智能研究者，花了十多年时间反对自主武器。我曾在他的实验室工作多年。在一次会议上，他在台上同意推动其组织发表声明，支持人工智能提供商抵制政府胁迫，并承诺对其成员进行民意调查。这份声明和民意调查最终都不了了之。 再以杰夫·迪恩为例，他是谷歌首席科学家，也是谷歌 Gemini 人工智能项目的联合负责人。2018年，杰夫签署了一份承诺书，承诺绝不支持开发或使用杀手机器人。我曾让杰夫公开且大胆地联署了一份法庭之友书状（即外部人士介入以影响诉讼），支持 Anthropic 对抗五角大楼。但我也曾请求他利用其巨大影响力，阻止谷歌与军方达成自身不道德的协议，而我认为他并未这样做。尽管有承诺在先，他仍留在谷歌。 我撰写了一份25页的提案，其中包含合同条款和监督机制。军事与监控法律专家称赞了这份提案，它代表了一份谷歌本可以坚守的原则性反提案。我将提案发送给戴密斯·哈萨比斯（GDM 首席执行官），他将其转交给高级政策人员，但提案最终无人问津，直至谷歌签署了协议。 高级管理层曾坚称谷歌不会签署协议。我不同意他们的看法，但他们基本无视了我的警告。尽管我可能增加了五角大楼对该协议的犹豫，但谷歌最终还是签署了协议，将其人工智能技术拱手交出，且未对杀手机器人或大规模人工智能监控设置任何限制。谷歌的合同限制甚至比 OpenAI 还要薄弱。那时，我已无法凭良心继续留在谷歌，于是便离开了。 这篇文章讲述了我为何离开 Google DeepMind 的故事。它同时也讲述了一个更宏大的故事：那些手握权力的人物和机构，是如何在压力面前一个接一个地未能兑现其人工智能伦理承诺的。 关于私人通信 在整篇文章中，我从未在未经许可的情况下引用任何人的私人话语。在涉及私人对话时，我仅做最低限度的描述。除此之外，我只陈述自己的行为、公开信息以及官方通信。你无法核实我的描述，因此请酌情权衡。这种最低限度的处理方式，删减了本可以支持我论点的一些内容。 Google 支持移民执法供应链 2026 年 1 月 26 日 在 Alex Pretti 去世后，我决心采取有效行动。为了确定如何减少国土安全部（DHS）造成的伤害，我研究了大型科技公司的牵连情况。诚然，微软和亚马逊的参与程度更深，但令我惊讶的是，我发现了 Google 的涉入。 Google 与国土安全部（DHS）的合同 Alex Pretti，2024 年。 DHS 2025 年人工智能用例清单将 Google 列为用于“提高 DHS 运营效率”的生成式人工智能提供商之一。 Google 通过 ITC Federal 等第三方机构向 ICE 销售云服务。 2025 年 10 月 3 日，Google 下架了那些提醒用户注意 ICE 活动的应用程序。 Google 在未通知的情况下，主动将一名学生抗议者的账户信息交给了 ICE，这违反了其服务条款中“在向[政府]披露信息之前，会向用户账户发送电子邮件”的承诺。 但我又能对此做些什么呢？ 典型的激进分子行动是发起请愿。但 Google 已经无视了关于此问题的一次大规模请愿。此外，Google 的高管们很可能已经让公司对这类典型的组织策略变得强硬。静坐、罢工，甚至大批 Google 工程师辞职：我认为所有这些都无效（即便我能组织起来）。 在制定策略时，我判断 Google 不会在意 100 名普通研究工程师的离职。不，在人工智能行业，人才是头重脚轻的，团队由少数难以替代的明星人物驱动。我不需要协调 100 名工程师。也许我只需要协调 10 个人就够了。 我一直关注新闻，猜测桑达尔·皮查伊（谷歌CEO）更像一个商人，而不是那种“给我来一通关于道德的长篇大论，我就会改变主意”的人。但如果几个难以替代的人准备离职，那对公司来说就事关重大了，所以桑达尔可能会听进去。 就在那时，我想起看到杰夫·迪恩发推文说ICE有多糟糕，还转发了安妮·弗兰克的名言。也许我根本不需要10个工程师，我只需要一个人。 杰夫·迪恩 @JeffDean 这绝对可耻。某个联邦机构的特工不必要地升级事态，然后处决了一名手无寸铁的公民，他的过错似乎只是用手机摄像头拍摄。每个人都应该谴责这种行为，无论其政治立场如何。 1月 24 日 ，2026年 245 8.4千 杰夫·迪恩转推了 拉里·南斯 @Larrydn22 “外面正在发生可怕的事情。可怜无助的人们被从家中拖走。家庭被拆散。 男人、女人和孩子被分开。孩子们放学回家，发现父母已经不见了。” 《安妮日记》 1943年1月13日 1月 25 日 ，2026年 548 3.48万 杰夫在谷歌被视为圣人。他是谷歌的第30号员工，开发了关键算法，并以有原则著称。一个常见的玩笑是：杰夫·迪恩的简历列出他没做到的事，比列出他做到的事更容易。他是谷歌的首席科学家，也是谷歌Gemini项目的联合负责人。杰夫离职对公司来说将是一场灾难。 但如果杰夫如此在意，又有这么大的影响力，谷歌当初为什么会签下这些ICE合同呢？当然，你不能身为首席科学家，却总是以辞职相威胁来达到目的。但我仍然感到困惑。 与杰夫·迪恩交谈 2026年2月9日 起初我在想谁能帮我联系上他。但（这是一个很好的通用经验）如果你想和某人谈论某件事，你总是可以直接去问他们！ 我告诉杰夫，我敬佩他敢于发声，我希望谷歌能从国土安全部的供应链中撤资。我问他是否认同这些目标，如果认同，我能如何提供帮助。 他建议我发邮件给几个人是合理的。他们的名字是：桑达尔·皮查伊（Google 首席执行官）、德米斯·哈萨比斯（Google DeepMind 首席执行官）和托马斯·库里安（Google Cloud 首席执行官）。我想：“好的，杰夫。没问题。我就跟他们说说我的想法。” 我的邮件 我作为 Google DeepMind 的一名忧心忡忡的员工写信给您。我最近就我的担忧联系了杰夫·迪恩。他建议直接给三位发邮件是合理的下一步。 我对 Google 与美国两党中任何一方的合法政府合作没有意见。我的担忧不在于政治，而在于 Google 在国土安全部供应链中所扮演的角色所促成的事件。 我认为 ICE 已经远远超出了其以有序方式将非法移民驱逐出境的法定授权。根据监督机构的说法，ICE 的行动经常剥夺目标人员的正当程序。这些行动经常将公民拘留于几乎没有（或完全没有）法律监督的设施中。超过 1000 人在其中一个地点失踪。在其他地点，ACLU 报告了侵犯人权行为以及被拘留者严重缺乏安全保障的情况。 这些不是标准的、合法的执法活动。从人权角度来看，这些行动令人不安，并且也给任何涉事供应商带来了声誉风险。 2026 年 1 月 28 日，国土安全部发布了其 2025 年 AI 用例清单，其中将 Google 列为几家能够“提高国土安全部运营效率”的 GenAI 供应商之一。我敦促 Google 立即停止与 ICE（以及更广泛的国土安全部）合作，包括停止支持促进这些特定行动的第三方集成商。无论是通过直接（“主”）合同还是通过中间商（如 ITC Federal），Cloud 和 Gemini 都不得为这些行动提供支持。 历史将根据科技行业在这些事件中的参与程度来评判它。我热爱在 Google 工作，我希望确保 Google 站在历史的正确一边。 亚历山大·马特·特纳 研究科学家 他们从未回复。我回到杰夫那里，请求共进午餐，讨论在 Google 内部实现真正变革的建设性机会。我告诉他：“任何时间，任何地点。我会开车下山景城去见你。” 到了这一步，我以为“A计划”就要失败了。出乎意料的是，他居然接受了，约好几周后一起吃顿午饭。 那段时间里会发生很多事。 五角大楼试图胁迫 Anthropic 2026 年 2 月 25 日 五角大楼要求前沿 AI 实验室 Anthropic 从其现有合同中移除红线：即针对致命自主武器系统以及 AI 监控/画像分析的红线。这份最后通牒的实质是“要么把产品给我们，要么我们就把你列为供应链风险”。政府希望将 AI 用于“所有合法用途”。 这种交易存在两个重大问题。 独立法律专家曾指出五角大楼可能犯下的战争罪行（例如对遇难幸存者实施双重打击），尽管五角大楼坚称这些行动是合法的。在这种“合法性”下，“所有合法用途”可能意味着“AI 助长战争罪行”和“用 AI 自动对异见者进行画像分析”。 五角大楼以经济毁灭威胁一家私营公司。通常情况下，政府会说“不了，谢谢，我们会找其他能提供我们想要条款的供应商”。而这次，政府威胁要将一家美国公司错误地指定为“供应链风险”，这将迫使所有军事承包商停止使用 Anthropic 的产品。 我已经关注 Anthropic 与五角大楼的对峙数周了。那天早上，我读到了这份最后通牒。当时我正在巴黎参加国际安全与伦理 AI 协会（iaseai）举办的一场会议。该协会成立于 2024 年，是一家非营利组织，旨在成为安全与伦理 AI 的“统一声音”。世界知名 AI 科学家 Stuart Russell 担任其指导委员会主席。其 2026 年工作组包括“先进 AI 的红线”，重点关注“自主武器与冲突升级”。iaseai 似乎正是为应对这样的时刻而设立的。 Iaseai 的会场将坐满关心伦理问题的、有影响力的 AI 专业人士。我想：我们可以组织一场行业层面的回应，以支持 1) Anthropic 在不受毁灭威胁下开展业务的权利，以及 2) 关于是否以及如何将 AI 整合到致命自主武器系统和监控设备中的实际标准。 Anthropic 只有两天时间遵守政府的要求。也许其他公司会在截止日期前同意这些“一切合法用途”条款。压在我心头的主要问题是：我能阻止谷歌屈服、阻止它接受“一切合法用途”协议吗？如果 Anthropic 说“不”，谷歌也说“不”，那我们就有所进展了。这看起来很难。但我无论如何都想促成这件事。谷歌随时可能屈服，无论是在周五截止日期之前还是之后。 会场设在联合国教育、科学及文化组织总部。 当我抵达 iaseai 会场时，我本以为数百名 AI 专业人士中会有人在讨论刚刚爆出的紧急 AI 伦理新闻。然而，除了我之外，没有一个人提起这件事。人们忙着讨论那些老生常谈的抽象话题：“公共选择理论如何为协调问题提供启示？” 我想动员出席会议的 AI 界权威人士 斯图尔特·罗素 iaseai 的 创始人 。他是被 超过 1500 所大学 采用的 AI 标准教科书的合著者。他是加州大学伯克利分校人类兼容 AI 中心的创始人，我曾在那里实习数个暑假并完成博士后研究。多年来，他是唯一一位认真对待 AI 存在风险的大牌学者。我对此一直心怀敬意。 最重要的是：他是全球禁止致命自主武器运动中的领军人物，其网站重点展示了超过 200 场关于该主题的权威演讲。他曾向联合国展示“杀人机器人”视频。如果这个绿色星球上有人有理由谴责一项“一切合法用途”的军事 AI 协议，那一定是这位组织学界对抗杀人机器人的先生。 约书亚·本吉奥 被引用次数最多的在世计算机科学家，图灵奖得主（相当于计算机科学界的诺贝尔奖）。2023 年，他 就 AI 对民主和国家安全的威胁向美国参议院作证。 他刚刚完成 一项将军事 AI 应用 映射到 AI 安全问题上的监督工作。 杰弗里·辛顿 2024 年诺贝尔物理学奖得主和图灵奖得主。辛顿 于 2023 年从谷歌辞职，正是为了能够在不考虑其言论对谷歌利益影响的情况下，就 AI 的危险性发出警告。 益。 在 2025 年，他已经 批评谷歌“在军事 AI 应用问题上立场倒退”。 ns.” 辛顿离开谷歌，正是为了能够就这些关键问题说出真相。 与本吉奥和斯图尔特交谈 我迅速收集了信息。辛顿是远程发言，所以我必须间接联系他，很可能要通过本吉奥或斯图尔特。我认识斯图尔特，而且有个朋友可以帮我联系上他。本吉奥则是个不确定因素。我看到他离开会场，于是跑过去追上了他。 “约书亚，你愿意发表一份声明，支持 Anthropic 的正当经营权利，并反对不受监管的杀人机器人吗？”我解释说，他的声音可以影响许多尊重他的 GDM 专业人士，这些专业人士可能会被动员起来，抵制向五角大楼的要求“屈服”。他让我给他发邮件。 不久之后，他的办公室告诉我，他们决定不发表声明。他们没有解释原因。因为我不认识本吉奥，我想我应该把注意力集中在斯图尔特·罗素身上，然后让他来处理这件事。 午餐时间，我看到斯图尔特正在与某人一对一交谈。在几位与会者的鼓励下，我克服了一点社交焦虑，尽可能礼貌地打断了他的谈话。 “斯图尔特，现在的情况极其重要，你的声音至关重要，”我告诉他。“你能发表一份声明吗？你能让 iaseai 组织也发表一份声明吗？你能推动这些公司内部的人吗？”他思考了一下。他同意了。他会尝试争取本吉奥和辛顿的支持。他会尽快召集 iaseai 进行投票，并在当天晚些时候的会议闭幕式上宣布结果。他对于战斗的意愿没有丝毫保留。 “这才像话，”我想。“这才是一个深知自己力量的有力人物。” 斯图尔特结束了 iaseai 的会议。 AI 公司与美国国防部的交易至关重要。它们标志着现代生成式 AI 与军事使用限制之间首次公开且备受瞩目的交集。无论这些公司做出了何种妥协（或让步），都将作为先例对未来产生深远影响。Iaseai 的与会者有机会将他们的贡献从“可能为政策制定者提供参考的抽象工作”转变为“直接影响先例”。斯图尔特现在将动员他们。 正如他所承诺的，他在闭幕式上谈到了这些问题。我录下了他在问答环节的发言，这些内容最初可以在 iaseai 的会议日程上找到，但后来被迁移，并未重新上传到 iaseai 的官方 YouTube 频道。 我问斯图尔特的问题是（ 完整交流视频 ） 美国国防部正威胁要接管 Anthropic，以便他们可以在致命自主武器或大规模监控方面不受限制地使用 Claude。您对仍在谈判中的谷歌和 OpenAI 等公司有什么想说的？ 斯图尔特·罗素 我正打算提到这一点，这是一个我们很可能会就此征求所有 iaseai 成员意见的话题。看看他们是否希望 iaseai 在这个问题上表明立场。 [斯图尔特总结了当前情况。] iaseai 是否应该发表声明，支持 Anthropic 有权不让其软件用于超出其同意合同范围之外的目的？ 问题中提到，“那 Google DeepMind 呢，OpenAI 呢”——他们是否也会采取与 Anthropic 相同的立场？这似乎取决于他们自己，但一家公司有权说“我们不想为此目的出售我们的产品”——并且能够在不面临经济毁灭威胁的情况下说出这句话。我不是律师，但这似乎是应该受到保护的权利。 我感到惊讶。斯图尔特说“这似乎取决于他们自己”。他没有鼓励谷歌和 OpenAI 避免为致命自主武器提供动力？这难道不是他过去十年来一个标志性的奋斗目标吗？ 一位与会者提出的下一个问题是，iaseai 是否会就当前问题表明立场。当会议结束时，iaseai 的临时执行董事马克·尼茨伯格登上了讲台。 视频 · 前往原文观看 马克请大家举手示意。“我们将征求会员的意见……如果您还不是会员，请到会员服务台办理。” 近乎全票举手支持 iaseai 发表声明，支持 Anthropic 自由开展业务的权利。 斯图尔特·罗素的闭幕致辞（ ） 许多新闻媒体正在讨论美国国防部对 Anthropic 实施的敲诈勒索行为…… 我想，如果有时间的话，我们会尝试进行一次在线投票。这样我们就可以发布一份新闻稿，声明“iaseai 的 92%（或最终结果）的会员赞成这样的主张：Anthropic 不应被要求做他们不想做的事情。” 斯图尔特将国防部的行为称为“敲诈勒索”。我很欣赏这种坦率，尽管会场内的坦率与世界将看到的声明中的坦率并非一回事。5 离开时，我注册成为 iaseai 会员，以便参与投票。我认为提案会通过，但我想发出自己的声音。我支付了 75 美元的会员费。 在闭幕式开始前，马克发短信告诉我，投票将于周四晚结束。如果有三分之二的支持率，斯图尔特将代表 iaseai 签署一份声明；如果没有，斯图尔特将以个人名义签署一份声明，并允许其他人联署。 我动身前往卢浮宫度过了一个夜晚。 国际人工智能伦理沉默协会 周四早上到来了。我没有看到如何参与投票。奇怪。我给马克发了短信。他说 iaseai 必须在 Anthropic 的周五截止日期之后才能采取行动。 我告诉马克，情况紧急：谷歌和 OpenAI 随时可能采取行动。我敦促他与斯图尔特谈谈，让他发表一份声明，任何声明都行。我很感激马克在帮我分析这个局面。当天晚些时候，Anthropic 表示他们将坚守与国防部现有合同中的红线。 （周四本应是冰岛浪漫假期的开始。我其实根本不想处理这些事。） 周五早上。斯图尔特没有发表任何公开声明。我问马克：“有什么事情比花几分钟给最心仪的记者写封邮件更重要呢？” 从与马克的交谈中，我了解到斯图尔特和国际人工智能安全工程师协会都不会采取行动。 但问题是这样的。马克在闭幕式上公开承诺，国际人工智能安全工程师协会将举行会员投票。马克鼓励大家缴纳会费成为会员并参与投票。随后，国际人工智能安全工程师协会的领导层悄悄取消了这次投票。从未发表过任何声明。 马克向我列举了一系列其组织不发表声明的理由，这些理由还在不断变化： 国际人工智能安全工程师协会需要更多时间来起草声明，因此会在周五的爆发点之后采取行动。 国际人工智能安全工程师协会不知道该引用哪项原则来发表声明。 国际人工智能安全工程师协会担心，卷入Anthropic与五角大楼的新闻周期“有利有弊”。 马克表示理解，但希望专注于完善国际人工智能安全工程师协会处理此类情况的流程。 国际人工智能安全工程师协会不再需要发表声明，因为Anthropic已经发表了声明。 我能理解第一个理由：毕竟斯图尔特在截止日期前曾反复以“时间允许的话”为由推脱发表声明。但最后一个理由尤其让我无法理解。Anthropic发表声明说他们不会让步，所以国际人工智能安全工程师协会就不需要发表声明来支持Anthropic了？ 被国际人工智能安全工程师协会已读不回 五角大楼为Anthropic设定的截止日期是周五，而不是针对国际人工智能安全工程师协会。Anthropic的自主武器问题在此前几周就已见诸新闻。Anthropic对五角大楼的诉讼又持续了数周。谷歌在两个月后仍未签署协议。国际人工智能安全工程师协会有充足的时间采取行动，也有多种行动方式，例如提交法庭之友意见书、发表声明或联系谷歌的高级决策者。 OpenAI确实在周五宣布了一项协议。OpenAI声称其协议保护了与Anthropic所坚持的相同的关于禁止杀手机器人和大规模监控的红线。然而，一些分析人士认为，OpenAI的合同措辞存在巨大漏洞。 在接下来的两个月里，我多次给马克·尼茨伯格发消息。我解释说，我正在努力说服谷歌内部的高层决策者；斯图尔特可以私下联系，而不必承担公开反对特朗普的政治代价；哪怕只是引荐一下也会有帮助。 我发给马克的一条消息 3月30日，距离报道称协议签署还有三十天 虽然我希望 iaseai 做出了不同的决定，但我还是想找到一种方式，让我们共同实现彼此的目标。 马克从未回复。 试图阻止谷歌签署协议 让我们回到周三，那时我刚得知五角大楼的威胁。我在未知的时间压力下行动。我不知道谷歌是否即将通过签署协议来削弱 Anthropic 的地位。在对外游说本吉奥和斯图尔特的同时，我也在内部采取了行动。 为谷歌制造内部成本 2026年2月26日 在谷歌 DeepMind 的时事讨论频道中，我呼吁谷歌（以及 AI 社区）“坚定支持 Anthropic”，并指出所谓的“合法”用途可能包括“在委内瑞拉海岸外杀害超过150人（其中大多数可能是无辜的渔民）”。这条消息获得了超过125个“”表情回应。 [我的消息] Gemini 的“所有合法用途”政策以及美国国防部对 Anthropic 施加的压力 我看到报道称 gdm 即将达成一项协议，允许 Gemini 在机密工作中“所有合法用途”。显然，对于非机密工作，谷歌已经“移除了一些模型层面的限制”，并同意国防部工作可“用于所有合法目的”。 虽然“所有合法用途”中的“合法”最初让我感到安心，但请考虑一下“合法”在此情境下的含义。首先，该国防部声称在委内瑞拉海岸外杀害超过150人（其中大多数可能是无辜的渔民）是合法的。“所有合法用途”还包括利用 AI 进行大规模监控与分析（这是合法的，因为监控法律在制定时并未考虑 AI），以及制造致命自主武器系统。 赫格塞斯部长向 Anthropic 发出了周五下午5点的最后通牒。如果 Anthropic 拒绝，他威胁要： 取消 Anthropic 的2亿美元合同。 将其指定为供应链风险，迫使所有其他军事承包商停止使用 Claude——“供应链风险”通常仅用于指代已遭入侵的外国公司！——并且 援引《国防生产法》，强制要求 Anthropic 无论如何都要提供 Claude。 我认为将一家实验室国有化，以迫使他们提供致命自主武器和大规模 [AI 画像] 工具，这是不可接受的。作为行业从业者，我们应当坚定地与 Anthropic 站在一起。我们的辛勤工作应当用于改进 Gemini 以服务我们的客户，而不是增强致命自主武器系统的能力。 我对其他人对此话题的看法很感兴趣。我们如何才能有效地倡导，确保我们的 AI 原则能够抵御这种要求将 AI 用于无人类参与的进攻性军事用途的外部压力？ 我开始在仅限 gdm 成员的讨论频道中发布这类信息。这些消息获得了异常强烈且支持性的互动。我发布这些消息有几个原因： 我想提高领导层保持沉默的代价。请记住，关键在于累积足够高的代价，以超过 Sundar 认为签署协议所能带来的好处（例如避免来自特朗普政府的政治报复）。 我经常有一些战略性的论点，想要告知我的上级联系人。我只是一名研究科学家，直接告诉他们“考虑 X 方案”会显得冒昧。然而，我知道他们中有些人会阅读这个频道，所以我只是把我的论点发布在频道里。 我想在 gdm 员工中建立一种共识，即他们并非唯一对这些合同感到不安的人。 我指出了 OpenAI 协议中所谓“保护措施”的问题，以此让 gdm 员工对 Google 可能试图推行的类似虚假“保护措施”产生免疫力。如果员工们不买账这种表面文章，Google 将付出更高的士气代价。 后来，一些消息为人们提供了一种渠道，暗示如果协议通过，他们就会离开 Google，同时仍保留着模糊的可否认性。 那些“”表情符号也起到了一种微妙的组织作用。据我所知，谷歌不鼓励人们通过大型内部渠道直接组织活动。我留意到哪些人回复了“”，并私下联系他们，邀请他们参与我接下来要说的那份请愿书。 杰夫·迪恩，你是我唯一的希望 我曾考虑再给杰夫发一条私信：“如果可以的话，请阻止谷歌签署这项协议。”但这似乎……起不了太大作用。“是什么促使像杰夫这样的人采取行动呢？”我想。道德立场：已经存在。主人翁意识：不存在。我无法主导这个项目，因为我没有直接权力。据我所知，杰夫确实是少数既有权力又有意愿反对这项协议的人之一。我希望他能感受到自己有能力，并且知道 gdm 的员工支持他。 我给杰夫写了一封请愿书，在几位朋友的帮助下，大约一两天内就收集到了约 250 个 gdm / 研究部门的签名。我不会在这里复述整份请愿书，因为我说过它“不公开”，并告知大家不要对外分享。9 不过，《纽约时报》确实报道了这份请愿书，所以部分内容10 已经公开： 谷歌员工呼吁为军事人工智能设定“红线”，与 Anthropic 立场一致 “请尽您所能，阻止任何跨越这些基本红线的协议，”员工们写道。“我们热爱在谷歌工作，并希望为自己的工作感到自豪。” 杰夫签署了一份支持 Anthropic 的非当事人意见陈述 2026 年 3 月 9 日 五角大楼不仅将 Anthropic 列为供应链风险。国防部长皮特·赫格塞斯最初声称，军事承包商必须停止使用 Claude 的所有场景，而不仅仅是停止在合同中使用的 Claude。这影响了 Anthropic 的主要云服务和企业客户，因此这一认定对其企业营收来说似乎是致命的。这一要求也显得相当违法，赫格塞斯随后在这一点上做出了让步。（不过，我认为赫格塞斯的推文已经造成了损害，让企业不确定是否会因使用 Anthropic 而受到惩罚。） 总之，大约在周一，Anthropic 在法庭上挑战了五角大楼，并请求发布禁令以阻止该命令。一个名为“保护民主”的非营利组织组织了一批 AI 专业人士撰写了一份法庭之友陈述书。这份陈述书大致表达了这样的意思：“以我们作为专家的身份，我们一致认为 Anthropic 在技术和政策方面的担忧是合理的，尽管我们为与之竞争的实验室工作。”我签署了这份文件，并让一些同事也签了名，随后（在一位组织者的鼓励下）联系了杰夫。他也签了名。 我对此感到惊喜。这是一大步。（此时，我的一些朋友开始用“有骨气，杰夫说得对”来形容他们认可的事情。） 当杰夫公开签署这份法庭之友陈述书时，他（作为一位高管）公开打破了谷歌的沉默。不出我所料，他的签名引起了关注。最终，谷歌与五角大楼的谈判遇到了障碍，部分原因是这份陈述书提出了谷歌日后可能退出的可能性。 当 AI 竞争对手争相讨好五角大楼时，谷歌却稳坐钓鱼台 后来发布（2026 年 3 月 18 日） 但据两位熟悉美国国防部与谷歌之间讨论的人士称，一些五角大楼官员仍不愿依赖谷歌。这两位人士补充说，这是因为该公司曾在 2018 年因员工抗议（他们认为 AI 不应被用于武器）而放弃了一份军事合同。 谷歌以及 OpenAI 的几位顶级 AI 研究人员最近也签署了一份法律简报，以支持 Anthropic 对国防部提起的两起诉讼。Anthropic 正在挑战五角大楼将其指定为供应链风险的决定，此前该公司曾就如何在战争中使用 AI 与该部门发生冲突。 一位了解相关讨论的前官员表示，谷歌员工参与这份法律简报加深了一些官员对该公司的担忧，让五角大楼及其他地方的决策者想起了过去反对将 AI 用于武器的抗议活动。这位前官员补充说，一些特朗普政府官员担心，即使谷歌同意广泛使用其 AI，该公司也可能再次退出。 在此期间，我向谷歌法务部发送了多份备忘录，建议谷歌也提交一份法庭之友书状。我提醒他们，如果谷歌任由针对Anthropic的威胁成立，那么政府在未来的所有谈判中都将拥有一把指向谷歌的枪：要么服从，要么被贴上供应链风险的标签。最终，谷歌没有提交法庭之友书状（但微软提交了）。 高层管理人员坚称谷歌不会屈服 整个三月 随着我与高层管理人员的交流增多，他们一直持类似观点：“别担心。领导层同样关心这些问题。他们不会签署‘一切合法用途’协议。”我思考过这个说法。这有可能是真的吗？ “不，这不是真的，”我得出结论：除非有人迫使领导层坚守底线。我撰写了一份引用大量资料的备忘录，解释谷歌为何可能屈服。我指出了谷歌在风险较低情境下的顺从历史（比如自愿将一名学生抗议者的信息移交给移民与海关执法局）；我指出了谷歌在政府合同中占据的庞大份额；我还指出了谷歌DeepMind的AI原则如何已瓦解为不置可否的模糊表述。我回顾了谷歌面临的部分压力，包括其反垄断风险敞口不一，以及当前司法部历史上糟糕的记录。 这份备忘录我分享了好几次。据我所知，我未能说服这些高级员工。 准备与杰夫·迪恩共进午餐 2026年3月10日 我始终专注于我的目标。我需要推动桑达尔。据我判断，杰夫有能力推动桑达尔。杰夫愿意推动桑达尔吗？他会离开一家备受尊崇、拥有一份看似为他量身定做的 prestigious 工作、并留下四分之一人生回忆的公司吗？另一方面，世界上每一家科技公司都会想聘用杰夫，他的声誉似乎已稳固，他早已拥有不知多少财富，而离开将彰显原则。 我不想操纵杰夫。我想以一个同样关切此事的人的身份，与他坦诚相待。我甚至刻意避免阅读超过一篇关于他的文章，以防自己下意识地调整论点来迎合他的心理。 我的看法是：我不需要说服杰夫为此事辞职。从某种意义上说，他早已同意为此事辞职。他在 2018 年签署了一份承诺书： 致命自主武器承诺书 由 5,218 人签署 剥夺他人生命的决定绝不应委托给机器。这一立场包含道德层面的考量：我们不应允许机器做出夺走生命的决定，而让其他人——或无人——为此承担责任。同时也有一个强有力的实用主义论点：致命自主武器，即在没有人类干预的情况下选择和攻击目标，将对每个国家和个人造成危险的不稳定因素。[……] 通过消除夺取人类生命所涉及的风险、责任归属和难度，致命自主武器可能成为强大的暴力和压迫工具，尤其是在与监控和数据系统关联时。[……] 我们，以下签署人，呼吁各国政府和领导人创造一个针对致命自主武器具有强有力国际规范、法规和法律的未来。鉴于目前这些规范尚不存在，我们选择以高标准要求自己：我们既不参与也不支持致命自主武器的开发、制造、贸易或使用。 签署人包括：Google DeepMind（该组织）、Demis Hassabis、Shane Legg（联合创始人，现任首席 AGI 科学家）、Raia Hadsell（研究副总裁）、Jay Yagnik（Google 副总裁兼工程研究员，领导 Google AI 大部分工作）以及 Jeff Dean： Jeff Dean@JeffDean 同意。大规模监控违反了第四修正案，并对言论自由产生寒蝉效应。监控系统容易被滥用于政治或歧视性目的。 Boaz Barak@boazbaraktcs 作为美国公民，我最不希望看到的就是政府利用 AI 对美国人进行大规模监控。 February 24th, 2026 February 25th, 2026 1684.3k Topher Spiro@TopherSpiro @JeffDean 你对自主武器持什么立场？ February 25th, 2026 127 Jeff Dean@JeffDean @TopherSpiro 2018 年我签署了这封信，我的立场没有改变。信件：futureoflife.org / open-letter / le…相关文章：weforum.org / stories / 2018/0… February 25th, 2026 7392 杰夫·迪恩再次明确重申了他的承诺，并同意“利用AI对美国民众进行大规模监控”是“他最不希望看到的事情”。 我推断，如果杰夫“既不会参与……也不会支持……致命自主武器的开发或使用”，那么从逻辑上讲，如果谷歌签署了“一切合法用途”的协议，杰夫就必须离开谷歌。我不知道杰夫是否真的准备好做这样的事。我想为这种可能性做好准备。 我安排了社交支持 杰夫和我们所有人一样，都是普通人。普通人往往会因为独自对抗一个强大的实体而感到担忧。尽管我认为杰夫的分量足以独自推动谷歌改变，但我还是希望他能感受到支持。其中一部分是我组织的那份请愿书，有超过250名谷歌DeepMind员工签署，请求杰夫为他们争取权益。但第二部分则更为低调。 我获得了多位谷歌资深员工的支持。如果杰夫同意对桑达尔·皮查伊采取强硬立场，他们也表示会这样做。话虽如此，这个预期的联盟规模只有一个人：杰夫。我认为杰夫的影响力本身就足够了，因为他的离职可能会让Gemini项目陷入混乱。也许谷歌更关心自己的AI项目，而不是特朗普的报复。 我猜测桑达尔很擅长化解来自员工的压力。我希望这是一个他即使知道也无法阻止的招数。 交易的艺术 2026年3月13日 杰夫是个摔跤手吗？我读过一篇关于戴密斯·哈萨比斯试图与桑达尔谈判，为DeepMind争取独立法律结构的报道。似乎与桑达尔的任何交易都需要摔跤。持续的摔跤。此外，桑达尔可能会试图用模糊的承诺来缓和紧张局势，所以杰夫需要一个具体的提案。 我的意思是，想象一下杰夫和我坐下来吃午饭。想象一下他同意了。想象一下他去找桑达尔说：“如果我们签了这个协议，我就不能在谷歌待下去了。帮帮我，让我留下来。”想象一下桑达尔说：“你对我很重要，杰夫。需要什么条件才能让你留下？”杰夫会说什么？“别签一个糟糕的协议”很可能最终导致一份表面上看起来不那么糟糕的糟糕合同。 合同的标准 我需要起草一份真正能生效的合同语言。 良好的红线 排除有问题的使用场景（无人类控制的自主瞄准、无特定目标的画像分析），同时允许导弹防御等可信用例。避免 Anthropic 红线法律分析中指出的弱点。 对 Anthropic 红线的法律分析。 稳健的红线 Cloud 部门会利用任何漏洞推动交易，Google 法务部似乎不太可能收紧我的措辞，而五角大楼根本不会接受任何条款。这些措辞必须在压力下站得住脚，同时审计要尊重保密性和作战安全。 最小化信任假设 我让首席科学家 成为一切依赖的单一信任根 的 （反正我已经把一切都押在 Jeff 身上了）。首席科学家将组建一个审查委员会，就合同提供建议。 通过透明度实现问责 审查委员会只会私下向 Jeff 和 Sundar 提供建议，但 推翻 其决定的情况会出现在面向所有 AI 员工的年度透明度报告中。解散该委员会需要提前通知，并披露所有未解决的违规发现的具体情况。我努力确保该委员会不会像 Google 的 2018 年原则 那样被悄无声息地削弱。 对反对利益相关方的最小影响 我给了 Cloud 部门 7 个席位中的 2 个，员工仅回避涉及自身业务的交易，延迟上限为 10 天，并利用律师-客户特权保护审议内容。 我考虑过一轮谈判。对方会对某些内容提出异议，我不希望那些内容是承重结构。因此，我加入了一些不太重要的条款，专门用来被谈判掉，比如“审查委员会可通过超级多数投票将问题升级至 Alphabet 董事会”。 我创建的框架 在我个人时间（利用年假）里，我创建了一份可作为良好起点的语言。我撰写了 25 页的“良好起点”材料。我已将框架以通用形式发布在我的网站上，适用于任何同时提供云服务和 AI 的供应商。 《军事 AI 红线与监督框架》节选 我有时简称为“该框架”。 该框架为 The Company 向行使强制权力的政府实体提供的 AI 提出了两项严格标准。 人类对目标锁定和武力使用的控制。公司的人工智能不得用于在每次交火中缺乏适当人类控制的情况下选择并攻击武力目标的系统，具体评估将基于具体使用场景。无论公司是直接提供目标锁定系统，还是仅在目标锁定流程中提供人工智能组件，均适用此规定。包括对系统如何合法部署的法律透明度权利，并由双方同意的中立审计机构进行合规性验证。不限制反弹药防御系统、符合标准2的情报分析、后勤或研发活动。 禁止无针对性的AI画像分析。公司的人工智能不得将批量数据转化为针对非特定、已明确调查对象的个人情报。对于所有国籍的个人，基于AI辅助的个性化分析必须与所维护的安全利益相称，不得仅基于人口特征或政治表达启动分析，且AI生成的输出不得作为启动个性化审查的唯一依据。对美国境内所有人员（无论其身份如何）提供更高等级的保护。允许对已明确调查对象进行针对性分析、汇总研究以及可改善非战斗人员保护的冲突区域分析。 通过年度内部报告实现透明度：设立一个由七名高级职员组成的咨询性国防人工智能审查机构，由首席科学家任命并向其汇报。 被未来法律取代：如果美国国会通过了规范这些用途的实质性立法，首席科学家和审查机构（以绝对多数投票通过）可以废止其中一项或两项标准。 公司不会接受“一切合法用途”作为其标准。当对方要求采用“一切合法用途”条款时，公司将要求获取证明其预期用途合法性的法律备忘录。这种透明度使公司能够根据其标准评估每个使用案例。部分案例将符合公司标准，部分则不符合。对于不符合标准的案例，公司将予以拒绝。 在 TomSmith 的帮助下，我获得了军事和监控法律领域专家的反馈。特别是一位人类与 AI 作战融合领域的顶尖法律专家，他们表示我的框架“实际上相当不错”，并提出了一些改进建议。 我与 Jeff 的午餐 2026 年 3 月 17 日 一位朋友开车送我到山景城与 Jeff 会面。我穿着整洁的衬衫和休闲裤，走进了 Gradient Canopy 办公室。我的包里装着那份框架，心中有一个疑问：“Jeff 到底想做什么，如果他有想法的话？” 我即将见到的是一个斗士？一个旁观者？还是一个战略家？ 一个月前，我请求安排这次午餐，以便我们可以讨论让谷歌的合同状况更加符合道德的“建设性方案”。他是否会有自己的计划？他当然可能有。他的视野和经验都远胜于我。我准备好将自己的框架搁置一旁，去遵循一个基于更多信息制定的更优方案。我并不太在意。即使 Sundar 采纳了我的框架，我也知道自己不太可能获得认可。这让我有些难过，但我只想把事情做成。 我在加州阳光下与 Jeff 共进午餐。我提议由 Jeff 来领导潜在的审查机构，但他没有接受这个想法。除此之外，我不会讨论我们午餐的细节。我只能指出他公开的行为：他发布推文，并签署了一份支持 Anthropic 的非当事人意见陈述。谷歌后来签署了协议。尽管 Jeff 曾做出承诺，但他仍然留在谷歌。 寻找另一条产生影响的道路 我对此早有预料——我只是判断成功的概率足够高，值得一试。没有 Jeff 支持审查机构，成功的可能性大大降低。我仍然认为巨大的潜在收益值得我继续努力。另一个显而易见的升级途径是联系 Demis Hassabis。 2014 年，谷歌收购 DeepMind 时有一个明确的承诺：其人工智能绝不会用于军事或武器目的。2018 年，DeepMind 的所有联合创始人（包括 Demis）都签署了致命自主武器承诺书，谷歌 DeepMind 作为一个组织也签署了该承诺。 戴米斯已经与桑达尔抗争过，以确保未来 DeepMind 的通用人工智能不会受制于谷歌的利润动机（尽管他最终失败了）。我当时想：“戴米斯不会因此辞职。但如果他推动一下，或许能争取到一些透明度机制。”我寻找一种不那么尴尬的方式，把我的提案送到戴米斯面前。杰夫本可以毫无问题地转交，但我只能另寻他路。 我四处打听。我确实了解到有一位资深人士正在主动采取行动，努力阻止这笔交易。我很感激。但我只知道这一位。 无论如何，在试图通过管理层级向上反映一周之后，我决定干脆就用那种尴尬的方式。 既然没人回应，为什么不直接给 CEO 发私信呢？ 2026 年 4 月 1 日 毕竟，最坏的情况能有多糟？依我看，他可能会说“这不合适，下次通过你的经理提交。”无所谓了。 我给戴米斯的信息 戴米斯，我起草了一份谷歌军事人工智能监督框架，以及两项候选标准（可以分开考虑）。一位人类/人工智能联合作战整合领域的顶尖法律专家表示，这个框架“确实相当不错”。该监督是咨询性质的，为国防人工智能部署提供独立的技术和伦理评估。 戴米斯让我把这份框架交给两位在 GDM 政策部门工作的资深人士评估。我发给了他们。他们已读未回。 我的框架无人评估 也许是大忙人太忙了。几天后，我提醒了他们。其中一位让我去找他的一些下属谈。大约过了一周，我和那些下属谈了。他们似乎对这个框架很兴奋，但说我可能要等好几个月才能收到回复，这与时间紧迫性不符。 我回到高级政策人员那里讨论下一步行动。其中一位希望我在事态发展过程中随时向他们汇报最新情况。几天后，我温和地提出了反对意见。我解释了我们面临的时间窗口未知但可能很短，并指出五角大楼1月9日的备忘录要求所有AI承包商在180天内（截止日期为7月8日）接受“任何合法用途”的合同。14我基本上说：“如果你们认为戴米斯不应该再看这份框架，那也没问题，但我希望你们无论如何都要做出这个决定。”我甚至提出从旧金山飞往伦敦，只是为了回答他们关于框架的任何问题。 他们已读未回。 我仍然不知道发生了什么。毕竟，公司CEO希望对其进行评估。我原本没指望他们让我参与其中，但我期待一句“谢谢，我会让戴米斯知道我的评估结果”。可能有一些未知但合理的复杂情况。无论如何，我对这个过程感到不满。 谷歌悄然签署协议 据2026年4月27日报道 在那之前的那个周末，我听到了一些风声。我和其他600多名员工一起签署了一封信，要求桑达尔对机密AI合同说“不”。15我问杰夫，我能否以非正式的方式做些什么，跨越汇报层级和官僚体系，帮助他完成任何他想做的事情。我愿意整个周末都工作，没问题，做任何他认为明智的事情。唉。 谷歌与五角大楼签署机密AI协议 该协议允许五角大楼将谷歌的AI用于“任何合法的政府目的”。 谷歌的协议要求其协助根据政府要求调整公司的AI安全设置和过滤器…… 合同包含以下措辞：“双方同意，在缺乏适当的人类监督和控制的情况下，AI系统不应用于、也不应被用于国内大规模监控或自主武器（包括目标选择）。” 然而，该协议也表明，它并未赋予谷歌控制或否决合法政府行动决策的权利。 我是在晚上11点45分通过一个Signal群组得知此事的。谷歌从未在公司内部公开宣布过这笔交易。让我惊讶的不是谷歌签了约，而是这笔交易对伦理关切几乎只是敷衍了事：“不应”这类措辞并不具有约束力。 Alex Turner @Turn_Trout 过去两个月我一直在努力阻止这件事。如果说OpenAI还提供了一片遮羞布，那谷歌简直是说“想象我们提供了一片遮羞布”。 谷歌确认自己无法否决使用方式，承诺会根据政府要求修改安全过滤器，并使用了不具法律约束力的愿景式措辞。 可耻。 2026年 4月 28 日 47 882 我找到了该领域最顶尖的安全与伦理组织（iaseai）。我咨询了一些最杰出的AI科学家（Bengio和Stuart）。我建立了一个联盟，并为谷歌最直言不讳的高管（Jeff）制定了一项计划。我甚至直接给我所在公司的CEO（Demis）发了私信，但他的副手们从未评估过这个提案。除了Jeff，没有人采取任何可见的行动来阻止这笔交易。而这份协议中没有任何具有约束力的条款——如果Jeff从未以退出相威胁，这正是我所预料的结果。 这笔交易最终还是签了。 不过话说回来，谷歌是不是放弃竞标一个无人机合同了？ 谷歌在晋级后退出五角大楼无人机蜂群竞赛 据知情人士透露，谷歌突然退出了五角大楼一项价值1亿美元的挑战赛，该赛事旨在开发用于语音控制、自主无人机蜂群的技术，而谷歌此前已成功提交了参赛方案。 据另一位知情人士称，该公司于2月11日通知政府，将不再继续参与这项旨在开发控制无人机蜂群所需技术的计划——此时距离提案提交仅过去几周。根据彭博新闻社查阅的相关记录，这一决定是在内部伦理审查之后做出的。记录显示，Alphabet旗下的谷歌在退出竞赛时，官方给出的理由是缺乏“资源”。 显然，谷歌确实存在一个有实际约束力的伦理审查机制，至少在某些项目上有时能发挥作用。这倒是件好事。 然而，这并不能免除谷歌签署该协议的决定。让我们善意地假设，谷歌有一套流程，能够始终阻止那些明显会被用于特定武器用途的合同。 正如我即将谈到的，谷歌的标准显然是“收益显著大于危害”。如果谷歌无法知道 Gemini 将被用于哪些“合法目的”，它又如何权衡这一点？在“所有合法用途”的协议下，将不再有任何警告会让像 Jeff 或 Demis 这样具有道德意识的员工感到不安。 政府不会打电话给谷歌说：“我们在杀伤链中使用了 Gemini 来轰炸一群人。”同样地，Anthropic 的 CEO 至今仍不知道 Claude 在轰炸一所伊朗女子学校的事件中扮演了什么角色（如果有的话）。就连 Anthropic 自己也不知道，而 Anthropic 在合同透明度方面公开表现出的意愿远高于谷歌。 Demis 坚称谷歌的 AI 原则“没有改变” Google DeepMind CEO Demis Hassabis 谈 AI 在军事中的应用以及 AGI 对人类的意义 采访者 当谷歌在 2014 年收购 DeepMind 时，你们签署了一份合同，规定谷歌不会将你们的技术用于军事目的。自那以后，你们进行了重组。现在，DeepMind 的技术被出售给包括美国和以色列在内的多个军方。你谈过开发 AGI 的巨大好处。你是否觉得，为了获得开发这项技术的机会，你在那个方面做出了妥协？ Demis 不，我不这么认为。我认为我们最近更新了一些内容，部分是为了考虑到全球范围内更大的地缘政治不确定性。不幸的是，世界已经变得更加危险。我认为我们不能再理所当然地认为民主价值观会胜出——我完全不认为这是确定的。存在着严重的威胁。 因此，我认为我们需要与各国政府合作。与政府合作也使我们能够与其他受监管的重要行业合作，比如银行业、医疗保健等。我们的原则没有任何改变。我们原则的根本一直是：我们必须深思熟虑地权衡收益，并且收益必须大幅超过伤害风险。因此，对于我们可能想做的任何事情，这都是一条很高的门槛。当然，我们必须尊重国际法和人权——这些原则依然存在。 具体来说，他说： 我们原则的根本一直是：我们必须深思熟虑地权衡收益，并且收益必须大幅超过伤害风险。 这不是一条原则。原则是你事先承诺遵守的东西，这样你以后就无法说服自己违背它，即使收益似乎超过了伤害。你不能违背一条“我见到具体情况再决定”的“原则”。 谷歌2018年最初的AI原则承诺谷歌不会支持特定的用例，这导致谷歌在2018年放弃了对一份价值100亿美元合同的竞标。这些原则包含一个名为“我们不会追求的应用”的章节，其中指出谷歌不会设计或部署用于“主要目的或实施是为了造成或直接促成人员伤害”的武器，也不会用于“违反国际公认规范”的监控。 2025年2月4日，戴密斯合著了一篇帖子，宣布对这些原则进行更新。更新后的原则移除了关于武器和监控的禁令。 请思考这些说法：“戴密斯移除了谷歌AI原则中的禁令”和“我们的原则没有任何改变”。这两者不可能同时为真。 戴密斯希望gdm的员工信任他，并相信DeepMind拥有足够强大的审查流程。但谷歌的AI原则明确列出了谷歌不会做的事情，然后他移除了这些禁令，最后却告诉我们一切都没有改变。 在我工作的最后一天，我在讨论频道指出了这一矛盾。许多gdm员工表达了他们的失望。 我们可以“与西方民主国家合作”来“击败中国”，而不必屈服于特朗普提出的每一项要求。 当一位 AI 领军人物说他们需要“与西方民主国家合作”时，这暗示他们正在做不好的事情。 戴米斯以“[谷歌需要]与各国政府合作”以确保民主价值观获胜为由，为打破 gdm 的不开发武器承诺进行辩护。我认为这制造了一种虚假的两难选择。要理解这一点，不妨先接受他的整个世界观：如果美国不采用自主武器，我们就会输给威权主义——乌克兰沦陷，自由崩塌，红色浪潮席卷一切。即使有了这个强有力的假设，“给五角大楼它想要的一切”也不一定是对世界最有利的行动。例如，你可以构建一个治理框架，限制谷歌愿意为其产品提供的使用场景。这样谷歌就能提供合乎道德的使用方式（用于“击败中国”），而避免不道德的使用。 即使谷歌被迫签署协议，它仍然可以利用其巨大的影响力游说国会制定法律保障。屈服是一种选择。 在个人信任的基础上构建一项重塑世界的技术 我曾以为戴米斯是一个安静、深思熟虑的人，在苛刻的企业架构中尽力而为。我又一次想起了戴米斯试图（但未能）将 Google DeepMind 分拆出去的故事： 《无限机器：戴米斯·哈萨比斯、DeepMind 与超级智能探索》 “当我们与谷歌谈判时，我们希望以一种无需信任的方式来确保安全，”哈萨比斯说。“这在现实中其实非常难以实现。” “安全不在于治理结构，”他继续说道。“我的意思是，即使你有一个治理委员会，在关键时刻它很可能也不会做正确的事。” “安全章程也是如此。你可以尝试谈判达成一份。但提前几年制定清晰的原则是不现实的，因为你很可能把界限划错地方。[……] “所以后来我想，为什么不换个方向呢？把原本投入到无需信任谈判上的精力，转而用于建立真正的信任——那种实际有用的信任。尝试向谷歌靠拢，而不是疏远它。” “然后当然会发生两件事。第一，你现在坐在了谈判桌前，所以当安全问题出现时，你可以参与决策。第二，你开始了解谷歌的人，并一起积累成功。你不能只空谈信任。你必须去赢得它。” “而且我认为，对我来说，也许对穆斯塔法也是如此，这关乎我们的成长，”哈萨比斯沉思道。“我们经历了那些谈判，我们成熟了。事情并非非黑即白，尤其是当你面对一项后果未知的技术时。” “所以你必须具有适应性。你必须从理想主义者转变为现实主义者，但希望仍能坚守你的价值观。” 德米斯对无需信任的结构持谨慎态度。我认为这恰恰相反：你应该努力降低一个系统所需的信任程度。我提出的框架基于一个单一的信任假设：即首席科学家在足够长的时间内保持理性，以便组建审查机构。然后，该框架通过透明度和契约来制造有依据的信任，不是阻止不道德的协议，而是增加摩擦。德米斯的反对意见是，一个治理委员会“在关键时刻很可能不会做正确的事。”确实如此，但坐在谈判桌前的那个人在完全相同的关键时刻，却面临着缺乏透明度且更糟糕的激励因素：股权、与同事的社会关系，以及与公司紧密相连的自我形象。 并且请注意德米斯是如何得出他的理念的。他曾试图通过将 DeepMind 从谷歌剥离出来，置于一个半独立董事会之下，来构建一个信任度要求更低的结构。桑达尔拒绝了。直到那时，德米斯才得出结论，答案是相互信任和坐在谈判桌前。 尝试融入谷歌，而不是疏远它。 然后当然会发生两件事。第一，你现在坐在了谈判桌前，所以当安全问题出现时，你可以参与决策。第二，你开始了解谷歌的人，并一起积累成功。你不能只空谈信任。你必须去赢得它。 那么，他那个席位到底带来了什么？本文提到的每一份合同，德米斯都在谈判桌上。那份机密协议在员工提出的伦理关切上，没有做出任何有约束力的让步。也许他的存在避免了更糟的情况，但谷歌的条款几乎接近我能想象的最低限度。那些伦理条款没有约束力，因此比 OpenAI 的还要弱。如果他的席位真像他说的那么有价值，你应该能看到更多成果才对。 反思 Google DeepMind 曾是一场治理实验。联合创始人们以永不开发武器的承诺将公司卖给谷歌，并争取半独立的治理结构。桑达尔拒绝了这一要求。谷歌 2018 年的人工智能原则是在员工压力下出台的，但后来被领导层悄悄削弱了效力。 以下是 GDM 这场实验的结果：它失败了。 当利润与压力在 Google DeepMind 遭遇伦理承诺时，压力胜出，承诺落败。当利润与压力在 Anthropic 遭遇伦理承诺时，伦理胜出。所以教训不是“没有人会挺身而出”，而是社会不能依赖有伦理动机的人坚守立场。 我知道其他选择看起来也不怎么样。国会就像角落里的一盆盆栽。但我们至少应该停止告诉自己“在谈判桌上有个席位”是管用的。 签署了承诺书的人如何还能留在 GDM？ Jeff Dean、Demis Hassabis、Shane Legg 以及其他资深员工曾承诺“既不参与也不支持致命自主武器的开发、制造、交易或使用”。谷歌签署了那份机密协议，而他们却留了下来。 有人可能会辩护说：“这份协议只是没有禁止自主武器，这并不等同于积极支持自主武器。”谷歌的合同让忧心忡忡的承诺签署者无法确定真相，但蒙上眼睛并不能免除责任。 你的公司正试图制造并向一支希望将人工智能用于致命自主武器的军队提供世界上最好的人工智能。你的公司放弃了限制使用场景的能力。而你选择留下来，继续构建那个人工智能。 在我看来，这简直太像“支持致命自主武器的开发”了。 签署承诺书的人应该怎么做？我认为有三种诚实的选项：公开解释留在公司如何与承诺保持一致，直白地表示自己不再坚持该承诺并说明原因，或者辞职。一边继续佩戴承诺标识一边保持沉默，这不在选项之列。 保留在谈判桌上的席位 但是，谷歌 DeepMind 的员工难道不应该留下来，继续引导公司朝着积极的方向发展吗？对此我必须反驳：“引导什么方向？”这笔交易可能是谷歌 Gemini 项目迄今为止面临的最清晰的红线，然而最终达成的协议却没有对关心伦理的员工做出任何让步。如果他们在“谈判桌上的席位”在那种情况下连一条有约束力的条款都无法促成，那么这个席位何时才能发挥作用？ 此外，承诺的价值完全取决于其背后的可信度。当有人签署“我不会支持开发致命自主武器”，却留在公司，而公司恰恰向渴望这种技术的军方出售不受限制的人工智能时，他们给所有交易对手上了一课：这些安全人士不会采取行动，即使是在他们自己划定的最清晰的红线上。他们做出的下一个承诺，价值就会降低。最终，将一文不值。 伦理的分量 责任在谁？是恐吓了人工智能公司的皮特·赫格塞斯和唐纳德·特朗普？是签署了协议的桑达尔·皮查伊？还是其影响力未能在这笔交易中留下任何印记的杰夫·迪恩？责任在他们之间不均等地分摊，但我的关注点落在了那些曾公开做出伦理承诺的人身上。 对于皮特·赫格塞斯，你至少知道他会做什么。“说服皮特停止下令战争罪行”并非可行的策略。但对于几乎所有那些高谈伦理却始终不作为的资深人工智能专业人士，我感到格外失望。 他们为什么选择不作为？答案似乎并不简单明了，但我认为部分原因是对特朗普政府的恐惧。 杰弗里·辛顿长篇访谈 2025年4月26日 采访者 当谷歌违背其不使用军事人工智能的承诺时，您感到失望吗？ 辛顿 非常失望。尤其因为我了解谢尔盖·布林也不喜欢将人工智能用于军事目的。 采访者 您认为他们为什么这么做？ 辛顿 我没有内部消息……但我可以推测，他们可能是担心如果拒绝为美国制造武器，会受到现政府的刁难。 那些 AI 领域的领军人物在做什么？ 这些人总体上显然并非懦夫。多年来，斯图尔特一直坚持一个不受欢迎的立场，即应该认真对待 AI 的生存风险。辛顿在 20 世纪 80 年代因“不赞成军方资助人工智能”而离开美国，随后在 2023 年离开谷歌，以便坦率谈论 AI 的风险。 杰弗里·辛顿 2026 年 6 月 10 日 唯一能约束那些大型 AI 公司的是公众压力。 那么，压力在哪里？ 有时会有人问：“如果 iaseai 只是在积攒政治资本，等待一个更具影响力的时刻呢？”一个答案是，“积攒资本”无法解释为什么 iaseai 忽视了那些低成本的机会（比如斯图尔特帮我联系谷歌的关键决策者）。 以斯图尔特的职业生涯来看，我期望他能站出来发声。斯图尔特曾在联合国、参议院以及接受采访时发表过数百次演讲，痛斥“杀手机器人”。他在《IEEE Spectrum》杂志上猛烈抨击“一厢情愿的想法”。他在 iaseai 闭幕式的舞台上发表了强有力的声明。但面对一个真正可以公开反对特定强大对手的机会时，他却沉默了。 杰夫为什么没有坚决反对？ 杰夫的情况比较复杂。在谷歌所有高管中，他是唯一一个公开采取行动的人。他签署了法庭之友书状，并与自己的公司决裂。这很可能让他在公司高层中处境尴尬。我对此表示尊重。 他本有能力做得更多。我也真心希望他那么做了。我认为他本可以阻止这笔交易，但他没有。他仍然留任，而我认为他不该如此。 摆脱角色的束缚 你知道，我是一名研究科学家——GDM 数百名科学家中的一员。我脑海中有一个“负责任的”研究科学家的形象。“负责任的”研究科学家会发一条推文，然后给经理发一条关于 ICE 合同的关切信息。“负责任的”研究科学家不会给谷歌高管发冷消息。 极少数情况下，人会突破自己的界限。他们走出束缚自己的恐惧，承认一个艰难的事实，做出前一天还会让自己惊讶的举动。我不明白人们为何会或不会突破自己的界限。 我知道这次是什么打破了我的界限。我的手机里有一个定期提醒，会显示一张亚历克斯·普雷蒂的照片。在一月的某个时刻，我的愤怒燃烧得如此炽烈，唯一的出路就是找到一个真正可行的计划。仅仅发一条推文毫无作用，也毫无意义。只有一个好计划才能平息怒火。那怒火烧穿了我的界限，并将其打破。 当我感到害怕时——我确实害怕了——我就会想起明尼阿波利斯。我会想起冰弹在街上射向人群，把人从家中拖出来。 我为何离开 Google DeepMind 当一名员工离开顶级 AI 实验室时，通常都会投入另一家实验室的怀抱。他们通常能借此获得巨额奖金。但我没有这样做：我没有与竞争实验室接触，也拒绝了 OpenAI 安全团队的接洽。我现在处于失业状态。 二月份，我意识到谷歌很可能会签署这项协议，这让我开始思考那扇门。我意识到也许我该离开了，也许我能在其他地方更好地从事 AI 安全工作。但我认为，如果他们没签署协议，我可能会再多待几个月。当谷歌签署协议后，我实在无法再继续工作了。我的大脑说“不”。 当我下次再去办公室时，那栋楼感觉像一段回忆。就像回到你的高中母校：它曾经是你希望和梦想的中心，然后有一天，你突然明白自己不再属于那里了。 我在 GDM 办公桌前的景色。2024 年 3 月。 附录：预期问题 如果你批评的人是在保存他们的政治资本呢？ 确实，想到什么就立刻说出来并不总是理性的。然而，“保存政治资本”解释的是避免代价高昂的公开声明。它并不能解释拒绝零成本的私下帮助。我曾向 iaseai 请求私下引荐，但一无所获。 也许他们认为你不值得他们花时间；你并没有权利要求他们的帮助。 确实如此。任何人都不应仅仅因为没有遵循我个人的建议而受到指责。但我期望看到的是，至少能有一些实际行动。 更广泛地说，令人同情的叙事会预测出可见的影响，包括“在其后果中可见”。这也是为什么我敢于猜测杰夫并没有坚持己见并威胁要退出。如果他真的坚持了，我预计世界在我眼中会有所不同：具体来说，我会期望那份机密协议至少包含一些具有约束力的条款。 并非每个人都必须对每一个问题都公开发声。 是的，但如果你承诺采取行动却未兑现，那就不一样了。Iaseai 承诺举行会员投票，却从未执行。此外，如果你将自身身份的重要部分建立在反对某件事上，我认为讨论你在该事件决策期间保持沉默的选择是合理的。斯图尔特只是最明显的例子。他花了十年时间作为反对自主武器的最响亮声音，却在现代 AI 与军事用途的第一次真正碰撞中沉默了。 即使谷歌采纳了你的框架，五角大楼也会拒绝。 我同意。xAI 仍然会交出他们的 AI。但如果谷歌更早展现出独立的迹象，它或许本可以与 OpenAI 和 Anthropic 结成联盟。 也请考虑这一点：Anthropic 表明立场只是一家科技公司。如果像谷歌这样的公司也违抗政府，我认为那本会将科技行业的软弱转变为独立。然而…… 五角大楼官员表示，将“不再”依赖单一的 AI 供应商。 负责研究与工程的国防部副部长埃米尔·迈克尔表示，与大型科技公司达成的新协议是对当前 Anthropic 与五角大楼冲突的“反制声明”，因为该机构优先考虑灵活的合同。 Michael 进一步表示，与亚马逊云服务（AWS）、谷歌、微软、英伟达、OpenAI、Reflection、甲骨文和 SpaceX 达成的新协议是“全球最大科技公司的一份声明，这些公司都涉足人工智能领域……它们借此表态：‘我们支持国防部，我们支持美国政府，我们支持……武装部队的所有合法用途。’” 尽管五角大楼有相关政策，但 Jeff 的筹码依然重要。五角大楼本可以拒绝，没错，但那样谷歌也可以选择退出。 这对人工智能带来的生存风险有影响吗？ 有。 在构建先进人工智能系统时，最佳实践是制定一份“安全论证”，解释该系统将如何保持对齐，并且不会造成灾难性伤害。我认为任何可信的 GDM 安全论证都会严重依赖对“思维链”的监控，这是其前沿安全框架中讨论的一种机制。20 对于不熟悉的人来说，思维链就是人工智能大致解释它在做什么以及为什么这么做。它并非完全准确，但信息量极大。 一个想要伤害我们的人工智能不会当面宣布，因为我们会把它关掉，这样它就无法实现其（未对齐的）目标。因此，人工智能很可能会具有欺骗性。我们检测欺骗的最佳方法之一就是查看思维链。要查看思维链，必须有经过训练的人类监督员能够访问和分析数据。但没人能做到这一点：谷歌正将其人工智能交给一个安全的军事数据中心运行，该数据中心默认情况下不会有经过训练的监督员执行这种分析，而且该数据中心显然不会将数据传输回谷歌！21 我并不是说谷歌工程师应该读取军方在做什么。我是说，默认情况下，不会有经过适当训练的军方工程师来执行这种监控。如果人工智能的思维链没有受到欺骗性监控，它就能更容易地通过策划、欺骗和试图接管来对人类造成灾难性伤害。这很糟糕。 不幸的是，这只是问题的一半！在军事部署环境中，如果没有思维链欺骗监控，对于恶意 AI 来说将是一个诱人的目标，既能提供对阴谋的薄弱监督，又能接触到强大的决策者和基础设施。 希望军方（与美国 CAISI 合作）能够制定用于监控和遏制恶意 AI 系统的专业知识、谨慎态度和控制程序。 附录：“别担心，只是 API 访问” 管理层常见的安抚话术： 一位谷歌发言人表示 我们相信，向我们的商业模型提供 API 访问权限（包括在谷歌基础设施上），并采用行业标准实践和条款，是支持国家安全的一种负责任的做法。 “API 访问”具有误导性。当你我想到“API 访问”时，我们想到的是向 AI 提供商发送请求，提供商可以扫描这些请求并确保其用途是可接受的。 想象一位指挥官在执行任务时咨询 Gemini。你认为他会向谷歌发送明文查询，让谷歌（理论上）能够读取机密任务细节吗？不。那太疯狂了。 相反，我猜测谷歌提供的是本地部署的 API 访问。在我看来合理的情况是：政府拥有一个与谷歌服务器集群无连接的安全云计算集群。谷歌交付一台或多台服务器，这些服务器向军方的集群暴露一个 Gemini API 端点。 那么，“仅限 API 访问”在技术上可能是正确的，但具有误导性（错误地暗示了谷歌的集中监管）且无关紧要。API 访问能提供什么保护？问题在于使用 Gemini 协助潜在的战争罪行和对异见者的大规模画像。然而，部分由于谷歌的原因，这些条款现在已成为“行业标准实践”（Anthropic 除外）。 脚注 严格来说，我担心的是 AI 导致的大规模画像。监控涉及数据收集。画像则是利用数据得出结论，比如“这个人是否不喜欢政府？”。⤴ 谷歌回应称，移民机构只是在使用市面上可用的云服务。但问题从来就不是谷歌提供了特殊服务，而是谷歌竟然向 ICE 提供服务。 服务条款中的例外情况并不适用于那名学生抗议者的案件。 林法官后来表示，五角大楼的供应链风险认定是“典型的非法第一修正案报复行为”。 斯图尔特的“敲诈勒索”言论似乎只是偶然出现在《The Information》的一篇新闻综述中。 那个周四，在同一栋楼的场地里，举办了一场为期四小时的研讨会，讨论如何让 AI 红线“可验证且可执行”。与会者被问到：这些红线面临的最大障碍是什么？答案是政治意愿。 应要求，马克确实退还了我的会员费。 在我发给 gdm 讨论组的消息中，我最初估计“造成超过 150 人死亡”。截至 2026 年 6 月 28 日，死亡人数已升至 215 人。 在我内部的整个行动过程中，我确保不与媒体交谈（即使是匿名方式）。我希望从内部推动改变，并且我想以正确的方式为像杰夫这样的人做事。 《纽约时报》也报道称： 在给迪恩先生的 AI 信函的一个脚注中写道，许多签署者反对“对世界上任何公民进行无证监控”。但他们决定将其从信函中删除，“以增加实现我们请求的可能性”。 我后悔那个决定。“仅限美国人”的保护与 Anthropic 的红线一致，但“仅限美国人”这个要求太狭隘了。不要在谈判开始前就放弃你真正想要的东西！我后来提出的合同条款草案要求为非美国人提供更多保护。 在法庭之友陈述书的 18 个 gdm 签名中，有 8 个是我负责的。签名数量少是因为这是临时发起的。 这就是为什么我认为我的行动导致了五角大楼更加警惕。我把杰夫（以及近一半的谷歌签署者）引荐给了这份法庭之友陈述书。他们签了名。五角大楼的犹豫部分正是源于谷歌在法庭之友陈述书上的签名。 大型联盟在这里会面临问题。设想一下，我的计划依赖于几位资深 GDM 员工告诉桑达尔，如果交易签署，他们就会离职。桑达尔不需要说服所有人；他只需要瓦解他们采取行动的意图。向更资深的员工提供 1500 万美元的留任奖金。如果几个人接受了，联盟就会瓦解。没人知道其他人到底有多坚定，而且他们也不认为自己能通过辞职来独自促成改变，所以他们就不会辞职。 政府 7 月 8 日的截止日期是另一个让我觉得“谷歌只会坐等事态过去”这种说法站不住脚的原因。 我原本不认为“不涉及机密合同”是划定的正确界限，但我认为这总比没有界限要好。 现任 GDM 研究科学家 Andreas Kirsch 在他的文章《信任不是治理》中独立得出了相同的结论。 2026 年，五角大楼为自主武器申请的经费超过了为美国海军陆战队申请的经费！ 总而言之，我们以及许多其他专家仍然认为，自主武器可能成为可扩展的大规模杀伤性武器，这一观点是合理的。Scharre 关于禁令将无效或适得其反的说法与历史记录不符。最后，认为不受监管的自主武器军备竞赛将增强人类安全的想法，充其量只是一厢情愿。 ⤴ 这些杰出人士将自主武器作为他们的事业之一。2025 年 9 月，在联合国大会上，《全球人工智能红线呼吁》征集了超过 300 个签署方，其中包括 15 位诺贝尔奖和图灵奖得主。该呼吁声明，某些人工智能用途应通过国际协议予以禁止，包括大规模监控和致命性自主武器。 Stuart 签署了它。Bengio、Hinton 和 Nitzberg 也签署了。他们在 2025 年 9 月签署了这项抽象原则。当 2026 年 2 月具体考验来临时，他们的 iaseai 没有签署任何声明。 《前沿安全框架 V3.1》第 3.2.1 节，按 Ctrl+F 搜索“思维链”。 机密部署运行在要求与商业云基础设施隔离的授权级别（如 IL-6）上。 在递归式自我改进场景中，对 AI 进行监控或许更为重要，但这并不削弱我的观点。一旦自我改进完成，AI 就需要按照其目标采取行动。一次不谨慎的军事部署，会降低一个未对齐的 AI 为夺取控制权所需的最低能力优势。