在《魔戒》的一条支线情节中，两个霍比特人试图唤醒树胡——一位智慧但行动迟缓的树人——让他保卫自己的森林，抵御一支正在砍伐森林的军队。问题在于，树胡的行动速度与霍比特人截然不同。他光是向另一棵树打招呼就要花上一整天，所以要让他和同伴们迅速行动起来几乎是不可能的。

人工智能与我们的政治体制的交汇，感觉有点像霍比特人与树胡。AI正以闪电般的速度发展——仅仅四年间，AI模型从几乎无法写出连贯的一行代码，发展到能编写主流AI公司的大部分代码。在生物学、物理学、数学、金融、法律、翻译以及许多其他领域，也取得了类似的进步。AI的规模定律预测，随着算力增加，通用认知能力将呈指数级增长，如今这一定律背后已有超过十年的实证支持。如果这些规模定律再持续一两年，我们很可能会迎来我所说的强大AI，即“数据中心里的天才国度”。

相比之下，政策——尤其是立法——却行动极其缓慢。这往往有其充分的理由：政府掌握着重大权力，通常最好避免仓促使用。然而，这种时间尺度上的错配依然令人非常痛苦：在国会可能需要数年才能采取行动的这段时间里，AI可能从一个有趣的玩具演变为完整的“天才国度”。

在过去几年里，随着AI成为一项重要的商业技术，我们这些希望负责任地处理它的人面临着一个两难困境。我们清楚地看到了指数级发展的方向：我们强烈怀疑，在几年内AI将成为极少数从根本上重塑整个政策格局的技术之一，就像核武器重塑了地缘政治、工业革命从根本上重塑了每一个经济和社会问题一样。但对于那些只关注当时AI能力的人来说，它看起来像是一项更加普通的技术——也许类似于最新的消费应用或加密货币。很难让大多数政策制定者和公司相信，除了自由放任的态度之外还有什么别的合理选择。平心而论，AI的颠覆性影响尚未显现，而且我们也不确切知道它们可能呈现何种形态，这使得即便有行动的意愿，也难以设计出恰当的政策。

鉴于这种情况带来的限制，许多安全倡导者（包括Anthropic）迄今为止一直专注于倡导那些保留可选性、为未来快速反应做好准备，或让世界更清楚地了解即将到来的事物的政策行动——比如透明度立法、芯片出口管制，以及收集AI对劳动力影响的数据。这些还不够，但一直以来它们似乎是唯一可能做到的事情。

然而，在过去几个月里，人工智能令人难以置信的力量及其风险已变得不容否认。或许最具代表性的例子是 Claude Mythos Preview，以及发现前沿模型对网络安全构成非常现实的风险，有可能破坏金融部门、关键基础设施和国家安全。Mythos Preview 搅乱了全球网络安全格局。但其更广泛的意义在于，它无可辩驳地证明，AI 模型如今已成为具有全球和国家战略意义的工具。Mythos 类模型带来的网络风险不会是我们必须面对的最后风险。我相信，生物风险可能很快就会随之而来，而严重的 AI 自主性风险可能也不远了。

我们现在需要全球共同启动一个缓慢且摇摇欲坠的政策机制，来应对那些将从此刻起以惊人速度叠加的风险与机遇。许多政策制定者展现出越来越开放的行动意愿，看到同行们逐渐认同我们过去几年一直倡导的立场，这令人鼓舞。这是好事，但我担心这些早期行动至少落后于 AI 快速进展一年。本文试图弥合这一差距：阐明当前指数级发展所处的位置，以及为应对这一时刻所需的集体行动。

我将聚焦五个需要在一个 AI 世界中重新构思的长期政策领域：监管与公共安全、宏观经济学与税收政策、科学创新、国家与社会之间的权力平衡，以及地缘政治。我将主要从美国政策的角度阐述，因为 Anthropic 是一家美国公司，但我大部分建议也适用于世界其他地区。

随此文一同，Anthropic 将发布一项关于前沿模型测试的立法提案，以及一个针对岗位替代的政策框架，我们打算为此提供大量资金支持。我们计划未来做更多工作，但将这些视为表明我们严肃态度的第一步。

1. 监管与公共安全

每一项新技术或新产品都可能带来有益与有害两种用途，因此都面临创新与安全之间的两难困境。对产品进行监管，固然能降低其造成危害的可能性，并在改善全球人民生活方面发挥了重要作用，但这种监管也可能直接削弱产品的益处，并间接抑制创新。此外，还存在哈耶克所提出的观点：监管者常常缺乏必要的信息，来对复杂的经济权衡做出正确决策，因此监管往往既低效又繁琐。与之相关的一个概念是柯林格里奇困境，即一项技术的影响往往难以预见，等到人们能够轻易管控时，往往为时已晚。

在2023至2024年间，这些动态在人工智能领域尤为突出。Anthropic十分清楚，人工智能未来或许有能力制造出威胁数百万人的生物武器，或者出现自主失控行为，在极端情况下甚至可能威胁到人类自身。然而，风险将以何种具体形式出现、如何最佳地对其进行测试与缓解、以及这些风险在实践中会如何发展，则远没有那么清晰。因此，提前制定的立法很可能最终收效甚微——徒增无意义或低价值的合规要求，却忽略了实际风险中最关键的来源。

最终，我们得出的结论是，当时正确的做法是提高透明度。人工智能模型的开发者应当必须披露其安全流程、在模型上执行的测试，并报告一切重大安全事故，以便公众和科学界能够在风险出现时更好地了解其状况。当风险变得更加明确、其形态更加清晰时，通过透明度所获取的证据便可用来设计精准的立法，以精确应对最令人担忧的风险。因此，在2025年，Anthropic支持了透明度立法，推动了加利福尼亚州的SB 53法案、纽约州的RAISE法案、伊利诺伊州的SB 315法案（于2026年初通过），并在联邦层面倡导制定透明度标准。

然而现在，风险已经明确显现。是时候超越透明度，转向对 AI 进行更严格、更有约束力的监管了。我认为，至少在当前指数级发展的阶段，最好的类比是汽车、飞机或药品——这些对现代经济至关重要的强大技术，但如果设计或操作不当，也可能导致大量人员死亡。因此，我认为我们应该以联邦航空管理局（FAA）这类机构为蓝本，对 AI 进行监管。前沿 AI 模型应像飞机一样，须经过技术测试和审计；如果未能达到高安全标准，其发布应被阻止或撤销，以将其视为对公共安全的威胁。我很高兴看到特朗普政府的行政命令逐步推动政府在 AI 领域发挥更大作用，尽管 Anthropic 的提案建议采取更进一步行动。我们的提案包含以下要素：

• 超过一定算力阈值的模型，应由合格第三方对其在四个特定领域的风险水平进行强制测试：网络安全、生物武器、AI 系统失控，以及可能加速其他这些风险的自动化研发。
• 如果根据第三方评估，确定模型存在不可接受的风险，政府应有权阻止或延缓其部署。这一权力必须限定在上述四个特定风险范围内，并且必须建立防止政治偏袒或任意决策的保护措施。
• 第三方评估可由政府机构（类似 FAA）执行，也可由一组经政府授权并根据特定标准对模型进行评估的私营组织执行（即“监管市场”方式）。
• 开发先进 AI 模型的 AI 公司必须制定严格的安全标准来保护其模型权重，应定期进行红队测试和渗透测试，并与政府合作抵御主要威胁行为者。
• 四个关键领域的安全事件必须及时报告。

也许在不久的将来，我们会面临需要更进一步的情况——那时最强大的AI系统看起来不再像飞机或汽车，而更像是可武器化的核材料——对全人类构成威胁，而不仅仅是“危及公共安全”。如果发生这种情况，我们可能需要比我刚才列出的更为激进的监管措施³。但正如在2024年难以精准定位并实施我现在提出的这些措施一样，我认为我们不应操之过急。我们应该针对当今正在显现的威胁设计政策，同时为应对新危险时能更快加强响应奠定基础。

2. 宏观经济学与税收政策

长期以来，政府一直面临如何在推动经济增长的同时，提供重要的公共服务并确保最弱势群体得到照护的问题。这些讨论中一个重要的（而且通常是正确的）前提是：经济增长脆弱且难以实现——虽然减少不平等可能带来重要好处，但这必须与增税或赤字所带来的经济拖累效应进行权衡。

我怀疑，强大的 AI 可能会颠覆这一假设。如果 AI 获得了在绝大多数认知任务上远超人类的能力，那么合乎逻辑的是，它可能通过加速科学、技术和运营效率，带来极为迅速且强劲的经济增长。AI 不断迭代、构建更优 AI 的能力，还可能进一步推动这种增长。但出于完全相同的原因，AI 也可能比以往任何技术都更普遍地取代人类认知能力，成为经济上的替代品，同时其改变经济的速度也远快于以往技术。因此，有理由认为，AI 可能比以往技术给劳动力市场带来更大的冲击，并且可能造成更持久的破坏。我们可能面临这样一种局面：经济权衡的旋钮被卡在了“超高速增长、超不平等”的档位上，而且极难从这个档位中解脱出来。在这样的世界里，关键挑战不再是激励增长，而是找到一种方式让每个人都能分享增长带来的好处。

在本文讨论的话题中，宏观经济和持久性的劳动力替代或许是吸引了最多公众关注也最容易引发误解的两个话题，因此我想非常明确地说明两点。

首先，长期性的岗位替代是不受欢迎且危险的，我们应尽一切努力将其最小化或加以预防，而非促进它的发生。我曾在访谈和文章中警告过岗位替代的风险，是因为我希望政策制定者和私营部门都能有最佳机会去适应和应对，而非试图扮演一位“末日预言家”。作为一家公司，Anthropic始终尽最大努力与客户合作，寻找创造性的新用例和新的收入来源，让他们能够用现有员工队伍做更多事情，而不是仅仅关注成本节约（这通常意味着裁员）。我们也一直在思考新的人机交互范式，使人类在AI系统不断进步的过程中，尽可能保持与AI协作的主动角色。更广泛地说，让整个世界尽可能多地尝试以各种新方式使用AI是很有价值的，因为这是社会发现新岗位配置的途径。我确实认为AI将带来许多新的经济机遇。我曾预测AI将使个人能够创建价值数十亿美元的公司，而我们已经看到仅由几个人组成的团队正在建立起年收入数亿美元的业务。但同时我们也应认识到，尽管我们付出种种努力，AI仍有可能导致显著的长期性岗位流失——而这可能是这项技术及其广泛复制人类认知的方式所固有的特性。

其次，任何应对人工智能驱动下岗位替代的措施，都需要同时解决两个问题：一是保障每个人的经济生活，二是让人们找到意义、目的和自主性。后者最终更为重要，它取决于关于社会如何组织、人们应当追求什么、以及何为美好生活等深层问题。我实际上非常乐观——即使在一个所有方面都优于人类的AI世界里，人类依然能够过上有深刻意义的生活，并努力建造令人敬畏、美丽动人的事物5。但这需要全社会共同探索，并非政策能直接解决。政策最大的帮助，在于通过减缓岗位流失速度、为可能受影响的群体提供经济保障，从而为我们争取时间去完成这项工作。

本着这一精神，一些可能有益的关键政策干预措施包括：

• 测量与追踪。仅仅收集和分析数据，很容易被认为不足以应对问题的规模，但如果我们无法准确衡量实际情况，就难以制定出好的政策。Anthropic 运营着一个关于人们如何使用 Claude 的 Economic Index，已持续近一年半，但政府能够接触到我们无法获取的数据类型，并可以大幅扩展其经济统计数据，以更仔细地追踪 AI 导致的岗位替代情况。
• 促进就业的激励措施。一系列促进就业的政策激励措施有助于减缓或减少岗位替代，包括：工资保险政策（在人们不得不接受较低薪工作时给予补偿6）、留任税收优惠（鼓励雇主不裁员）、劳动力培训补助金，或用于促进雇主与雇员匹配以加快劳动力市场适应速度的基础设施。至于哪种干预措施最佳，将取决于AI带来何种劳动力替代，但我们应当坦然接受这些政策可能带来的成本和市场低效，尤其是在它们很可能被AI驱动的生产力增长所抵消的情况下。
• 长期宏观经济支持。如果人工智能驱动的劳动力替代规模庞大，且永久性地压低劳动力需求，那么很可能需要超越单纯的激励计划，转向为相当一部分劳动力提供长期收入支持。全民基本收入等机制可以通过对相关公司征税或提高资本利得税来筹措资金。全民资本账户是另一种可行途径。总体而言，快速的经济增长应当为共同繁荣创造税基。

我尚未提及的一个常见经济担忧焦点是数据中心，特别是它们推高能源价格的潜力。我的观点是，AI公司应当承担吸收费率上涨的成本——Anthropic已就此作出承诺——但我认为公众对数据中心的敌意，在很大程度上是更广泛AI经济焦虑的一种象征或宣泄途径。我们必须就这些更广泛的经济问题展开直接的社会对话，并真正找到有说服力的解决方案，否则这些问题很可能会像数据中心案例那样，以间接方式显现出来。

3. 加速AI的正面影响

正如我们必须权衡AI自身的创新与安全之间的平衡，对于可能被AI加速的技术领域——如生物医学、能源或材料科学——我们也必须权衡同样的平衡。但是，虽然AI本身很可能带来快速涌现且我们此前毫无处理经验的新挑战，其他被AI加速的领域则可能遭遇一个截然不同的问题：监管体系是为较慢的创新步伐设计的，尚未准备好应对AI带来的新产品和进展洪流。AI还可能以一种违背美国食品药品监督管理局（FDA）等监管机构怀疑论假设的方式，使这些下游技术变得更安全、更可预测。

因此，对于AI的下游应用（而非AI本身），我更担心的是监管体系会拖慢进步速度（因为它无法应对日益加快的变化节奏），而不是它未能遏制重大风险。我们最不希望看到的就是AI带来的好处被延缓，而风险却日益凸显，因此尽快解决这一问题至关重要。

这个问题及其解决方案在科学、商业和技术等各个领域会有不同表现，所以我将聚焦一个具有说明性的领域：生物医学创新。这不仅因为该领域很可能成为AI最大人道主义效益的来源，也因为它是监管尤为复杂的领域。我们不清楚AI具体会如何加速生物医学创新，但很可能体现在以下几个方面：

• 大幅提升新候选药物进入监管流程的速率；
• 通过更好的优化以及可能对潜在生物学机制的更深入理解，提升新药的效果量并改善其安全性；
• 为以往从未成功治疗过的疾病开发候选药物；
• 快速创造全新的疗法形式，类似于过去几十年中抗体、多肽和细胞疗法成为新的治疗类别。

其中一些进展自然会缩短监管时间线，无需结构性改革。效果量更大的药物可以开展规模更小、成本更低的临床试验，并激活加速审批机制。但当前的监管体系设计是基于这样的假设：候选药物往往无效，即使有效也可能存在严重安全问题，因此需要高标准的审查和多阶段测试。无论是FDA还是欧洲药品管理局（EMA），候选药物通过监管流程通常需要7-8年，部分原因就在于这些悲观的假设。如果不进行改革，AI只会堵塞或超载这个系统。

显然，我们不想以导致大量伪劣药物或广泛安全事故的方式来改变现状。但一些相对简单的改革，可以使美国食品药品监督管理局（FDA）、欧洲药品管理局（EMA）以及类似机构在面对人工智能驱动的快速科学加速（如果真发生的话）时，能够更具适应性。

临床试验流程中许多以往需要昂贵且缓慢实验的步骤，可能很快就能通过人工智能模拟或分析来完成。监管机构现在就应该着手制定标准，明确需要满足哪些条件才能接受这类方法。这样一来，一旦这些方法真正可行，就能迅速被采用，而不是在很长一段时间内继续要求进行不必要的测试。可能适用这一做法的领域包括：

• 基于人工智能的药效学与药代动力学（PD/PK）建模；
• 预测毒理学，以避免需要在多种动物身上进行毒理学试验；
• 更精确的剂量选择，以减少试验中需要的大剂量范围；
• 通过分析大型数据集进行生物标志物验证；
• 临床试验中的合成对照组，以减少招募更多受试者的需求；
• 开发替代终点（在衰老和神经退行性疾病领域尤其重要）。

除了这些具体例子，监管机构还应考虑更激进、更灵活的加速审批机制。如果我对人工智能的预测是正确的，那么很快就会出现大量干预措施突然非常有效的情况，监管体系应该准备好认真对待它们，而不是采取过度怀疑的态度。

生物医学加速应当能大幅提升人工智能带来的益处，但同样值得注意，它也可能有助于降低人工智能的风险。改革生物医学审批流程可能有助于生物防御，而人工智能驱动的生物医学进步也可能改善心理健康，从而对社会起到稳定作用。

4. 国家与公民自由

任何政府体系都必须面对国家权力及其边界的问题。国家在保护其民众免受内外威胁方面，拥有正当且往往关乎存续的利益。但赋予它过多权力，则是通向暴政之路。现代民主国家在很大程度上成功地平衡了这一点，但在最好的情况下，这种平衡也是不稳定的。强制执行这种平衡需要历经数百年积累起来的庞杂法律和宪政机制——例如美国的宪法第一、第四和第五修正案、《地方保安队法》、《外国情报监视法》等等。

人工智能有可能打破这种平衡，同时大幅提高其利害关系。但如果我们迅速反应，抓住时机，我们就能利用AI创造一个比以往任何时候都拥有更强大、更持久的自由保障和更佳的抵御威胁能力的世界。

落入坏人之手的强大AI可能成为独裁的终极工具，而我们现有的法律和宪法保护措施并未完全准备好应对这一威胁。从根本上说，智能在世界权力层面的巨大回报，加上AI发展的迅猛步伐，为一众危险行为体突然夺取权力创造了一场完美风暴。

这种危险可能表现为各种具体的技术或操作形式，但它们的共同点在于：AI可能突然赋予巨大权力，同时绕过现有的民主监督机制。一支如今听起来像科幻小说的全自动无人机军队，未来可能会执行非法命令，使政府能够单方面巩固其权力；而经过专业训练的人类更有可能反对这种非法指令。专注于监控的AI能够大规模分析广泛可用的信息，并利用它来推断每个公民内心深处的生活细节——这是一种现行公民自由法律未曾预见的技术能力。所有这一切都可能发生得非常迅速，或在秘密中进行，因此主动强化民主国家对自由和公民自由的承诺至关重要。

以下是一些我们应当考虑的政策思路：

• 为完全自主武器建立可靠的问责规则。自主武器，尤其是任何协调或指挥它们的自主系统，应被要求响应宪法和指挥问责机制（例如法院命令、立法以及对高级人类监督者的问责），而非盲目服从指令。这可能意味着，一个设计得当的法律审查小组或司法部门掌握着“关闭开关”，这些系统本身在本质上经过训练，能够寻找并回应合法的监督权威，或者两者兼而有之。

• 禁止在国内使用完全自主武器。虽然完全自主武器在防御外国对手（如俄罗斯入侵乌克兰）时存在合理的必要性，但没有任何理由支持将其用于针对美国公民。军方在国内的运作能力已经受到一定限制，但理想情况下，这类武器也应被禁止在执法中使用。
• 堵住大规模收集/数据经纪商的漏洞。根据现行法律，美国公民与私营企业（如互联网服务提供商）共享的数据可以被购买并用于国内监控和执法中的大规模分析。这一隐私保护缺口在AI出现之前就已存在，但AI将显著提高风险，因为它使得对此类数据的大规模分析比过去更具揭示性和实用性。这一漏洞应被堵住。
• 在政府不利行动中公民享有获取AI建议的权利。作为一般原则，任何成为政府不利行动（例如监管或法律行动）目标的个人或组织，都应当能够获取至少与政府在该特定行动中被允许使用的AI同等能力的AI，这似乎至关重要。这意味着不给予政府不公平的优势，从而有效削弱公民的合法权利。这可以作为一种扩展或解释，补充到《行政程序法》、正当程序保护或第六修正案的律师辩护权中。

最后，值得指出的是，在 AI 驱动权力夺取的问题上，政府并非我们唯一需要警惕的实体。在历史上的不同时期（例如美国的镀金时代或英国的东西度公司），企业曾变得异常强大，足以俘获国家或具备准国家特征。AI 即将变得能力如此之强，以至于我担心它无法被完全放心地托付给政府或企业任何一方，双方都必须存在制衡机制。

监管是约束企业的一种答案（我的相关想法见第 1 节），但同样重要的是，AI 公司应该具备比一般私营实体更强的权力分立与问责制。Anthropic 的长期利益信托（一个独立的治理机构，旨在使公司坚守其使命）就是这样的结构之一，行业应继续探索更进一步的相关机制。找到恰当的平衡——既让企业也让政府对其权力受到有意义的制约——至关重要。

5. 确保民主国家的领先地位

一种常见的本能（或许是源于近期在互联网和电信领域的经验）是将新技术从地缘政治角度视为贸易政策的工具，目标在于“将我们的技术栈推广到全世界”。但我坚信，AI 是一种更为深刻的东西，它重置了整个棋局，所有未来的地缘政治战略都必须围绕它来构建——就像核武器一样，甚至可能更具影响力。

如果AI真的很快会成为"数据中心里的天才之国"，或任何与此相近的事物，那么AI很可能会成为任何国家军事和经济力量的主导来源。在一个拥有一亿天才的虚拟国家里，可以分配一千万人从事军事战略，一千万人从事无人机制造，一千万人从事武器研发，一千万人从事情报收集与分析，一千万人从事通用科学进步，等等。一个拥有强大AI的国家，面对一个没有AI的国家——甚至只是面对一个在AI上落后三年的国家——可能相当于一支二战海军陆战队的军队面对一支中世纪剑士的军队。

此外，如果强大的AI能够实现更深层次且可能是永久性的专制压迫形式（见第4节），这就使得世界上最具影响力的国家是民主国家——或者至少存在强有力的保护措施来对抗AI驱动的压迫——变得更加重要。这也增加了制定聚焦地缘政治战略的紧迫性。

民主国家应寻求建立一个全球联盟，以共同价值观为基础构建AI，并反复尝试通过提高加入联盟的吸引力、降低脱离联盟的吸引力，来逐步吸引世界其他国家加入。该联盟应是对第1至第4节讨论的AI政策理念进行协调一致的国际推广，同时还要努力通过联盟内部共享、对联盟外部封锁来管控对构建AI至关重要的供应链。一些原则和运作目标可能包括：

• 管理AI供应链。可信联盟的成员应彼此自由共享芯片和半导体制造设备，同时共同努力阻止其流向对手。美国对中国的先进芯片和半导体制造设备出口管制，是其在AI领域整体领先的主要贡献因素，这些政策需要扩展、收紧，并与其他志同道合的国家协调。像MATCH和OVERWATCH这样的待立法是良好的第一步，盟国民主国家也需要考虑类似措施。
• 协调应对AI的风险。第1节中描述的针对生物、网络安全和自主性风险的政策，如果能在国际上协调实施，将更有效（同时对行业造成的负担也更小）。这意味着企业可以遵循兼容的标准，监管机构可以相互学习如何最好地衡量和缓解这些风险。执法和情报机构也应更紧密地合作，追踪和破坏滥用威胁，例如恐怖分子利用AI制造生物武器的企图。
• 分享AI的利益。贸易和监管政策可用于促进AI的经济利益在联盟内部更快速地扩散，分享加速创新的经验教训。协调有益部署的方法有助于将AI的益处带给发展中国家。例如，医疗审批制度的统一可以导致AI驱动的药物获得更快、更好的测试和批准（如上文第3节所述）。
• 共同防御。联盟内的国家应共同努力，用AI相互防御，并防御对手的AI。联盟应集体确保充足的生产：AI主导的网络安全防御、AI驱动的无人机、AI驱动的制造业、机密级AI算力、AI驱动的研发，以及共享AI驱动的情报收集。
• 拒绝AI驱动的压制。联盟成员必须拒绝我在《技术的青春期》中警告过的那种高科技、极端压制性的AI驱动暴政，并且必须具备类似于我在上文第4节中描述的保障措施。
• 宏观经济合作。就业或工作稳定性的危机，如同任何其他经济危机一样，可能跨越国界蔓延。因此，各国具有共同的利益，需要共同努力协调宏观经济支持和稳定政策，例如第2节中描述的那些政策，以应对任何就业影响。

目标应当是让联盟成员身份尽可能具有吸引力——同时让置身其外的代价一目了然。该联盟将建立在主权国家间协调的基础上，各国对其自身事务保留完全权力。它可以迭代式发展，从意识形态相近的民主国家（它们自然会乐于加入）起步，逐步吸纳那些虽非天然倾向一致、但愿意为换取成员资格的巨大利益而达到联盟标准的国家。理想情况下，全世界最终都将加入。但即便无法实现，建立联盟也能让民主国家处于最有利的位置，以遏制并超越那些仍固守压制体制的政权。

机会之窗

人工智能的指数级进步带来了紧迫性和变化速度，这是政策制定流程通常难以应对的。但它也创造了一个独特的机会窗口。人工智能风险清晰可见的现实证据、对人工智能在经济价值创造与经济颠覆两方面潜力的初步体验，以及公众对不受监管的人工智能方法产生的显著反弹，共同造就了政策制定者对前瞻性行动异常开放的局面。树人（Treebeard）和他的森林正在苏醒。

在AI行业圈子里，流行将此视为公关问题：认为AI需要“更好的营销”。我完全拒绝这种框架。人们对AI感到担忧，是因为他们正确认识到其风险是真实的，而非因为AI公司CEO们不够盲目乐观。我相信作为AI领导者，我有责任继续对这些风险保持透明，而公众对此透明的反应正是民主问责制应有的运作方式。关键挑战在于将这些担忧聚焦为建设性解决方案，而不是任其沦为无形的愤怒与暴力。

我对找到解决方案持乐观态度，因为从解决就业影响、模型发布前测试、芯片出口管制，到能源使用等其他与人工智能相关的政策问题——这些问题中的许多都跨越了政治光谱，具有常识性的吸引力。在一个充满希望但现实的未来世界中，一个广泛的跨党派联盟，在直接认识到人工智能带来的挑战的推动下，能够比往常更快地推动明智且具有前瞻性的政策出台。我们越早做到这一点，就能越早共同分享人工智能带来的惊人益处。

我要感谢 Allan Dafoe、Mariano-Florentino Cuéllar、Richard Fontaine、Buddy Shah、Vas Narasimhan、Matt Yglesias、Nick Beckstead、Jason Matheny、Brad Carson 以及 Anthropic 的许多员工，感谢他们对本文草稿提出的意见和建议。

1. 我在《技术的青春期》一文中讨论了生物风险、自主性风险等问题。Anthropic 研究所还在《当人工智能自我构建》中发布了一些初步的内部数据，涉及递归自我改进的可能性，即模型能够自主构建更好的模型。
2. 这一现象并非理论上的：我们在自己的自愿治理框架（如《负责任的扩展政策》）中多次观察到这一点。如果我们为未来的人工智能模型设定一套固定或僵化的安全要求，一个非常可能的结果是，那些实际上无关紧要的要求将消耗我们 95% 的合规精力，而与此同时，我们会发现一些最大的风险来源根本没有被我们的清单所预见。自愿框架可以调整和修改，但立法则难得多。我在关于 SB 1047 的两封公开信中阐述了我试图应对这一困境的努力。SB 1047 是 2024 年加利福尼亚州的一项法律，旨在应对灾难性风险，出于上述原因，我对该法律有着矛盾的心理。
3. 例如，真正严重的生物风险可能比网络风险更难管理，因为攻击者相对于防御者具有巨大优势，并且灾难的严重程度可能要大得多。
4. 请参阅《技术青春期》一文，其中更详细地分析了为何适用于其他技术、导致就业市场快速复苏且未出现持久劳动力替代的逻辑，可能并不适用于人工智能——尤其是为何杰文斯悖论或比较优势等惯常的适应机制，可能会被这项技术的发展速度所压倒。
5. 举例来说，人们依然会毕生投入下国际象棋、下围棋或登山，并因这些活动而受到尊崇，即便机器可以在这些方面做得更好。
6. 这本质上给了人们一个额外的激励去转向新工作并开始攀登新的职业阶梯——即便短期内可能痛苦——通过在新工资更低时补足新旧工资之间的差额。
7. 更多内容请参阅《技术青春期》一文。