关于人工智能指数级发展的政策
2026年6月
在《指环王》的一条支线情节中，两位霍比特人试图唤醒树胡——一位睿智但行动迟缓的有知觉的树人——让他保卫自己的森林，抵御一支正在砍伐森林的军队。问题在于，树胡的行动速度与霍比特人截然不同。他光是跟另一棵树打招呼就要花上一整天，因此要让他和他的同伴们迅速行动起来几乎是不可能的。
人工智能与我们的政治体制之间的交汇点，感觉有点像霍比特人和树胡。人工智能正以闪电般的速度发展——仅仅四年时间，AI模型就从几乎写不出一行连贯的代码，发展到能编写主要AI公司的大部分代码。在生物学、物理学、数学、金融、法律、翻译以及许多其他领域，也取得了类似的进步。AI的规模定律预测，随着计算能力的提升，通用认知能力将呈指数级增长，如今这一定律背后已有超过十年的实证数据支持。如果这些规模定律再持续一两年，我们很可能会得到我所说的“强人工智能”，也就是“数据中心里的天才之国”。
相比之下，政策——尤其是立法——则进展极其缓慢。这通常是有充分理由的：政府拥有重大权力，不轻易动用这些权力通常是最好的选择。但这种时间尺度上的错配仍然令人非常痛苦：在国会可能需要数年才能采取行动的这段时间里，AI可以从一个有趣的玩具，演变成一个完整的“天才之国”。
自人工智能成为一项重要的商业技术以来的过去几年里，我们这些希望负责任地处理它的人一直面临着一个两难困境。我们清楚地看到了指数级发展的方向：我们强烈怀疑，在几年内，人工智能将成为少数几种从根本上重塑整个政策格局的技术之一，就像核武器重塑地缘政治、工业革命从根本上重塑每一个经济和社会问题一样。但对于那些只关注当时人工智能能做什么的人来说，它看起来像是一种普通得多的技术——或许类似于最新的消费应用或加密货币。很难让大多数政策制定者和公司相信，除了放任自流的态度之外，还有什么其他做法是合理的。公平地说，人工智能的颠覆性影响尚未显现，而且我们也不确切知道它们会以何种形式出现，这使得即使有采取行动的意愿，也很难设计出正确的政策。
鉴于这种情况所带来的限制，许多安全倡导者（包括 Anthropic）迄今为止一直专注于倡导那些保留选择余地、为未来快速反应做好准备、或让世界更好地洞察即将到来的变化的政策行动——例如透明度立法、芯片出口管制，以及关于人工智能对劳动力影响的数据收集。这些措施还不够，但它们感觉像是当时所有可能做到的事情了。
然而，在过去几个月里，人工智能惊人力量及其风险的证据已变得不容否认。最具象征意义的例子或许是 Claude Mythos Preview，以及前沿模型对网络安全构成的真实威胁——它们可能扰乱金融行业、关键基础设施和国家安全。Mythos Preview 彻底改变了全球网络安全格局。但更广泛的意义在于，它无可争议地证明，AI 模型如今已成为具有全球和国家战略意义的工具。Mythos 级模型带来的网络风险不会是我们必须面对的最后挑战。我相信，生物风险可能很快接踵而至，而严重的 AI 自主性风险或许也近在眼前。
现在，我们全球需要共同启动一套缓慢而笨拙的政策机制，来应对那些将从此刻开始以惊人速度叠加的风险与机遇。许多政策制定者正展现出更强的行动意愿，令人鼓舞的是，我们看到同行们逐渐认同我们过去几年一直倡导的立场。这固然是好事，但我担心这些早期行动至少比 AI 的快速进展落后了一年。本文旨在弥合这一差距：阐明指数级发展目前所处的阶段，以及应对这一时刻所需的集体行动。
我将聚焦五个在 AI 时代需要重新构想的长期政策领域：监管与公共安全、宏观经济与税收政策、科学创新、国家与社会之间的权力平衡，以及地缘政治。由于 Anthropic 是一家美国公司，我将主要从美国政策角度阐述，但我的大部分建议同样适用于世界其他地区。
随本文一同，Anthropic 将发布一项关于前沿模型测试的立法提案，以及一份针对就业岗位流失的政策框架，我们计划为此提供大量资金支持。未来我们打算做更多工作，但我们将这些视为表明我们严肃态度的初步举措。
1. 监管与公共安全
每一项新技术或新产品都既有有益用途，也有有害用途，因此在创新与安全之间构成了两难困境。对产品进行监管会降低其造成危害的可能性，并在改善全球人民生活方面发挥了重要作用，但也可能直接削弱其益处，并间接抑制创新。此外，还有哈耶克式的观点：监管者往往缺乏必要的信息来就复杂的经济权衡做出正确决策，因此监管常常既无效又繁琐。一个相关的概念是科林格里奇困境，即一项技术的影响往往难以预见，等到容易管理时却为时已晚。
在2023-2024年，这些动态对人工智能领域影响重大。Anthropic 清楚地认识到，人工智能未来可能具备制造生物武器的能力，从而威胁数百万人，或者出现自主行为失当，在极端情况下甚至可能威胁人类自身。不太明确的是风险将以何种具体形式出现，如何最好地测试和缓解这些风险，以及它们在实际中会如何演变。因此，提前制定的立法有很大风险最终会失效——既制造了无意义或低价值的合规要求，又遗漏了实际风险中最关键的来源。
最终，我们得出结论，当时正确的做法是提高透明度。人工智能模型的开发者应当披露其安全流程、对模型进行的测试，并报告任何重大安全事故，以便公众和科学界能够在风险出现时更好地了解它们。当风险变得更加确定、形态更加清晰时，通过透明度获得的证据就可以用来设计精准的立法，以精确针对最令人担忧的风险。因此，在2025年，Anthropic 支持了透明度立法，帮助通过了加利福尼亚州的 SB 53 法案、纽约州的 RAISE 法案、伊利诺伊州的 SB 315 法案（于2026年初通过），并在联邦层面倡导制定透明度标准。
然而，如今风险已清晰可见。是时候超越透明度，转向对人工智能进行更严肃、更具约束力的监管了。我认为，至少在指数级发展的当前阶段，最好的类比是汽车、飞机或药品——这些对现代经济至关重要的强大技术，但如果设计或操作不当，也可能导致大量人员伤亡。因此，我认为我们应该效仿美国联邦航空管理局（FAA）这类机构来监管人工智能。前沿AI模型，如同飞机一样，应被要求通过技术测试和审计，如果它们未达到高标准的安全要求，其发布应被阻止或撤销，视其为对公共安全的威胁。我很高兴看到特朗普政府的行政命令逐步朝着让政府在AI领域发挥更大作用的方向迈进，尽管Anthropic的提案建议采取更进一步行动。我们的提案包含以下要素：
- 超过一定算力阈值的模型，必须由合格的第三方对其在四个特定领域的风险水平进行强制性测试：网络安全、生物武器、AI系统失控，以及可能加速其他风险的自动化研发。
- 如果根据第三方评估，确定模型存在不可接受的风险，政府应有权阻止或延缓其部署。此项权力必须限定在上述四个特定风险范围内，并且必须有保护措施来防止政治偏袒或任意决策。
- 第三方评估可由一个政府机构（类似于FAA）执行，或由一组经政府授权并监督、按照特定标准评估模型的私营组织执行（即“监管市场”方法）。
- 开发先进AI模型的AI公司必须制定强有力的安全标准来保护其模型权重，应定期进行红队测试和渗透测试，并与政府合作防御主要威胁行为体。
- 四个关键领域的安全事件必须及时上报。
或许在不久的将来，我们会迎来一个需要超越现有框架的时刻——届时，最强大的 AI 系统将不再像飞机或汽车，而更像可武器化的核材料：它们对人类的威胁，将“不仅仅”是公共安全层面的，而是生存层面的。如果真到了那一步，我们可能需要采取比我所列出的更为激进的监管措施³。但正如在 2024 年很难精准定位并实施我现在所建议的这些措施一样，我认为我们不应操之过急。我们应该针对当下正在浮现的风险设计政策，同时为未来新风险出现时能更快升级应对措施奠定基础。
2. 宏观经济与税收政策
长期以来，政府一直面临一个难题：如何在促进经济增长的同时，提供重要的公共服务，并确保最弱势群体得到照顾。这些讨论中一个重要的（且通常是正确的）前提是：经济增长是脆弱且难以实现的——尽管减少不平等可能带来重要益处，但这必须与增税或赤字带来的经济拖累进行权衡。
我怀疑强大的 AI 可能会颠覆这一假设。如果 AI 能够在大多数认知任务上远超人类，那么有理由认为，它可以通过加速科学、技术和运营效率，带来极其快速且强劲的经济增长。AI 迭代构建更优 AI 的能力，甚至可能进一步推动这种增长。但出于完全相同的原因，AI 也可能比以往的技术更普遍地替代人类的认知能力，同时以前所未有的速度改变经济格局。因此，有理由认为，AI 可能比以往的技术对劳动力市场造成更大的冲击，并且可能带来更持久的冲击。我们面临的风险是，最终陷入一个经济增长与不平等之间的权衡旋钮被卡在“超高速增长、超高度不平等”档位的世界，而且可能极难从这个档位中解脱出来。在这样的世界里，关键挑战不再是激励增长，而是找到一种让所有人都能分享收益的方式。
在这篇文章讨论的话题中，宏观经济学和持久性劳动力替代可以说是最受公众关注、也最容易被误解的两个方面，因此我想就两点做出极其明确的说明。
首先，持久的岗位流失是不可取且危险的，我们应尽一切努力将其最小化或加以预防，而非主动促成。我在采访和文章中警示过岗位流失问题，是希望政策制定者和私营部门能有最佳时机去适应和应对，而非试图扮演“末日预言家”的角色。作为一家公司，Anthropic 始终尽最大努力与客户合作，寻找富有创意的全新应用场景和收入来源，让客户能在现有员工基础上创造更多价值，而非仅仅聚焦于成本削减（这往往意味着裁员）。我们还不断尝试设计全新的人机交互范式，让人类在 AI 系统不断进步的过程中，尽可能保持主动参与的角色。更广泛地说，让全世界尽可能多地尝试 AI 的新用途是很有价值的，因为这是社会发现新型就业形态的途径。我确实认为 AI 将催生许多新的经济机遇。我曾预测，AI 能让单枪匹马的创业者打造出市值十亿美元的公司，而我们已经看到仅由数人组成的团队创造了数亿美元营收的企业。但与此同时，我们也应认识到，尽管我们付出种种努力，AI 仍有可能导致大规模且持久的岗位流失——这或许是这项技术及其广泛复制人类认知能力的方式所固有的特性。
其次，任何应对人工智能驱动下岗位替代的方案，都需要同时解决两个问题：既要保障每个人的经济来源，又要让人们找到意义、目标和自主权。后者最终更为重要，它取决于关于社会如何组织、人们应当追求什么、以及何为美好生活等深层问题。我实际上非常乐观，即使在一个AI在所有方面都比人类更出色的世界里，人类依然能够过上有深刻目标的生活，并努力建造令人敬畏和美丽的事物。但这是需要整个社会共同探索的事情，而非政策能直接解决的问题。政策最大的帮助在于为我们争取时间来完成这项工作——通过减缓岗位流失速度，并为可能受影响的人群提供经济保障。
本着这种精神，一些可能有所帮助的关键政策干预措施包括：
- 测量与追踪。仅仅收集和分析数据很容易被认为不足以应对问题的规模，但如果我们无法准确衡量实际情况，就很难制定出好的政策。Anthropic 运营一个关于人们如何使用 Claude 的经济指数已近一年半，但政府能够获取我们无法触及的数据类型，并且可以大幅扩展其经济统计数据，以更细致地追踪AI导致的岗位替代情况。
- 促进就业的激励措施。一系列促进就业的政策激励措施有助于减缓或减少岗位替代，包括：工资保险政策（当人们不得不接受薪资较低的工作时给予补偿）、留任税收激励（鼓励雇主不裁员）、劳动力培训补助，以及促进雇主与雇员匹配的基础设施建设，以加快劳动力市场的适应速度。虽然哪种干预措施最佳取决于AI带来的劳动力替代类型，但我们应该欣然接受这些政策可能带来的成本和市场效率损失，特别是考虑到这些成本很可能被AI驱动的生产力提升所抵消。
- 长期宏观经济支持。如果人工智能驱动的劳动力替代规模巨大，并永久性地压低劳动力需求，那么很可能有必要超越单纯的激励计划，为相当一部分劳动力提供长期收入支持。诸如全民基本收入等机制，可以通过对相关公司征税或提高资本利得税来提供资金。全民资本账户是另一种途径。从广义上讲，快速的经济增长应该能为共享繁荣创造税基。
我尚未提及的一个关于人工智能的经济担忧焦点是数据中心，特别是其推高能源价格的潜力。我的观点是，人工智能公司应该承担吸收电价上涨的成本——Anthropic 已经承诺这样做——但我认为公众对数据中心的敌意，在很大程度上是更广泛的对人工智能经济焦虑的一种象征或宣泄渠道。重要的是，我们要就这些更广泛的经济问题进行直接的社会对话，并真正拿出令人信服的解决方案，否则这些问题很可能会像数据中心问题一样，以间接的方式显现出来。
3. 加速人工智能的积极影响
正如我们必须权衡人工智能本身的创新与安全一样，我们也必须权衡那些可能因人工智能而加速发展的技术（如生物医药、能源或材料科学）中的相同平衡。但是，虽然人工智能本身可能会带来迅速出现且我们毫无处理经验的全新挑战，但其他因人工智能而加速的领域可能会遇到一个截然不同的问题：为较慢创新速度而设计的监管体系，尚未准备好应对人工智能将带来的新产品和进步的洪流。人工智能还可能使这些下游技术变得更安全、更可预测，从而违背了像美国食品药品监督管理局（FDA）这类监管机构的怀疑性假设。
因此，对于人工智能的下游应用——与人工智能本身不同——我更担心监管机构会拖慢进展（因为它无法应对日益加快的变化速度），而不是担心它未能应对重大风险。我们最不希望看到的就是人工智能的益处被延缓，而其风险却日益凸显，因此尽快就此问题采取行动至关重要。
这个问题及其解决方案在科学、商业和技术的各个领域会有不同的表现形式，因此我将聚焦一个具有说明性的领域：生物医学创新。这既是因为它很可能成为人工智能最大人道主义益处的来源，也是因为该领域的监管尤为复杂。我们尚不清楚人工智能将如何加速生物医学创新，但很可能体现在以下几个方面：
- 大幅提高新药候选物进入监管流程的速度；
- 通过更好的优化以及对潜在生物学机制更深入的理解，提高新药的疗效并改善其安全性；
- 针对那些从未被成功治疗过的疾病开发候选药物；
- 快速创造出全新的疗法形式，类似于过去几十年里抗体、多肽和细胞疗法成为新的治疗类别。
其中一些进展自然会加快监管时间表，无需进行结构性变革。疗效更强的药物可以开展规模更小、成本更低的临床试验，并激活加速审批机制。但目前的监管体系旨在施加高标准的审查和多个阶段的测试，其前提假设是候选药物往往无效，即便有效也常常存在严重的安全问题。无论是美国食品药品监督管理局（FDA）还是欧洲药品管理局（EMA），候选药物通过监管流程的典型时间为7-8年，部分原因正是这些悲观的假设。如果不进行改革，人工智能只会堵塞或压垮这一体系。
显然，我们不想以导致大量伪劣药物或广泛安全事故的方式来改变现状。但一些相对简单的改革，可以让 FDA、EMA 及类似机构在面对可能出现的、由 AI 驱动的快速科学加速时，更具适应性。
临床流程中许多以往需要昂贵且缓慢实验的步骤，可能很快就能通过 AI 模拟或分析来完成。监管机构现在就应该考虑，为接受此类方法需要满足哪些条件制定标准。这意味着，一旦这些方法行之有效，就能迅速被采纳，而不是在很长一段时间内继续要求进行不必要的测试。这可能适用的领域包括：
- 基于 AI 的药效学和药代动力学（PD/PK）建模；
- 毒理学预测，以避免对多种动物进行毒理学实验的需求；
- 更精确的剂量选择，以减少试验中所需的大剂量范围；
- 通过分析大型数据集进行生物标志物验证；
- 临床试验中的合成对照组，以减少招募更多参与者的需求；
- 开发替代终点（在衰老和神经退行性疾病领域尤为重要）。
除了这些具体例子，监管机构还应考虑更激进、更灵活的加速审批机制。如果我对 AI 的预测是正确的，那么很快就会出现许多干预措施意外效果极佳的情况，监管体系应准备好认真对待它们，而不是采取过度怀疑的态度。
生物医学的加速发展应能大幅提升 AI 的益处，但值得注意的是，它也可能有助于降低 AI 的风险。改革生物医学审批流程可能有助于生物防御，而 AI 驱动的生物医学进步也可能改善心理健康，从而对社会产生稳定作用。
4. 国家与公民自由
每一种政府体制都必须面对国家权力及其边界的问题。国家在保护其民众免受内外威胁方面，拥有合法且往往关乎存亡的利益。但赋予国家过多权力，则是通往暴政之路。现代民主国家在很大程度上成功地平衡了这一点，但在最好的情况下，这也是一种不稳定的平衡。维持这种平衡需要大量历经数百年建立起来的法律和宪法机制——例如在美国，就有第一、第四和第五修正案、《地方保安队法》、《外国情报监视法》等等。
人工智能有可能打破这种平衡，同时大幅提高其风险。但如果我们迅速反应并抓住时机，我们可以利用人工智能创造一个比以往任何时候都拥有更强大、更持久的自由保障和更好防御威胁的世界。
强大的人工智能若落入错误之手，可能成为独裁的终极工具，而我们现有的法律和宪法保护措施并未完全准备好应对这一威胁。从根本上说，智能在世界上带来的巨大权力回报，加上人工智能发展的迅猛步伐，为一系列危险行为者突然夺取权力创造了完美风暴。
这种危险可能表现为各种具体的技术或操作形式，但它们的共同点是，人工智能可能突然赋予巨大权力，同时绕过现有的民主监督机制。一支如今听起来像科幻小说的全自动无人机军队，未来可能会服从非法命令，使政府能够单方面巩固其权力；而受过专业训练的人类更有可能反对这种非法指令。一个以监控为核心的人工智能，可以大规模分析广泛可用的信息，并利用它推断出每个公民内心最深处的细节——这是现行公民自由法律未曾考虑到的技术能力。所有这一切都可能非常迅速地发生，或者秘密进行，因此主动加强民主国家对自由和公民自由的承诺至关重要。
以下是一些我们应考虑的政策思路：
- 为完全自主武器建立可靠的问责规则。自主武器，尤其是任何协调或指挥它们的自主系统，应被要求响应宪法和指挥问责机制（例如法院命令、立法以及对高级人类监督者的问责），而非盲目服从命令。这可能意味着，一个设计得当的法律审查小组或司法部门掌握着“关闭开关”，或者这些系统本身在本质上被训练成寻求并响应合法的监督权威，或者两者兼而有之。
- 禁止在国内使用完全自主武器。虽然存在正当理由认为需要完全自主武器来防御外国对手（例如俄罗斯入侵乌克兰），但没有理由将其用于对付美国人。军方在国内的行动能力已经受到一些限制，但理想情况下，这些武器也应被禁止用于执法领域。
- 堵住大规模收集/数据经纪商的漏洞。根据现行法律，美国公民与私营公司（如互联网服务提供商）共享的数据可以被购买并用于国内监控和执法中的大规模分析。这种隐私保护上的漏洞在人工智能出现之前就已存在，但人工智能将大幅提高风险，因为它使得对此类数据的大规模分析比过去更具揭示性和实用性。这个漏洞应该被堵上。
- 在不利政府行动中，公众享有获取人工智能建议的权利。作为一项普遍原则，任何成为不利政府行动（例如监管或法律行动）对象的个人或组织，都应能够获得至少与该特定行动中政府被允许使用的人工智能同样强大的人工智能。这意味着不能赋予政府不公平的优势，从而实质上削弱公民的法律权利。这可以作为《行政程序法》、正当程序保护或第六修正案法律代表权的一种延伸或解释来加以补充。
最后，值得指出的是，在人工智能驱动的权力攫取问题上，政府并非唯一需要我们警惕的实体。在历史上的不同时期（例如美国的镀金时代或英国的东印度公司），企业曾变得足够强大，以至于能够俘获国家或具备准国家特征。人工智能很快将变得能力极强，以至于我担心它无法被安全地完全托付给政府或企业任何一方，必须对两者都建立制衡机制。
监管是约束企业的一种答案（我的相关想法见第1节），但同样重要的是，人工智能公司应拥有比一般私营实体更严格的权力分立与问责机制。Anthropic的长期利益信托基金（一个旨在让公司坚守其使命的独立治理机构）就是这样的结构之一，行业应继续探索能更进一步的各种机制。找到恰当的平衡——让企业和政府双方的权力都受到有意义的制约——至关重要。
5. 确保民主国家的领导地位
将新技术在地缘政治上视为贸易政策工具，目标是“将我们的技术栈推广到世界各地”，这已成为一种常见的本能反应，或许源于近年来在互联网和电信领域的经验。但我坚信，人工智能的意义要深远得多，它重置了整个棋局，所有未来的地缘政治战略都必须围绕它来制定——就像核武器一样，但可能有过之而无不及。
如果人工智能真的很快会成为“数据中心里的天才之国”，或任何与之相近的事物，那么人工智能很可能将成为任何国家军事和经济力量的主导来源。在一个拥有一亿天才的虚拟国家里，可以动用一千万人从事军事战略，一千万人从事无人机制造，一千万人从事武器研发，一千万人从事情报收集与分析，一千万人从事通用科学进步，以此类推。一个拥有强大人工智能的国家，面对一个没有人工智能的国家——甚至只是面对一个在人工智能领域落后三年的国家——可能相当于一支二战海军陆战队面对一支中世纪剑士军队。
此外，如果强大的人工智能能够实现更深层次且可能永久性的专制压迫形式（见第4节），这就使得世界上最强国家是民主国家——或者至少存在强有力的保护措施来抵御人工智能驱动的压迫——变得更为重要。这也增加了制定重点明确的地缘政治战略的紧迫性。
民主国家应寻求建立一个全球联盟，其核心是根据其共同价值观来构建人工智能，并反复尝试通过提高加入联盟的吸引力、降低置身联盟之外的吸引力，来逐步吸引世界其他国家加入。该联盟应是对第1至第4节讨论的人工智能政策理念进行协调一致的国际化的成果，再加上一项努力，即通过联盟内部共享并拒绝向外部提供的方式来锁定构建人工智能所需的关键供应链。一些原则和运作目标可能包括：
- 管理人工智能供应链。可信联盟的成员应相互自由共享芯片和半导体制造设备，同时共同努力拒绝向对手提供这些设备。美国对华前沿芯片和半导体制造设备的出口管制，是美国在人工智能领域保持整体领先地位的主要贡献因素，这些政策需要扩大、收紧，并与其他志同道合的国家协调。像MATCH和OVERWATCH这样的待决立法是良好的第一步，盟国民主国家需要考虑采取类似措施。
- 协调应对人工智能的风险。第1节中描述的应对生物、网络安全和自主性风险的政策，如果能在国际上协调一致，将会更加有效（同时对行业造成的负担也更小）。这意味着企业可以遵守兼容的标准，监管机构可以相互学习如何最好地衡量和减轻这些风险。执法和情报机构也应更紧密地合作，以追踪和破坏滥用威胁，例如恐怖分子利用人工智能制造生物武器的企图。
- 共享人工智能的益处。贸易和监管政策可用于促进联盟内人工智能经济利益的更快速扩散，分享如何加速创新的经验教训。协调有益部署的方法有助于将人工智能的好处带给发展中国家。例如，医疗审批制度的协调统一可以带来对人工智能辅助药物的更快、更好的测试和批准（如上文第3节所述）。
- 共同防御。联盟内的国家应共同努力，利用人工智能进行相互防御，并抵御来自对手的人工智能攻击。联盟应集体确保充足的人工智能主导的网络安全防御、人工智能驱动的无人机、人工智能驱动的制造业、机密人工智能计算、人工智能驱动的研发，以及共享人工智能驱动的情报收集。
- 拒绝人工智能驱动的压制。联盟成员必须拒绝我在《技术的青春期》中警告过的那种高科技、极端压制、人工智能驱动的暴政，并且必须具备类似于我在上文第4节中描述的安全保障措施。
- 宏观经济合作。就业或工作稳定性危机，如同任何其他经济危机一样，可能跨越国界蔓延。因此，各国在共同努力协调宏观经济支持和稳定政策（如第2节所述）以应对任何就业影响方面，拥有共同利益。
目标应当是让加入该联盟的吸引力尽可能大——而留在联盟外的代价则清晰可见。该联盟将建立在主权国家之间的协调之上，每个国家对其自身事务保留完全自主权。它可以迭代式发展，从意识形态相近的民主国家（它们自然倾向于加入）开始，逐步接纳那些并非天然契合、但愿意达到联盟标准以换取成员身份巨大利益的国家。理想情况下，全世界最终都将加入。但即便这无法实现，建立该联盟也能让民主国家处于最有利的位置，以遏制并超越那些仍坚持压制体制的国家。
机遇之窗
人工智能的指数级进步带来了紧迫性和变化速度，而政策制定过程通常难以应对。但这也创造了一个独特的机遇之窗。人工智能风险的清晰且现实的证据、人工智能在经济价值创造和经济颠覆方面潜力的初步显现，以及公众对不受监管的人工智能方法的显著反弹，共同营造了一种局面，使政策制定者异常愿意采取前瞻性行动。树胡和他的森林正在苏醒。
在人工智能行业圈子里，流行将此事视为公关问题：即认为人工智能需要“更好的营销”。我完全拒绝这种框架。人们担忧人工智能，是因为他们正确认识到其风险是真实存在的，而非因为人工智能首席执行官们不够乐观。我相信，作为人工智能领域的领导者，我有责任继续对这些风险保持透明，而公众对此透明度的回应，正是民主问责制应有的运作方式。关键挑战在于将这种担忧聚焦于建设性的解决方案，而不是任其沦为无形的愤怒与暴力。
我对找到解决方案持乐观态度，因为从应对就业岗位流失、模型发布前测试、芯片出口管制，到能源使用等其他人工智能相关政策问题，其中许多议题在政治光谱上都具有常识性的吸引力。存在一个充满希望但现实可行的未来世界：一个由对人工智能挑战的直接认知所驱动的、广泛的跨党派联盟，能够以远超常规的速度推动明智且具有前瞻性的政策被采纳。我们越早做到这一点，就能越早共享人工智能带来的惊人益处。
我要感谢 Allan Dafoe、Mariano-Florentino Cuéllar、Richard Fontaine、Buddy Shah、Vas Narasimhan、Matt Yglesias、Nick Beckstead、Jason Matheny、Brad Carson 以及 Anthropic 的许多员工，感谢他们对本文草稿提出的意见和反馈。
脚注
- 我在《技术的青春期》一文中讨论了生物风险、自主性风险等问题。Anthropic 研究所也在《当人工智能自我构建时》中发布了一些初步的内部数据，涉及递归自我改进的可能性，即模型能够自主构建更优模型的可能性。
- 这种现象并非理论上的：我们在自己的自愿治理框架（如《负责任扩展政策》）中已多次观察到。如果我们为未来的人工智能模型设定一套固定或僵化的安全要求清单，一个极有可能的结果是，那些实际上无关紧要的要求会消耗我们 95% 的合规精力，而与此同时，我们会发现一些最大的风险来源根本未被列入清单。自愿框架可以随时更改和调整，但立法则困难得多。我试图应对这一困境的努力，可以从我关于 SB 1047 的两封公开信中看出。SB 1047 是 2024 年加利福尼亚州的一项法律，旨在应对灾难性风险，出于上述原因，我对该法律持复杂态度。
- 例如，真正严重的生物风险可能比网络风险更难管理，因为攻击者相对于防御者具有巨大优势，而且灾难的严重程度可能要大得多。
- 请参阅《技术的青春期》一文，其中更详细地分析了为何导致其他技术领域就业市场快速复苏且未造成持久劳动力替代的逻辑，可能并不适用于人工智能，尤其是为何像杰文斯悖论或比较优势这类常见的适应机制，可能会被该技术的发展速度所压倒。
- 举例来说，人们依然会毕生致力于下国际象棋、下围棋或攀登高山，并因这些活动而受到尊敬，尽管机器在这些方面都能做得更好。
- 这本质上为人们提供了额外的激励，促使他们转向新工作并开始为新的职业阶梯进行培训——即使新工作的薪资较低，也会通过补足新旧薪资之间的差额来补偿，即便短期内这可能令人痛苦。
- 更多关于此话题的内容，请参阅《技术的青春期》。