我想尝试一种极简的博客写作方式,把写作时间限定在两小时内。我无法深入探讨许多重要的子问题,但如果不这样做,我在许多感兴趣的话题上就根本不会有任何进展。
今天我想聊聊未来几年各大实验室的计算资源状况。
Anthropic 的收入同比增长了 10 倍。Anthropic 今年年底的收入很可能达到约 1000-1500 亿美元。如果这种趋势持续下去,Anthropic 明年年底的收入就必须达到 1 万亿美元。这种趋势并没有深层次的理由必须延续,而且很可能不会——这归根结底是一个关于 AI 能力的问题。但假设它真的延续了,那样的世界会是什么样子?
实验室的计算资源每年增长 3 倍。对于一个实验室来说,要在计算资源仅增长 3 倍的情况下实现收入增长 10 倍,必须发生以下三种情况中的某种组合:1. 实验室利润率必须提高;2. 计算资源价格必须上涨;3. 实验室必须将更大比例的计算资源用于推理。
据我所知,这三种情况基本上都在发生:1. Anthropic 的利润率已从 2025 年的 40% 上升到今年 Fable 推理服务可能超过 80% 的水平(尽管在边际计算资源上可能并非如此——详见下文)。2. 计算资源的现货价格比 2 月份的低谷上涨了 40% 以上,而这很可能低估了实验室实际需要支付的涨幅(同样,详见下文)。3. 根据 Epoch 的数据,OpenAI 2024 年大约四分之一的计算支出用于推理,而现在这个比例肯定接近 50%,甚至更高。
实验室更倾向于不做第三件事(将越来越大的算力份额用于推理)。正如有人开玩笑所说,推理收入的意义在于说服投资者给你更多资金,让你购买更多算力来训练更大的模型。如果你把大部分算力都花在推理上,那基本上就是在宣告AI进步已经停滞,因为不值得再在训练上投入更多,而你的业务本质上就变成了一个云服务提供商。实验室并不认为这是事实——他们认为,他们目前提供的模型在一年内就会显得极其糟糕,而这样做是为了积累商业案例,以便继续训练更智能的模型。
因此,剩下的选项是:1. 实验室利润率提高,或者 2. 算力变得更贵。如果领先的一两家实验室明显领先于竞争对手,那么更可能出现第一种情况。在一个市场中,你的利润率取决于你比次优替代方案好多少。要让第一种效应占据主导,到明年年底,利润率必须达到95%左右。这在我看来相当疯狂。但AI实验室的收入将继续以惊人的速度增长,这在我看来确实是有可能的。
因此,要解释到明年年底实现1万亿美元疯狂收入的世界如何成为可能,还剩下一个效应:算力变得昂贵得多。正如我提到的,这已经开始发生了。当我们关注实验室所需的那部分算力时,价格上涨更为显著——他们显然不能依赖竞价实例——他们需要确保模型权重和客户信息的安全,以及足够的规模来实现良好的利用率和灵活性。要了解这部分算力市场的疯狂程度,可以看看谷歌和Anthropic从SpaceX租用算力的价格。据报道,谷歌每月支付9亿美元,租用11万块GPU,这些GPU是GB200和GB300的混合体。这大约是这些GPU每小时竞价价格的两倍。而目前的竞价价格本身已经比二月份高出40%。
我想强调这里的关键结论:随着 AI 模型变得越来越智能,它们将能更好地将同等算力变现。如果一个真正达到人类水平的软件工程师能在相当于 H100 的算力上运行,按当前软件工程师的市场价格计算,那么一块 H100 的年租金应该超过 25 万美元。这是当前现货价格的 15 倍。
当然,你可能会预期,如果我们多出 1000 万名软件工程师,那么软件工程师的边际价值就会下降,因此那块 H100 未必能比现在多创造 15 倍的收入。但我其实不确定这是否成立。如果把这个论点套用到人身上,那就成了经典的劳动力总量谬误。经济学家普遍认为,高技能移民并不会降低高技能劳动者的工资,因为专业化、创新等因素会带来收益。也许这次劳动力供给冲击规模太大、速度太快,以至于这个通用经验法则不再适用。但如果我们相信标准经济学关于劳动力的论述,那么算力的边际价值(进而算力的边际价格)可能会变得高得惊人。
在这样一个世界里会发生什么?
随着顶尖模型在算力变现方面越来越强,追赶的难度也越来越大。如果到 2028 年我们已经实现了软件工程自动化,而算力价格比现在高出 15 倍,那么对于没有收入的你来说,与前沿实验室竞争算力将变得困难得多。
如果你拥有最好的模型,那么你就能收取比现在高得多的利润率。这就是经济学中的阿尔钦–艾伦效应,但简单解释就是:如果每 H100 小时的价格不是 2 美元,而是 20 美元,那么在这块算力上运行一个更笨的模型就是愚蠢的,因为那个模型可能需要更多 token(从而浪费了昂贵的算力)才能得到同样的结果。当然,如果你使用 API,你是在间接支付算力成本,但逻辑是一样的。如果你一开始就要为底层算力支付如此高昂的费用,那还不如花钱使用在这块算力上运行的最优秀、最高效的模型。
当前许多流行的 AI 应用将被市场淘汰。AI 目前相对廉价(至少与人类劳动力相比)的部分原因在于,它无法完成顶尖人类所能做的许多事情。但到某个节点,情况将不再如此。因此,用 GPU 制作短视频垃圾内容将逐渐被淘汰。
与此同时,这类预测与历史上人们对稀缺性的错误认知模式相吻合。我想到了西蒙-埃利希赌约——保罗·埃利希曾打赌,在 1990 年之前的十年间,一篮子商品的价格会上涨而非下跌。这个赌约在经济学通俗讨论中很有名,因为它本应说明埃利希的马尔萨斯世界观被证伪了——他低估了市场信号和人类智慧找到更有效利用稀缺资源的方式的能力。(不过其他分析表明,如果这个赌约发生在另一个十年,埃利希可能会赢。)
我猜测,西蒙-埃利希的一篮子商品并非算力的正确参照类别,因为算力供给的弹性远低于不同金属的开采,且吸收大规模需求冲击的能力也弱得多。每年 3 倍的算力增长来自以下因素的乘积:摩尔定律带来的 1.4 倍、新建晶圆厂带来的 1.2 倍(受 EUV 光刻机供应限制,至少到 2030 年都是瓶颈)、以及 AI 从其他设备中抢占先进制程晶圆分配带来的 1.8 倍(这一趋势到 2027 年底将开始触及天花板,届时 AI 在 N3 制程中的占比将从 60% 升至 86%)。
我想澄清一点:未来某个时刻,算力将再次变得廉价。届时,机器人将能把海岸的硅砂和铜矿转化为计算机。到那时,算力价格应会降至接近原材料和工具的成本。我目前讨论的只是当前这个阶段——AI 算力仅以每年 3 倍的速度增长,这不足以抵消 AI 每年实用性大幅提升所带来的价格效应。
混合推理利润率超过 70%,因此我猜测 Fable API 的利润率超过 80%——这完全是基于直觉的判断。