当 AI 算力再暴涨 100 万倍会发生什么?Jeff Dean 在 Google I/O 这场 28 分钟访谈里,把未来 5 年的技术账本全算清楚了, 看到英推的营销号说 Jeff Dean 喊编程已死,但只要认真看了这场 28 分钟的完整访谈就会发现,营销号把最硬核的东西全漏掉了,
这场访谈的核心命题其实极其直接:当 AI 算力再暴涨 100 万倍,整个系统会变成什么样,
作为在 Google 搞了二十年底层架构的首席科学家,Jeff Dean 抛出来的几个判断,比任何宏大叙事都更接近技术真相:
1️⃣ 训练数据根本不会用完,缺的是带编译器的数据 公开文本虽然被抓得差不多了,但代码天然自带编译器和单测,让模型对同一道题生成几百种解法,能编译、过测试、性能好的留下来做合成数据喂回去,数据荒是个伪命题,有正确性反馈的闭环才是关键,
2️⃣ 算力重心已经彻底从上学变成上班 过去大家死盯预训练,现在 90% 的机器学习负载全在推理端(用户请求、离线批处理、强化学习试错),量化精度一路杀到 FP4 甚至 2-bit/1-bit,学校再好也得进公司干活,硬件和架构正在全面为推理重构,
3️⃣ 先预训练再微调的两段式该退休了 狂看网页再单独对齐的方式太别扭,未来的方向是边看、边做、边从后果里复习的持续学习系统(Lifetime AI),模型在后台边跑边学,跟着人跑一辈子,
4️⃣ 93 个 Agent 跑出操作系统的真相 大家被 12 小时写出跑 Doom 的操作系统刷屏,但本质不是 AI 突然顿悟发明了系统,而是拆任务、写代码、跑单测、互相 Review、卡死自重启这条工程流水线跑通了,只要有测试信号,多智能体就能把训练集里的知识组装出来,
5️⃣ 小模型能打全靠蒸馏 Flash 和轻量模型才是每天干活的主力,又快又便宜,超大模型负责往上顶天花板,再把能力压缩给小模型,
整场访谈听下来最深的感受: 顶尖科学家从来不跟风喊口号,算力再涨一百万倍,底层依然是编译器反馈、推理吞吐、蒸馏压缩和硬件容错,
剥掉所有的自媒体包装,真正的技术演进全是实打实的工程账本吧 hhh https://x.com/0xwhrrari/status/2093700205015081210/video/1