HBM 之父金正浩：AI 核心竞争力正从 GPU 转向内存，未来将演进至 3D 复合架构
阅读原文· ithome.com韩国科学技术院教授金正浩近日称，AI 核心竞争力正从 GPU 转向内存。GPU 在推理中利用率仅 10%-30%，因每次计算需从 HBM 读写数据。未来技术包括：堆叠 NAND 闪存的 HBF（10 年后需求超 HBM）、采用 SRAM 的 HBS（容量可达 1600GB），以及由 HBM、HBF、HBS 组合的约 100 层 3D 复合架构。
IT之家 7 月 6 日消息，被誉为“HBM 之父”的韩国科学技术院（KAIST）电气系教授金正浩近日接受《东亚日报》采访时表示，AI 的核心竞争力正在从 GPU 转向内存。
金正浩认为 AI 的本质是内存，GPU 在 AI 推理中的利用率远低于理论水平。AI 每次输出结果，都必须先从 HBM 读取数据、传到 GPU 进行计算，再将结果写回内存。就算部署 100 万块 GPU，真正用于计算的时间也只有 10%-30%。
并且过去的 AI 主要集中在训练阶段，因此 GPU 是决定性能的核心。而着眼现在和未来，AI 将进入推理时代，此时真正能决定性能的，是一次能处理多少数据、能以多快速度处理数据，因此内存能力将直接决定 AI 性能。
当然，目前已经有 HBM 这种专门适配 AI 的高带宽内存方案。但随着 AI 迈入多模态化和 Agentic AI（代理式人工智能）出现，人们将越来越需要保存视频、文档、长期记忆等海量冷数据。因此，将 NAND 闪存像 HBM 一样堆叠的 HBF 技术将在未来成为主流。金正浩更是预测，10 年后 HBF 的市场需求将超过 HBM。
到了更远的未来，HBS（高带宽 SRAM）将成为主流。这种技术将采用读写速度比 DRAM 快 1000 倍的 SRAM，其构想包括在整片 12 英寸晶圆上铺设 SRAM、将容量提升至约 1600GB，实现大容量高速数据处理。
此外金正浩设想，未来的 AI 计算机将演变成一个庞大的“三维建筑”：HBM 将充当商场角色，HBF 层相当于住宅区，HBS 则承担高速缓存功能。各种形态的 HBM、HBF、HBS 组合在一起，给 GPU 供给数据，形成约 100 层规模的 3D 复合架构。
IT之家注：金正浩长期致力于高带宽内存（HBM）与 2.5D/3D 集成封装研究。他从 2010 年开始和 SK 海力士研发 HBM1，并在去年参与 HBM4-HBM8 长期发展路线图规划。