小米玄戒AI盒子:三芯异构本地跑120B大模型

AYi · @AYi_AInotes · X·2026-08-24 23:36·1天前
AI 导读

小米玄戒AI盒子在150W迷你主机内集成三颗自研芯片,本地运行120B大模型,近存带宽达1.22TB/s。核心是O100芯片通过Wafer-on-Wafer将内存叠于计算层,28,672根数据线直连,带宽为传统旗舰手机16倍,官方宣称速度330 tokens/s。该三芯异构方案复用至手机、汽车、桌面平台,工程样机计划2027年商用。

AYi@AYi_AInotes
51AI 编辑部评分,满分 100

小米玄戒AI盒子:三芯异构本地跑120B大模型

2026-08-24 23:36· 1天前
AI 导读

小米玄戒AI盒子在150W迷你主机内集成三颗自研芯片,本地运行120B大模型,近存带宽达1.22TB/s。核心是O100芯片通过Wafer-on-Wafer将内存叠于计算层,28,672根数据线直连,带宽为传统旗舰手机16倍,官方宣称速度330 tokens/s。该三芯异构方案复用至手机、汽车、桌面平台,工程样机计划2027年商用。

小米玄戒这个AI盒子有点牛逼, 三颗自研芯片塞进一个150W的迷你主机, 本地跑120B大模型, 近存带宽直接干到1.22TB/s,

很多人都在吹200 TOPS算力, 但实际上真正牛逼的是那颗O100的1.22 TB/s内存带宽,

这颗芯片把内存用Wafer-on-Wafer直接叠在计算层上, 28,672根数据线近存直连,带宽做到传统旗舰手机的16倍,官方宣称能到330 tokens/s

大模型跑推理,尤其到生成阶段,命门全在内存墙, 在数据来回搬运的带宽 路径越短,decode越快,道理就这么简单

过去十年拼算力,这几年拼带宽, 小米把手机SoC、高带宽加速器、汽车级大内存芯片攒成三芯异构, 一套研发复用到手机、汽车、桌面三块战场,还能快慢系统切换

这不是简单的一个AI盒子,更像是国产自研硅片正式站上桌面级本地推理的信号, 在DGX Spark、Mac Studio刷屏的当下,这次轮到小米回敬了,

工程样机、2027年商用、软件栈成熟度,全是未知数, 但我感觉,内存墙这个方向,小米这次押对了, 懂带宽的人,应该都看清它想干嘛了 hhh