Kimi K3 2.8T 规模太大，即使在 FP4 精度下也无法单机部署在 NVIDIA DGX B200 上。需要 GB300 NVL72、B300 或 MI355X 系统，因为每块 GPU 拥有 288 GB 显存。 一种能让 Kimi K3 适配 B200 的优化方案是，将多个节点组合在一起并使用名为 WideEP 的技术。问题在于 B200 的节点间带宽仅为 400 Gbit/s，而 NVL72 的节点间带宽是其 18 倍。
SemiAnalysis@SemiAnalysis_Kimi K3 2.8T 规模太大，即使在 FP4 精度下也无法单机部署在 NVIDIA DGX B200 上。需要 GB300 NVL72、B300 或 MI355X 系统，因为每块 GPU 拥有 288 GB 显存。 一种能让 Kimi K3 适配 B200 的优化方案是，将多个节点组合在一起并使用名为 WideEP 的技术。问题在于 B200 的节点间带宽仅为 400 Gbit/s，而 NVL72 的节点间带宽是其 18 倍。
Kimi K3 2.8T is so large that it will not fit on a single NVIDIA DGX B200, even at FP4. A GB300 NVL72, B300, or MI355X system is required, as each GPU has 288 GB of memory.
One optimization that could make Kimi K3 fit on B200 is to gang multiple nodes together and use a technique called WideEP. The issue is that B200 has only 400 Gbit/s of bandwidth between nodes, whereas NVL72 has 18× higher inter-node bandwidth.
来源：SemiAnalysis· x.com