SemiAnalysis@SemiAnalysis_ · XAI 摘要
在Cerebras上以最大上下文窗口运行单个深度编码模型，仅支持256个并发用户就需要24套系统（2400万美元资本支出）。在这个规模下，1亿美元在标准GB300机架中能获得高得多的内存带宽。
Running a single deep coding model at max context on Cerebras requires 24 systems （$24M Capex） just to support 256 concurrent users. At that scale， $100M gets you way more memory bandwidth in standard GB300 racks.