Rohan Paul@rohanpaul_ai · X精选75
精选理由
首个开源的1.58-bit三元LLM，直接在昇腾芯片上原生训练，内存压缩到BF16的六分之一，8B模型就能跑在手机上，做端侧部署的可以立刻上手试试了。
AI 摘要
ModelBest、清华大学与OpenBMB社区联合发布了BitCPM-CANN，这是全球首个完全基于华为昇腾910B NPU训练的开源1.58比特三元大模型。其核心创新在于采用仅含三种权重状态的极低比特量化技术，使模型内存占用相比BF16降低约6倍，可高效部署于手机、电脑、车载设备等边缘端。更关键的是，整个训练全栈（从量化算子到框架）均在昇腾上原生构建与验证，而非简单移植。该模型家族（0.5B-8B）在多项基准测试上保持了全精度模型95-97%的性能，为资源受限环境下部署和复现大模型提供了可落地的解决方案。
AI 翻译 · 中文
BitCPM-CANN 刚刚成为全球首个完全基于中国自主研发AI基础设施训练的开源1.58位三元大语言模型。
由 ModelBest、清华大学和 OpenBMB 社区共同开发，整个训练流程——从量化算子、算法到全栈框架——都在华为昇腾910B NPU上原生执行。
1.58位三元权重仅使用3种权重状态，因此该模型在手机、PC、汽车以及本地工业设备上部署时所需内存大幅减少。
更难的成就是其背后的训练系统：QAT、STE、低位算子、算法、框架工作以及可复现的训练脚本，全部必须在昇腾910B上协同运行。
当硬件成本攀升时，胜出的模型不仅仅是排行榜上得分更高的那个，而是能够在真实约束条件下被训练、复现、部署和持续改进的那个。
🚀 BitCPM-CANN by ModelBest × @Tsinghua_Uni × OpenBMB is here - and it's not about stacking parameters. Memory costs are skyrocketing. Hardware constraints are ...