兄弟们，"每个人都可以部署"的Kimi K3 1bit 量化版来了😂
直接让他可以在Mac Studio128g 运行~
Kimi K3现在能本地跑了，Unsloth团队台太卷了，直接把它压到了594GB。
原本体量1.56TB的2.8T模型，用1-bit量化后体积减少62%，准确率还保留了约78.9%。
在Mac Studio + 128GB内存的配置下就能跑起来。他们直接称这是目前最强的开源模型，并放出了完整指南和GGUF权重。
这已经是短时间内第二次有人把K3往个人高端设备上塞：之前有流式加载+专家剪枝压到350GB，现在Unsloth用极端量化也做到了可本地推理。
地址见评论区👇
Kimi K3 can now be run locally! ✨ The 1-bit model retains ~78.9% accuracy after we shrunk it from 1.56TB to 594GB (-62% size). Run on a Mac Studio + 128GB RAM d...