卧槽!大牛让Mac Studio 直接跑Kimi K3 了!
我知道会有人搞,没想到这么快~ 不是一般说鬼佬的效率低的吗?
2.8T参数的Kimi K3,现在能在Mac Studio上跑了。
K3原本体量1.6TB,Apple Silicon根本吃不下。
Pipe Network用两招把它压到350GB:一是写了流式转换器,一层一层加载,不用一次性把整个模型塞进内存。
二是REAP剪枝,对着校准数据给896个专家打分,只保留当前任务真正需要的那些。
结果就是,一个原本只能跑在大规模集群上的前沿MoE模型,被塞进了Mac Studio。
他们还把MLX移植、转换脚本、剪枝工具和量化版本全部开源了。
地址见评论区👇