感觉现在开源的速度已经疯了。。。 @Kimi_Moonshot 家的K3开源才两天,已经被@UnslothAI 干到能在Mac Studio上跑了🤯!!!
2.8万亿参数的模型,原始大小1.56T, 他们用动态1-bit量化,直接压到594G,缩了62%,
还保留了78.9%的精度, 128G内存的Mac Studio就能跑, 虽然速度不快,但它真的能跑。
谁能想到半个月前,这个级别的模型还只有大厂有算力碰, 现在我们在家,在自己的消费级电脑上,就能跑全球最顶尖的开源大模型了,damn!
权重放出来48小时,量化、适配、教程全给你整完了, Unsloth这速度,真的离谱。
不得不说这就是开源最恐怖的地方啊, 模型放出来第一天, 全世界最聪明的工程师都在帮你压体积、提速度、做适配, 闭源模型,永远享受不到这个待遇。