刚刚刷到Hugging Face上这个gpt-oss-20b-tq3,真的有点爽啊!
OpenAI自己开源的20B参数MoE模型,被社区用TurboQuant 3-bit量化 + MLX优化后,竟然能直接在普通MacBook上本地丝滑跑起来。
完全不用联网、不用交月费,还支持131K超长上下文。
日常聊天、写作、写代码这些日常需求,现在都能在自己笔记本上搞定。
非常适合公司的一些部门使用啊!
以前本地跑大模型还得配高端显卡,现在一台M系列Mac就够了。
模型直达👉 https://huggingface.co/manjunathshiva/gpt-oss-20b-tq3
A new GPT model just dropped for Apple Silicon. The gpt-oss-20b-tq3 is a 20B parameter MoE text generator, optimized with TurboQuant and MLX for fast, local inf...