karminski-牙医@karminski3 · XAI 摘要
Unsloth团队发布Qwen3.6-35B-A3B 2bit动态量化版本，模型体积仅12.3GB且激活内存仅需1GB，可在32GB Mac上流畅运行。测试显示该版本支持30余次工具调用，相较之下前代Qwen3.5-35B-A3B的8bit版本仅能完成4-5次调用即出现性能衰减。这一突破意味着大模型在端侧设备上的实用性和多步骤任务处理能力获得显著提升。
Qwen3.6-35B-A3B 2bit 量化都这么猛吗？
Unsloth 团队（当然他们只有哥俩）刚光速放出了量化版本的 Qwen3.6-35B-A3B， 然后他们做这个测试把我惊呆了… 2bit 能完成 30 多次工具调用？？？
我是真不信的.. 因为我之前测 Qwen3.5-35B-A3B 8bit （mlx 格式哈） 大概只能 4-5 次工具调用就不行了， 大概只能做做整理邮件这种简单工作， 但凡让它整理完邮件做个统计记录到 Notion / Obsidian 上就炸了.
要知道 unsloth 的 2bit 动态量化这个模型只有12.3GB， 激活只有1G！ 32G 的 Mac 可以轻松跑起来了.
我赶紧测一下试试， 稍后给大家带来实测效果.
https://x.com/UnslothAI/status/2044858346948464743