这个模型也是通过Qwen3模型打底做的量化，Ternary-bonsai-27b-mlx-2bit，已经接在了我们公司自己的业务中去做本地的任务，没有太大问题，还是多模态很舒服。
我是load在LM Studio 中，然后开启local Server后，直接到我的产品中配置这个本地地址就行了。
我的这个笔记本使用的M1Pro 32G 回答速度也挺快的，感觉还不错啊！我再体验体验😄
兄弟们,这个笔记本电脑多模态模型有点东西! PrismML 今天正式发布了 Bonsai 27B,这是目前全球首个能在手机上本地运行的 27B 级大模型。 传统 27B 模型在 FP16 下需要约 54GB 内存,即使激进量化到 4-bit 也仍有 18GB 左右,手机和大多数笔记本根本无法承载。 而 Bonsai 2...