elvis@omarsar0PrismML 宣布推出 Bonsai 27B，基于 Qwen3.6 27B 的多模态旗舰模型，号称首款可在手机上运行的 27B 级模型。支持多步推理、结构化工具使用、长上下文工作流和智能体循环。提供两个变体：Ternary 版 5.9 GB（1.71 有效比特/权重，面向笔记本级质量），1-bit 版 3.9 GB（1.125 有效比特/权重，面向手机级占用）。在 RTX 5090 上 1-bit 达 163 tok/s、Ternary 达 134 tok/s；在 M5 Max 上 1-bit 达 87 tok/s、Ternary 达 58 tok/s。全部以 Apache 2.0 开源。
Huge if true！
We are talking about a 27B multimodal model that runs locally on a phone. That's wild！
Bonsai 27B reaches up to 163 tok/s in 1-bit and 134 tok/s in Ternary on an NVIDIA GeForce RTX 5090.
On an M5 Max， it reaches up to 87 tok/s in 1-bit and 58 tok/s in Ternary.
elvis@omarsar0 · XPrismML 宣布推出 Bonsai 27B，基于 Qwen3.6 27B 的多模态旗舰模型，号称首款可在手机上运行的 27B 级模型。支持多步推理、结构化工具使用、长上下文工作流和智能体循环。提供两个变体：Ternary 版 5.9 GB（1.71 有效比特/权重，面向笔记本级质量），1-bit 版 3.9 GB（1.125 有效比特/权重，面向手机级占用）。在 RTX 5090 上 1-bit 达 163 tok/s、Ternary 达 134 tok/s；在 M5 Max 上 1-bit 达 87 tok/s、Ternary 达 58 tok/s。全部以 Apache 2.0 开源。
Huge if true！
We are talking about a 27B multimodal model that runs locally on a phone. That's wild！
Bonsai 27B reaches up to 163 tok/s in 1-bit and 134 tok/s in Ternary on an NVIDIA GeForce RTX 5090.
On an M5 Max， it reaches up to 87 tok/s in 1-bit and 58 tok/s in Ternary.