Bonsai 27B模型发布：将27B级AI塞进iPhone，被称“手机AI的DeepSeek时刻”
7月15日，PrismML正式推出Bonsai 27B模型，这款基于Qwen 3.6 27B微调的多模态AI模型，通过极致的量化压缩技术，在保留约90%智能水平的前提下，成功将原本需要54GB存储空间的模型压缩至最低3.9GB，使其能够在12GB内存的iPhone上原生运行。
Qwen 3.6 27B本身是一款在智能体编程领域表现卓越的稠密模型——以270亿参数在SWE-bench Verified、Terminal-Bench 2.0等基准上全面超越了自家前代397亿参数的MoE旗舰模型，在GPQA Diamond上取得87.8分的推理成绩。然而，其庞大的体积长期将本地部署拒之门外：16-bit精度下占用约54GB，即便4-bit量化也需18GB，对手机和大部分笔记本而言都难以承受。
Bonsai 27B提供了两种极致压缩方案：
- Ternary（3-bit）版本：5.9GB，每权重1.71有效位，针对笔记本级质量优化；
- 1-bit版本：3.9GB，每权重1.125有效位，专为手机级占用空间优化。
该模型通过PrismML的低比特内核与混合注意力架构实现高效推理，在NVIDIA RTX 5090上1-bit版本可达163 token/秒，在M5 Max上可达87 token/秒。由于手机操作系统无法将全部内存分配给应用（12GB iPhone约可用6GB），传统27B模型根本无法运行，而1-bit Bonsai 27B以约4GB的体积成为首款能在手机上顺畅运行的同类模型。
开源本地AI客户端AnythingLLM创始人蒂莫西·卡兰巴特对此评价极高：“它的影响远比Fable、Mythos或GPT 5.6更重要。甚至可能比它们加起来还要重要。这才是AI的真正DeepSeek时刻。”这番评价指向的核心命题是：当AI能力可以在本地设备上以极低成本运行时，数十亿美元的数据中心军备竞赛是否还拥有同样的意义？模型权重已以Apache 2.0许可开源，开发者可通过PrismML的llama.cpp分支或MLX在本地运行。
据CNBC报道，PrismML CEO Babak Hassibi透露苹果及其他公司正在评估该公司的技术，但讨论仍处于早期阶段。此外，PrismML还提供免费的限时开发者预览API，方便开发者试用。从Qwen3.6-27B在智能体编程领域的统治力，到Bonsai 27B将其压缩至手机可运行的大小，AI能力正在经历一次从“云端独占”到“人人可及”的范式转移。卡兰巴特那句“这才是AI的真正DeepSeek时刻”，或许并非夸大其词。
