Bonsai 27B：首款可在手机上运行的27B级多模态模型

# Bonsai 27B：首款可在手机上运行的27B级多模态模型 - 来源：Hacker News 热门（buzzing.cc 中文翻译） - 作者：xenova - 发布时间：2026-07-15 03:51 - AIHOT 分数：76 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmrl2m4yg00awbicqo2arojvd - 原文链接：https://prismml.com/news/bonsai-27b ## 精选理由 1-bit 量化把 27B 模型压到 4GB，首次能在 iPhone 上跑，agent 循环零边际成本，做端侧产品的该坐不住了。 ## AI 摘要 Bonsai 27B 基于 Qwen3.6 27B，提供三元（1.71 有效比特/权重，5.9 GB）和 1-bit（1.125 有效比特/权重，3.9 GB）两个变体，后者首次将 27B 级模型装入 iPhone 17 Pro。模型支持多步推理、结构化工具调用、视觉任务和计算机使用智能体循环，拥有 262K token 上下文窗口，支持推测解码加速。在 15 项基准测试中，三元变体保留全精度基线 95% 的性能，1-bit 变体保留 90%，数学和编码能力几乎无损。采用 Apache 2.0 许可证开源。 ## 正文 今天，我们宣布推出 Bonsai 27B，该模型基于 Qwen3.6 27B，是 Bonsai 系列的新一代多模态旗舰模型，也是首个能在手机上运行的同能力等级模型。 我们之前的发布已经证明，采用 1 比特和三进制权重的模型能够产生具有商业实用价值的语言模型。Bonsai 27B 将这一前沿拓展到了新的能力层级：多步推理、结构化工具调用、视觉任务，以及能在多个步骤中保持连贯性的计算机使用智能体循环。在此之前，在本地部署该层级模型因一个具体原因而不可行：一个 27B 模型在 16 比特精度下占用约 54GB，即使是优秀的 4 比特版本也需 18GB，对于手机和大多数笔记本电脑来说都太大了。 Bonsai 27B 改变了这一局面。它提供两个版本： 三进制 Bonsai 27B 采用三进制 {−1, 0, +1} 权重，并配合 FP16 分组缩放，实现每个权重仅 1.71 有效比特。该版本大小为 5.9 GB，是注重质量的版本：可在日常笔记本电脑上运行，具备完整的推理、工具调用和智能体能力。 1 比特 Bonsai 27B 采用二进制 {−1, +1} 权重，配合相同的分组缩放，实现每个权重仅 1.125 有效比特。该版本大小为 3.9 GB，是注重占用空间的版本，可适配 iPhone 17 Pro 的内存预算，首次将 27B 级别的模型带入手机。 与每次 Bonsai 发布一样，低比特表示贯穿语言网络、嵌入向量、注意力机制、MLP 和语言模型头的端到端运行，没有任何更高精度的逃逸通道。两个版本均为多模态，视觉塔以紧凑的 4 比特形式提供，使得设备端工作流不仅能处理文本，还能处理截图、文档和摄像头输入。Bonsai 27B 拥有完整的 262K 模型 token 上下文窗口，并支持推测解码，通过无损的草稿-验证加速机制进一步提升速度。所有内容今日起在 Apache 2.0 许可证下开放。 保持智能水平 在涵盖知识、推理、数学、编程、指令遵循、工具调用和视觉（以思考模式评估，即模型进行完整推理）的 15 项基准测试套件中，三进制 Bonsai 27B 保留了全精度基线的 95%，而 1 比特 Bonsai 27B 保留了 90%。 类别（基准测试） Qwen 3.627B 三元 Bonsai27B 1-bit Bonsai27B 数学（GSM8K, MATH-500, AIME25, AIME26） 95.3 93.4 91.7 编程（HumanEval+, MBPP+, LiveCodeBench） 88.7 86.0 81.9 智能体与工具调用（BFCL v3, TauBench） 80.0 74.0 66.0 指令遵循（IFEval, IFBench） 78.4 71.8 65.8 知识 / STEM（MMLU-Redux, MuSR） 83.1 77.0 73.4 视觉（MMMU Pro, OCRBench） 72.6 65.2 59.6 总体（15 项基准测试） 85.0 80.5 76.1 图 I：Bonsai 27B（思考模式）与全精度基线的基准测试得分。完整的逐项基准测试结果见白皮书。 按能力维度阅读该表，其揭示的信息比平均值更为鲜明：数学和编程能力几乎未受影响，工具调用能力与全精度版本的差距也仅在几个百分点之内——这正是智能体工作负载所依赖的能力。作为对比，同一基础模型最激进的常规低位构建版本，其得分显著低于 1-bit Bonsai 27B，同时却占用 2.5 倍的内存。 这与我们之前在语言和图像模型上展示的帕累托优化是同一模式，现在扩展到了 27B 规模：27B 级别的能力，占用空间却小于全精度的 2B 模型。以智能密度（即我们在 1-bit Bonsai 8B 中引入的衡量标准）来衡量，1-bit Bonsai 27B 每 GB 提供 0.53 的智能密度：是全精度基线的 10 倍以上，并且大约是现有最佳低位替代方案的 2.7 倍。 图 II：Bonsai 27B 与同参数量级其他模型的智能密度（每 GB）对比。 为何这是一个重要的范式转变 最有价值的 AI 工作负载正从单次响应转向持续性工作：操作真实工具的智能助手、在返回结果前无人值守运行的工作流，以及综合数十份文档的研究任务。这种转变改变了工作负载的形态——一个智能体并非只调用一次模型，而是调用数百次，每一次都携带上下文、产生结构化输出，并为下一次调用提供输入。 对于许多产品而言，云 API 仍将是正确的选择。但对于智能体工作负载，纯云端执行会带来结构性限制：每一步都是一次远程请求，每次迭代都会累积每个 token 的成本，并且每个计划、工具调用和中间结果都需通过网络传输，其中包含用户的私人文件、屏幕和数据。 轮播图 I：基于 NVIDIA GeForce RTX 5090 上我们自研的 Ternary Bonsai 27B 模型，实现的端到端智能体工作流。 本地执行改变了游戏规则。当一个能够持续执行智能体任务的模型可以部署在设备上时，智能体就能融入产品内部：百步循环的边际成本为零，且用户数据永不离开设备。全新的应用类别由此打开——持久化的设备端智能体、可离线工作的助手、以及天然能基于本地私有数据进行推理的助手。此前一直缺少的，是一个足够小巧、能以这种方式部署，同时又足够强大、值得信赖的模型。Bonsai 27B 正是这样的模型。 它还解锁了一种新的系统架构：混合部署模式，将非前沿和隐私敏感的任务路由给能力强大的本地模型处理，而将前沿云模型保留给最困难的步骤——从而大幅降低智能体系统的单任务成本。 Bonsai 27B 在 NVIDIA GeForce RTX 5090 上，1-bit 模式下可达 163 tok/s，Ternary 模式下可达 134 tok/s。在 M5 Max 上，1-bit 模式下可达 87 tok/s，Ternary 模式下可达 58 tok/s。 适配手机是一个比存储数字所显示的更严格的限制。手机永远不会向应用暴露其全部内存——一部 12 GB 的 iPhone 大约只有 6 GB 可供模型在设备端使用，并且模型还需要与它的 KV 缓存和激活值共享这部分预算。任何传统构建方式的 27B 模型都无法接近这个门槛。而 1-bit 的 Bonsai 27B 仅约 4 GB，是首个能够通过这一限制并留有运行空间的模型。 正是这一限制，使得该模型系列特意设定了两个明确的工作模式，并始终将此考量铭记于心：Ternary 模式用于笔记本级别的质量，1-bit 模式用于手机级别的体积。 演示 II：基于 1-Bit Bonsai 27B 在 iPhone 17 Pro Max 上驱动的多模态智能体应用场景（演示模式：缓存与预填充图像上下文） 前沿在不断推进。 每一次 Bonsai 的发布都让“每 GB 智能密度”的边界向左移动，而 Bonsai 27B 更是将其推过了一个实用门槛：一个现代模型所具备的全部能力——思考能力、多模态理解、视觉能力、可靠的工具使用——如今已经可以装进人们已有的设备中。 我们相信，智能密度将成为 AI 下一阶段发展的关键衡量维度之一。原始能力决定了模型能做什么；密度则决定了它能在哪里做。每一次边界的左移，都扩大了先进 AI 可以运行的设备、产品和环境范围，并改变了它所触及的每一个部署场景的经济性——从手机到单 GPU 服务。Bonsai 背后的方法论与架构无关，而这条边界还将继续移动：更大的模型和新的架构已经在推进中。 早期的计算机占据整个房间；如今它们装在我们的口袋里。智能正在经历同样的旅程，而 Bonsai 27B 是迄今为止迈出的最大一步。 Bonsai 27B 可通过 MLX 在苹果设备（Mac、iPhone、iPad）上原生运行，也可通过 CUDA 在 NVIDIA GPU 上运行，这得益于为其混合注意力架构构建的定制低位内核。模型权重现已根据 Apache 2.0 许可证开放。随着本次发布，我们还提供限时免费的开发者预览 API，方便开发者轻松试用我们的模型。 关于压缩、评估和基准测试流程的完整技术细节，请参阅我们的白皮书。 加入我们 PrismML 源自加州理工学院的一个研究团队，在 Khosla Ventures、Cerberus 和 Google 的支持下创立，并持续获得三星的支持。我们花了数年时间攻克该领域最棘手的问题之一：在不牺牲神经网络推理能力的前提下对其进行压缩。 如果你想帮助构建下一代最先进的 AI，我们期待你的加入。请查看我们的招聘页面。