Bonsai 2上新，手机Agent再瘦身

PrismML把本地智能体模型进一步压到了手机能够容纳的体积。10月15日，这家公司发布Ternary Bonsai 2系列的2B、4B和9B三款模型，面向手机、PC及可穿戴设备，支持推理、视觉理解和工具调用。据IT之家10月16日报道，三款模型的存储占用分别约为0.43GB、0.95GB和2GB，权重采用Apache 2.0许可证开放。

这次发布最醒目的数字，是2B模型在iPhone 18 Pro Max上最高达到每秒120个token，9B模型最高达到每秒34个token。token是模型处理和生成文本时使用的基本单位，与汉字、英文单词并不一一对应；这两个数字反映的是官方公布的生成吞吐，不能直接理解为每秒输出120个汉字，也不能直接换算成完整任务的执行速度。

Bonsai 2值得关注的地方，是它开始把“手机能装下模型”推进到“手机能否持续完成任务”。本地Agent是主要在用户设备上运行、通过调用工具执行任务的AI系统。对这种系统来说，模型体积、生成速度、指令遵循和工具调用可靠性必须同时过关。一个回答流畅、却频繁选错工具的模型，很难成为好用的手机助手。

三元权重，把9B模型压到约2GB

三元权重是仅使用-1、0、+1三种数值表示模型权重的低比特技术。按照此次发布资料，Ternary Bonsai 2的三款新模型基于阿里Qwen 3.5基座构建，通过这种表示方式降低模型存储和计算时的数据搬运负担。

三元模型的价值首先体现在权重体积上。通常所说的2B、4B、9B，分别代表约20亿、40亿和90亿参数；如果仅按每个参数使用2字节的FP16格式估算，对应权重体积约为4GB、8GB和18GB。FP16是每个数值占16位的半精度浮点格式，也是比较模型权重体积时常用的参考。

| 模型 | 参数规模 | 官方披露的存储占用 | 按参数量估算的FP16权重体积 | 官方披露的iPhone 18 Pro Max最高吞吐 | | --- | --- | --- | --- | --- | | Ternary Bonsai 2 2B | 约20亿参数 | 约0.43GB | 约4GB | 120 token/s | | Ternary Bonsai 2 4B | 约40亿参数 | 约0.95GB | 约8GB | 本次参考报道未列出 | | Ternary Bonsai 2 9B | 约90亿参数 | 约2GB | 约18GB | 34 token/s |

上述估算意味着，三款模型披露的存储占用约为FP16权重估算值的11%至12%。这个比例足以改变部署选择：过去需要为权重预留十几GB空间的9B级模型，现在有机会进入手机应用的容量预算。不过，表中的FP16数字只是按参数量计算的参考值，并非官方提供的完整部署包对照测试，不能当成严格统一口径的压缩率。

模型文件只有2GB，也不代表运行时只需要2GB内存。推理还需要中间计算缓冲区、上下文缓存，以及视觉输入等相关组件；输入越长、并发任务越多，实际资源占用也会变化。KV缓存是模型保存历史词元相关中间结果、避免重复计算的一种机制，它通常会随着上下文增长占用更多内存。权重变小解决了重要的一部分问题，但手机能运行多长的对话，仍要看完整推理系统。

三种权重取值也不等于整套模型只使用三种数字计算。实际部署还可能涉及缩放参数、保留较高精度的组件和额外元数据，因此不能简单拿log₂3约等于1.585位，直接推导所有文件大小和设备内存需求。对开发者而言，下载后的实际体积和运行时测量值，比“三元”这个标签更有意义。

120 token/s很快，但Agent还要过另外几关

官方公布的手机吞吐，说明小模型已经有条件提供较快的本地文本生成。2B模型最高120 token/s，对短回复、简单信息提取、明确格式的指令处理具有吸引力；9B模型最高34 token/s，则提供了另一种取舍：开发者可以接受较低生成速度，换取更大参数规模可能带来的能力空间。两者谁更合适，需要通过实际任务验证，不能仅凭参数量下结论。

吞吐衡量的是单位时间生成多少token，完整任务延迟衡量的是用户等待多久才能拿到结果。一个手机Agent处理截图、识别内容、选择工具、等待工具返回，再生成下一步动作，涉及多个阶段。即使文本生成达到每秒120个token，视觉处理或工具执行仍可能成为主要耗时来源。

持续运行表现比短时峰值更能决定手机助手的体验。手机的散热、系统调度和电池状态都会影响推理，连续执行多轮任务与短时间生成一段文本也有明显区别。目前参考报道没有列出这组手机成绩的完整测试条件，包括输入长度、生成长度、温度状态和持续运行时间，因此这些数字适合作为性能线索，尚不足以说明长时间使用的稳定速度。

PrismML还称，在RTX 4090和M5 Pro等硬件上，新模型相较对应全精度模型最高可实现5倍吞吐量和3倍能效。能效是完成单位计算工作所消耗能源的效率指标，在模型测试中也可能用每焦耳生成的token数量衡量。这里的“最高”很关键：报道未提供每个模型、每个平台和每种负载的逐项结果，不能把它理解为三款模型在所有设备上都固定快5倍，也不能据此推算手机续航提升3倍。

低比特权重能否加速，取决于推理框架是否真正利用了它。权重文件缩小，可以减少内存读取量，但如果运行过程中频繁转换格式，收益可能被额外开销抵消。手机和个人电脑上的本地推理经常受到内存带宽约束，三元路线的机会就在于减少数据搬运；最终效果仍由模型结构、计算实现和硬件共同决定。

少生成40%的token，可能比单纯提速更实用

Bonsai 2此次强调的是本地任务执行能力，而不只是模型压缩。根据发布资料，官方用19项基准覆盖工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力，同时强调完成日常任务、在移动设备上调用工具，以及减少重复输出。

工具调用是模型根据任务生成结构化操作请求、由外部程序执行具体动作的能力。手机助手要创建提醒、查找文件或操作应用，最终都需要把自然语言意图变成可执行步骤。工具选对了没有、参数是否完整、执行失败后能否调整，都会影响任务成功率，单轮问答分数无法完全覆盖这些问题。

9B模型在部分任务中减少token消耗，是此次发布另一个值得追踪的指标。官方称，它在标准指令执行和日常数学任务中，所需token数量约减少40%。如果任务难度、完成质量与统计口径可比，这意味着模型可能用更短的生成过程完成同一件事，从而减少等待时间和计算开销。

减少生成长度与提高生成吞吐，可以从两个方向缩短任务等待。举例来说，一项原本需要生成1000个token的任务，若输出减少40%，就变成约600个token；在生成速度相同的条件下，这部分生成耗时也会下降约40%。这只是解释指标意义的示例，并非该模型的实测任务数据，更不能推导所有应用的总延迟都会下降40%。

token变少是否有价值，最终取决于任务有没有完成。Agent可能因为更准确而减少反复解释，也可能因为遗漏步骤而提前结束；这两种情况的输出长度都会下降，产品价值却完全不同。参考报道没有列出19项基准的完整分数、测试设置和逐项对照，因此目前还不能据此判断Bonsai 2全面超过同规模Qwen模型，或者压过其他移动端开源模型。

三个尺寸，对应三种部署取舍

2B、4B和9B形成了更细的设备适配梯度。过去讨论手机模型，容易把“能运行”当成唯一门槛；实际产品还要考虑设备档位、应用安装体积、用户等待时间，以及每项任务允许的出错率。相同的模型未必适合所有手机和所有功能。

三种规模可以先按任务复杂度安排验证顺序，而不是直接按“大模型更好”选型：

• 2B可以优先测试边界清晰的短任务。 例如意图分类、短文本提取和简单工具选择，其吸引力在于约0.43GB的权重体积与较高的官方峰值吞吐。
• 4B可以作为容量与能力之间的候选项。 约0.95GB的存储占用提供了中间档位，但参考报道没有给出对应手机吞吐，具体优势需要实测。
• 9B可以优先验证需要更多理解和推理的流程。 约2GB的权重占用降低了部署门槛，但是否值得承担更多运行资源开销，要看多轮任务的完成情况。

这些分工是部署建议，并非官方已经证明的能力边界。特别是涉及日历修改、文件操作等会改变用户数据的任务，模型生成正确格式只是起点，应用仍需要明确的工具权限和可检查的执行结果。

本地运行最直接的收益，是让一部分数据处理留在设备上。截图、文档片段和个人工作信息可以先由本地模型理解，在网络不稳定时也可能继续提供部分功能。不过，如果任务本身要访问在线服务，整个流程仍然依赖网络；本地模型解决的是推理发生在哪里，不能自动解决所有工具的数据流向问题。

开放权重降低门槛，部署兼容性仍要逐项确认

Apache 2.0许可证为开发者评估和集成模型提供了较宽松的基础。按照此次报道，Ternary Bonsai 2可通过llama.cpp在NVIDIA GPU上运行，也可通过MLX在Mac、iPhone和iPad上部署。llama.cpp是用于本地大模型推理的开源项目，MLX是面向Apple芯片的机器学习框架，两者都有现成的开发生态。

框架名称相同，不意味着任意版本都能直接加载三元模型。特殊权重格式通常需要对应的计算实现，开发者应以模型发布方提供的模型格式、框架版本和设备支持说明为准。可以参考llama.cpp官方仓库与MLX官方仓库了解框架本身，但这两个通用项目的存在，并不能替代Bonsai 2的具体兼容性说明。

此次三款新模型还补齐了Bonsai 2已有27B型号之下的产品线。对开发者来说，尺寸梯度有利于按设备资源分配不同任务，但27B的既有测试不能直接套用到2B、4B和9B。尤其是补充资料涉及的27B基座版本与本次三款新模型不同，引用能力保留率、编码成绩或压缩数据时，必须对应到具体型号。

Bonsai 2给手机Agent带来的实质变化，是把权重容量门槛进一步降了下来。约0.43GB到2GB的三款模型，让更多应用有机会尝试把理解、生成和部分工具决策放到本地。接下来最有说服力的证据，将是相同设备、相同任务下的成功率、总耗时、峰值内存与持续功耗：当这些指标同时站得住，手机上的本地Agent才算从演示走向日常使用。

参考来源

• IT之家：Ternary Bonsai 2系列AI模型登场：2026年10月16日报道，提供本次发布时间、三款模型规模、存储占用、官方性能与部署方式等信息；文中本次产品数据主要依据该报道，性能数字均按官方披露口径引用。
• 知乎：Ternary Bonsai 2 27B本地部署与编码智能相关解读：用于了解此前27B型号的背景；其中数据不作为本次2B、4B、9B模型的测试结论。
• GitHub：llama.cpp官方仓库：本地推理框架的一手资料，用于理解推理运行环境，不代表通用版本已支持本文全部模型格式。
• GitHub：MLX官方仓库：Apple芯片机器学习框架的一手资料，用于理解Apple平台部署生态。