PrismML 补齐三元 Bonsai 2：2B/4B/9B 三档，iPhone 上 2B 跑到 120 tok/s
.png)
10 月 15 日，PrismML 在官方新闻稿里把 Bonsai 2 家族从单一 27B 扩到四档：新增 2B、4B、9B 三个三元权重模型，参数只用 -1、0、+1 三种取值编码，存储占用分别为 0.43GB、0.95GB 和 2.00GB，官方称比对应的全精度模型小 9 倍以上。三个新模型基于阿里的 Qwen3.5 训练，训练在 Google v5 TPU 上完成，权重以 Apache 2.0 开放。
能力侧的口径是「同类任务对齐全精度」：在 19 项基准上，新模型在编程、数学、指令遵循上持平或超过对应的全精度 Qwen3.5，在视觉、智能体与工具调用、知识推理三类任务上保留全精度九成以上分数，且相对第一代 Ternary Bonsai 有明显提升。速度上，官方给出的是 RTX 4090 与 M5 Pro 上最高 5 倍吞吐、3 倍能效；主机侧 9B 最高 124 tok/s、2B 最高 276 tok/s；到 iPhone 18 Pro Max 上，9B 为 34 tok/s、2B 为 120 tok/s。
这一条的分量在端侧：三元权重把「能跑智能体」的模型压进手机与眼镜的内存预算，与已有的 Bonsai 2 27B 组成从轻量任务到复杂工作流的完整产品线，开发者可用 llama.cpp 跑 NVIDIA GPU、用 MLX 跑 Mac 与 iPhone。需要说明的是，九成以上保留率与 5 倍吞吐都是 PrismML 自测口径，本站未独立复现，实际表现取决于量化工具链与具体设备。
原文链接：PrismML 官方新闻稿 / IT之家
核验记录
定日：官方新闻稿页 prismml.com/news/prismml-expands-bonsai-2-family-with-2b-4b-and-9b-models-for-on-device-ai 本机直读 36,537 字节，JSON-LD `datePublished 2026-10-15` + 页内 `October 15, 2026` 双证，正文首行落款为「PASADENA, Calif. — October 15, 2026」；IT之家 10-16 13:50 稿同源同日。HF 侧 2B/4B/9B 的 gguf 仓 createdAt 2026-09-23、mlx-2bit 仓 10-01，均早于公告日，按 R21 只作发现通道、不用于定日。数字（0.43/0.95/2.00GB、19 项基准九成保留、5 倍吞吐与 3 倍能效、4090 上 124/276 tok/s、iPhone 34/120 tok/s、Apache 2.0、v5 TPU）逐项取自官方新闻稿；配图两向（裸请求 + 带站内 Referer）均 200、PNG 59,461 字节。
← 上一篇Cloudflare 与 OpenAI 公布发现试点结果：为 ChatGPT 索引补进数亿个未知页面下一篇 →AWS Strands 把决策模型铺成四档：换到 Gemma 4 底座，231 题最高 89.6%