27B大模型塞进iPhone：PrismML的1-bit压缩让苹果坐不住了

7月9日，The Information扔出一条消息：苹果正在和一家叫 PrismML 的初创公司谈合作，评估把更大的 AI 模型直接塞进 iPhone 的可行性。压箱底的筹码是——PrismML 已经把阿里巴巴开源的 Qwen 3.6（27B 参数） 精简后完整跑在了 iPhone 17 Pro 上。

这是目前公开报道里，端侧运行过的最大规模模型。作为参照，三个月前 PrismML 首次亮相时端出的还是 8B 的 Bonsai。三个月，端侧模型的天花板被抬了三倍多。

27B跑进手机，是怎么办到的

先说结论：这不是又一次的 INT8、INT4 量化。

传统的量化路径，无论 GPTQ、AWQ 还是 SmoothQuant，本质上都是在训练完成后，把 FP16 的权重按某种策略"压扁"到 8bit 或 4bit。这套做法的问题在于：为了保住关键层的精度，通常会留一部分权重继续用 FP16 或更高精度跑，也就是所谓的"高精度逃生通道"。表面上叫 4-bit 模型，实际上一堆敏感层还是浮点数在扛，压缩率被这些通道拉低了一大截。

PrismML 走的是另一条路：原生 1-bit 架构（native 1-bit）。权重只用 {-1, +1} 两个值表示，配合分组共享的缩放因子（scale factor）来维持模型表达能力。关键在"原生"两个字——Embedding 层、注意力层、MLP、LM head 全部端到端只用 1-bit，没有留后门。

这不是训完再压，而是从预训练阶段就按 1-bit 目标去练。Google TPU v4 上从零训出来的模型，权重天生就是二值化的。

效果拉出来看：

• 体积：27B 的 Qwen 3.6 全精度版本大约需要 54GB 显存，压缩后能压到 4GB 左右，压缩比接近 1/14
• 内存占用：降低超过 90%
• 推理速度：最高提升 8 倍
• 能耗：降低 75%-80%

对照一下他们 3 月发的 Bonsai 8B：82 亿参数塞进 1.15GB，iPhone 17 Pro 上跑到约 40 tokens/秒，iPhone 17 Pro Max 每秒能耗仅 0.068 毫瓦时。M4 Pro Mac 上是 131 tokens/秒，RTX 4090 干到 368 tokens/秒。

如果这些数字放到 27B 的 Qwen 3.6 上还能保持类似的能效比例，那意义就不只是"能跑"——是真的能用。

苹果为什么盯上这家公司

这几年苹果在端侧 AI 上的策略其实挺纠结的。

Apple Intelligence 主打端侧，但受限于内存，iPhone 上跑的一直是 3B 左右的小模型，稍微复杂点的活儿要么走 Private Cloud Compute，要么调 ChatGPT。真正意义上的"端侧大模型"始终缺一块拼图。

问题的根不在算力，M 系芯片的 NPU 算力早就够用了，卡脖子的是内存。iPhone 17 Pro 撑死 12GB 内存，还要留给操作系统和其他 App。一个 FP16 的 8B 模型光权重就要 16GB，根本装不进去。INT4 量化能压到 4GB 左右，但精度损失肉眼可见。

PrismML 的 1-bit 方案正好打在这个痛点上：把 27B 级别的模型压到消费级手机能接受的内存区间，同时精度接近 FP16。如果这套方案能被苹果 verify 通过，Apple Intelligence 的下一代能力上限会被整个抬高一个层级——本地跑通复杂 Agent、长文档理解、代码生成这些原本要走云端的任务，都变得可行。

这也解释了为什么是苹果先动手而不是别家。谷歌有 Gemini Nano，微软有 Phi 系列，都是走"训一个小模型"的路子；苹果需要的是"把大模型压小"的能力，这是硬件受限倒逼出来的差异化需求。

PrismML是什么来头

PrismML 是从加州理工衍生出来的初创，2026 年 3 月才正式从隐身模式里走出来，背后有 Khosla Ventures 的钱。Vinod Khosla 亲自站台，说了一句挺有话题度的话：

"AI 的未来不会由谁能建最大的数据中心来定义。"

这话本身没啥新意，去年 DeepSeek 出来的时候大家都在讲。但 PrismML 的技术路径确实和以往主流不太一样——它不追求"更大更强"，而是死磕智能密度（intelligence density），也就是每 GB 内存能提供多少智能。

从产品线看，PrismML 目前有三款模型放在 Hugging Face 上，Apache 2.0 授权，支持 Apple MLX 格式和 llama.cpp CUDA。开发者可以直接拉下来在自己的边缘设备上跑。这一点很关键——如果技术只藏在闭源模型里，很难说服业界这套方案是真的 work。开源本身就是最好的可信度背书。

把 Qwen 3.6 27B 拿来当靶子，也不是随便挑的。Qwen 系列是目前开源社区里综合能力最强的中文模型家族之一，27B 是那个"能干正事但又不至于太吓人"的甜点尺寸。PrismML 用别人的模型验证自己的压缩技术，说服力比自训自压要强得多。

这事儿到底有多大意义

先泼盆冷水：PrismML 宣称的"接近 FP16 精度"目前只有他们自己的 benchmark。原生 1-bit 训练在学界不是新概念，微软的 BitNet 系列已经探索了两三年，但真正推到 27B 规模并在消费级设备上跑通的，PrismML 是第一家公开这么做的。

几个需要观望的点：

1. 精度衰减到底有多少：从 8B 到 27B，1-bit 架构能不能保持同等的精度保真度，还需要第三方评测。特别是复杂推理、代码生成这类对权重精度敏感的任务。
2. 训练成本：从零训一个 1-bit 模型的成本不见得比训 FP16 便宜，前期投入很大。这套路径能不能规模化，取决于有多少厂商愿意跟。
3. 通用性：Qwen 3.6 是稠密模型，那 MoE 架构呢？多模态模型呢？1-bit 能不能推广到所有主流架构，目前是问号。

但方向是对的。从 DeepSeek 用工程手段把训练成本砍到十分之一，到 PrismML 把模型体积压到十四分之一，AI 行业的叙事正在从"堆参数堆算力"往"提效率提密度"转。这不是什么范式革命，就是很朴素的工程演进——但对于普通开发者和端侧应用来说，这才是真正打开天花板的力量。

如果 PrismML 的方案能被苹果采纳，2026 年底或 2027 年初的 Apple Intelligence 大概率会用上这套压缩技术。到那时候，iPhone 本地跑 20B+ 模型会从 demo 变成日常。

对开发者意味着什么

短期看，能直接受益的是做端侧应用的开发者。1-bit Bonsai 系列已经在 Hugging Face 开放下载，MLX 格式对苹果设备友好，llama.cpp 支持覆盖了主流 GPU 环境。想验证效果的话：

# 拉取 Bonsai 8B 1-bit 模型
git lfs install
git clone https://huggingface.co/prismml/Bonsai-8B-1bit

# MLX 格式（Apple Silicon）
pip install mlx-lm
mlx_lm.generate --model prismml/Bonsai-8B-1bit \
  --prompt \"解释一下 1-bit 量化\"

# llama.cpp 走 GGUF
./llama-cli -m Bonsai-8B-1bit.gguf -p \"你好\"

中期看，Qwen 3.6 27B 的 1-bit 版本一旦放出（如果 PrismML 愿意的话），会成为端侧应用开发的一个重要基准。目前云端调用 Qwen 3.6 已经是很多开发者的日常选择——OpenAI Hub 这类聚合平台上，一个 Key 就能调 Qwen、Claude、GPT、Gemini、DeepSeek 各家模型，兼容 OpenAI 格式，测试和对比都很方便。等 1-bit 端侧版能力齐活了，云端 + 端侧的混合部署会成为主流：简单任务本地跑省钱，复杂任务云端跑保效果。

长期看，如果 1-bit 真的成为工业标准，AI 硬件的整个成本结构会被重写。数据中心不用堆那么多 H100 / B200，端侧设备也不用为了 AI 卷内存卷到天上去。这对整个行业的能耗、成本、可及性都是好事。

下一步值得盯的是——苹果会不会在 WWDC 2027 上给 Apple Intelligence 上"史诗级更新"。如果真上，那就是这套技术最好的一次验证。

参考来源

• 已在 iPhone 17 Pro 上完整运行 Qwen 3.6，消息称 PrismML 模型 AI 压缩技术被苹果看中 - IT之家：IT之家原始报道，梳理了苹果与 PrismML 的接洽情况及 1-bit 压缩技术要点
• 把8B模型塞进iPhone，这家公司让AI速度起飞，功耗省掉80% - 知乎：知乎技术专栏，详细拆解 PrismML Bonsai 8B 的 1-bit 架构与训练细节
• PrismML Bonsai 系列模型 - Hugging Face：PrismML 官方模型仓库，提供 1-bit Bonsai 系列的 MLX 与 GGUF 格式下载