一个拥有270亿参数的模型现在可以在 iPhone 上运行

一个拥有270亿参数的模型，完整版本大约占用54 GB。要在手机上加载它不可能，即使是一台性能不错的 Mac 也很困难。PrismML刚刚发布了Bonsai 27B，这是同一模型的压缩版本，仅占用3.9 GB，可以直接在 iPhone 上运行。这不是实验室里临时拼凑出来的演示：这是一个今天就可以免费下载的模型，其许可证甚至允许商业使用（Apache 2.0）。

PrismML 以Qwen3.6 27B为基础，这是中国阿里巴巴的一款模型，并将其压缩成两个更轻量的版本。三值版本（模型的每个权重，也就是定义模型“知道”什么的数字之一，不再是带小数点的数值，而只取 -1、0 或 +1）占用5.9 GB，面向笔记本电脑。1-bit版本更加激进（权重只取 -1 或 +1），占用3.9 GB，面向手机。下面是它们在纸面上的对比。

技术原理：无需重新训练全部模型

这类消息真正有趣的地方，往往不是压缩比例这个数字，而是实现压缩所采用的方法。BitNet是微软在三值权重方面最知名的项目，它从零开始训练模型，并从一开始就加入这一限制。这需要非常高昂的计算成本，也意味着每换一个新的基础模型，都得从头开始。

Bonsai 采用了不同的方法：在模型训练完成后，再对已经训练好的模型进行量化（这是“降低组成模型的数字精度”的技术术语），并以128个权重为一组进行共享校准。换句话说，他们拿到已经准备好的 Qwen3.6 27B，分成小批次进行压缩，而不必重新经历完整的训练过程。按常理来说，如此激进的压缩如果不重新训练，应该会得到一个“半残”的模型。但真正让我感到意外的正是这个数字：在 PrismML 用于比较其模型的15项测试中，三值版本保留了原始模型94.6 %的得分，即使是1-bit版本也保留了89.5 %。具体来看，某些任务上的性能下降会更加明显：在代码任务中，1-bit版本的得分从完整模型的88.7降至81.9；在模型必须自行调用工具的任务中，差距进一步扩大，从80降至66。结果并非无法使用，但如果你指望 Bonsai 自主运行一个智能体，这正是性能下降最明显的地方。

实际使用效果如何

PrismML 宣称，在 iPhone 17 Pro Max 上使用1-bit版本生成文本时，速度约为每秒11个 token（token 是模型每一步生成的一个小词片段，大致相当于一个词的四分之三）。在 Mac M5 Max 上，根据他们自己的数据，三值版本的速度约为每秒87个 token。在 RTX 5090 显卡上，则可以达到每秒163个 token。上下文窗口，也就是模型一次可以读取并记住的文本量，最高可达262 000个 token：足以让它读取一整套代码文件，而不会忘记开头的内容。

不过需要谨慎看待这一点，因为这些数据是 PrismML 自己测量的：MarkTechPost发布的独立测试显示，Mac 上的速度明显低得多，三值版本约为每秒26个 token。和许多产品发布一样，官方演示中的数字代表的是最佳情况，而不是平均水平。在基于它构建项目之前，最好先在自己的硬件上亲自测试。

为什么这对开发者很重要

重点不是口袋里多一个聊天机器人。而是拥有一个直接在设备上运行的模型，无需互联网连接，不会在月底收到 API 账单，并且拥有足够的内存来执行真正的智能体任务：读取项目、调用工具、分多个步骤进行推理。此前，这些功能只能在云端运行，因为没有任何这么大规模的模型能够装进普通设备。

该模型可以从 Hugging Face（大多数开放式 AI 模型托管的平台）和 GitHub 获取，也可以直接通过 iOS 应用 Locally AI 获取，适合那些只想试用、而不想搭建整套本地推理系统的人。采用 Apache 2.0 许可证，因此用于商业用途不会受到限制。

在我亲自在真实代码项目上运行它之前，对于 90 % 的留存率我仍持谨慎态度，但拥有一个这一等级的模型，能够直接在设备上响应，无需网络延迟，也不会让你的提示词发送给任何人，这显然值得一试。

无论如何，我已经在我的 iPhone Pro 17 上通过 Locally AI 试用了最大的模型，令人印象深刻（当然，我是法国人，这里是一张法语回答的截图），太令人惊叹了！