企业官网建设流程全解析

高通 × PrismML 官宣上眼镜：1-bit Bonsai 离线识图问答，端侧 AI 的下一个战场是眼镜？

【免费下载链接】Ternary-Bonsai-2-27B-mlx-2bit项目地址: https://ai.gitcode.com/hf_mirrors/prism-ml/Ternary-Bonsai-2-27B-mlx-2bit

当业界还在争论"27B 大模型能不能塞进手机"时，PrismML 已经把同一套低比特方法论搬到了更小的硬件上。2026 年 9 月 23 日，PrismML 在 Snapdragon Summit 上宣布：1-bit Bonsai 模型已在高通 Snapdragon AR1 Gen 1 平台的 AI 眼镜上本地运行，实现"看懂佩戴者所见、基于上下文推理、实时给出回答"的离线识图问答。从 iPhone 到 AR 眼镜，这家 Caltech 背景的创业公司正在用一组数字重新定义端侧 AI 的边界——同一个内存包络里塞进 4 倍参数，1-bit 权重换来 4-bit 模型等价的智能水平。本文拆解这次合作的技术细节，结合仓库源码（README.md、config.json、runtime/ 等）分析 1-bit 模型为何是眼镜的天然载体，以及端侧 AI 落地路径正在发生怎样的位移。

一场写在 Snapdragon Summit 上的官宣：同内存 4 倍参数

PrismML 官方的新闻稿披露了这次合作的完整轮廓：双方联合优化的是一款全新的 2B 参数视觉语言模型（VLM），由 1.7B 的 1-bit 大语言模型加上 0.3B 的 4-bit 视觉编码器构成，专为眼镜形态设计。与以往的"云端识图、端侧呈现"不同，这一代能力被整体压缩进设备本地——图像理解、上下文推理、实时应答全部在镜框内完成，提示词与上下文不出设备。

高通与 PrismML 给出的关键数字有三组，全部来自同一测试条件（Snapdragon AR1 Gen 1 平台、4GB 内存、峰值 AI 算力 6 TOPS、每周期 2304 MAC、1024 token 上下文）：

也就是说，在同样严格的内存约束下，1-bit 让眼镜这类"几乎装不下模型"的形态首次获得了 4 倍于前的参数容量。高通 XR、可穿戴与个人 AI 业务高级副总裁 Ziad Asghar 在声明中把这次合作定性为"Personal AI"的路线图事件：轻量、低功耗的可穿戴设备才是先进 AI 体验最现实的落点。

值得注意的是，这次上眼镜的 2B 模型并非孤例，而是 PrismML 低比特模型家族的自然延伸——家族旗舰正是本仓库承载的 Ternary Bonsai 2 27B（README.md）。同一个方法论在高端的 27B 与低端的 1.7B 上同时成立，才是这次合作最值得关注的地方。

1-bit Bonsai 如何把"识图问答"压进眼镜功耗包络

要理解眼镜端的突破，得先看清 PrismML 压缩方法的本质：它不是训练后量化，而是"为低比特而生"的端到端表示。以本仓库的 Ternary Bonsai 2 27B 为例，语言模型的 embedding、注意力投影、MLP 投影与 LM head 全部使用三值权重 {−1, 0, +1}，每组 128 个权重共享一个 FP16 缩放因子。三值本身携带 log₂3 ≈ 1.585 比特信息，均摊缩放后理论存储成本约 1.72 bits/weight，相比 FP16 是近 9.3 倍压缩——细节记录在 README.md 的 Weight Representation 一节。

但压缩数字只是表面，工程上真正困难的是两件事：量化误差的控制与算子的适配。

误差控制靠 Hadamard 旋转。权重并非直接三值化，而是先按块做正交 Hadamard 旋转再量化，运行时对激活施加匹配的变换。旋转离线折叠进存储权重，不额外占比特、不增加权重搬运，模型通过 hadamard.json 声明变换契约（block 1024、显式符号向量、归一化 Sylvester-Walsh-Hadamard 变换），运行时要么执行匹配变换，要么拒绝加载。这正是"低比特标签后面没有高精度逃逸口"的底气——README.md 特意对比了市面上大量"标称 2-bit 实际 2.8 bits/weight"的常规构建。

算子适配体现在运行时。本仓库的 runtime/runtime.py 定义了Packed模块：前向时先对激活做fwht（快速 Walsh-Hadamard 变换，按块 1024 归一化并乘上符号向量），再直接以mx.quantized_matmul消费打包权重，从不解包回 FP16；embedding 则走dequantize后执行逆变换。视觉塔则完全是另一套路径——runtime/vision_artifact.py 的文档写得很清楚：语言模型投影处于旋转基下需要变换，而视觉塔是官方 Qwen3.8-27B 塔的原样透传，FP16 未量化、0.92GB。仓库因此把整个载荷组织成"打包的语言模型 + 原样视觉塔"双轨结构。

这也是本仓库与眼镜端 2B 模型的一个有趣对照：上眼镜的模型把视觉编码器压到 4-bit（0.3B），而 27B 旗舰包为了保视觉精度暂时保留了 FP16 塔（0.92GB）——同一方法论在不同功耗预算下的取舍可见一斑。

本地加载 VL 模型的入口极其简洁，来自 quickstart.py：

import sys sys.path.insert(0, "bonsai2-27b-mlx/runtime") from vision_artifact import load_vl_model, chat_config from mlx_vlm import generate from mlx_vlm.prompt_utils import apply_chat_template model, processor, config = load_vl_model("bonsai2-27b-mlx") prompt = apply_chat_template(processor, chat_config(config), "What is in this image?", num_images=1) print(generate(model, processor, prompt, ["photo.jpg"], max_tokens=256, temperature=1.0, top_p=0.95, top_k=20))

其中采样参数（temperature 1.0、top_p 0.95、top_k 20）显式取自 generation_config.json，因为 mlx-vlm 并不读取该文件。一个值得所有部署者注意的细节：本包声明model_type: prism_hadamard_qwen35，必须使用仓库自带的运行时，普通 MLX 加载器会跳过激活变换与 embedding 逆查表，返回的不是报错而是错误输出——低比特模型的正确性与运行时契约强绑定，这在 PACK-RUNTIME.md 中有明确警告。

AI 眼镜为什么是 1-bit 模型的理想载体

眼镜是对内存、功耗、散热、延迟四项约束同时拉满的形态：既要全天佩戴续航，又要实时应答，还几乎不允许任何可感知的发热。常规 4-bit 模型连 1.7B 都装得吃力（权重就要 1.66GB），更不用说留出运行余量。1-bit 在这里的价值不是"更好"，而是"可能"。

更深层的原因是解码阶段的带宽主导特性。生成式 LLM 的 token-by-token 解码受内存带宽约束，权重越小，每 token 搬运的数据越少，速度越快、能耗越低。README 实测：Apple M5 Pro 解码时以约 204 GB/s 的权重流率运行，GPU rail 功耗仅 27.5W；而同权重在三值表示下，RTX 4090 上每 token 能耗 0.714 mWh，比全精度 8B 模型还省 40%。眼镜端的 2.06 倍生成加速、3.83 倍内存缩减，本质上是同一物理规律的复现：比特越少，搬得越少，跑得越快。

再叠加"智能密度"这个 PrismML 反复强调的度量——每 GB 存储能兑换多少可用智能。仓库 README.md 给出了旗舰模型的对比：Bonsai 2 27B 智能密度 0.469 (1/GB)，是常规 IQ2_XXS 构建（0.199）的 2.3 倍，是 FP16 基线（0.053）的近 9 倍。换言之，端侧设备不该再问"能不能装下某个模型"，而该问"同一预算下谁的智能更密"。

眼镜还有一层独有的优势：视觉本身就是最高带宽的上下文来源。PrismML CEO Babak Hassibi 在新闻稿中的表述值得细读："眼镜让这个挑战非常具体——你有海量的视觉上下文，却只有一台极度受限的设备去理解它。" 1-bit 模型恰好把这两端接上了：输入是连续的视觉流，输出是实时的语言，中间只有零点几 GB 的权重和 6 TOPS 的算力。这种"输入富、设备穷"的结构，正是低比特表示最划算的用武之地。

从手机到眼镜，端侧 AI 的落地路径变了什么

把时间线拉平，PrismML 的布局节奏清晰得近乎刻意：

• 2026 年 7 月：Bonsai 27B 发布，1-bit 版 3.9GB、三值版 5.9GB，号称首个能在 iPhone 17 Pro 上运行的 27B 模型，被社区称为"手机 AI 的 DeepSeek 时刻"（IT之家报道中，AnythingLLM 创始人 Tim Carambat 的评价是"比 Fable、Mythos 或 GPT 5.6 更重要……这才是 AI 真正的 DeepSeek 时刻"）；
• 2026 年 9 月 17 日：基础模型升级到 Qwen3.8 27B 的 Bonsai 2 27B，以不足 1/9 的内存占用保留 FP16 基线 98.2% 的综合基准分数，数学 96.57、编程 89.42 与全精度打平，长程智能体工具调用 74.92；
• 2026 年 9 月 23 日：与高通官宣上眼镜。

三天之隔的两则新闻，端侧 AI 的叙事重心已经从"把大模型装进手机"漂移到"把智能装进一切设备"。这背后是落地路径的实质变化：

第一，从"模型大小"转向"智能密度"。手机阶段的胜利标准是"27B 能不能跑"，眼镜阶段的胜利标准变成"4 倍参数能不能塞进同一内存"。36Kr 等媒体已经注意到 PrismML 推动的范式转移——AI 进化从规模转向智能密度。模型不再以"多少 B"论英雄，而以每字节每瓦特能兑现多少推理能力论英雄。

第二，从"事后适配"转向"模型-硬件协同设计"。高通为这次合作编译了带 1-bit 内核支持的 QNN SDK，PrismML 针对 Hexagon NPU 专门优化权重与架构；本仓库同样是三端协同的产物——MLX 定制内核（Python/Swift）、llama.cpp fork（CUDA/Metal）与打包格式（PTQ1_0/PQ2_0/MLX 2-bit）共同支撑同一个权重集。当量化格式需要算子、编译器、容器三方同时配合，端侧 AI 就不再是"训练完再压缩"的单向流程，而是从模型设计第一天就在为特定硬件布线。

第三，从"联网才智能"转向"离线即隐私"。眼镜端把上下文留在设备上，识图、问答、推理全程不触网，这在隐私与合规敏感场景（助老、医疗辅助、工业巡检）的价值，比单纯的延迟收益更根本。PrismML 官方描述的理想形态是"本地处理敏感与高频任务、按需选择性升级到云端"的混合编排——这也是 Bonsai 2 27B 官方博文里反复出现的"真正的知识工作"画像。

当然，这条路径远未走到终点，仓库与社区情报都提示了清晰的边界：其一，低比特生态尚未收敛——三值/1-bit 仍需定制后端，llama.cpp 主线仅覆盖部分格式，普通加载器甚至会静默产出错误输出；其二，旗舰模型的能力损失仍然集中且可见——视觉（MMMU-Pro 81.73→75.49）与长程推理类别仍有差距，早期 Bonsai 27B 实测中工具调用的数个百分点下滑也被社区如实记录；其三，眼镜端演示的 1024 token 上下文与 27B 的 262K 相差两个数量级，说明端侧"长上下文"还有很长的路。

但方向的信号已经足够明确：当 1-bit Bonsai 真正"戴"到脸上，端侧 AI 的竞争维度就从"谁能云端更聪明"转向"谁能把同等聪明压进更少的字节与瓦特"。眼镜只是这场迁移的第一个显性载体——可穿戴、车载、工业端侧，都将按同一套"智能密度"的规则重排。高通与 PrismML 的这次官宣，与其说是发布了一款眼镜模型，不如说是给整个端侧 AI 行业划了一条新的起跑线。

【免费下载链接】Ternary-Bonsai-2-27B-mlx-2bit项目地址: https://ai.gitcode.com/hf_mirrors/prism-ml/Ternary-Bonsai-2-27B-mlx-2bit