企业官网建设流程全解析

iPhone、Mac、Android、Windows 实测横评：Edge0 五大平台谁最能打

【免费下载链接】Edge0-35B-A3B-preview项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview

"35B 参数的大模型"，这几个字通常意味着几十 GB 的显存、一台带 GPU 的工作站，以及动辄数万元的硬件账单。但 Edge0 把这道门槛拆掉了：一个 35B 级稀疏 MoE 模型，可以在手机级内存里跑起来——iOS 端实测 6.4 tok/s，Mac 端最高 17.7 tok/s，峰值内存被压到 2.9～4 GiB。这不是营销话术，而是一套有论文、有源码、有多平台实测数据的完整工程方案。本文以仓库源码与社区实测为双重依据，拆解 Edge0 在 iPhone、Mac、Android、Windows 与纯 Python 五大平台上的真实差距，以及每一档硬件该以什么姿势使用它。

先回答"凭什么"：35B 模型如何塞进手机内存

传统认知里，35B 模型的权重无论如何都不可能装进 4GB 内存。Edge0 的答案是：不让权重常驻内存，而是让它们住在 SSD 里，按需流式加载。这一思路成立的物理前提是 MoE 的稀疏激活——本仓库 README.md 给出模型结构：256 个专家，每 token 仅激活 4 个（K=4），40 层，hidden size 2048。稀疏性只减少计算量，不减少必须持有的字节数；但配合专家粒度的 SSD offload，内存里只需要放"当前被激活的专家"，峰值内存由活跃集决定，而非参数总量。

三件套各司其职，缺一不可：

• SSD 专家卸载：专家权重按路由结果从存储流式读取，只把活跃权重放进 RAM。仓库的 model.safetensors.index.json 显示，四个分片共 20,401,929,952 字节（约 20.4 GB）的 4-bit 量化权重以专家为粒度分片存储，配合 config.json 中group_size: 64, bits: 4的仿射量化方案，整包 checkpoint 留在存储端，无需一次性载入内存。
• Prerouter 路由预测：单纯卸载解决不了延迟——第 N+1 层的专家必须在第 N 层输出产生前就确定并开始读盘，否则读盘时间无法藏在计算后面。Edge0 用一个逐层训练的预测头提前一个 token 预测路由，预测结果直接当作路由使用，让专家加载与 forward pass 重叠，decode 吞吐最高提升 59%，且收益随存储延迟、模型规模与路由宽度 K 增长。
• Recover-LoRA 精度恢复：int4 量化 + 路由替换带来的质量损失，由一个在学生路径上训练的、未合并的 LoRA 适配器偿还。适配器与 base checkpoint 同目录存放（本仓库的lora_edge0_35b.safetensors、prerouter_edge0_35b.safetensors），加载时自动生效，且保持不合并——一份只读 base 可以服务多套适配器。

这套机制对应 arXiv 论文The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction（2609.18063），其核心论断是：对 35B 级 MoE 而言，瓶颈从来不是算力，而是"必须持有的字节数"这一半内存墙。

实测对照：iOS 6.4 tok/s 与 macOS 数据的差距在哪

社区在 2026 年 10 月初发布的多篇实测把五大平台拉上了同一张桌子。先看两组能对上的硬数字：

README 的官方基准用examples/bench.py在 Mac mini M4 Pro 上测得：decode 14.9–17.7 tok/s，长提示 prefill 冷/热吞吐 113/140 tok/s。同一台设备上，社区复测给出 10–17.7 tok/s 的区间——差异来自对话长度、KV cache 与是否开启思考模式。而 iOS 的 6.4 tok/s 是在 iPhone 上跑出的数字，峰值内存约 4 GB，恰好落在"phone-class memory"的定义内：macOS 是 iOS 的 2.3～2.8 倍吞吐，代价是一台 24 GB 的桌面主机。

值得注意的细节是：6.4 tok/s 并非"不可用"的档位。中文对话场景下，每秒 6 个 token 约等于每分钟 200+ 字的输出速度，配合流式 SSE 输出，体验上接近"边想边写"的节奏；而 macOS 的 15+ tok/s 已经可以支撑交互式编码与多轮推理。这个差距的本质不是模型，而是硬件算力与内存带宽的上限——Edge0 的流式管线在两端表现一致，瓶颈在端侧算力本身。

五大平台的工程差异：从 Tauri 到原生绑定

同一套推理管线，落到不同平台是五种完全不同的工程形态。

macOS 是当前的一等公民。README 明确标注 MLX backend 针对 Apple Silicon 优化，官方提供 Python CLI 与 Tauri 桌面 App 双路径：安装 edge0 框架并下载模型目录后，edge0 chat直接对话，edge0 serve起 OpenAI 兼容 HTTP 服务。这也是唯一有官方性能基准的平台。

iOS 与 Android 走原生绑定路线。社区实测确认 Edge0 已在 iPhone 上完成端侧推理（6.4 tok/s），峰值内存仅 4 GB——这意味着运行时、量化解码与 SSD 流式加载全部以原生库形式集成进移动 App，而非跑在 WebView 里。移动端的工程难点不在推理本身，而在存储调度：闪存带宽、功耗预算与后台进程的内存竞争，都需要原生层精细控制。

Windows 与纯 Python 是"服务化"路径。由于 MLX 后端当前仅覆盖 Apple Silicon（README Limitations 明确"其他后端在 roadmap"），Windows 上最务实的姿势是把 Edge0 跑在任一 Mac 或 Linux 服务器上，用一条命令暴露标准/chat/completions端点，任意 OpenAI SDK 应用只改base_url即可接入，SSE 流式与请求参数完全透传。社区文章将其描述为"单槽 FIFO 队列保障稳定性"的服务层设计。

管线共享，模型即目录。35B 与 8B 两个档位共享同一推理框架，切换只需替换模型目录——这正是仓库"一个完整、开箱即用的模型目录"的设计哲学：base + LoRA + prerouter 适配器全部同目录自动加载（README.md），无论是 Tauri 桌面 App、iOS 原生绑定还是 HTTP 服务，面对的始终是同一个目录契约。社区也验证了这一抽象：35B（40 层、K=4）与 8B（24 层、K=8）在 Mac mini M4 Pro 上，8B 解码快 1.5 倍、峰值内存仅 1.0 GiB。

平台选择矩阵：不同设备的最佳姿势

综合性能、内存与工程路径，可以把设备分成四档决策场景：

• iPhone / 移动设备（隐私优先、离线优先）：35B 的 6.4 tok/s 可满足日常问答与写作；若追求更顺滑的交互，8B 档位是更优解——解码快 1.5 倍、峰值内存仅 1.0 GiB，代价是数学推理能力（AIME 低 23 分量级）。核心价值是数据不出设备。
• Mac mini M4 Pro 及以上（桌面生产力）：35B 的 15～17.7 tok/s 配合 2.9 GiB 峰值内存，是目前性价比最高的档位——既能交互式对话，也能作为局域网内的 OpenAI 兼容推理服务。
• Windows / 非 Apple Silicon 主机：不做端侧绑定，通过edge0 serve消费远端服务，零业务代码改造接入现有 OpenAI SDK 应用。
• 硬件前提：所有方案都对存储敏感——方案面向 NVMe SSD / 内置闪存优化，SATA 或机械硬盘因带宽不足会显著拖慢专家加载；同时共享层与 Router 必须常驻内存。长上下文会增长 KV cache，README 建议用较短上下文把峰值内存维持在 3 GiB 量级。

质量仅降 3.9 分的端侧性价比账

"能跑"之外，真正决定这套方案价值的，是 int4 量化 + LoRA 恢复后还剩多少能力。仓库 README 用 OpenCompass 在完全一致的条件（identical settings）下对比了 edge0-35b（int4）与其 fp16 底座 Qwen3.6-35B-A3B：

平均仅降3.9 分，其中 GPQA-Diamond 差距最小（2.0 分），数学推理 AIME 损失最大（6.1 分）。这份账单算得清楚：用约 1/10 的内存（2.9 GiB vs 需要 40+ GiB 的 fp16 常驻方案）换来 95% 的能力保留率，且 LoRA 不合并的设计让"一份只读 base 服务多个适配器"成为可能——这是端侧部署性价比的核心。

仓库 config.json 里还有个容易忽略的细节：全模型 4-bit、group_size 64 的量化网格中，每一层的 router gate 与 shared expert gate 被单独抬升到 8-bit——路由与共享专家是全模型的"杠杆点"，精度优先级更高。这种按敏感度分层量化的设计，与 Recover-LoRA 的蒸馏路径一起，共同解释了为何 3.9 分是"可控的损失"而非"坍缩"。

五大平台的横评最终收敛到一个朴素的结论：Edge0 并没有让手机变成数据中心，它只是把"在哪一层硬件上跑多强的模型"变成了一个可精确计算的工程问题——iPhone 拿 6.4 tok/s 换数据不出设备，Mac 拿 17.7 tok/s 换桌面生产力，而所有平台共享同一套 3.9 分的质量账本。真正的边界不在框架，而在你的闪存带宽与使用场景。

【免费下载链接】Edge0-35B-A3B-preview项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview