企业官网建设流程全解析

• 人工智能
• 大模型
• 模型量化
• 本地部署
• Qwen

Qwen3.5-397B-A17B-MXFP4-AttnFP8-V3 是 AMD 推出的 MXFP4+FP8 混合量化模型：约 400B 参数的 Qwen3.5 MoE 大模型被压缩到 BF16 约 1/4 的体积，却在 GSM8K 数学基准上保留了99.86%的原始精度（97.57 vs 97.71）。本文带你拆解这套量化配方如何做到"近乎无损"，并给出可复现的 GSM8K 评估步骤。📊

一、30秒认识这个模型

• 基座模型：Qwen3.5-397B-A17B（397B 总参数 MoE，每 token 激活约 17B）
• 量化工具：AMD-Quark（v0.13）
• 目标硬件：AMD MI350 / MI355（ROCm 7.2.4 + PyTorch 2.10.0+rocm）
• 推理引擎：SGLang（ROCm 镜像部署，4 卡张量并行）
• V3 版本新特性：shared expert 也量化为 MXFP4 并融合进 MoE 路由核函数（FSE），MTP 路由专家量化为 MXFP4、MTP 自注意力量化为 FP8

模型总览可参见 README.md，架构与量化配置定义在 config.json。

关键架构参数

二、GSM8K 精度恢复：99.86% 到底意味着什么？

"精度恢复率" = 量化后得分 ÷ BF16 基线得分。GSM8K 是多步数学推理基准，每一步的微小误差都会向后累积，因此它是对量化损失最敏感的试金石之一：

97.57 ÷ 97.71 ≈ 0.9986 → 99.86%

绝对损失仅0.14 分——对推理模型而言，这基本处于同一水平线内的波动范围。换句话说：体积缩到约 1/4，数学能力几乎没打折扣。✅

三、量化方案拆解：MXFP4 与 FP8 的分工 🧩

这套配方的核心思想是"按模块敏感度分配精度"：计算量最大、占比最高的 MoE 专家用 4 位，注意力用 8 位，真正敏感的部件保持高精度。完整配置见 config.json。

三个关键设计点：

1. MXFP4 的分组尺度：每 32 个元素共享一个 e8m0 指数尺度（见 config.json 中group_size: 32、scale_format: e8m0），比整层共享尺度细粒度得多，这是 4-bit 还能保住推理能力的前提。
2. 排除清单（exclude list）：路由 gate、lm_head、线性注意力的 conv1d 等对精度极敏感的模块全部豁免，保留在 config.json 的排除列表中。路由器选错专家会放大成整层错误，宁可多占一点显存也要保精度。
3. FSE 融合（V3 的增量）：shared expert 与路由专家同用 MXFP4 并融合进同一个 MoE 核，解码时少一次独立 GEMM 调用，速度提升的同时不额外引入精度损失（见 README.md）。

四、99.86% 是怎么做到的：量化配方要点 🔍

按重要程度排序：

• 计算热点优先压缩：MoE 专家占模型参数量和计算量的绝大部分，把它们从 16-bit 降到 4-bit 收益最大；专家对单点误差的容忍度也比路由器和输出层高。
• 敏感层精准豁免：router、lm_head、conv1d、视觉塔保持 BF16，把"容易出错的地方"保护起来。
• 静态权重 + 动态激活：权重在离线时按通道/分组量化好（静态），激活在运行时按 token 动态计算尺度，兼顾速度与误差控制。
• 推理侧配合：SGLang + EAGLE 投机解码（MTP 草稿）加速生成，MTP 模块同样量化到位，避免"解码快、精度崩"的错配。
• 公平对比：基线与量化模型使用完全相同的评估配方（5-shot、greedy、chat 模板、双侧均开 EAGLE MTP），保证 0.14 分差距反映的是量化本身而非流程差异。

量化命令核心参数（完整脚本见 README.md）：

python3 quantize_quark.py \ --model_dir "Qwen/Qwen3.5-397B-A17B" \ --quant_scheme mxfp4 \ --layer_quant_scheme '*linear_attn*' ptpc_fp8 \ --layer_quant_scheme '*self_attn*' ptpc_fp8 \ --exclude_layers "lm_head" "*mlp.gate" "model.visual.*"

五、评估配方：如何复现 GSM8K 测试 ⚙️

评估采用 SGLang 服务端 + lm-evaluation-harness，两步完成（详细参数见 README.md）：

第 1 步：用 SGLang 起推理服务（ROCm 镜像内，4 卡并行 + EAGLE 投机解码）：

python3 -m sglang.launch_server \ --model-path amd/Qwen3.5-397B-A17B-MXFP4-AttnFP8-V3 \ --tensor-parallel-size 4 --attention-backend aiter \ --speculative-algorithm EAGLE --speculative-num-steps 3 \ --speculative-eagle-topk 1 --speculative-num-draft-tokens 4

第 2 步：跑 GSM8K 评估（5-shot、greedy、走 chat-completions 接口）：

lm_eval --model local-chat-completions --apply_chat_template \ --tasks gsm8k.yaml --num_fewshot 5 \ --model_args "base_url=http://127.0.0.1:8000/v1/chat/completions,num_concurrent=16,max_length=16384" \ --gen_kwargs "max_tokens=12288,temperature=0,top_p=1"

💡解析小 trick：评测用的 gsm8k.yaml 相比标准 lm-eval 任务只改了一处——doc_to_text要求模型以#### <number>结尾，让推理模型的最终答案能被正确抽取（flexible-extract 模式）。

六、仓库文件结构与获取方式 📦

获取模型仓库：

git clone https://gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MXFP4-AttnFP8-V3

提示：权重分片通过 Git LFS 存储，克隆后请确认 LFS 拉取完成；部署需配合 SGLang ROCm 镜像与 MI350/MI355 硬件。

七、小结 🏁

Qwen3.5-397B-A17B-MXFP4-AttnFP8-V3 的 99.86% GSM8K 精度恢复并非偶然，而是三层配方共同作用的结果：MXFP4 细粒度分组量化压缩计算热点 + FP8 守护注意力 + 敏感模块精准豁免，再叠加 SGLang/EAGLE 推理栈与严格对齐的评估流程。对需要在 AMD GPU 上落地大参数 MoE 模型、又希望把显存压到约 1/4 的团队，这套"量化方案 + 评估配方"都可直接参照复现。

• 人工智能
• 大模型
• 模型量化
• 本地部署
• Qwen