企业官网建设流程全解析

K2-Horizon-375B-A23B-MXFP4 是 AMD 官方发布的 MXFP4 量化 MoE 大模型（总参数 3750 亿、激活 230 亿），专为 AMD MI355 / MI350 显卡优化，基于 vLLM + ROCm Docker 镜像可一条命令部署为 OpenAI 兼容的推理服务。本文提供从零开始的完整部署指南：硬件要求、Docker 镜像、可直接复制的 vLLM 启动命令、服务验证方法和常见问题排查。

一、快速了解：这个模型有什么特别？

简单理解：MXFP4 是一种 4-bit 浮点量化格式，把占用空间最大的 MoE 专家权重压缩后，显存占用和加载时间都大幅下降，而精度损失极小（详见第六节基准测试）。模型结构细节可参考 config.json，量化配置（quant_method 为 quark、fp4、group_size 32）见 config.json。

二、部署前准备：硬件与环境清单

✅硬件要求

• GPU：至少 4 块 AMD MI355 或 MI350（官方推荐--tensor-parallel-size 4四卡张量并行）
• 磁盘：约 760 GB 可用空间（模型共 61 个 safetensors 分片，物理大小约 758 GB，见 validation.json）
• 操作系统：Linux

✅软件要求

• Docker（含 NVIDIA 风格的--device /dev/kfdROCm 设备支持）
• 已安装 ROCm 7.2.3 驱动环境

💡 权重获取（可选）：如果你希望在宿主机本地放好权重再挂载进容器，可用 git clone 拉取仓库（含 LFS 大文件）：

git clone https://gitcode.com/hf_mirrors/amd/K2-Horizon-375B-A23B-MXFP4

如果容器内网络可直连模型仓库，也可以不下载，让 vLLM 启动时按模型名自动拉取（见第四节说明）。

三、一键拉取官方 ROCm Docker 镜像 🐳

官方镜像已预集成 ROCm 7.2.3、PyTorch 2.12.0、vLLM 以及 K2-Horizon 的模型代码支持，无需手动安装任何依赖，这是"10 分钟跑通"的关键：

docker pull alexsu52/vllm-openai-rocm:v0.30.0-k2horizon

四、完整启动命令（可直接复制）⚡

把模型目录挂载到容器内并启动服务（将/path/to/换成你本地模型路径）：

docker run -d --name k2-horizon \ -e VLLM_ROCM_USE_AITER=1 \ --device /dev/kfd --device /dev/dri \ --security-opt seccomp=unconfined \ --ipc=host --group-add video \ -p 8000:8000 \ -v /path/to/K2-Horizon-375B-A23B-MXFP4:/model/k2-horizon \ alexsu52/vllm-openai-rocm:v0.30.0-k2horizon \ vllm serve /model/k2-horizon \ --trust-remote-code \ --tensor-parallel-size 4 \ --dtype auto \ --gpu-memory-utilization 0.9 \ --generation-config auto \ --reasoning-parser k2_horizon \ --chat-template-content-format string \ --enable-auto-tool-choice \ --tool-call-parser k2_horizon \ --attention-backend ROCM_AITER_UNIFIED_ATTN

如果不挂载本地目录，把vllm serve /model/k2-horizon换成vllm serve amd/K2-Horizon-375B-A23B-MXFP4即可让 vLLM 自动下载权重（需容器可联网）。

关键参数说明（官方命令完整版见 README.md）：

⏱️ 启动耗时主要花在 758 GB 权重的加载上，4 卡并行下首次请求前请预留几分钟；服务就绪后日志中会出现Uvicorn running on http://0.0.0.0:8000。

五、验证服务并发起第一次请求 ✅

在新终端中执行：

# 1. 查看模型是否加载成功 curl http://localhost:8000/v1/models # 2. 发起第一次对话（OpenAI 兼容接口） curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "K2-Horizon-375B-A23B-MXFP4", "messages": [{"role": "user", "content": "你好，用一句话介绍你自己"}] }'

能返回正常回复，说明部署完成 🎉。服务完全兼容 OpenAI API，现有基于/v1/chat/completions的客户端代码通常只需改一下base_url即可接入。

六、量化效果怎么样？基准测试结果 📊

AMD 在 GSM8K 和 GPQA Diamond 上对比了原始模型与本量化模型（相同框架、相同设置、同一台机器评测）：

结论很直观：MXFP4 量化几乎无损，推理能力保留了 99% 以上，可以放心用于生产场景。复现评测的完整命令（含 lm-eval 与 sgl-eval 用法）见 README.md。

七、常见问题排查

Q1：长上下文 / 思考模式该怎么配置？模型最大支持 524288 tokens 上下文（见 config.json）。短任务（如 GSM8K）加--max-model-len 8192即可快速跑通；若需 65536 tokens 以上的生成预算（thinking 模式），需按官方说明调大上下文长度，注意显存占用会相应上升。

Q2：卡不够 4 张怎么办？官方验证配置是 4 卡（MI355/MI350 ×4）。显存不足或卡数不匹配时，--tensor-parallel-size需要与 GPU 数量一致，请保证 4 卡 MI355/MI350 的整机环境。

Q3：启动报错提示找不到模型代码？确认已带--trust-remote-code参数，且模型目录完整（包含 configuration_k2_horizon.py 与 modeling_k2_horizon.py 两个自定义代码文件）。

Q4：磁盘空间估算？61 个分片共 34076 个张量、物理大小约 758 GB（见 model.safetensors.index.json 与 migration_manifest.json），请至少预留 800 GB 空间。

八、关键文件速查 📁

总结：在 4 卡 MI355/MI350 机器上，只需docker pull+ 一条vllm serve命令，K2-Horizon-375B-A23B-MXFP4 即可对外提供 OpenAI 兼容推理服务；MXFP4 量化让它以更低的显存成本保留了 99% 以上的推理精度，是 AMD 平台上部署超大 MoE 模型的省心之选。