企业官网建设流程全解析

• 大模型
• 模型推理服务
• AI 应用

一分钟了解：openPangu-72B 昇腾推理镜像项目

openPangu-72B是 Ascend-SACT 开源的昇腾 NPU 适配项目，提供一套为openPangu-R-72B-2512 大模型量身定制的vllm-ascend 0.11.0 推理镜像，预装 CANN 8.5.0.alpha002、torch-npu 2.7.1、transformers 4.57.1 等经过验证的软件组合。项目内包含 4 个即用镜像，覆盖"离线推理 → verl 后训练 → 带 mauser 用户的日常开发"三种场景，修改权重目录即可在昇腾 A2 上快速启动大模型推理，省去手动对齐 CANN、torch-npu 与 vllm-ascend 版本的繁琐工作 🚀

项目关键资料：

• 镜像清单与说明：README.md
• 容器启动脚本：docker_run.sh
• 服务启动脚本（含完整参数）：serve_niu.sh
• API 调用示例：curl.sh
• 模型配置文件：config.json
• 模型自定义架构实现：modeling_pangu_moe.py

openPangu-R-72B 是什么模型

先看模型本身，理解镜像"适配了什么"：

这些参数定义在 config.json 中，模型结构实现参考 modeling_pangu_moe.py。⚠️ 使用镜像时，需将原始权重目录下的config.json替换为本仓库版本，否则可能加载失败。

4大镜像速览：一张表看懂差异

一句话总结依赖关系：推理镜像 ⊂ verl 镜像 ⊂ mauser 镜像，按需取用即可。

仓库中的配套训练资源

除了 4 大镜像，仓库还提供了后训练配套的独立资源包，可按需提取使用：

• verl 工具包：verl_retool_20260209.tar、verl_retool_20260515_qwen3p5.tar
• MindSpeed 系列镜像：mindspeed-llm-mauser-v2.0.tar.gz、mindspeed-mm-mauser_v1.tar.gz、mindspeed-mm-mauser_v5.tar.gz
• 评测/指标包：sac-evals-modelarts-v1.tar、sac-agentic-metrics-v2.tar.gz
• 开发环境：code-server-cline-sqlglot.sif（code-server 单文件应用）

镜像一：推理镜像 vllm-ascend0110-openpangu72b 详解

内置软件版本（均已验证兼容）

vllm 与 vllm-ascend 安装在/vllm-project/目录，需要打补丁时可直接修改源码，无需重新构建。

最快启动步骤：三步跑通离线推理

1️⃣ 加载镜像并启动容器，仓库内 docker_run.sh 已写好参考命令：

docker run -it -d --net=host \ --name openpangu72b-infer \ --shm-size=1g \ --privileged \ --device /dev/davinci_manager \ --device /dev/devmm_svm \ --device /dev/hisi_hdc \ -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /home:/home \ -it vllm-ascend0110-openpangu72b:0.0.1 bash

2️⃣ 进入容器后，检查测试脚本vllm_test.py（镜像启动后可在当前目录直接看到），把权重路径指向你的模型目录，并用本仓库的 config.json 替换权重目录下的同名文件。

3️⃣ 运行测试：

python vllm_test.py

跑通即表示 CANN、torch-npu、vllm-ascend 全链路正常 ✅

镜像二：verl 后训练镜像详解

pangu72b-verl-vllm-v0.0.1.tar.gz 在推理镜像基础上安装了verl强化学习训练框架，适合对 openPangu-R-72B 做 RLHF 等后训练实验。它的优势是"推理 + 训练"环境一体：训练完的模型可以直接在同一个镜像里用 vllm 验证效果，不用来回搬运环境。

配合仓库中的 verl 工具包（如 verl_retool_20260515_qwen3p5.tar）即可开展完整的后训练流程。

镜像三：mauser 用户镜像详解

openpangu72b-mauser-002 / mauserv012 怎么选？

两者都基于 verl 镜像并添加了mauser 用户，方便团队以非 root 身份日常开发。如果镜像体积是瓶颈（如镜像分发、存储受限），优先选更小的 mauserv012 📦

部署实操：vllm serve 关键参数速查

如果要把推理镜像做成常驻服务（而不仅是跑一次测试），可参考 serve_niu.sh 中的完整启动脚本，核心参数如下：

服务启动后，用 OpenAI 兼容接口调用即可，curl.sh 提供了完整示例：

curl http://0.0.0.0:8088/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model": "openpangu-72b-vllm-0113", "messages": [{"role": "user", "content": "介绍一下大海"}], "chat_template_kwargs": {"think": true, "reasoning_effort": "low"}}'

选型指南：按场景选镜像 🧭

常见问题

Q1：为什么 Dockerfile 里把 CANN 版本信息改成了 8.5.T1？

这是项目构建镜像时通过sed统一修改了version.info中的版本目录名（见 README.md 中 Dockerfile 参考），属于版本对齐处理，加载好的镜像无需手动操作。

Q2：推理报错找不到模型架构怎么办？

openPangu-R-72B 使用自定义 MoE 架构（PanguProMoEV2ForCausalLM），务必确认权重目录里的config.json已替换为本仓库版本，并保留权重目录中的modeling_pangu_moe.py等自定义代码（启动时需加--trust-remote-code）。

Q3：容器起不来，提示 NPU 设备不可用？

检查宿主机驱动是否正常，并确保启动时挂载了--device /dev/davinci_manager、/dev/devmm_svm、/dev/hisi_hdc以及驱动 lib64、npu-smi等路径，完整参考 docker_run.sh。

小结

openPangu-72B 镜像项目的核心价值在于：版本已验证、开箱即跑、按需扩展。纯推理用户拿基础镜像改个权重路径就能上线；后训练用户直接选 verl 镜像；团队协作则用 mauser 系列镜像获得更规范的用户环境。配合 serve_niu.sh 的现成参数，你可以在昇腾 A2 上最快几十分钟内跑起 openPangu-R-72B 的 131K 长上下文服务。

• 大模型
• 模型推理服务
• AI 应用