企业官网建设流程全解析

• 大模型
• 模型推理服务
• AI 应用

openPangu-72B 是专为昇腾 A2 NPU 打造的 vllm-ascend 0.11.0 离线推理镜像项目。它把 CANN 8.5.0.alpha002、torch-npu 2.7.1 等经过验证的套件全部预装进镜像，启动后修改权重目录即可离线推理，无需手动搭建复杂的依赖环境。

📦 这个镜像能帮你做什么？

对于要在昇腾 NPU 上部署大模型的同学来说，环境依赖一直是最大的坑。本镜像的核心价值就一句话：把版本对齐这件事做完了。

镜像中还内置了可直接运行的vllm_test.py测试脚本，vllm / vllm-ascend 安装在/vllm-project/目录，需要时可以直接修改源码。

仓库提供多个镜像包，按需选择即可：

详细说明见 README.md。

第一步：加载并启动推理镜像

将镜像包上传到昇腾服务器后，先导入镜像，再启动容器。仓库自带的 docker_run.sh 已配好完整的 NPU 直通参数，可直接参考：

docker load -i vllm-ascend0110-openpangu72b.tar.gz export IMAGE=vllm-ascend0110-openpangu72b:0.0.5 export NAME=openPangu72b-vllm0110 docker run -it -d --net=host \ --name $NAME \ --shm-size=1g \ --privileged \ --device /dev/davinci_manager \ --device /dev/devmm_svm \ --device /dev/hisi_hdc \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /home/models:/home/models \ -it $IMAGE bash

💡关键参数解读：--device三个设备映射是 NPU 直通的核心；-v /home/models:/home/models用于挂载模型权重目录，保证宿主机和容器内路径一致。

进入容器：

docker exec -it openPangu72b-vllm0110 /bin/bash

第二步：修改权重目录，5分钟跑通离线推理

启动容器后，在当前目录就能看到vllm_test.py。只需两步即可开始离线推理：

1. 检查脚本中的权重路径，指向你的模型目录；
2. 用本仓库的 config.json 替换权重目录下的原始 config.json（该文件声明了PanguProMoEV2ForCausalLM架构及auto_map映射，是模型正确加载的关键）。

然后直接运行：

python vllm_test.py

看到模型正常输出的响应内容，即代表离线推理链路已经打通 🎉。

⚠️ 替换 config.json 这一步不要省略，否则模型架构无法被 transformers 正确识别。

进阶：一键启动 OpenAI 兼容推理服务

如果不止本地测试，还要对外提供 API 服务，可以直接参考 serve_niu.sh。它针对 4 卡 NPU 做了完整的张量并行 + 专家并行配置：

export VLLM_USE_V1=1 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 export HCCL_OP_EXPANSION_MODE="AIV" export VLLM_ASCEND_ENABLE_TOPK_OPTIMIZE=1 export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True vllm serve /home/models/hf_models/openPangu-R-72B-2512 \ --tensor-parallel-size 4 \ --enable-expert-parallel \ --gpu-memory-utilization 0.85 \ --max-model-len 131072 \ --block-size 128 \ --trust-remote-code \ --port 8088

几个值得注意的调优点：

调用服务：一条 curl 发请求

服务启动后（默认端口 8088），即可用仓库提供的 curl.sh 发起 OpenAI 兼容请求：

curl http://0.0.0.0:8088/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "openpangu-72b-vllm-0113", "messages": [{"role": "user", "content": "介绍一下大海"}], "max_tokens": 2048, "chat_template_kwargs": {"think": true, "reasoning_effort": "low"} }'

think: true会开启推理思考模式，reasoning_effort可控制思考深度，方便快速验证模型能力。

🔍 常见问题速查

📁 仓库核心文件一览

• 项目说明：README.md
• 容器启动脚本：docker_run.sh
• 在线服务启动脚本：serve_niu.sh
• API 调用示例：curl.sh
• 模型配置文件：config.json
• MoE 模型实现源码：modeling_pangu_moe.py
• 推理镜像包：vllm-ascend0110-openpangu72b.tar.gz

总结：openPangu-72B 镜像帮你省去了最耗时的环境对齐工作——加载镜像、挂载权重、替换 config.json、运行vllm_test.py，5 分钟即可在昇腾 NPU 上跑通 vllm-ascend 0.11.0 离线推理；需要对外服务时，再参考serve_niu.sh一键拉起 4 卡推理服务即可。

• 大模型
• 模型推理服务
• AI 应用