☰
vLLM在不同服务器部署踩坑记录
2026/10/24 1:50:27 网站建设 项目流程

遇到的情况:A6000 & A800 跑出来的效果不同(同环境、同数据集、同代码、同cuda)

排除了:系统环境编码、NCCL环境、Ray分布式环境、版本不对齐等问题

关注服务器本身:

A800属于Hopper系列GPU,默认启用vLLM=v1(有新内核)

A6000属于Ampere,不启用,fallback到v0内核

最终export VLLM_USE_V1=0解决

之前在H20的卡(Hopper系列)也work,可能是因为Hopper架构比A800更新,使用了v1

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询