企业官网建设流程全解析

• 后端
• 人工智能
• 模型推理服务
• 集群管理
• 可观测性

**大语言模型（LLM）**是一类能够理解并生成类人文本的 AI 模型，广泛用于聊天机器人、内容生成、代码补全等场景。本文以 GPUStack 为平台，完整演示「从模型目录（Catalog）一键部署 LLM」到「通过 Playground 或 OpenAI 兼容 API 进行文本生成」的端到端流程，并结合仓库源码说明后端选择、模型规格与底层配置参数，帮助你快速落地一个可运行、可调用的 LLM 推理服务。

前置条件

在开始部署之前，请确保环境满足以下要求：

• 一台 Linux 机器，配备一块或多块 GPU，且总显存（VRAM）不低于 30 GB。本文示例使用 vLLM 后端，而 vLLM 后端仅支持 Linux平台（且通常要求 amd64 架构的 Linux worker）。
• 模型文件下载渠道：能够访问 Hugging Face 或 ModelScope，用于拉取模型权重。
• GPUStack 已安装并运行：如果尚未安装，请先参考快速入门指南完成部署。

说明：显存要求取决于模型规格与上下文长度。本文示例的Qwen3 0.6B为轻量模型，但 GPUStack 目录中同样包含数十 GB 乃至数百 GB 量级的大模型，选择前请结合模型描述、最大上下文长度与可用规格（size）综合评估。

Step 1：部署大语言模型

GPUStack 内置了模型目录（Catalog），其中大语言模型统一标记为LLM类别。当你从目录中选择一个大语言模型时，只要 GPU 资源充足、且所选后端与你的环境兼容（例如 vLLM 后端要求 amd64 Linux worker），默认配置通常即可直接工作。

本文以Qwen3 0.6B为例演示部署过程。

从 Catalog 部署模型

1. 在 GPUStack UI 中进入Catalog（模型目录）页面。
2. 在模型列表页，使用下拉筛选框过滤出LLM类别。
3. 查看模型描述、最大上下文长度以及可用的模型规格（size），确认与你的硬件匹配。

目录中 LLM 的数据结构（源码视角）

GPUStack 的模型目录并非硬编码在 UI 中，而是由仓库内的 YAML 清单驱动，主要有两个来源：

• Hugging Face 渠道：model-catalog.yaml
• ModelScope 渠道：model-catalog-modelscope.yaml

以Qwen3-0.6B为例（见 model-catalog.yaml），其目录条目包含以下关键信息：

specs是部署时最核心的部分。Qwen3-0.6B在目录中提供了两条规格，GPUStack 会根据你的 GPU 硬件自动选择：

• Ascend NPU 规格（吞吐模式）：后端为MindIE，量化BF16，带gpu_filters: vendor: ascend过滤条件，参数含--max-seq-len=8192；
• 其他 GPU 规格（标准模式）：后端为vLLM，量化BF16，模型来源huggingface_repo_id: Qwen/Qwen3-0.6B，参数含--reasoning-parser=deepseek_r1与--max-model-len=8192。

在 ModelScope 渠道版本（model-catalog-modelscope.yaml）中，模型来源字段变为model_scope_model_id: Qwen/Qwen3-0.6B，便于国内环境拉取模型。

使用 vLLM 后端部署

1. 在 Catalog 列表中选择Qwen3 0.6B。
2. 按需修改模型名称与部署配置（如副本数、后端参数、量化方式等）。
3. 点击Save按钮，触发模型部署。

部署完成后，前往Deployments（部署）页面监控模型部署状态，等待其进入运行（running）状态。如果部署失败，可以查看模型实例的日志与状态信息进行排查。

关于 vLLM 后端参数：目录默认携带的--max-model-len=8192将最大模型长度限制为 8192 token，--reasoning-parser=deepseek_r1用于解析推理模型（如 DeepSeek-R1 风格）输出的思维链内容。实际生产中你可以根据显存与业务需求调整这些参数——更大上下文会显著增加 KV Cache 显存占用。关于 GPUStack 支持的内置推理后端及其适用平台（例如 vLLM 仅支持 Linux、MindIE 面向昇腾等），详见内置推理后端文档。

Step 2：使用 LLM 进行文本生成

模型进入运行状态后，即可通过 GPUStack 内置的Playground与模型交互：

1. 在 GPUStack UI 中进入Playground > Chat页面。
2. 确认右上角Model下拉框已选中刚才部署的模型。
3. 在输入框中输入你的提示词（Prompt）。
4. 根据需求调整右侧Parameters（参数面板）。
5. 点击Submit按钮生成文本。

模型生成的思维链（chain of thought）与最终结果会直接展示在界面中，便于你观察推理模型的思考过程。

通过以上步骤，你就能在 GPUStack 中完成 LLM 的部署与 AI 文本生成。多尝试不同的提示词与参数组合，即可充分探索 LLM 的能力边界。

进阶：通过 OpenAI 兼容 API 调用

Playground 适合交互式调试，而生产系统通常需要以 API 方式调用模型。GPUStack 对已部署模型提供了OpenAI 兼容的推理接口（如/v1/chat/completions、/v1/completions），其代理路由在白名单 URI 中显式注册了这两个路径（见 inference_backend.py 中的allowed_proxy_uris）。

你可以使用任意 OpenAI SDK 客户端，将base_url指向 GPUStack 的 API 地址并填入 API Key，即可调用chat.completions.create(...)。接入方式与请求格式示例参见推理 API 集成文档。

源码级补充：模型部署配置字段

从部署配置的底层看，GPUStack 的模型部署请求由 schemas/models.py 中的ModelBase/ModelCreate等数据模型承载。部署 LLM 时最常涉及的字段包括：

在 Catalog 界面中，这些字段大多已有合理默认值；当你手动创建/编辑模型部署时，理解这些字段与后端参数的对应关系，有助于精细控制显存占用、吞吐与延迟。

小结

本文完整走通了「目录选型 → vLLM 部署 → Playground 文本生成 → API 集成」的 LLM 使用链路：

• 选型：Catalog 中以LLM类别过滤，查看描述、上下文长度与规格，并按硬件匹配后端规格；
• 部署：默认配置即可开箱即用，注意 vLLM 仅支持 Linux（amd64），大显存需求是硬性前提；
• 使用：Playground 提供可视化交互，支持参数调整并展示思维链；生产环境则可通过 OpenAI 兼容 API 编程调用；
• 扩展：目录 YAML 与部署 Schema 是理解参数、复现配置、进一步调优的源码级入口。

现在就可以在 GPUStack 中尝试部署你自己的第一个大语言模型，并开始探索其文本生成能力。

• 后端
• 人工智能
• 模型推理服务
• 集群管理
• 可观测性