企业官网建设流程全解析

如何在48GB GPU上部署SIQ-1-35B？llama.cpp与sglang完整指南

SIQ-1-35B是一款功能强大的AI模型，它以35B的总规模实现了约3B的活跃token处理能力，在autoresearch、代码编写与调试、工具使用以及复杂推理等任务中表现出色。本文将为您详细介绍如何在48GB GPU上使用llama.cpp和sglang部署SIQ-1-35B模型，让您轻松体验这款高效AI模型的强大功能。

准备工作：获取SIQ-1-35B模型文件

在开始部署之前，首先需要获取SIQ-1-35B模型文件。您可以通过以下命令克隆仓库：

git clone https://gitcode.com/hf_mirrors/AlexWortega/SIQ-1-35B

克隆完成后，您将在项目目录中找到模型相关文件，包括GGUF格式的量化模型文件（位于gguf目录下，如SIQ-1-35B.Q4_K_M.gguf、SIQ-1-35B.Q5_K_M.gguf等）以及safetensors格式的模型文件（如model-00001-of-00002.safetensors、model-00002-of-00002.safetensors）。

部署方法一：使用llama.cpp部署GGUF模型（单48GB GPU）

选择合适的GGUF模型

SIQ-1-35B提供了多种量化级别的GGUF模型，对于48GB GPU，推荐使用Q4_K_M量化级别，该模型大小约为21GB，能够在48GB GPU上流畅运行。您可以在项目的gguf目录中找到SIQ-1-35B.Q4_K_M.gguf文件。

运行llama.cpp服务器

使用以下命令通过Docker运行llama.cpp服务器：

docker run -d --gpus all --network host -v /models:/m ghcr.io/ggml-org/llama.cpp:server-cuda \ -m /m/SIQ-1-35B.Q4_K_M.gguf --alias SIQ-1-tiny-35b \ -ngl 99 -c 131072 -np 4 --jinja --host 0.0.0.0 --port 8080

参数说明：

• --gpus all：使用所有可用GPU。
• -v /models:/m：将本地模型目录挂载到容器内的/m目录。
• -m /m/SIQ-1-35B.Q4_K_M.gguf：指定要加载的GGUF模型文件。
• --alias SIQ-1-tiny-35b：为模型指定别名。
• -ngl 99：将所有层加载到GPU。
• -c 131072：设置总上下文长度为131072，并通过-np 4分为4个插槽，每个插槽约32k上下文长度，满足代理工作流的需求。如果仅进行短推理，可将-c调整为65536。
• --jinja：启用Jinja模板支持，这是Qwen3聊天模板所必需的，能够支持enable_thinking等功能。
• --host 0.0.0.0 --port 8080：在8080端口启动OpenAI兼容的服务器。

上图展示了SIQ-1-tiny-35B在BullshitBench v2上与其他模型的性能对比，SIQ-1-tiny-35B在推回与谄媚方面表现出色，平均得分为1.047。

部署方法二：使用sglang部署safetensors模型（例如2×48GB GPU）

安装sglang

首先，确保您已安装sglang。您可以通过pip安装：

pip install sglang

启动sglang服务器

使用以下命令启动sglang服务器，采用张量并行（tp 2）的方式在2×48GB GPU上部署模型：

python -m sglang.launch_server \ --model-path AlexWortega/SIQ-1-35B \ --tp 2 --context-length 131072 \ --reasoning-parser qwen3 --tool-call-parser qwen3 \ --host 0.0.0.0 --port 8080

参数说明：

• --model-path AlexWortega/SIQ-1-35B：指定模型路径。
• --tp 2：使用2路张量并行。
• --context-length 131072：设置上下文长度为131072。
• --reasoning-parser qwen3 --tool-call-parser qwen3：指定推理和工具调用解析器为qwen3。
• --host 0.0.0.0 --port 8080：在8080端口启动服务器。

调用SIQ-1-35B模型（OpenAI兼容方式）

部署完成后，您可以使用OpenAI Python客户端来调用模型。以下是调用示例：

from openai import OpenAI client = OpenAI(base_url="http://localhost:8080/v1", api_key="x") r = client.chat.completions.create( model="SIQ-1-tiny-35b", messages=[{"role": "system", "content": "Reasoning effort: high"}, {"role": "user", "content": "..."}], temperature=0.0, top_p=0.95, top_k=40, # 推理任务使用greedy（temp 0） extra_body={"chat_template_kwargs": {"enable_thinking": True}}) # False表示直接回答，不使用思考块

采样参数建议：

• 推理任务：temperature 0（greedy）。
• 一般/创意任务：temperature 0.7，top_p 0.95，top_k 40。

SIQ-1模型采用MoE（混合专家）架构，具有self-improving qwen的特性，能够在各种任务中提供高效准确的结果。

总结

通过本文介绍的两种方法，您可以在48GB GPU上轻松部署SIQ-1-35B模型。llama.cpp适用于单GPU部署GGUF量化模型，而sglang则适用于多GPU部署safetensors模型。无论您选择哪种方法，都能充分发挥SIQ-1-35B在autoresearch、代码编写、推理等任务上的强大能力。开始您的AI之旅吧！