☰
天枢一体化虚拟仿真平台部署DeepSeek 7B模型
2026/11/4 12:13:47 网站建设 项目流程

一、基础网络构建

在开始之前,我们首先在天枢一体化虚拟仿真平台中拖拽出了1个ubuntu22.04镜像资源和网络设备一起组成一个简单的网络拓扑。

1. 验证系统版本与内存

# 确认系统确实是 22.04

lsb_release -a

# 查看可用内存(建议 ≥ 8GB,16GB 更稳妥)

free -h

free -h 中 available 列应至少有6GB以上,才能为 Q4_K_M 量化的 7B 模型留出运行空间。

2. 安装基础工具

sudo apt update

sudo apt install -y curl wget git build-essential cmake libssl-dev

验证编译器版本,Ubuntu 22.04 默认的 GCC 11 满足 llama.cpp 的编译要求:

gcc --version | head -1

# 预期输出:gcc (Ubuntu 11.x.x-...) 11.x.x

二、详细安装步骤

Ollama 在无 GPU 环境下会自动回退到 CPU 推理,无需手动配置设备。

1. 安装并验证 Ollama 服务

curl -fsSL https://ollama.com/install.sh | sh

安装脚本会自动注册 systemd 服务。验证版本和服务状态:

ollama --version

# 预期输出类似:ollama version is 0.x.x

sudo systemctl status ollama

# 预期关键行:Active: active (running)

如果服务未自动启动,手动启用:

sudo systemctl enable --now ollama

2. 拉取模型并验证

ollama pull deepseek-r1:7b

验证模型已落地:

ollama list

# 应能看到 deepseek-r1:7b 条目

3. 运行推理与功能验证

ollama run deepseek-r1:7b

进入交互界面后,输入一个需要推理的问题,例如“你能干嘛”。如果输出中出现了 <think> 标签包裹的推理过程,说明模型的 chain-of-thought 功能正常。

4. CPU 线程调优

Ollama 默认的线程策略可能无法充分利用物理核心。最直接的调优是指定线程数等于物理核心数(而非逻辑线程数)。

先查看物理核心数:

lscpu | grep "Core(s) per socket"

启动时临时指定线程数(将 8 替换为你的物理核心数):

ollama run deepseek-r1:7b --num-thread 8

如需持久化,编辑 systemd 服务配置:

sudo systemctl edit ollama

在打开的编辑器中加入:

[Service]

Environment="OLLAMA_NUM_THREADS=8"

保存后重载并重启:

sudo systemctl daemon-reload && sudo systemctl restart ollama

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询