一、基础网络构建
在开始之前,我们首先在天枢一体化虚拟仿真平台中拖拽出了1个ubuntu22.04镜像资源和网络设备一起组成一个简单的网络拓扑。
1. 验证系统版本与内存
# 确认系统确实是 22.04
lsb_release -a
# 查看可用内存(建议 ≥ 8GB,16GB 更稳妥)
free -h
free -h 中 available 列应至少有6GB以上,才能为 Q4_K_M 量化的 7B 模型留出运行空间。
2. 安装基础工具
sudo apt update
sudo apt install -y curl wget git build-essential cmake libssl-dev
验证编译器版本,Ubuntu 22.04 默认的 GCC 11 满足 llama.cpp 的编译要求:
gcc --version | head -1
# 预期输出:gcc (Ubuntu 11.x.x-...) 11.x.x
二、详细安装步骤
Ollama 在无 GPU 环境下会自动回退到 CPU 推理,无需手动配置设备。
1. 安装并验证 Ollama 服务
curl -fsSL https://ollama.com/install.sh | sh
安装脚本会自动注册 systemd 服务。验证版本和服务状态:
ollama --version
# 预期输出类似:ollama version is 0.x.x
sudo systemctl status ollama
# 预期关键行:Active: active (running)
如果服务未自动启动,手动启用:
sudo systemctl enable --now ollama
2. 拉取模型并验证
ollama pull deepseek-r1:7b
验证模型已落地:
ollama list
# 应能看到 deepseek-r1:7b 条目
3. 运行推理与功能验证
ollama run deepseek-r1:7b
进入交互界面后,输入一个需要推理的问题,例如“你能干嘛”。如果输出中出现了 <think> 标签包裹的推理过程,说明模型的 chain-of-thought 功能正常。
4. CPU 线程调优
Ollama 默认的线程策略可能无法充分利用物理核心。最直接的调优是指定线程数等于物理核心数(而非逻辑线程数)。
先查看物理核心数:
lscpu | grep "Core(s) per socket"
启动时临时指定线程数(将 8 替换为你的物理核心数):
ollama run deepseek-r1:7b --num-thread 8
如需持久化,编辑 systemd 服务配置:
sudo systemctl edit ollama
在打开的编辑器中加入:
[Service]
Environment="OLLAMA_NUM_THREADS=8"
保存后重载并重启:
sudo systemctl daemon-reload && sudo systemctl restart ollama