从 DeepSeek API 迁移到 LocalAI,核心改动只有两个:部署一个 LocalAI 服务,然后把 base_url 指向它。由于 LocalAI 提供了与 OpenAI 完全兼容的 API,你现有的 openai SDK 代码几乎不需要改动。
🚀 部署 LocalAI
推荐使用 Docker 部署,这是最快捷的方式。
1. CPU 运行(无 GPU)
bash
docker run -d --name localai -p 8080:8080 \ -v localai_models:/models \ localai/localai:latest-cpu
2. GPU 加速(NVIDIA)
bash
docker run -d --name localai -p 8080:8080 \ -v localai_models:/models \ --gpus all \ localai/localai:latest-gpu-nvidia-cuda-12
3. 验证服务
bash
# 检查健康状态 curl http://localhost:8080/readyz # 查看可用模型列表 curl http://localhost:8080/v1/models | python3 -m