企业官网建设流程全解析

1. 为什么个人开发者要自己微调 DeepSeek-r1

你可能已经用过 DeepSeek-r1 的在线版本，问它通用问题确实很强，但一旦涉及你所在行业的专有术语、内部规范、特定格式输出，它就开始"打太极"。这不是模型不行，而是它没在你的数据上"补过课"。微调（Fine-tuning）就是给这个"博学家"补上你所在领域的专业课，让它从通才变成懂你业务的专才。

对个人开发者来说，过去微调最大的门槛有两个：一是显存，8B 模型全量微调动辄要 80G 以上显存，普通显卡根本跑不动；二是工程复杂度，配置、数据格式、训练循环、合并权重，每一步都能卡住人。unsloth 这个框架把这两个问题都压下来了——它通过手写 Triton 内核优化，让 LoRA 微调的显存占用降低约 60%，训练速度提升约 2 倍，一张 24G 显存的 4090 就能跑通 DeepSeek-R1-Distill-Llama-8B 的 LoRA 微调。

这篇内容面向的是有 Python 基础、手里有一张消费级 N 卡、想把 DeepSeek-r1 调成自己领域助手的个人开发者。我会先给出一套可复制的训练配置骨架（用 config.toml 和 settings.json 两种风格对照），再讲清楚微调完成后怎么用 TaoToken 的统一 Key 和 API 通道来管理推理调用，最后给出验证请求和常见报错排查。整套流程跑通后，你手里就有一个属于自己的定制模型，并且有一个稳定的调用入口。

2. 前置准备：环境、模型与 TaoToken 统一 Key

2.1 环境搭建与依赖安装

我习惯用 conda 隔离环境，避免和系统里的 torch 版本打架。Python 版本选 3.12，unsloth 对 3.10 到 3.12 支持都比较稳。

conda create -n unsloth_gpu python=3.12 -y conda activate unsloth_gpu pip install unsloth pip install --force-reinstall --no-cache-dir --no-deps git+https://github.com/unslothai/unsloth.git pip install datasets modelscope

装完之后一定要验证 GPU 版 torch 是否生效，这一步很多人跳过，结果训练时才发现跑在 CPU 上，慢到怀疑人生。

import torch print(torch.__version__) print(torch.version.cuda) print(torch.cuda.is_available()) # 必须是 True from unsloth import FastLanguageModel print("unsloth ok")

如果torch.cuda.is_available()返回 False，说明装的是 CPU 版，需要重装 GPU 版：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

2.2 模型下载

用 modelscope 下载 DeepSeek-R1-Distill-Llama-8B，国内网络下比直接从 HuggingFace 拉快很多。

modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Llama-8B --local_dir ./DeepSeek-R1-Distill-Llama-8B

下载完成后目录里应该有config.json、tokenizer.json、model-00001-of-00004.safetensors这类文件。8B 模型 fp16 权重约 16G，确认磁盘空间够。

2.3 TaoToken 统一 Key 的定位

微调只是第一步，训练完的模型你总得有个地方调用。本地推理适合调试，但一旦你要做批量评测、接进自己的应用、或者让多个项目共用同一个模型入口，就需要一个统一的 API 通道。TaoToken 在这里扮演的角色就是"统一 Key + 统一 API 通道"——你不需要为每个模型单独维护一套鉴权和地址，用一个 Key 就能在多个模型之间切换。

注册和拿 Key 的入口在控制台，登录后进 API Keys 页面创建即可。地址是https://taotoken.net/api，注意 API 调用时不要带 UTM 参数，那是给官网链接用的。

提示：把 Key 写进环境变量，不要硬编码在代码里。export TAOTOKEN_API_KEY="sk-xxxx"，后面所有脚本都从环境变量读。

3. 可复制的训练配置骨架

3.1 config.toml 风格：把超参数外置

把训练参数写死在 Python 里，改一次要翻半天代码。我习惯用config.toml把关键参数抽出来，训练脚本只负责读配置。下面这份骨架可以直接复制，按你的显卡改batch_size和max_steps。

# config.toml [model] name = "./DeepSeek-R1-Distill-Llama-8B" max_seq_length = 2048 dtype = "bfloat16" # 4090/3090 用 bfloat16，老卡用 float16 load_in_4bit = false # 显存紧张时改 true [lora] r = 16 lora_alpha = 16 lora_dropout = 0.0 target_modules = ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"] use_gradient_checkpointing = "unsloth" random_state = 3407 [training] per_device_train_batch_size = 2 gradient_accumulation_steps = 4 warmup_steps = 5 max_steps = 60 # 快速演示用 60 步，正式训练改 num_train_epochs learning_rate = 2.0e-4 logging_steps = 10 optim = "adamw_8bit" weight_decay = 0.01 lr_scheduler_type = "linear" seed = 3407 output_dir = "outputs" [data] path = "./medical_o1_sft.json" split = "train[0:500]" # 演示用 500 条，正式训练去掉 split text_field = "text"

对应的 Python 读取逻辑：

import tomllib with open("config.toml", "rb") as f: cfg = tomllib.load(f) max_seq_length = cfg["model"]["max_seq_length"]

3.2 settings.json 风格：适合接进已有工程

如果你的项目已经有配置管理，用 JSON 更顺手。字段和 TOML 一一对应，只是嵌套结构不同。

{ "model": { "name": "./DeepSeek-R1-Distill-Llama-8B", "max_seq_length": 2048, "load_in_4bit": false }, "lora": { "r": 16, "lora_alpha": 16, "target_modules": ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"], "use_gradient_checkpointing": "unsloth" }, "training": { "per_device_train_batch_size": 2, "gradient_accumulation_steps": 4, "max_steps": 60, "learning_rate": 0.0002, "optim": "adamw_8bit", "output_dir": "outputs" } }

3.3 加载模型并挂载 LoRA

配置读进来之后，加载模型和挂 LoRA 适配器。注意target_modules这七个层是 Llama 架构的标准注意力+FFN 投影层，DeepSeek-R1-Distill-Llama-8B 沿用同一套结构，不用改。

from unsloth import FastLanguageModel model, tokenizer = FastLanguageModel.from_pretrained( model_name=cfg["model"]["name"], max_seq_length=max_seq_length, dtype=None, load_in_4bit=cfg["model"]["load_in_4bit"], ) model = FastLanguageModel.get_peft_model( model, r=cfg["lora"]["r"], target_modules=cfg["lora"]["target_modules"], lora_alpha=cfg["lora"]["lora_alpha"], lora_dropout=cfg["lora"]["lora_dropout"], bias="none", use_gradient_checkpointing=cfg["lora"]["use_gradient_checkpointing"], random_state=cfg["lora"]["random_state"], )

3.4 数据模板化：COT 数据集的关键

DeepSeek-r1 是推理模型，训练数据最好带思维链（COT）。medical-o1-reasoning-SFT 这个数据集每条包含Question、Complex_CoT、Response三个字段，正好对应推理模型的输入、思考、输出。

from datasets import load_dataset dataset = load_dataset( path="json", data_files=cfg["data"]["path"], split=cfg["data"]["split"], ) train_prompt_style = """Below is an instruction that describes a task. ### Instruction: You are a medical expert. Please answer the following question. ### Question: {} ### Response: <think> {} </think> {}""" EOS_TOKEN = tokenizer.eos_token def formatting_prompts_func(examples): inputs = examples["Question"] cots = examples["Complex_CoT"] outputs = examples["Response"] texts = [] for q, cot, out in zip(inputs, cots, outputs): texts.append(train_prompt_style.format(q, cot, out) + EOS_TOKEN) return {"text": texts} dataset = dataset.map(formatting_prompts_func, batched=True)

3.5 启动训练

from trl import SFTTrainer from transformers import TrainingArguments trainer = SFTTrainer( model=model, tokenizer=tokenizer, train_dataset=dataset, dataset_text_field="text", max_seq_length=max_seq_length, dataset_num_proc=2, args=TrainingArguments( per_device_train_batch_size=cfg["training"]["per_device_train_batch_size"], gradient_accumulation_steps=cfg["training"]["gradient_accumulation_steps"], warmup_steps=cfg["training"]["warmup_steps"], max_steps=cfg["training"]["max_steps"], learning_rate=cfg["training"]["learning_rate"], fp16=not torch.cuda.is_bf16_supported(), bf16=torch.cuda.is_bf16_supported(), logging_steps=cfg["training"]["logging_steps"], optim=cfg["training"]["optim"], weight_decay=cfg["training"]["weight_decay"], lr_scheduler_type=cfg["training"]["lr_scheduler_type"], seed=cfg["training"]["seed"], output_dir=cfg["training"]["output_dir"], ), ) trainer_stats = trainer.train()

60 步在 4090 上大约 3 到 5 分钟，跑完你会看到 loss 从 2.x 降到 1.x 左右。正式训练把max_steps换成num_train_epochs=3，用全量数据，4090 上大约 15 小时。

3.6 合并权重并导出

训练完outputs目录里只有 LoRA 适配器，要单独部署得把原始权重和 LoRA 合并。

new_model = "DeepSeek-R1-Medical-COT-Tiny" model.save_pretrained(new_model) tokenizer.save_pretrained(new_model) model.save_pretrained_merged(new_model, tokenizer, save_method="merged_16bit")

合并后目录里是完整的 16bit 模型，可以直接用 transformers 加载，也可以推到推理服务上。

4. 用 TaoToken 统一 Key 管理推理调用

4.1 为什么微调后还要接统一 Key

你微调完的模型可能部署在本地、可能推到云上、也可能同时有好几个版本在跑。如果每个版本都单独维护一套 API 地址和鉴权，项目一多就乱。TaoToken 的统一 Key 让你用同一个base_url和同一个 Key 去调用不同模型，切换模型只改model字段。

4.2 配置环境变量

export TAOTOKEN_API_KEY="sk-你的key" export TAOTOKEN_BASE_URL="https://taotoken.net/api"

4.3 用 OpenAI SDK 调用

TaoToken 的 API 兼容 OpenAI 协议，直接用 openai 库即可。

import os from openai import OpenAI client = OpenAI( api_key=os.environ["TAOTOKEN_API_KEY"], base_url=os.environ["TAOTOKEN_BASE_URL"], ) resp = client.chat.completions.create( model="deepseek-r1", messages=[ {"role": "system", "content": "你是一名医学助手。"}, {"role": "user", "content": "压力性尿失禁患者的膀胱测压最可能显示什么？"}, ], temperature=0.6, max_tokens=1024, ) print(resp.choices[0].message.content)

4.4 用 requests 裸调

不想装 SDK 的话，直接发 HTTP 请求也行。

import os, requests, json url = os.environ["TAOTOKEN_BASE_URL"] + "/v1/chat/completions" headers = { "Authorization": f"Bearer {os.environ['TAOTOKEN_API_KEY']}", "Content-Type": "application/json", } payload = { "model": "deepseek-r1", "messages": [{"role": "user", "content": "用一句话解释 LoRA。"}], "stream": False, } r = requests.post(url, headers=headers, data=json.dumps(payload), timeout=60) print(r.status_code) print(r.json()["choices"][0]["message"]["content"])

4.5 本地微调模型与统一 Key 的分工

一个实用的分工是：本地微调模型用于验证效果、跑评测集、做 A/B 对比；TaoToken 统一 Key 用于生产调用、批量任务、多项目共用。两者不冲突，本地模型验证通过后，把推理服务暴露成 OpenAI 兼容接口，同样可以接进统一 Key 的管理体系。

5. 验证请求与成功结果

5.1 验证本地微调模型

训练完先本地验证，确认 LoRA 参数确实生效了。

FastLanguageModel.for_inference(model) question = "A 61-year-old woman with stress urinary incontinence undergoes cystometry. What would it most likely reveal?" inputs = tokenizer([train_prompt_style.format(question, "", "")], return_tensors="pt").to("cuda") outputs = model.generate(input_ids=inputs.input_ids, max_new_tokens=800, use_cache=True) print(tokenizer.batch_decode(outputs)[0].split("### Response:")[1])

微调前模型对这类问题的回答往往抓不住"残余尿量正常、逼尿肌无异常收缩"这两个关键点，微调后应该能明确提到。如果还是答偏，说明训练步数不够或数据量太小。

5.2 验证 TaoToken 通道

curl -s https://taotoken.net/api/v1/chat/completions \ -H "Authorization: Bearer $TAOTOKEN_API_KEY" \ -H "Content-Type: application/json" \ -d '{"model":"deepseek-r1","messages":[{"role":"user","content":"ping"}],"max_tokens":16}'

成功返回的 JSON 里choices[0].message.content有内容，usage字段有 token 计数。如果返回 401，检查 Key 是否复制完整；返回 404，检查base_url是否漏了/v1。

5.3 成功结果的判断标准

本地模型：loss 曲线下降、评测问题回答质量提升、save_pretrained_merged导出的目录能被 transformers 正常加载。TaoToken 通道：curl 返回 200、内容非空、连续多次调用稳定。两个都通过，整套流程就算跑通了。

6. 本篇常见错排查

6.1 CUDA out of memory

最常见。先降per_device_train_batch_size到 1，再把gradient_accumulation_steps提到 8 保持等效批量。还不行就开load_in_4bit=true，显存能再降一半，代价是精度略损。max_seq_length从 2048 降到 1024 也能省不少。

6.2 torch.cuda.is_available() 返回 False

装成了 CPU 版 torch。用pip list | grep torch看版本号，如果没带+cu124后缀就是 CPU 版。重装命令见 2.1 节。另外确认驱动版本够新，nvidia-smi能正常输出。

6.3 unsloth 导入报 Triton 相关错误

Triton 版本和 torch 不匹配。先pip uninstall triton -y，再pip install triton==3.0.0（对应 torch 2.4+）。如果还报错，检查 Python 版本是不是 3.12，unsloth 对 3.13 支持还不完整。

6.4 训练 loss 不下降

检查数据模板里的{}占位符数量是否和format参数个数一致。少一个占位符会静默出错，数据全被塞进第一个位置。另外确认EOS_TOKEN加在了每条样本末尾，没有结束符模型学不会停。

6.5 TaoToken 返回 401 或 403

Key 没读到。echo $TAOTOKEN_API_KEY确认环境变量在当前 shell 生效。如果是新开的终端，重新export一次。Key 前后不要有空格，复制时容易带上换行。

6.6 合并权重后模型加载失败

save_pretrained_merged的save_method参数选merged_16bit，不要选merged_4bit除非你确定推理端支持 4bit。合并后目录里应该有config.json和完整的 safetensors 分片，缺文件说明合并中断了，重跑一次。

6.7 推理时输出乱码或重复

max_new_tokens设太大加上use_cache=True有时会触发重复。把temperature提到 0.7、repetition_penalty设 1.1 能缓解。如果还是乱码，检查 tokenizer 是否和模型匹配，别混用了不同版本的 tokenizer。

7. 下一步：把定制模型接进你的工作流

跑通这套流程后，你手里有一个合并好的 16bit 模型和一个稳定的 TaoToken 调用通道。接下来可以做的事：把本地模型用 vLLM 或 Ollama 起一个 OpenAI 兼容服务，然后用同一个 TaoToken Key 的管理方式接进你的应用；或者直接用 TaoToken 的模型对话页面快速对比微调前后的效果差异。

如果你打算长期做编码类任务或者搭 Agent，可以考虑 Coding Plan 那条线，把模型调用和代码工作流绑在一起。接入文档里有完整的参数说明和错误码对照，排障时对着查比瞎试快。API Keys 页面可以创建多个 Key 做权限隔离，比如评测用一个、生产用一个，互不影响。

整套流程里最容易卡住的地方其实是数据模板和显存，前者靠打印一条格式化后的样本肉眼检查，后者靠逐步降 batch size。把这两个搞定，剩下的都是体力活。