企业官网建设流程全解析

简介：这份资源面向希望上手开源大模型应用开发的开发者与学习者，聚焦环境配置、私有化部署、LoRA微调与LangChain集成四大环节，覆盖从模型下载、推理服务到微调训练与智能体编排的完整链路。压缩包共79个文件，约23.88MB，以45个Python脚本和12个Jupyter Notebook为主，辅以9个JSON配置、4个bin权重文件及sqlite3、pickle、sh等辅助文件，兼顾可执行代码与交互式实验记录。内容按InternLM、DeepSeek、Yi、Qwen、Baichuan、ChatGLM、MiniCPM等主流开源模型分目录组织，包含API封装、FastAPI服务、LoRA训练与合并、量化微调、LangChain对话及语音处理等模块，便于读者对照复现部署与微调流程。目前已有858人学习下载，适合需要系统梳理大模型落地路径、积累工程实践参考的中高级开发者。

1. 开源大模型私有化部署与 LoRA 微调：从环境配置到 LangChain 接入的完整路径

很多团队第一次做企业大模型私有化部署时，卡住的地方往往不是模型本身，而是环境配置。显卡驱动、CUDA 版本、PyTorch 编译选项、推理框架依赖，任何一环对不上，后面 LoRA 微调和 LangChain 接入都无从谈起。这个标题覆盖的是一条完整的落地链路：先在本地或内网把开源大模型跑起来，再用 LoRA 做低成本领域适配，最后通过 LangChain 把模型能力接入业务系统。它适合有基本 Python 能力、手头有至少一张 24GB 显存显卡的工程师，也适合正在评估开源方案是否值得投入的技术负责人。下面按环境配置、私有化部署、LoRA 微调、LangChain 接入、避坑排查、进阶验证六章展开，每一步都给出可复现的命令和参数。

2. 环境配置：把 CUDA、PyTorch 和推理框架的版本锁死

2.1 为什么版本锁定比安装本身更重要

开源大模型环境配置翻车，九成以上出在版本漂移。PyTorch 2.1 和 2.2 对 CUDA 的要求不同，transformers 4.36 和 4.40 对 flash-attention 的支持也不同。我一般会先确定三件事：显卡驱动版本、CUDA Runtime 版本、PyTorch 版本。驱动版本决定 CUDA 上限，CUDA 决定 PyTorch 能装哪个 wheel，PyTorch 又决定 transformers、peft、accelerate 的兼容区间。常见做法是用 conda 建独立环境，把版本写进 environment.yml，而不是靠 pip 临时解决。

先看驱动和 CUDA 能力：

nvidia-smi # 输出右上角 CUDA Version 表示驱动支持的最高 CUDA Runtime 版本 # 例如 12.4，则不能安装要求 CUDA 12.6 的 PyTorch wheel

然后建环境并安装 PyTorch。以 CUDA 12.1 为例：

conda create -n llm python=3.10 -y conda activate llm pip install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 \ --index-url https://download.pytorch.org/whl/cu121

参数说明：cu121必须和nvidia-smi显示的 CUDA Version 匹配或更低；Python 3.10 是目前 peft、transformers、langchain 兼容性最稳的版本。装完用下面这段验证：

import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0)) # 期望输出 True 和显卡型号，若为 False 说明 CUDA 与驱动不匹配

2.2 推理与微调依赖的安装顺序

环境里还要装 transformers、peft、accelerate、datasets、bitsandbytes、sentencepiece。顺序建议先装 transformers，再装 peft，最后装 bitsandbytes，因为 bitsandbytes 会检查 CUDA 版本。量化推理和 QLoRA 微调都依赖 bitsandbytes，装错版本会直接报CUDA Setup failed。

pip install transformers==4.40.0 peft==0.10.0 accelerate==0.29.0 \ datasets==2.18.0 sentencepiece==0.2.0 pip install bitsandbytes==0.43.0

如果要用 flash-attention 加速，先确认显卡算力在 Ampere 及以上，再装对应 wheel。T4、V100 不建议强上 flash-attention 2，容易编译失败。装完后用python -c "import transformers, peft, bitsandbytes"做一次导入检查，没有报错再进入下一步。

提示：所有版本号写进 requirements.txt 或 environment.yml，换机器时直接复现，不要靠记忆。

3. 私有化部署：用 vLLM 或 Ollama 在内网把模型跑起来

3.1 推理框架选型：vLLM 与 Ollama 的边界

企业大模型私有化部署常见的开源平台和工具里，vLLM 和 Ollama 是两条路线。vLLM 适合多并发、高吞吐的服务化场景，支持 PagedAttention 和连续批处理，单卡 24GB 可以跑 7B 或 14B 的量化版本。Ollama 适合单机快速验证和桌面级部署，一条命令拉模型，但并发能力和可调参数不如 vLLM。如果目标是接入 LangChain 做业务系统，我一般选 vLLM，因为它提供 OpenAI 兼容接口，LangChain 可以直接用ChatOpenAI类对接。

先下载模型权重。以 Qwen2.5-7B-Instruct 为例，用 modelscope 或 huggingface-cli 拉到本地目录：

pip install modelscope modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./models/qwen2.5-7b-instruct

参数说明：--local_dir指定本地路径，后续 vLLM 和 LoRA 微调都从这个目录读。下载完成后确认目录里有config.json、tokenizer.json和*.safetensors。

3.2 用 vLLM 启动 OpenAI 兼容服务

安装 vLLM 并启动服务：

pip install vllm==0.4.2 python -m vllm.entrypoints.openai.api_server \ --model ./models/qwen2.5-7b-instruct \ --served-model-name qwen2.5-7b \ --host 0.0.0.0 \ --port 8000 \ --dtype auto \ --max-model-len 8192 \ --gpu-memory-utilization 0.90

参数说明：--served-model-name是 LangChain 调用时填的模型名；--max-model-len控制上下文长度，7B 模型在 24GB 卡上设 8192 比较稳；--gpu-memory-utilization 0.90表示预留 90% 显存给模型和 KV Cache，设太高容易 OOM，设太低浪费显存。启动后用 curl 验证：

curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"qwen2.5-7b","messages":[{"role":"user","content":"你好"}]}'

返回 JSON 里有choices[0].message.content就说明服务通了。如果报CUDA out of memory，先把--max-model-len降到 4096，或加--quantization awq使用量化权重。

注意：内网部署时--host 0.0.0.0会暴露到所有网卡，生产环境建议绑定具体内网 IP，并在前面加反向代理做鉴权。

4. LoRA 微调：用 peft 在单卡上完成领域适配

4.1 LoRA 微调是什么意思，为什么适合私有化场景

LoRA 微调是在原模型权重旁挂一组低秩矩阵，训练时只更新这组小矩阵，不动原权重。好处是显存占用低、训练快、产物小。7B 模型全量微调需要多卡 A100，LoRA 在单张 24GB 卡上就能跑，产物通常几十到几百 MB。QLoRA 进一步把基座模型 4bit 量化，显存再降一半，适合显存更紧的场景。企业私有化部署里，LoRA 常用于让模型学会内部术语、固定输出格式、适配特定问答风格。

4.2 数据准备与训练脚本

数据用 JSONL，每行一条，字段按 alpaca 格式：

{"instruction": "报销流程是什么", "input": "", "output": "登录 OA 系统，进入财务模块，选择报销申请..."} {"instruction": "年假怎么申请", "input": "", "output": "在 HR 系统中提交年假申请，直属主管审批后生效。"}

训练脚本用 peft + transformers：

from datasets import load_dataset from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments from peft import LoraConfig, get_peft_model, TaskType from trl import SFTTrainer model_path = "./models/qwen2.5-7b-instruct" dataset = load_dataset("json", data_files="train.jsonl", split="train") tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_path, trust_remote_code=True, device_map="auto", torch_dtype="auto" ) lora_config = LoraConfig( task_type=TaskType.CAUSAL_LM, r=8, # 低秩矩阵秩，8 或 16 常用 lora_alpha=32, # 缩放系数，一般为 r 的 2~4 倍 lora_dropout=0.05, target_modules=["q_proj", "k_proj", "v_proj", "o_proj"] ) model = get_peft_model(model, lora_config) args = TrainingArguments( output_dir="./lora-out", per_device_train_batch_size=2, gradient_accumulation_steps=8, num_train_epochs=3, learning_rate=2e-4, logging_steps=10, save_steps=100, fp16=True ) trainer = SFTTrainer( model=model, args=args, train_dataset=dataset, tokenizer=tokenizer, dataset_text_field="instruction" ) trainer.train() trainer.model.save_pretrained("./lora-adapter")

参数说明：r=8控制新增参数量，任务越复杂可以调到 16 或 32；lora_alpha影响 LoRA 权重缩放，一般取2*r；target_modules对 Qwen 系列选 attention 的四个投影层即可，想效果更好可以加上 MLP 层但显存会涨；learning_rate=2e-4是 LoRA 常用起点，太大容易震荡，太小收敛慢。训练完./lora-adapter里是 adapter 权重，基座模型不变。

4.3 合并权重并用 vLLM 加载

推理时可以把 adapter 合并回基座，也可以让 vLLM 动态加载。合并方式：

from peft import PeftModel from transformers import AutoModelForCausalLM base = AutoModelForCausalLM.from_pretrained("./models/qwen2.5-7b-instruct", torch_dtype="auto") model = PeftModel.from_pretrained(base, "./lora-adapter") model = model.merge_and_unload() model.save_pretrained("./models/qwen2.5-7b-lora-merged")

合并后目录可以直接被 vLLM 当普通模型加载，启动命令和 3.2 节一致，只改--model路径。如果不想合并，vLLM 启动时加--enable-lora --lora-modules my-lora=./lora-adapter，请求时指定"model": "my-lora"。

5. LangChain 接入：把私有化模型变成业务可调用的链

5.1 用 ChatOpenAI 对接 vLLM 的 OpenAI 接口

LangChain 入门最省事的方式是复用 OpenAI 兼容层。vLLM 已经提供/v1/chat/completions，所以直接用ChatOpenAI指向本地地址：

from langchain_openai import ChatOpenAI from langchain_core.prompts import ChatPromptTemplate from langchain_core.output_parsers import StrOutputParser llm = ChatOpenAI( model="qwen2.5-7b", openai_api_key="EMPTY", openai_api_base="http://localhost:8000/v1", temperature=0.3, max_tokens=1024 ) prompt = ChatPromptTemplate.from_messages([ ("system", "你是企业内部助手，只根据已知流程回答。"), ("user", "{question}") ]) chain = prompt | llm | StrOutputParser() print(chain.invoke({"question": "报销流程是什么"}))

参数说明：openai_api_key填任意非空字符串即可，vLLM 默认不校验；temperature=0.3适合流程问答，需要创意生成时调到 0.7；openai_api_base指向 vLLM 服务地址。这条链跑通，说明私有化模型已经能被 LangChain 编排。

5.2 加检索和 Agent 的边界

如果业务需要基于内部文档回答，在链前面加 Retriever：

from langchain_community.vectorstores import FAISS from langchain_community.embeddings import HuggingFaceEmbeddings embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5") vectorstore = FAISS.load_local("./faiss-index", embeddings, allow_dangerous_deserialization=True) retriever = vectorstore.as_retriever(search_kwargs={"k": 3}) from langchain_core.runnables import RunnablePassthrough rag_chain = ( {"context": retriever, "question": RunnablePassthrough()} | prompt | llm | StrOutputParser() )

Agent 框架如 LangChain、Dify、CrewAI 哪个好，取决于场景。LangChain 灵活但代码量大，Dify 适合低代码快速搭，CrewAI 适合多角色协作。私有化部署里如果只是问答和流程自动化，LangChain 加 Retriever 足够；要可视化编排再考虑 Dify。

6. 避坑与排查：LoRA 微调和私有化部署的 5 个血泪经验

6.1 训练 loss 不降反升

现象：训练几个 step 后 loss 从 2.3 涨到 3.1。原因：学习率太大或数据格式不对，instruction 和 output 没有正确拼接。解决：把learning_rate降到 1e-4，检查 tokenizer 的padding_side，Qwen 系列训练时设为right，并在 SFTTrainer 里确认dataset_text_field指向的字段包含完整对话。

6.2 vLLM 启动报 CUDA out of memory

现象：模型加载到一半 OOM。原因：--gpu-memory-utilization设太高，或--max-model-len超过显存承受范围。解决：先降到 0.85 和 4096，确认能启动后再逐步加。如果还是 OOM，换 AWQ 或 GPTQ 量化权重，7B 模型 4bit 量化后 24GB 卡可以跑 16384 上下文。

6.3 LoRA 合并后效果消失

现象：adapter 单独推理正常，合并后回答变回基座风格。原因：合并时merge_and_unload前没有把模型切到 eval 模式，或 adapter 权重加载路径写错。解决：合并前model.eval()，并打印model.peft_config确认 adapter 已挂载。合并后拿同一批测试问题对比 adapter 推理和合并推理的输出，一致才算成功。

6.4 LangChain 调用超时

现象：chain.invoke报ReadTimeout。原因：vLLM 首次请求要编译 CUDA graph，耗时较长，或max_tokens设太大。解决：给ChatOpenAI加request_timeout=120，首次请求前先发一条短请求预热。如果并发高，vLLM 启动时加--max-num-seqs 64控制批大小。

6.5 中文乱码或截断

现象：输出到一半变成乱码。原因：tokenizer 的trust_remote_code没开，或max_model_len小于实际输入长度。解决：加载模型和 tokenizer 时都加trust_remote_code=True，并在 LangChain 侧用tiktoken或 tokenizer 估算输入长度，超过max_model_len时先做截断或摘要。

7. 进阶验证：用 A/B 对比确认 LoRA 真的生效

LoRA 微调最容易自欺欺人的地方是「感觉变好了」。我一般会准备 30 条留出问题，分别用基座模型和 LoRA 模型跑一遍，按三个维度打分：术语准确率、格式合规率、拒答率。术语准确率看是否用了内部专有名词，格式合规率看输出是否符合预期结构，拒答率看是否对不该答的问题乱答。用脚本批量跑：

import json from langchain_openai import ChatOpenAI llm_base = ChatOpenAI(model="qwen2.5-7b", openai_api_base="http://localhost:8000/v1", openai_api_key="EMPTY") llm_lora = ChatOpenAI(model="my-lora", openai_api_base="http://localhost:8000/v1", openai_api_key="EMPTY") questions = [json.loads(l)["instruction"] for l in open("test.jsonl")] for q in questions: base_out = llm_base.invoke(q).content lora_out = llm_lora.invoke(q).content print("Q:", q) print("BASE:", base_out[:120]) print("LORA:", lora_out[:120]) print("---")

跑完人工标注，如果 LoRA 在术语和格式上明显优于基座，且拒答率没有异常升高，说明微调有效。如果两者差不多，先检查训练数据质量和target_modules是否覆盖到位，再考虑加数据或调r。我自己的习惯是每次微调都保留一份基座输出作为对照，没有对照的「效果提升」一律不信。希望帮到你。

本文还有配套的精品资源，点击获取