企业官网建设流程全解析

简介：这份资源面向自然语言处理与金融科技方向的学习者与开发者，聚焦中文金融领域的智能问答系统构建，以LLaMA系列大模型为基座，完整覆盖训练、微调与推理全流程，并引入知识图谱增强问答准确率，适合具备一定深度学习基础、希望深入大模型落地实践的中高级读者。压缩包共21个文件，约1.66MB，包含7个json配置与指令数据、4个sh训练推理脚本、3个py核心代码，以及png、md、txt、jpeg、license等说明与授权文件，目录按base_models、instruction_data、utils、templates、scripts等模块划分，结构清晰便于按环节查阅。目前已有2023人学习下载。读者可从中获取微调语料组织方式、监督学习与早停、正则化等训练策略、知识图谱实体关系构建思路，以及模型与图谱协同推理的完整方案，是金融问答系统从理论到工程落地的实用参考。

1. 中文金融问答为什么要用 LLaMA 系做微调：一个被低估的落地切口

通用大模型在中文金融场景里经常答非所问。你问「可转债强制赎回触发条件」，它给你讲一段可转债定义；你问「某公司商誉减值对净利润的影响」，它把商誉和无形资产混着说。这不是模型笨，是它没见过足够多的中文金融语料，也没被约束过「必须按金融口径回答」。LLaMA 系模型（LLaMA、LLaMA2、LLaMA3 以及国内基于其结构二次开发的底座）之所以成为中文金融问答微调的主流选择，核心原因是它的架构开放、社区工具链成熟、LoRA 这类参数高效微调方案支持得最完整。你不需要从零预训练，只要准备几千到几万条高质量的中文金融问答对，就能让一个通用底座变成能答对「市盈率与市净率在银行股估值中的差异」这类问题的专用系统。这套方案适合有 GPU 资源、想私有化部署、对数据安全有要求的中小团队和独立开发者，不适合指望零成本一键出效果的人。

2. 微调前的三个硬决策：底座、数据格式、微调方式

2.1 底座选型：LLaMA 系里到底选哪个版本

选底座不是越新越好，要看你的显存和中文能力。常见做法是分三档：7B 级别适合单卡 24G 显存做 LoRA 微调，13B 级别需要 40G 以上或量化后微调，70B 级别基本要 4 卡起步。中文金融场景里，原生 LLaMA 的中文 tokenizer 效率偏低，一个中文字常被拆成多个 token，导致同样长度的中文文本占用更多上下文。所以更实际的选择是：用中文继续预训练过的 LLaMA 系底座，或者用国内基于 LLaMA 结构扩充中文词表的版本。判断标准很简单，拿一段 500 字的中文金融新闻分别喂给候选底座，看 token 数。token 数越少，训练和推理成本越低。

提示：不要只看参数量。7B 中文优化底座在金融问答上的表现，经常超过没做中文适配的 13B 底座。

2.2 数据格式：金融问答对怎么构造才不白训

微调数据质量决定上限。金融问答对不是随便找问答网站爬，要按「问题类型 + 标准答案 + 推理依据」三段式构造。常见的问题类型包括：概念解释（什么是可转债）、计算类（某股票市盈率是多少）、对比类（市盈率和市净率区别）、判断类（这个财报数据说明什么）。每条数据建议包含 instruction、input、output 三个字段，output 里最好带一句推理依据，让模型学会「先想再答」。

# 金融问答微调数据构造示例 import json def build_finance_sample(question, context, answer, reasoning): """ question: 用户问题 context: 相关金融背景（可选，用于RAG场景） answer: 标准答案 reasoning: 推理依据，训练模型按金融口径思考 """ sample = { "instruction": "你是一个中文金融问答助手，请根据金融知识准确回答。", "input": f"问题：{question}\n背景：{context}" if context else f"问题：{question}", "output": f"推理：{reasoning}\n答案：{answer}" } return sample # 示例 s = build_finance_sample( "某公司商誉减值10亿，对净利润影响多大？", "该公司当年净利润5亿，商誉原值30亿", "商誉减值10亿会直接减少当期利润10亿，导致净利润从5亿变为-5亿。", "商誉减值计入资产减值损失，直接影响营业利润，进而影响净利润。" ) print(json.dumps(s, ensure_ascii=False, indent=2))

这段代码的关键在 output 字段的设计。把推理和答案分开，模型在训练时会学到「先输出推理再输出答案」的模式，推理时即使答案有偏差，你也能从推理过程判断它错在哪。参数上，instruction 要固定，不要每条都换，否则模型会把 instruction 也当成需要学习的内容，浪费容量。input 里的背景字段在纯微调阶段可以留空，等做 RAG 时再填。

2.3 微调方式：LoRA 还是全量微调

LoRA 微调是当前中文金融问答最务实的方案。全量微调 7B 模型需要约 60G 显存，LoRA 只需要 16G 左右，效果在垂直领域能到全量的 90% 以上。LoRA 的原理是在原模型权重旁挂低秩矩阵，训练时只更新这两个小矩阵，推理时可以把它们合并回原权重，不增加推理延迟。关键参数是 rank（秩）和 alpha。rank 一般设 8 到 64，金融问答这种知识密集型任务建议 32 或 64；alpha 通常设 rank 的两倍。target_modules 要覆盖 q_proj、v_proj、k_proj、o_proj 这些注意力层，只挂 q、v 效果会打折。

# LoRA微调启动命令示例（基于常见训练框架） python train.py \ --base_model ./llama-7b-chinese \ --data_path ./finance_qa.json \ --output_dir ./lora_finance \ --lora_rank 64 \ --lora_alpha 128 \ --lora_target_modules q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 8 \ --learning_rate 2e-4 \ --num_train_epochs 3 \ --cutoff_len 1024 \ --fp16 True

参数说明：per_device_train_batch_size 乘 gradient_accumulation_steps 是等效 batch size，单卡 24G 下 4×8 比较稳。learning_rate 用 2e-4 是 LoRA 的常见起点，太高会震荡，太低收敛慢。cutoff_len 设 1024 覆盖大多数金融问答长度，如果你的数据里有长财报分析，调到 2048 但显存要相应增加。num_train_epochs 设 3 是经验值，金融数据量小容易过拟合，可以观察 loss 曲线，验证 loss 不降就停。

3. 从零跑通一次中文金融 LoRA 微调：环境、数据、训练、合并

3.1 训练环境搭建与依赖版本锁定

环境翻车是新手第一大坑。LLaMA 系微调依赖 transformers、peft、accelerate、bitsandbytes 这几个库，版本不匹配会报各种玄学错误。我一般用 conda 建独立环境，Python 3.10，然后按固定版本装。

conda create -n llama_finance python=3.10 -y conda activate llama_finance pip install torch==2.1.0 --index-url https://download.pytorch.org/whl/cu118 pip install transformers==4.36.2 pip install peft==0.7.1 pip install accelerate==0.25.0 pip install bitsandbytes==0.41.3 pip install datasets==2.16.1 pip install sentencepiece==0.1.99 pip install protobuf==3.20.3

版本锁定的逻辑：transformers 4.36 对 LLaMA 系支持稳定，peft 0.7 的 LoRA 接口和它匹配，bitsandbytes 0.41 支持 4bit 量化加载。protobuf 必须降到 3.20，否则 sentencepiece 会报错。这套组合我在多台机器上复现过，能避开大部分依赖冲突。装完用python -c "import torch; print(torch.cuda.is_available())"验证 GPU 可用。

3.2 数据预处理：把原始问答转成训练格式

原始数据可能是 CSV、Excel 或 JSON，需要统一转成训练框架能吃的格式。常见做法是转成 JSONL，每行一个样本，字段用 instruction、input、output。转换时要做三件事：去重、过滤超长样本、按比例切分训练集和验证集。

import json import pandas as pd from sklearn.model_selection import train_test_split def convert_to_jsonl(csv_path, out_train, out_val, max_len=1024): df = pd.read_csv(csv_path) samples = [] for _, row in df.iterrows(): # 过滤空值和超长 if pd.isna(row['question']) or pd.isna(row['answer']): continue text = row['question'] + row['answer'] if len(text) > max_len: continue samples.append({ "instruction": "你是一个中文金融问答助手，请准确回答。", "input": row['question'], "output": row['answer'] }) # 去重 seen = set() unique = [] for s in samples: key = s['input'] if key not in seen: seen.add(key) unique.append(s) train, val = train_test_split(unique, test_size=0.1, random_state=42) with open(out_train, 'w', encoding='utf-8') as f: for s in train: f.write(json.dumps(s, ensure_ascii=False) + '\n') with open(out_val, 'w', encoding='utf-8') as f: for s in val: f.write(json.dumps(s, ensure_ascii=False) + '\n') print(f"训练集 {len(train)} 条，验证集 {len(val)} 条") convert_to_jsonl('finance_qa.csv', 'train.jsonl', 'val.jsonl')

逻辑说明：max_len 过滤掉超长样本，避免训练时截断导致答案不完整。去重按 input 字段，防止同一问题多个答案造成模型困惑。验证集留 10%，用来观察是否过拟合。如果你的数据里问题表述多样但答案相同，去重时可以考虑按答案去重，保留多种问法，这样模型泛化更好。

3.3 启动训练与关键参数监控

训练启动后不是等着就行，要盯三个指标：loss、学习率、显存。loss 在前 100 步快速下降是正常的，如果 500 步还不降，检查数据格式和 learning_rate。显存用 nvidia-smi 看，如果接近满载，降 batch_size 或 cutoff_len。

# 训练并输出日志 python train.py \ --base_model ./llama-7b-chinese \ --data_path ./train.jsonl \ --val_data_path ./val.jsonl \ --output_dir ./lora_finance \ --lora_rank 64 \ --lora_alpha 128 \ --lora_target_modules q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 8 \ --learning_rate 2e-4 \ --num_train_epochs 3 \ --cutoff_len 1024 \ --logging_steps 10 \ --save_steps 200 \ --eval_steps 200 \ --fp16 True \ 2>&1 | tee train.log

参数说明：logging_steps 设 10 方便观察 loss 趋势，save_steps 设 200 定期存 checkpoint，eval_steps 设 200 在验证集上评估。tee 把日志同时输出到文件和终端，方便事后排查。训练 3 个 epoch 在 5000 条数据上大约需要 2 到 4 小时，取决于 GPU 型号。

3.4 LoRA 权重合并与推理验证

训练完得到的是 LoRA 权重，需要和底座合并才能独立部署。合并后模型体积和原底座一样，但推理时不用再加载 LoRA 适配器，速度快。

from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer import torch base_model_path = "./llama-7b-chinese" lora_path = "./lora_finance" merged_path = "./merged_finance" # 加载底座和LoRA tokenizer = AutoTokenizer.from_pretrained(base_model_path, trust_remote_code=True) base = AutoModelForCausalLM.from_pretrained( base_model_path, torch_dtype=torch.float16, device_map="auto", trust_remote_code=True ) model = PeftModel.from_pretrained(base, lora_path) # 合并权重 merged = model.merge_and_unload() merged.save_pretrained(merged_path) tokenizer.save_pretrained(merged_path) print("合并完成，保存至", merged_path)

合并后做推理验证，用几个金融问题测一下。注意推理时的 prompt 要和训练时的 instruction 格式一致，否则效果会差很多。

from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_path = "./merged_finance" tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.float16, device_map="auto", trust_remote_code=True ) def ask(question): prompt = f"你是一个中文金融问答助手，请准确回答。\n问题：{question}\n答案：" inputs = tokenizer(prompt, return_tensors="pt").to(model.device) with torch.no_grad(): outputs = model.generate( **inputs, max_new_tokens=256, temperature=0.3, do_sample=True, top_p=0.9 ) return tokenizer.decode(outputs[0], skip_special_tokens=True) print(ask("市盈率和市净率有什么区别？"))

参数说明：temperature 设 0.3 让输出更确定，金融问答不需要太多创造性。max_new_tokens 设 256 够大多数回答。top_p 0.9 是常用采样阈值。如果输出重复或胡言乱语，检查 prompt 格式是否和训练一致，以及合并是否成功。

4. 中文金融微调避坑：五条血泪经验

4.1 现象：训练 loss 正常下降，推理却答非所问

原因：训练和推理的 prompt 模板不一致。训练时用了 instruction+input+output 的完整格式，推理时只给了问题，模型没见过这种输入模式。解决：把推理 prompt 严格对齐训练格式，instruction 字段一字不差地拼进去。

4.2 现象：模型把金融概念答成通用解释

原因：训练数据里概念解释类样本太多，计算类和判断类太少，模型学会了「背定义」但不会「用定义」。解决：调整数据配比，概念、计算、对比、判断四类按 2:3:3:2 分布，计算类样本要带具体数字和计算过程。

4.3 现象：显存溢出，报 CUDA out of memory

原因：cutoff_len 设太大或 batch_size 太高。中文金融文本 token 数比英文多，1024 的 cutoff 实际可能占 1500 以上。解决：先用 tokenizer 统计训练数据的 token 分布，取 95 分位数作为 cutoff_len，batch_size 降到 2 或 1，用 gradient_accumulation_steps 补等效 batch。

4.4 现象：LoRA 合并后推理结果和合并前不一致

原因：合并时 dtype 不一致，或者 merge_and_unload 时底座加载用了量化。解决：合并时底座用 float16 加载，不要用 4bit 量化加载再合并，量化权重合并会丢精度。合并后单独加载验证，和合并前对比几个样本的输出。

4.5 现象：模型对最新金融数据一无所知

原因：微调数据截止到某个时间点，模型没有新数据。解决：微调解决的是「回答口径」问题，不是「知识更新」问题。新数据要靠 RAG 外挂知识库，把检索到的实时数据拼进 prompt，微调模型负责按金融口径组织答案。

5. 让金融问答更准的两个进阶技巧：RAG 拼接与多轮对话微调

微调后的模型能答对静态金融知识，但遇到「今天某股票市盈率多少」这种实时问题就歇了。我一般会加一层 RAG：先用向量库检索相关金融数据，把检索结果拼进 prompt，再让微调模型生成答案。关键在拼接格式，检索内容要放在 input 字段里，和训练时的格式对齐。

def ask_with_rag(question, retriever, model, tokenizer): # 检索相关金融数据 docs = retriever.search(question, top_k=3) context = "\n".join([d['text'] for d in docs]) prompt = ( f"你是一个中文金融问答助手，请根据背景准确回答。\n" f"问题：{question}\n背景：{context}\n答案：" ) inputs = tokenizer(prompt, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=256, temperature=0.3) return tokenizer.decode(outputs[0], skip_special_tokens=True)

另一个技巧是多轮对话微调。金融咨询往往是多轮的，用户会追问。训练数据里加入多轮样本，格式用[Round 1] 问题... 答案... [Round 2] 问题... 答案...，让模型学会结合上下文。多轮数据构造时，每轮的问题要有关联，比如第一轮问「什么是商誉」，第二轮问「商誉减值怎么算」，这样模型才能学到对话连贯性。

验证微调效果不能只看几个例子。我习惯准备一个 50 条的测试集，覆盖概念、计算、对比、判断四类，每次微调后跑一遍，统计准确率。准确率低于 70% 就回去查数据配比和 prompt 格式。这个习惯帮我省了很多次重新训练的时间。希望帮到你。

本文还有配套的精品资源，点击获取