AI视频为何停不下来？从模型原理到工作流的解决之道
2026/10/27 8:00:49
在 LoRA 微调中，数值格式的选择直接决定了显存占用、训练速度和稳定性。LoRA 的特殊性在于，它只训练少量“适配器”参数，而冻结了绝大部分基座模型参数，因此一种“混合精度”的思路贯穿始终：基座模型可以用极低精度存储以节省显存，但实际参与计算的激活值、梯度和可训练的 LoRA 参数，必须用足够稳定和精确的格式来处理。
📊 核心浮点格式对比：FP32, FP16, BF16
要理解 BF16 和 FP16 的取舍，首先需要看它们与基准 FP32 在“位分配”上的根本差异。浮点数的能力由指数位（决定数值范围）和尾数位（决定数值精度）共同决定。
| 格式 | 总位数 | 指数位 | 尾数位 | 动态范围（约） | 核心特点 |
|---|---|---|---|---|---|
| FP32(单精度) | 32 | 8 | 23 | 10−3810−38 ~ 3.4×10383.4×1038 | 基准格式，范围与精度俱佳，但显存开销大 |
| FP16(半精度) | 16 | 5 | 10 | 6×10−56×10−5 ~65,504 | 精度较高（10位尾数），但范围极窄，易上溢/下溢 |
| BF16(Brain Float) | 16 | 8 | 7 | 10−3810−38 ~ 3.4×10383.4×1038 | 范围与 FP32 相同，但精度较低（仅7位尾数） |
FP16 的困境：范围瓶颈与 Loss Scaling
FP16 的 10 位尾数提供了比 BF16 更精细的数值分辨率，但其仅 5 位的指数是一个致命弱点。深度学习训练中，梯度的量级常常小到 10−710−7 甚至 10−810−8，这已经逼近或超出了 FP16 的最小正规数范围（约 6×10−86×10−8），导致梯度下溢归零，训练停滞。同时，注意力分数等中间值又可能轻易超过 65,504 而上溢为 Inf。
为了补救，FP16 训练必须引入Loss Scaling（损失缩放）：在反向传播前将 Loss 人为放大（如乘以 216216），使梯度整体“抬升”到 FP16 的可表示范围内，更新前再缩放回来。这套机制增加了工程复杂性，且缩放系数需要仔细调优。
BF16 的设计：用精度换稳定
BF16 的思路截然不同：它将指数位保留为与 FP32 相同的 8 位，仅将尾数压缩到 7 位。这意味着BF16 的动态范围与 FP32 完全一致，从根本上消除了上溢和下溢的风险，通常无需 Loss Scaling。代价是舍入误差更大，但对于随机梯度下降本身具有噪声鲁棒性的训练过程而言，这种精度损失在实践中通常可以被吸收。
在实际 LoRA 训练中，这种稳定性差异是决定性的。有文档明确指出，BF16 用于训练可达到 100% 的稳定性，而 FP16 约有 20% 的训练失败率，因此“请勿将 FP16 用于训练”成为一些严格实现的默认准则。当然，也有少数例外，例如部分 SD 1.x/2.x 的 LoRA 训练仍推荐 FP16，而 SDXL 则明确首选 BF16 以规避 VAE 的 NaN 问题。
⚙️ LoRA 中的混合精度实践
LoRA 微调很少“一刀切”地使用单一格式，典型的配置是分层的：
主权重 (Master Weights)：始终保留一份FP32副本。优化器在更新参数时，微小的梯度更新量在 FP16/BF16 下可能直接被舍入丢失，FP32 主权重确保了参数更新的累积有效性。
计算格式 (Compute Dtype)：前向与反向的矩阵乘法使用BF16（现代 GPU 首选）或 FP16，以利用 Tensor Core 获得数倍加速。
LoRA 适配器参数：通常以 FP32 或 BF16 存储，确保可训练参数本身的更新精度。梯度也只针对这部分参数回传。
基座模型：根据显存预算，可以保持 FP16/BF16，也可以进一步量化（见下文 QLoRA）。
硬件是一个关键分水岭：BF16 的原生 Tensor Core 支持始于NVIDIA Ampere 架构（A100 及之后）。在更早的 GPU（如 V100、T4）上，BF16 缺乏硬件加速，此时 FP16 配合 Loss Scaling 仍是可用的选择。
🗜️ 超越 16 位：量化格式如何进一步压缩基座
当显存依然紧张时，LoRA 的思路会进一步延伸为QLoRA，即对冻结的基座模型权重进行激进量化，而 LoRA 适配器和计算过程仍保持较高精度。
NF4 (4-bit NormalFloat)是 QLoRA 的标志性格式。它是一种信息论上针对正态分布权重最优的 4 位数据类型。由于预训练权重通常近似服从零均值正态分布，NF4 将数值范围按分位数划分，使每个量化桶中的权重数量大致相等，从而在极低位宽下保留更多有效信息。NF4 将基座权重压缩至每个参数仅4 bit，相比 16 位存储理论上节省4 倍显存，而精度损失在大量实验中可控。QLoRA 还引入了双重量化 (Double Quantization)，对量化常数本身再做一次量化，进一步压榨显存。
除了 NF4，LoRA 生态中常见的基座量化格式还包括：
GPTQ / AWQ (通常 4-bit)：训练后量化方法。GPTQ 利用近似二阶信息逐层量化，AWQ 则通过识别并保护显著权重通道来减少精度损失。它们允许在已有量化 checkpoint 上直接训练 LoRA。
FP8 (E4M3 / E5M2)：在 Hopper（H100）及更新架构上支持，提供 8 位浮点量化，在显存与精度间取得比 4-bit 更好的平衡。许多框架在加载 FP8 checkpoint 时会先反量化至 BF16 再进行 LoRA 训练。
其他 4/8 位方案：如 bitsandbytes 的8-bit（精度更高但显存节省较少），以及MXFP4、HQQ、AQLM（极端压缩至 2-bit）等，在特定场景下可供选择。
💎 总结：如何选择
LoRA 微调的格式选择可以沿着一条清晰的优先级链进行：
首要决定：计算格式选 BF16 还是 FP16？
硬件支持 BF16（Ampere 及之后）→ 无脑选 BF16。它用可忽略的精度代价换来了消除 Loss Scaling 和大幅降低训练崩溃风险的巨大工程收益。
硬件不支持 BF16 → FP16 + 动态 Loss Scaling 是必要的回退方案，但需接受更高的调参成本和 NaN 风险。
其次决定：基座模型用多低的精度存储？
显存充裕 → 基座保持BF16/FP16，进行标准 LoRA。
显存受限 → 启用QLoRA，基座量化为NF4 (4-bit)，计算仍走 BF16。这是当前在消费级 GPU 上微调大模型的事实标准。
在 H100 等新硬件上，FP8基座量化是介于 16 位与 4 位之间的一个有力选项。
底线原则：无论基座精度多低，FP32 主权重副本和可训练 LoRA 参数的有效精度是训练收敛的基石，不应为了省显存而牺牲。