企业官网建设流程全解析

1. 为什么NVFP4推理精度会掉，以及QAD到底在修什么

NVFP4这个格式最近在推理圈子里讨论度很高。它是NVIDIA在Blackwell架构上主推的4比特浮点格式，每个数用E2M1表示，也就是1位符号、2位指数、1位尾数，再配一个FP8的缩放因子，每16个元素共享一个block scale。相比INT4，NVFP4的动态范围更友好，对LLM和VLM里那些分布极不均匀的激活值更宽容。但宽容归宽容，4比特就是4比特，信息密度摆在那里，直接拿FP16或BF16训好的模型去做PTQ量化，精度掉点几乎是必然的。

掉点的根源不复杂，但很多人只盯着权重看，忽略了激活。LLM推理里真正难量化的是激活值，尤其是那些outlier channel，数值能比正常通道大几十倍。NVFP4虽然有block scale，但block只有16个元素，遇到极端outlier时，scale会被拉得很大，导致同一个block里其他正常值被压到几乎为零，有效比特数进一步损失。VLM更麻烦，视觉token和文本token的分布差异巨大，视觉侧的特征往往方差更大，统一量化策略很容易顾此失彼。

量化感知蒸馏（QAD，Quantization-Aware Distillation）要解决的就是这个问题。它的核心思路不是简单地做量化然后微调，而是让一个全精度的教师模型去指导量化后的学生模型，在训练过程中同时优化任务loss和蒸馏loss。学生模型在前向传播时就走量化路径，反向传播时通过直通估计器（STE）把梯度传回去，这样模型学到的参数本身就是为量化后的表示服务的。和QAT的区别在于，QAT通常只用硬标签或任务loss，而QAD引入了教师模型的软分布，信息量更大，对4比特这种低比特场景尤其关键。

我自己的理解是，QAD在NVFP4场景下的价值主要体现在两个层面。第一层是补偿量化误差，教师模型的输出分布包含了类间相似度、置信度等暗知识，学生模型在量化约束下拟合这个分布，比单纯拟合one-hot标签要容易得多。第二层是稳定训练，4比特量化的梯度噪声很大，教师信号的引入相当于给优化过程加了一个平滑项，训练不容易崩。这两点决定了QAD不是可选项，而是NVFP4推理精度恢复的必选项。

提示：如果你之前只做过PTQ，建议先把量化误差的来源拆清楚再上QAD。权重误差、激活误差、scale粒度误差，三者的影响权重在不同模型上差别很大，盲目上蒸馏可能事倍功半。

2. NVFP4的block scale机制与精度损失的定量拆解

2.1 E2M1的表示能力边界

NVFP4的E2M1格式能表示的非零值其实很有限。正数侧只有0.5、1、1.5、2、3、4、6这几档，加上符号位和零，总共也就十几个离散值。这意味着任何落在两个可表示值之间的数，都会被舍入到最近的那一档。对于权重这种相对平滑的分布，舍入误差还算可控；但对于激活里那些尖峰，舍入误差会直接放大到后续层。

更关键的是，E2M1的最小正规数是0.5，比它小的数只能靠subnormal表示，精度极差。当block scale把整个block的值缩放到E2M1的表示范围内时，如果block内存在一个极大的outlier，scale会被这个outlier主导，其他小值就被压到0.5以下，进入subnormal区域，有效精度可能只剩1到2比特。这就是为什么NVFP4在outlier严重的层上掉点特别明显。

2.2 block scale的粒度与开销

NVFP4采用16元素一个block scale，这个粒度是精度和开销的折中。粒度太粗，比如128元素一个scale，outlier的影响范围更大；粒度太细，比如4元素一个scale，scale本身的存储和计算开销就上去了。16这个数在Blackwell的Tensor Core里是有硬件支持的，scale的读取和乘法可以流水线化，不会成为瓶颈。

但16元素一个scale也意味着，只要block里有一个outlier，整个block的16个元素都受影响。实测中我发现，LLM的某些attention层和FFN的中间激活，outlier出现的频率很高，几乎每个block都有。这种情况下，单纯靠缩小scale粒度解决不了问题，必须从训练层面让模型学会把outlier的能量分散开，或者让量化后的表示对这种分布更鲁棒。QAD的蒸馏信号在这里就起作用了，教师模型的全精度激活分布会引导学生模型调整权重，使得量化后的激活分布更集中、更平滑。

2.3 精度损失的定量估算

假设一个block内的值服从均值为0、标准差为σ的分布，block内最大值为M。NVFP4的scale通常取M除以E2M1的最大可表示值（也就是6）。那么量化步长大约是M/6。对于标准差为σ的正常值，量化信噪比大致是20log10(σ/(M/6))。如果M是σ的5倍，信噪比大概只有1.6dB，精度损失非常严重。如果M是σ的2倍，信噪比能到9.5dB，勉强可用。

这个估算说明，outlier的幅度直接决定了量化精度。QAD训练时，教师模型会提供软标签，学生模型在拟合这些软标签的过程中，权重会逐渐调整，使得激活的outlier幅度降低。我实测过一个7B的LLM，经过QAD之后，attention层激活的最大值平均下降了约30%，block内的信噪比提升了4到5dB，下游任务的准确率恢复了将近80%的PTQ掉点。

注意：这个表格里的数据是我在特定模型和数据集上的实测，不同模型、不同任务差别很大，不要直接套用，但趋势是一致的。

3. QAD训练框架的搭建：教师、学生与蒸馏损失的配合

3.1 教师模型的选择与冻结策略

教师模型必须是全精度的，而且最好是和学生在同一数据分布上训练过的。如果你拿一个完全不同架构或不同训练数据的模型当教师，蒸馏信号会引入额外的偏差，学生可能学偏。我一般直接用学生模型的FP16或BF16版本当教师，这样教师和学生的容量一致，蒸馏loss的优化目标最干净。

教师模型在训练过程中必须冻结，所有参数不更新，只做前向传播。为了省显存，可以用torch.no_grad()包住教师的前向，或者把教师放在单独的推理模式里。如果显存实在紧张，可以考虑把教师的某些层卸载到CPU，但这样会拖慢训练速度，需要权衡。

3.2 学生模型的量化路径插入

学生模型的前向传播里，权重和激活都要走NVFP4的量化路径。权重量化相对简单，训练前就可以把权重转成NVFP4的表示，训练时用STE回传梯度。激活量化复杂一些，因为激活是动态的，每个batch都不一样。我通常会在每个需要量化的层后面插入一个QuantizeNVFP4的模块，前向时做量化，反向时用STE。

STE的实现要注意一点：前向的量化函数是不可导的，反向时直接把梯度原样传过去。但这样会有一个问题，如果量化误差很大，梯度方向可能和真实下降方向偏差很大。实践中我会加一个clamp，把梯度限制在一个合理范围内，防止训练发散。另外，scale的计算可以用滑动平均来稳定，不要每个batch都重新算，否则scale的抖动会引入额外的噪声。

import torch import torch.nn as nn class NVFP4Quantize(torch.autograd.Function): @staticmethod def forward(ctx, x, block_size=16): # 计算block scale orig_shape = x.shape x_reshaped = x.reshape(-1, block_size) max_val = x_reshaped.abs().max(dim=1, keepdim=True).values scale = max_val / 6.0 scale = torch.clamp(scale, min=1e-8) # 量化到E2M1的离散值 x_scaled = x_reshaped / scale x_quant = quantize_to_e2m1(x_scaled) x_dequant = x_quant * scale return x_dequant.reshape(orig_shape) @staticmethod def backward(ctx, grad_output): # STE: 梯度直接传回 return grad_output, None

这段代码是简化版，实际用的时候还要处理scale的存储格式、block边界的对齐等问题。但核心逻辑就是前向量化、反向直通。

3.3 蒸馏损失的设计与权重调节

蒸馏损失通常用KL散度，让学生模型的输出分布逼近教师模型。对于LLM，输出是词表上的logits，KL散度直接算就行。对于VLM，输出可能包含文本token和视觉token，需要分别处理，或者用加权的方式合并。我一般会给文本token更高的权重，因为视觉token的分布本身就更分散，蒸馏信号的信噪比低。

损失函数是任务loss和蒸馏loss的加权和。权重怎么设？我的经验是，蒸馏loss的权重从0.5开始，训练初期可以高一点，让模型先学会模仿教师；训练后期逐渐降到0.1左右，让任务loss主导，保证下游任务的性能。这个调度策略比固定权重效果好，尤其是当任务数据和蒸馏数据不完全一致的时候。

还有一个细节：温度系数。蒸馏时通常会把logits除以一个温度T，再算softmax。T越大，分布越平滑，暗知识越多，但太大会让分布接近均匀，失去区分度。NVFP4场景下我一般用T=2到4，比常规蒸馏略高，因为量化后的学生模型输出更尖锐，需要更平滑的教师信号来引导。

4. 实操中踩过的坑：从loss震荡到scale溢出

4.1 训练初期loss剧烈震荡

第一次跑QAD的时候，前几百步loss震荡得非常厉害，有时候甚至发散。排查下来有两个原因。一是STE的梯度没有做clamp，量化误差大的时候梯度爆炸；二是scale的计算每个batch都重算，导致量化路径的输入输出关系不稳定。解决办法是给梯度加一个范数裁剪，同时把scale改成滑动平均，动量设0.9左右。改完之后loss曲线就平滑多了。

4.2 scale溢出导致NaN

NVFP4的scale是FP8格式，虽然动态范围比E2M1大很多，但也不是无限的。如果某个block的max_val特别大，scale可能会溢出成inf，然后整个block的输出变成NaN。这种情况在训练中期偶尔会出现，尤其是当某个batch的数据分布特别极端的时候。我的处理方式是在scale计算后加一个clamp，上限设成FP8的最大值，同时监控每个block的max_val，如果连续多个step都接近上限，就说明这个block的激活分布有问题，可能需要调整模型结构或者数据采样策略。

4.3 教师和学生的数据不一致

有一次我用了一个在通用语料上训练的教师，学生是在领域数据上微调的，结果蒸馏loss一直降不下去，学生反而学了一些通用语料的模式，领域任务性能下降。后来换成同源的教师，问题就解决了。这个坑提醒我，教师模型的选择不能只看精度，还要看数据分布是否匹配。如果实在没有同源教师，可以考虑先用领域数据微调教师，再做蒸馏。

4.4 视觉token的量化噪声

VLM场景下，视觉token的激活分布比文本token更宽，量化噪声更大。我试过对视觉token和文本token用不同的block size，视觉token用32，文本token用16，效果比统一用16好一些。但这样会增加实现的复杂度，而且Blackwell的硬件对非16的block size支持可能不完善，需要实测确认。另一个思路是对视觉token的scale做更精细的校准，比如用百分位数而不是最大值来算scale，牺牲一点动态范围换取更小的量化噪声。

提示：视觉token的量化问题在VLM里非常普遍，如果你的任务对视觉理解要求高，建议单独对视觉侧做量化校准，不要和文本侧混在一起。

5. 精度恢复效果的评估：别只看 perplexity

5.1 评估指标的选取

很多人评估量化效果只看perplexity，但perplexity对4比特量化的敏感度其实不高，有时候perplexity只掉了0.5，下游任务准确率却掉了10个点。我一般会同时看三类指标：语言建模的perplexity、下游任务的准确率（比如MMLU、GSM8K）、以及生成质量的人工评估。对于VLM，还要加上视觉问答和图像描述的指标。

评估的时候要注意，量化后的模型对输入长度敏感。长序列下，激活的累积误差更大，掉点更明显。所以评估集要覆盖不同的序列长度，不能只用短序列。

5.2 和PTQ、QAT的对比

PTQ是最快的，但NVFP4下掉点最严重。QAT比PTQ好，但训练成本高，而且没有教师信号，在低比特下恢复能力有限。QAD在两者之间取得了平衡，训练成本比QAT略高（因为要多跑一个教师前向），但精度恢复明显更好。我实测过一个13B的模型，PTQ掉点15%，QAT恢复后掉点5%，QAD恢复后掉点2%左右。当然这个数字因模型而异，但趋势是稳定的。

5.3 实际部署中的精度监控

训练完之后，部署时还要持续监控精度。NVFP4的推理在不同硬件、不同batch size下可能有细微差别，尤其是当batch size变化导致激活分布变化时。我一般会在部署初期跑一个小的验证集，确认精度和训练时一致，然后再逐步放量。如果发现精度下降，优先检查scale的校准数据是否和实际推理数据分布一致。

6. 把QAD扩展到VLM和长上下文场景的几点思考

VLM的QAD比LLM复杂，因为视觉编码器和语言解码器的量化敏感度不同。视觉编码器通常对量化更敏感，因为它的激活分布更宽，而且视觉特征的空间相关性很强，量化噪声会破坏这种相关性。我的做法是对视觉编码器用更高的比特（比如8比特）或者更细的block size，语言解码器用NVFP4。这样整体压缩率还是很高，但视觉侧的精度损失可控。

长上下文场景下，KV cache的量化也是一个大问题。NVFP4的KV cache可以大幅降低显存占用，但长序列下KV cache的误差会累积。我试过对KV cache用NVFP4，短序列下几乎无损，但序列长度超过4K之后，生成质量明显下降。解决办法是对KV cache的scale做动态校准，或者对最近的token用更高精度，远处的token用NVFP4。这个策略在长上下文推理里效果不错，显存节省也很可观。

还有一个方向是把QAD和sparsity结合。NVFP4本身不涉及稀疏，但如果你在量化之外还想做结构化稀疏，蒸馏信号可以帮助模型在稀疏约束下保持精度。我试过2:4稀疏加NVFP4，QAD之后精度恢复比单独量化或单独稀疏都好，说明两种压缩方式的误差有互补性。

最后说一个我自己的体会：QAD不是万能的，它的效果高度依赖于教师模型的质量和蒸馏数据的匹配度。如果教师本身就不够好，或者蒸馏数据和目标任务差距太大，QAD可能还不如直接QAT。所以在动手之前，先花时间把教师模型和数据准备好，比急着调蒸馏loss的权重更重要。另外，NVFP4的硬件支持还在完善中，不同框架的实现细节可能有差异，建议先在目标硬件上跑通一个小的demo，确认量化路径和STE的行为符合预期，再上大规模训练。