企业官网建设流程全解析

简介：DeepSeek-V3技术报告PDF面向大模型研究者、算法工程师与AI技术爱好者，系统呈现671B参数MoE语言模型的架构设计与训练实践。内容围绕多头潜在注意力、DeepSeekMoE、无辅助损失负载均衡、多token预测、FP8混合精度训练及DualPipe计算通信重叠等关键设计展开，并给出148万亿token预训练、监督微调、强化学习与基准评测细节，便于读者理解其高效训练路径和性能表现。资源包内为1个PDF文件，大小5.44MB，结构完整，方便检索与批注阅读。已有157人学习，适合用于模型架构调研、论文精读、技术分享准备及后续复现思路梳理，也可作为对比开源与闭源模型评测结果的参考资料。

1. 671B 只激活 37B：MoE 的这笔账为什么能算得这么低

DeepSeek-V3 技术报告里有个数字很容易被忽略过去：671B 总参数，每个 token 只激活 37B，14.8T token 的预训练跑完耗 2.788M H800 GPU 小时，按 2 美元/卡时折算约 557.6 万美元。比成本更反直觉的是稳定性——整个训练过程没有出现不可恢复的 loss 峰值，也没有回滚。在千卡级 MoE 训练里，这两件事过去基本被当成运气。

这份报告值得逐节拆，是因为它把“省”拆到了具体机制上：MLA 决定推理时缓存什么，DeepSeekMoE 的偏置路由决定专家怎么分活，MTP 决定一个位置能拿到几份监督信号，DualPipe 和 FP8 决定通信与精度各值多少钱。搞懂这几处的取舍，比记住任何一个 benchmark 分数都有用。

2. 多头潜在注意力：KV Cache 里到底被压掉了什么

MLA 常被误读成“一种更省显存的多头注意力”，这个说法丢了重点。它真正改动的是解码阶段的数据结构：不再是每个头各存一份 K 和 V，而是让所有头共享一组低秩 latent，把“每头独立缓存”换成“全头共享缓存 + 一小段解耦键”。理解这一层，才能看懂后面的推理部署和显存账。

2.1 标准 MHA 的缓存为什么先撞墙

自回归解码每生成一个 token，都要把之前所有 token 的 K、V 从显存里读出来参与注意力计算；新 token 的 K、V 又要写回去。单层单个 token 的缓存量是 2·n_h·d_h 个元素，乘上层数、序列长度、batch，就是总占用。这个量随序列线性增长，而权重是固定的，所以长上下文场景里 KV Cache 会先于权重把显存吃干净。

更关键的是解码的计算强度。生成一个 token 时，矩阵乘法的算术强度极低，GPU 大部分时间在等显存带宽而不是在算。取一组常见的量级代入：n_h=128、d_h=128，每层每 token 就是 32768 个元素，bf16 下 64KB；32K 上下文、batch 32、几十层叠起来，缓存规模直接进入几十 GB 量级。此时瓶颈已经从“算不动”变成“读不完”。

提示：判断一个注意力变体是否真的省，不能看参数量，要看解码时“每 token 每层必须从显存读出的元素数”。

2.2 低秩联合压缩：K 和 V 共用一个 latent

MLA 的做法是先下投影、再上投影。给定第 t 个 token 的注意力输入 h_t，先用一个下投影矩阵压到低维 latent：c_t^KV = W^DKV · h_t，其中 c 的维度 d_c 远小于 n_h·d_h。然后 K 和 V 都从这个 latent 分别上投影出来，也就是 K 和 V 共享同一份压缩表示，这也是“联合压缩”四个字的来源。

import torch # 单层 MLA 的 KV 侧前向，d_c << n_h * d_h def mla_kv(h_t, W_dkv, W_uk, W_uv, W_kr, rope): # h_t: [d] 当前 token 的注意力输入 c_kv = W_dkv @ h_t # [d_c] 压缩 latent，这一项要进缓存 k_c = W_uk @ c_kv # [n_h * d_h] 内容键，可由 latent 现算 v = W_uv @ c_kv # [n_h * d_h] 值，可由 latent 现算 k_r = rope(W_kr @ h_t) # [d_h_r] 解耦的 RoPE 键，这一项也要进缓存 return c_kv, k_c, v, k_r # 缓存里只放这两样：c_kv 与 k_r cache.append((c_kv, k_r))

这里的关键不在公式本身，而在“谁必须被存下来”。k_c、v 都能由 c_kv 现场算出来，所以缓存只需要保留 c_kv；k_r 是另一条支路，必须单独存。缓存规模因此从 2·n_h·d_h 降到 d_c + d_h_r，压缩比就等于两者之比。报告把这一点表述为“仅在生成过程中需要缓存蓝框中的向量”，指的就是 c 和 k_r。

参数说明：W_dkv 负责下投影，维度是 d_c × d；W_uk、W_uv 负责上投影，维度是 n_h·d_h × d_c；W_kr 生成携带旋转位置编码的解耦键。d_c 的选择是纯粹的工程取舍——压得越狠缓存越小，但上投影要恢复的信息越多，表达能力越受限。报告没有给出具体数值，只强调 d_c ≪ n_h·d_h。

2.3 RoPE 解耦键：位置信息为什么不能跟着一起压

这里有个容易被跳过的问题：既然 K 能从 latent 现算，为什么不把位置编码也塞进同一个 c 里？答案藏在推理优化的一步“矩阵吸收”里。

训练时注意力打分是 q^T·k。如果把 k 展开成 W_uk·c，那么 q^T·W_uk·c 可以改写成 (W_uk^T·q)^T·c，也就是把上投影矩阵提前吸收到查询侧，解码时就不用显式展开每个头的 k，直接用 latent 参与计算。这一步是 MLA 在推理上真正省钱的地方。但 RoPE 是对每个位置施加一个与位置相关的旋转矩阵 R_p，形如 q^T·R_p^T·R_p·k。旋转矩阵依赖位置，无法在离线阶段合并进一个固定矩阵里；一旦把它也压进 latent，吸收就不成立，每个位置都得重新展开。

所以报告把键拆成两段：k = [k_c; k_r]，k_c 走低秩压缩承载内容，k_r = RoPE(W_kr·h_t) 单独承载位置。压缩和位置编码被物理切开，吸收优化才成立。查询侧的处理是不对称的——q_r = RoPE(W_qr·c_t^Q) 从压缩后的查询 latent 生成，而不像键那样从原始 h_t 生成。原因也简单：查询不进缓存，不需要为吸收优化让路，从 latent 生成还能省训练时的激活显存。

注意：把 RoPE 项也做低秩压缩，是 MLA 复现里最常见的错误方向，它会直接让“矩阵吸收”这一步失效，缓存省不下来。

2.4 推理时真正进缓存的是哪两个向量

结论可以写得很干脆：解码阶段每个 token 每层只缓存 c_t^KV 和 k_t^R。前者维度 d_c，后者维度 d_h_r，都远小于标准 MHA 的 2·n_h·d_h。k_c 和 v 在上投影时现场还原，查询侧的低秩压缩只服务于训练阶段的激活内存，与推理缓存无关。

这解释了报告为什么把 MLA 和 DeepSeekMoE 一起列为“已在 V2 验证过的高效推理与经济训练组合”：MLA 管的是推理侧的显存和带宽，MoE 管的是训练和推理侧的计算量，两者优化的不是同一个资源，叠起来才把 671B 的模型压进可部署的形态。

3. DeepSeekMoE 与无辅助损失负载均衡：路由为什么不该被损失函数绑架

MoE 的老问题是“专家吃不饱或撑死”。传统解法是往损失函数里加一项辅助损失，逼路由器把 token 分均匀；但这一项会和语言建模目标抢梯度，加得越重越均衡，模型效果越差。DeepSeek-V3 的做法是把平衡这件事从梯度里拿出来，改成训练过程中对偏置项的动态调整，这是整份报告里设计感最强的一处。

3.1 细粒度专家与共享专家：参数账和计算账分开算

DeepSeekMoE 的前馈输出写成三部分之和：共享专家的输出、被选中的路由专家输出的加权和，再加上残差。公式形态是 h = u + Σ FFN_i^(s)(u) + Σ g_j·FFN_j^(r)(u)。共享专家对所有 token 都生效，路由专家按门控值选择性激活。

这个结构的意义在于把两笔账拆开了。总参数量由专家总数决定，可以做到很大；单 token 的计算量由激活的专家数 K 决定，可以做到很小。671B 与 37B 的差距就是这么来的。共享专家的作用更微妙：它承担通用知识，让路由专家可以专心做特化，从而缓解“每个专家都得学一遍常识”的浪费。

门控值的算法在 V3 里也改了：亲和力分数用 sigmoid 而不是 softmax，然后在所有被选中的分数之间做归一化，得到最终门控值 g_j。用 sigmoid 的好处是每个 token 对各专家的打分相互独立，不会因为某个专家分数高就强制压低其他专家，配合后面的偏置机制更自然。

3.2 辅助损失的两难：平衡性和语言建模在抢梯度

辅助损失的经典形式是“专家被分配的 token 比例”乘以“专家平均门控值”，再对专家求和。它逼着路由分散，但副作用明确：模型为了降低辅助损失，会把 token 分给本不该去的专家，主任务的梯度被污染。辅助损失系数越大，负载越均衡，验证集困惑度越差。

报告在讨论章节专门做了消融，结论是辅助损失自由（auxiliary-loss-free）的模型在多数基准上更好。这个结论和直觉一致：负载均衡本质是一个资源调度问题，不该由学习目标来承担。把它塞进损失函数，等于让模型在“学好语言”和“分好活”之间做权衡，而这个权衡本来是可以避免的。

3.3 偏置项：把平衡这件事从梯度里拿出来

具体机制是给每个路由专家配一个偏置 b_j，只在选 TopK 时加到亲和力分数上：用 s_j + b_j 排序选出 K 个专家，但最终门控值仍然来自原始 s_j 的归一化。这个“选择用带偏置的分，计算用不带偏置的分”的切分是整个设计的关键——偏置只影响路由决策，不参与梯度，也不改变专家输出的权重。

# 每个训练 step 结束后，按整个 batch 的专家负载调整偏置 # gamma 是偏置更新速度，load_j 是该专家在本 step 分到的 token 占比 target = 1.0 / num_routed_experts for j in range(num_routed_experts): if load_j[j] > target * (1 + tol): bias[j] -= gamma # 过载：压低亲和力，下个 step 少分一点 elif load_j[j] < target * (1 - tol): bias[j] += gamma # 欠载：抬高亲和力，下个 step 多分一点

这段逻辑不在反向图里，是纯粹的反馈控制：观测偏差、调整参数、下个 step 生效。它不影响主损失，因此不存在“平衡性与效果”的权衡；调整速度 γ 控制收敛快慢，γ 太大路由会来回震荡，太小则跟不上负载变化。报告把它称为偏置更新速度，并在消融里说明这种动态调整能在保持负载平衡的同时取得比纯辅助损失更好的效果。

注意一点：偏置是逐专家的标量，不是逐 token 的。它调节的是专家整体的“吸引力”，而不是针对某个 token 做特殊处理。这个粒度选择决定了它不会破坏路由的语义相关性——语义匹配仍由 s_j 决定，偏置只做全局微调。

3.4 序列级损失与节点限制路由：兜底和物理约束

偏置机制管的是整个 batch 维度的平衡，管不了单个序列内部。极端情况下，一条序列的 token 可能全挤到少数几个专家上，训练时看不出问题，推理时那几个专家所在的设备会成为热点。所以报告保留了一个互补的序列级平衡损失，系数 α 取得极小，只做兜底。

另一层约束来自物理拓扑。MoE 的专家并行意味着 token 要跨节点传输，传输量和“一个 token 被发到多少个节点”直接相关。报告用的是节点限制路由：先按节点汇总专家亲和力，选出亲和力之和最高的 M 个节点，保证每个 token 最多只发往 M 个节点，再在这些节点内部选专家。这个上限把通信量钉死了，也是后面 DualPipe 能做到计算通信重叠的前提。

还有一条容易被忽略：V3 在整个训练过程中不丢弃任何 token。传统 MoE 在专家过载时会丢 token 或跳过计算，这会带来训练与推理的不一致。负载均衡做到位之后，这个保护机制就不需要了，报告明确说训练和推理阶段都不丢 token。

4. 训练效率的三处杠杆：MTP、DualPipe 与 FP8 分别在哪一层省钱

架构决定了“要算多少”，框架决定了“算得多快”，精度决定了“每次算多贵”。这三层在报告里是分开写的，但实际是耦合的：MTP 改变了流水线的形状，DualPipe 的重叠能力决定了跨节点专家并行能不能开大，FP8 能不能用又取决于通信和累加的精度安排。分开看容易只见树木。

4.1 MTP：把训练信号加密，顺便提供一个推测解码器

多 token 预测的目标是让每个位置不只预测下一个 token，还预测再往后的若干 token。报告的实现不是并行地开 D 个独立输出头，而是串行地叠 D 个模块，每个模块预测一个额外深度，并且保持完整的因果链。

第 k 个 MTP 模块的输入由两部分拼成：第 k−1 个深度上第 i 个位置的表示，以及第 i+k 个 token 的嵌入，两者各自做 RMSNorm 后拼接，再过线性投影 M_k 降回隐藏维度，送入该层的 Transformer 块。输出表示接共享输出头，得到对第 i+k+1 个 token 的预测分布。嵌入层和输出头都与主模型共享，这一点对显存影响很大。

# 第 k 个 MTP 模块：串行预测第 k 个额外 token def mtp_step(h_prev, emb_next, M_k, trm_k, out_head): # h_prev: 上一深度的隐藏表示；emb_next: 未来第 k 个 token 的嵌入 x = M_k(torch.cat([rmsnorm(h_prev), rmsnorm(emb_next)], dim=-1)) h_k = trm_k(x) # 本深度的表示 logits = out_head(h_k) # 共享输出头，与主模型同一份参数 return h_k, logits # 总损失：各深度交叉熵取平均后乘系数 lambda loss = main_ce + lam * sum(mtp_ce[k] for k in range(D)) / D

损失是每个深度各算一次交叉熵，再取平均乘权重 λ。推理时这些 MTP 模块可以直接丢掉，主模型独立运行；也可以留下来做推测解码，用额外深度的预测去猜后续 token，再由主模型验证，从而降低生成延迟。一份训练目标，两种用途。

为什么多预测一步能改善当前这一步？报告给的解释是训练信号被稠密化，同时模型被迫提前规划表示。用更直白的话说：只预测下一个 token 时，模型可以靠局部模式蒙混过关；要求它同时预测后面几步，表示里就必须编码更长程的依赖。消融结果显示 MTP 在多数基准上带来增益，这也是它值得单独占一节的原因。

4.2 DualPipe：气泡怎么被压到 PP/2−1 的量级

V3 的并行配置是 16 路流水并行、64 路专家并行、跨 8 个节点，外加 ZeRO-1 数据并行。跨节点专家并行带来的通信开销让计算与通信的比值接近 1:1，这意味着如果通信不能被隐藏，一半时间在等网络。

DualPipe 的思路是把每个块拆成四段：注意力、all-to-all 分发、MLP、all-to-all 合并；反向块再把注意力和 MLP 各自拆成“对输入求导”和“对权重求导”两段，另外还有流水通信段。拆细之后，前向的计算段和反向的通信段可以手工配比重叠，前向的分发和反向的合并也能对上。调度上从流水线两端同时灌入微批次，双向推进。

表里 F 是前向块耗时，B 是完整反向块耗时，W 是反向权重段耗时，F&B 是两个互相重叠的前向反向块的耗时。气泡项从 PP−1 降到 PP/2−1，代价是激活内存变成约两倍，还需要保留两份模型参数副本。报告对此的判断是：专家并行开得足够大时，参数副本分摊到每张卡上的增量不显著，而气泡减少带来的收益是确定的。这个取舍在别处未必成立，在 64 路专家并行的规模下成立。

4.3 20 个 SM 的通信预算

跨节点 all-to-all 的内核是定制的，并且和门控算法、网络拓扑一起设计。集群里节点内走 NVLink，带宽约 160GB/s；节点间走 IB，约 50GB/s，比值约 3.2 倍。这个 3.2 不是巧合，它直接决定了路由的物理约束：每个 token 最多发往 4 个节点，先通过 IB 送到目标节点上相同编号的 GPU，到达后立刻用 NVLink 转发到真正持有目标专家的 GPU，不等后续 token。

这样 IB 和 NVLink 的传输完全重叠，每个 token 在每个节点上平均能选到约 3.2 个专家，等于实际可选的专家数从 8 个扩展到最多 13 个（4 节点 × 3.2），而通信成本不变。整个通信过程只用 20 个 SM，分成 10 个通信通道，发送、转发、接收各由专门的 warp 处理，warp 数量按实际负载动态调整。为进一步降低对计算核的干扰，还用了定制 PTX 指令并自动调优通信块大小，减少 L2 缓存占用。

这条设计的启示是：通信优化的上限不由带宽决定，而由“路由决策能否被约束成拓扑友好的形状”决定。先限制发往几个节点，再谈重叠，顺序不能反。

4.4 FP8 混合精度：量化粒度决定了误差能不能被吸收

FP8 训练的难点不在表示范围，而在误差累积。报告的做法是分粒度的块状量化：权重按 1×128 的 tile 量化，激活按 128×128 的块量化，两者都用高精度累加。粒度选择的逻辑是——权重的数值分布沿输出通道变化剧烈，细粒度 tile 能把异常值隔离在小范围内；激活的分布相对平滑，块状量化足够，且更适合硬件的高效实现。

累加环节不能省。FP8 乘法进入 Tensor Core 后，部分和要提升到高精度再累加，否则几千次累加下来误差会指数放大。报告在附录里给了 FP8 与 BF16 的对比消融，结论是在这个框架下 FP8 的损失曲线与 BF16 基本贴合。

省下来的不只是算力。报告还做了低精度存储和通信：MoE 专家参数以 FP8 驻留，all-to-all 传输的 token 表示也压到 FP8 再发。这一条对跨节点专家并行意义重大，因为分发和合并的通信量本身就和隐藏维度成正比，砍一半精度等于砍一半带宽需求。这也是“算法、框架、硬件协同设计”这个说法的具体所指——路由限制节点数、内核只占 20 个 SM、传输压到 FP8，三件事是配套的。

5. 避坑：复现这套架构时最容易翻车的五个地方

报告写的是结论，踩坑记录往往藏在结论的反面。下面几条是按机制推演出来的高频失败模式，每条都给出可直接对照的排查方向。

5.1 缓存没降下来：RoPE 项被一起压了

现象是推理显存占用和标准 MHA 差不多，MLA 的压缩比完全没体现。原因是把 k_r 也做成了低秩投影，或者干脆把位置编码并进 c_kv 一起压。前者破坏了“矩阵吸收”的前提，解码时仍需按位置展开完整键；后者更严重，压缩后的维度与旋转矩阵的配对关系对不上，位置信息直接失效。

解决方向是把键明确拆成两段：内容段走 latent，位置段保留原始头维度并单独缓存。检查方法是看缓存张量的形状——如果只有一份 latent 而没有独立的 k_r，基本可以确定压错了。

5.2 负载看着平衡但 loss 抖：偏置用错了地方

现象是专家负载统计很均匀，但训练损失周期性抖动，验证集指标上不去。原因通常是门控值也用了带偏置的分数，也就是把 s_j + b_j 归一化后当成 g_j。这等于让偏置参与了前向计算，破坏了“只调路由不改权重”的设计，偏置更新越频繁抖动越明显。

另一种可能是 γ 设得过大，路由在两个专家组之间来回跳。解决方向是恢复“选择用 s+b、门控用 s”的切分，并把 γ 降到能在一个观测窗口内平滑收敛的量级。判断标准是看单个 step 内的专家负载变化幅度，如果相邻 step 之间某个专家的占比反复跨越目标值，就是 γ 太大。

5.3 MTP 一加显存就爆：嵌入和输出头没共享

现象是加 MTP 模块后显存涨得远超预期，D 个模块各自带一份嵌入表和输出头。嵌入表和输出头的参数量与词表大小成正比，D 份副本在小词表上不明显，在大词表上是灾难。

解决方向是严格按照报告的做法，所有 MTP 模块与主模型共享同一份嵌入层和输出头，只有 Transformer 块和投影矩阵 M_k 是模块私有的。还有一步容易漏：把最浅层（含嵌入）和最深层（含输出头）放在同一个流水并行 rank 上，这样参数和梯度才能物理共享而不是逻辑共享。

5.4 DualPipe 开了就 OOM：没算清参数副本的账

现象是切到 DualPipe 调度后激活内存和参数内存双双上涨，直接 OOM。原因是这个调度要求正反两个方向同时推进，需要保留两份模型参数副本，激活峰值也涨到约 2×PP+1。

解决方向是先把专家并行开大，让每张卡分摊到的参数副本足够小，再启用调度；同时确认流水阶段数和微批次数能被 2 整除，这是该调度的硬性前提，不满足时会退化成低效调度而不是报错。如果显存仍然紧张，优先检查是否开了张量并行——报告明确说这套内存优化是在不用张量并行的前提下做到能训的。

5.5 FP8 训练几万步后突然发散：累加精度被省了

现象是前几万步损失曲线和 BF16 几乎重合，之后突然出现不可恢复的抬升。原因多半是累加环节用了低精度，或者量化粒度退化成逐张量量化。前者让部分和误差随累加次数放大，后者让异常值污染整个张量的缩放因子。

解决方向是保持分粒度量化：权重按 1×128 的 tile、激活按 128×128 的块，缩放因子在线计算而不是全局估计；乘法后的部分和必须提升到高精度再累加。排查时可以先只对通信和存储用 FP8、计算保持 BF16，逐步放开，定位到底是哪一环引入的误差。

6. 设计取舍：为什么算法、框架、硬件必须一起设计

把这几处设计放在一起看，会发现它们不是独立优化项的叠加，而是互相做了抵押。

MLA 用低秩 latent 换缓存，代价是表达能力受 d_c 限制，还要额外维护一段解耦键，推理实现复杂度上升。无辅助损失负载均衡把平衡从梯度里拿出去，代价是引入了需要调参的反馈回路，γ 选错就震荡；换来的是主损失不被污染。DualPipe 把气泡压到 PP/2−1，代价是两份参数副本和约两倍的激活峰值，只有专家并行开到足够大时这笔账才划算。FP8 把计算和通信都压到一半，代价是量化粒度、累加精度、在线缩放每一个环节都不能省。

报告里有几个数字能说明这套协同的上限：预训练每万亿 token 只需 180K H800 GPU 小时，在 2048 卡集群上约 3.7 天；预训练加长上下文扩展加后训练合计 2.788M GPU 小时。如果只看其中任何一项优化，都解释不了这个量级——单项优化最多省 20% 到 30%，叠加之后才出现数量级的变化。

验证这套设计是否真的自洽，有个简单的检验方法：把任何一个模块单独拿掉，看其他模块是否还成立。拿掉偏置路由，节点限制路由就失去意义，因为负载不均时限制节点数会加剧热点；拿掉 FP8 通信，跨节点专家并行的带宽需求翻倍，DualPipe 的重叠预算就不够了；拿掉 MTP 的共享输出头，最浅最深层同 rank 部署的显存收益消失。它们是一个咬合的结构，不是一张可以逐项勾选的清单。

我第一次照着这类报告改训练框架时，习惯性地把优化项按“预期收益”排序，从收益最大的开始做，结果做到第三项就卡住了——前两项的显存预算已经把空间吃满，第三项根本放不进去。从那以后我每次动这类结构，都先把“每项优化的资源抵押”列成一张表，确认新增的显存、带宽、参数量从哪儿出，再决定顺序。希望帮到你。

本文还有配套的精品资源，点击获取