企业官网建设流程全解析

Mixture-of-Experts（MoE）这几年从学术名词变成了大模型的主力架构，但对抗鲁棒性这个维度，MoE 的短板比普通稠密模型更明显。路由器是一个离散选择结构，输入只要被加上很小范围的扰动，Top-K 专家名单就可能整体换掉，模型输出行为随之漂移。Robust CurveMoE 这篇工作，就是把多范数对抗防御（Multi-Norm Adversarial Defense）和模式连通性（Mode Connectivity）两套思路合成到 MoE 的训练管线里，目标是在参数空间中找一条低损失的曲线通路，并沿着这条通路做对抗训练，让模型在多种攻击范数下都不容易崩塌。

先说结论：这是一个研究型方法，不是开箱即用的防御工具。它没有一键启动包，也没有现成权重可以直接下载。它给出的是一套训练策略。如果你正在训练 MoE 分类模型、做对抗鲁棒性评估，或者想给自己部署的 MoE 服务增加输入扰动防御，这条路线值得仔细研究；如果只是想找个现成脚本做后处理过滤，那要先等作者开源，或者自己按本文思路复现。

这篇文章会做三件事：第一，拆解 CurveMoE 的动机和原理，包括多范数防御、模式连通曲线，以及它们和 MoE 路由器怎么结合；第二，给出一套最小可复现的训练与评估流程，包括二次 Bezier 曲线参数化、多范数 PGD 攻击、鲁棒性指标和路由稳定性指标；第三，整理复现这类鲁棒训练算法最常踩的坑，包括显存、路由震荡、评估口径不一致等问题。

适合读者：正在做模型鲁棒性、对抗样本、MoE 架构研究的同学，以及在生产环境部署 MoE 模型、担心输入扰动影响路由决策的工程师。阅读前最好对 PyTorch 训练循环和 PGD 攻击的基本原理有概念。

1. 核心能力与方法定位速览

这张表能回答大部分人的第一轮疑问：它能干什么，门槛多高。注意显存和框架这两行，我没有写死版本，因为 CurveMoE 目前没有公开的标准实现，作者开源后要以实际仓库为准。

从方法定位看，Robust CurveMoE 属于对抗训练（Adversarial Training）的扩展。它不是在推理时加防御，而是在训练或微调阶段介入。多范数处理的是防御覆盖面：标准 PGD 对抗训练通常只在 L∞ 约束下做，换成 L2 或 L1 攻击时鲁棒性掉得很快。CurveMoE 的思路是同时用多个范数的对抗样本做训练，让模型在多个攻击口径下都保持稳定。

模式连通性处理的是训练质量：多个独立训练收敛到不同极小值后，参数空间里存在低损失通路。把训练过程放到曲线上，模型更容易落在平坦区域，而不是尖锐最小值。对 MoE 来说，这一点尤其重要，因为路由器的选择是离散的，损失曲面一旦尖锐，路由决策就会对扰动非常敏感。

2. 要解决的问题：MoE 的对抗脆弱性与单范数防御瓶颈

2.1 MoE 路由器本身是攻击面

先说明 MoE 为什么脆弱。MoE 网络由共享底座、一组专家网络和一个路由网络组成。每个 token 或样本经过路由器，计算一组专家得分，然后选出 Top-K 个专家真正参与计算。问题在于，Top-K 是一个离散的 argmax 操作。攻击者只要在输入上加很小扰动，让路由器的得分排序发生翻转，专家选择就会整体变化。专家通常在不同领域上各有专长，一旦路由错位，模型输出的质量就会明显下滑。

更麻烦的是，路由器的参数量在 MoE 整体里占比很小，这意味着攻击者不需要扰动太多参数就能改变模型行为。从防御角度看，单纯把模型权重做大规模扰动训练，未必能保护到路由决策这个关键薄弱点。CurveMoE 这类方法如果只是在损失函数里加对抗样本还不够，还需要针对路由稳定性做显式约束，或者通过曲线训练让路由器的损失曲面变得平滑。

2.2 单范数对抗训练覆盖不足

第二个要解决的问题，是单范数对抗训练的覆盖瓶颈。标准对抗训练的目标函数来自 Madry 等人的 min-max 公式，本质是在一个固定扰动弹（通常是 L∞ 球）内做最坏情况训练。这种训练有一个典型毛病：模型学会了抵抗 L∞ 攻击，但在 L2、L0 或结构化扰动下表现并不好。防御的范数和实际遇到的攻击范数不一致时，鲁棒性会出现断崖式下降。CurveMoE 的 Multi-Norm 部分，就是把单一约束扩展成多个范数约束，训练 batch 里同时混入不同范数的对抗样本。

2.3 对抗训练的不稳定需要平滑化

第三个问题是对抗训练本身的不稳定性。对抗样本比普通样本难学习，训练出来的模型经常落在损失曲面的尖锐区域，自然准确率和鲁棒准确率之间的 trade-off 很明显。与此同时，模式连通性研究很早就发现：独立训练出来的多个模型极小值，并不是被高损失障碍隔开的孤岛，而是可以通过一条低损失曲线连接起来。把对抗训练放到这样一条曲线上进行，能让模型权重处于更平滑的区域，这正好可以缓解 MoE 路由器因离散决策而产生的脆弱性。

3. Robust CurveMoE 方法拆解

下面按三个模块拆解。需要先说明：目前能确认的是论文标题，完整方法细节要以作者的论文和源码为准。这里给出的是基于公开研究脉络的合理推断，术语和结构可能与最终实现有出入。

3.1 多范数对抗防御

多范数防御的做法可以拆成三层。第一层是威胁模型，把攻击约束从单一 L∞ 扩展到 L∞、L2、L1 等。不同范数对应不同现实场景：L∞ 适合逐像素小扰动，L2 适合整体轻微形变，L1/L0 适合稀疏修改。

第二层是对抗样本生成。传统做法是 PGD，对每个范数分别跑有限步迭代，得到该范数下的最坏样本。为了避免多个范数的对抗样本在训练时互相干扰，通常会为每个范数维护独立的扰动弹，并在同一个 batch 里拼接。

第三层是训练损失。除了交叉熵，还可以用 TRADES 这种带正则项的损失：自然损失加鲁棒正则项，控制自然准确率和鲁棒准确率的平衡。在多范数场景下，需要对不同范数设置权重，因为范数约束空间大小不同，攻击强度不能直接比较。

3.2 模式连通性

模式连通性最早的核心观察来自 2018 年前后的经典工作：两个独立训练收敛的模型，用线性插值来看，中间点的损失很高，像一道屏障；但用非线性参数化路径，比如二次 Bezier 曲线，就可以找到一条低损失的连续通路。二次 Bezier 曲线可以写成：

θ(t) = (1−t)²·θ₁ + 2t(1−t)·θ_mid + t²·θ₂

其中 θ₁ 和 θ₂ 是两个端点模式，θ_mid 是中间控制点。当 t 从 0 滑到 1，模型权重就从模式 1 连续过渡到模式 2。训练时在曲线上离散采样若干个 t，把对应权重加载进模型，计算损失并回传，控制点的梯度会被正常更新。

曲线训练的核心收益是：模型不再局限于一个孤立的最优点，而是在整条低损失曲线上都能保持稳定。这个性质对鲁棒性极其关键，因为对抗训练容易把模型推向尖锐区域，曲线正则化能把参数拉回连续的低损失通道。

3.3 模式连通曲线与 MoE 的结合

对 MoE 来说，模式的定义可以有很多层：可以是不同随机种子训练出的完整 MoE 模型；可以是自然训练得到的模型和对抗训练得到的模型；也可以细化到只对路由器参数做曲线连接，因为路由决策才是最脆弱的点。

CurveMoE 的组合逻辑，按标题理解应该是：先用多范数对抗训练得到鲁棒模式，再在多个模式之间建立低损失曲线，然后在曲线通路上做对抗训练或直接做曲线集成。这样模型参数会落在多个范数都稳定的连续区域，路由器也避免了跳到孤立尖峰。

实现时最常见的做法是把整条曲线网络封装成一个可插拔模块：对外接受 θ₁、θ_mid、θ₂ 和 t，对内共享大部分 MoE 结构。这个模块可以接在特征提取器之后，也可以单独包裹路由器。梯度流过曲线参数时，会同时更新共享底座、专家和路由器，以及曲线控制点。

4. 适用场景与使用边界

适合的人群分三类。第一类是做对抗鲁棒性研究的人，CurveMoE 提供了一个把模式连通性和多范数防御结合进 MoE 的新组合，可以作为论文对照实验中的训练策略。第二类是 MoE 架构开发者，希望评估自己的模型在不同范数攻击下的稳定性，特别是路由器的决策稳定性。第三类是工程师，部署了 MoE 模型对外提供服务，输入可能被恶意扰动，需要在训练或微调阶段加防御。

不适合的场景也要明确。一是纯推理阶段项目，因为防御必须重训或微调，不能现成套用；二是小规模场景，模型本身只有几个专家的轻量 MoE，单范数防御也许已经够用，引入曲线会显著增加训练成本；三是延迟敏感的在线服务，对抗训练和曲线集成都会带来额外推理开销，需要提前做性能预算。

使用边界方面要强调合规。对抗鲁棒性研究属于防御性质，但攻击代码和对抗样本生成工具不能滥用。对第三方服务做攻击测试必须获得授权，人脸、声音、版权素材等数据用于训练必须确认来源与授权。发布对抗样本库或攻击工具前，要考虑被滥用的风险。

5. 复现环境与实验数据准备

数据方面建议先用小规模：CIFAR-10 加上一个小型 MoE 分类器，先验证方法和调参。曲线训练涉及多个模型副本驻留显存，比普通对抗训练更容易 OOM。小数据先跑通流程，再迁移到大模型。

模型选择上，如果没有自研 MoE 结构，可以先用公开的小型 MoE 主干做替换测试，把标准训练、单范数对抗训练、CurveMoE 三种策略放在同一模型上对比。这样才能区分改进来自模型结构还是训练方法。

6. 核心算法实现：曲线参数化与多范数对抗训练

下面的代码是通用模板，用于理解算法结构，不代表 CurveMoE 论文的官方实现。使用时要按论文的具体设计调整。

6.1 二次 Bezier 曲线参数化

import torch def quadratic_bezier(theta1, theta_mid, theta2, t): """ 二次 Bezier 曲线参数化，t 取值 [0, 1]。 theta1 / theta_mid / theta2 均为模型的 state_dict。 """ curve = {} for key in theta1.keys(): a = (1 - t) ** 2 b = 2 * t * (1 - t) c = t ** 2 curve[key] = a * theta1[key] + b * theta_mid[key] + c * theta2[key] return curve

这里要求三个 state_dict 的键完全一致。曲线端点建议提前存成独立副本，训练主模型时不要让优化器直接改动它们。曲线采样一般用固定网格或随机采样，网格密度和采样分布都会影响训练稳定性。

6.2 多范数 PGD 攻击生成

import torch import torch.nn as nn def pgd_attack(model, x, y, eps, alpha, steps, norm="linf", random_start=True): """ 多范数 PGD 攻击通用模板，输入 x 归一化到 [0, 1]。 norm 支持 linf / l2。 """ delta = torch.zeros_like(x, requires_grad=True) def norm_dim(v): return v.view(v.size(0), -1).norm(dim=1, keepdim=True).clamp(min=1e-8) if random_start: if norm == "linf": delta.data.uniform_(-eps, eps) elif norm == "l2": delta.data.normal_() delta.data = delta.data / norm_dim(delta.data) * eps for _ in range(steps): logits = model(x + delta) loss = nn.CrossEntropyLoss()(logits, y) grad = torch.autograd.grad(loss, delta)[0] if norm == "linf": delta.data = (delta.data + alpha * grad.sign()).clamp(-eps, eps) elif norm == "l2": delta.data = delta.data + alpha * grad / norm_dim(grad) delta.data = delta.data * eps / norm_dim(delta.data) delta.data = (x + delta.data).clamp(0, 1) - x delta = delta.detach().requires_grad_(True) return (x + delta.detach()).clamp(0, 1)

多范数攻击的关键是每个范数使用对应的投影操作。L∞ 用 clamp 投影，L2 用归一化缩放投影。实际操作中，如果模型自带 normalize 层，要确认攻击是在归一化之后的张量上做，否则扰动预算和目标不一致。

6.3 多范数对抗训练主循环

# 伪代码：多范数对抗训练 + 曲线采样 # theta1 / theta2 为自然模式、鲁棒模式，theta_mid 为控制点 for epoch in range(epochs): for x, y in loader: # 1) 生成多范数对抗样本 adv_linf = pgd_attack(model, x, y, eps=8 / 255, alpha=2 / 255, steps=10, norm="linf") adv_l2 = pgd_attack(model, x, y, eps=0.5, alpha=0.1, steps=10, norm="l2") # 2) 合并多范数对抗样本 x_adv = torch.cat([x, adv_linf, adv_l2], dim=0) y_dup = torch.cat([y, y, y], dim=0) # 3) 在曲线上随机采样 t t = torch.rand(1).item() t = min(max(t, 0.05), 0.95) # 4) 加载曲线参数 curve_params = quadratic_bezier(theta1, theta_mid, theta2, t) model.load_state_dict(curve_params) # 5) 计算损失并更新 logits = model(x_adv) loss = nn.CrossEntropyLoss()(logits, y_dup) optimizer.zero_grad() loss.backward() optimizer.step()

如果曲线控制点 θ_mid 是可学习参数，反向传播时要注意：梯度只会经过当前采样到的 t 对应的曲线参数流回控制点。为了训练稳定，一般会把 t 限制在 [0.05, 0.95]，避免采样到端点附近造成优化器震荡。

6.4 路由器稳定性指标

路由稳定性是 MoE 特有的评估维度。普通模型只需要看最终准确率，MoE 还要看路由器在对抗输入下是否发生专家切换。

def routing_stability_overlap(clean_feats, adv_feats, router, top_k=2): """ 统计干净输入与对抗输入下 Top-K 专家选择的一致性。 数值越高，说明攻击对路由决策的影响越小。 """ with torch.no_grad(): r_clean = router(clean_feats).topk(top_k, dim=-1).indices r_adv = router(adv_feats).topk(top_k, dim=-1).indices overlap = (r_clean == r_adv).float().mean().item() return overlap

训练过程中可以周期性记录这个指标，观察它是否随训练稳步上升。如果重叠率长期很低，说明防御对路由决策没有起到保护作用，需要额外加路由一致性正则。

7. 效果验证与鲁棒性评估

验证一个防御算法，最怕只报一个自选的攻击配置。建议至少覆盖三组口径。

第一组是自然准确率：干净输入下的 Top-1 准确率，防止防御把模型变成只会拒绝输入的废模型。第二组是固定预算的鲁棒准确率：比如 L∞ 半径 8/255、L2 半径 0.5，分别用 PGD 和 AutoAttack 评测。第三组是攻击强度扫描：让扰动半径从 0 逐渐增大，画出准确率随半径变化的曲线。曲线下面积比单点数字更能反映鲁棒性水平。

评测要用标准工具，比如 AutoAttack，避免手工实现的攻击步数太短导致鲁棒性虚高。手工 PGD 步数不足时会高估防御效果，对外报告时会造成误导。

对照实验模板如下，数字需要跑出来再填：

关键看最后一行的 Robust CurveMoE 是否在 L∞ 和 L2 两个口径上都比单范数基线更高，同时自然准确率没有明显下降。另外记录路由重叠率、训练 epoch 数、每轮训练时间，这些数据能帮助判断训练策略的成本收益。

8. 资源占用与训练性能观察

复现这类方法要提前算显存账。曲线训练和普通对抗训练相比，至少多出三笔开销。

第一笔是攻击 batch。多范数攻击生成时，每个范数都要跑一次 PGD，相当于把训练 batch 放大到原来的 2 到 3 倍。第二笔是曲线端点。如果保持 θ₁、θ_mid、θ₂ 三个完整模型副本在显存里，参数占用直接乘以 3。第三笔是对抗样本的反向传播图比普通样本更深，激活值缓存占用更大。

观察方法：训练时用 nvidia-smi 盯显存，或用 PyTorch Profiler 看每个模块的显存峰值。如果 OOM，优先做四件事：缩小 batch 并开启梯度累积、打开 gradient checkpointing、开启混合精度（bf16/fp16）、把曲线端点放到 CPU 内存，需要时再加载到 GPU。

与标准训练相比，每轮训练时间会明显拉长，因为 PGD 内循环相当于把前向和后向各多跑了 steps 次。多范数会进一步放大这个成本。建议前几个 epoch 用较少攻击步数，比如 5 步，验证流程通了再加大到 10 步或 20 步。

多卡训练还要注意同步问题：曲线端点的更新如果不做同步，不同 GPU 上加载的权重会不一致，训练会不稳定。使用 DDP 或 FSDP 时，要把曲线端点复制到所有 rank，或者统一由主 rank 保存后广播。

9. 常见问题排查与最佳实践

最佳实践可以总结为五条。第一，先小后大。CIFAR 级数据集加小型 MoE，先把流程跑通，再迁移到 ImageNet 和多卡。第二，配置可复现。随机种子、数据顺序、攻击预算、t 采样方式全部记录，否则消融实验没法解释。第三，Checkpoint 分开放。自然模式、鲁棒模式、曲线控制点分别保存，便于随时拆开做消融分析。第四，评测用标准库。AutoAttack 和 robustbench 是目前公认的评测基线，避免自评虚高。第五，合规先行。使用人脸、声音、版权素材必须确认授权，对线上服务做攻击测试必须获得许可。

10. 总结与下一步

Robust CurveMoE 值得关注的不是某个具体网络结构，而是把两个成熟概念组合进 MoE 训练管线的思路。多范数对抗训练处理防御覆盖面，模式连通性处理训练稳定性和泛化性，两者在路由器这个薄弱点上合流，理论上能让 MoE 在多种攻击类型下都更稳定。

第一步应该做的是最小复现：一个小型 MoE + CIFAR 级数据集 + 双范数 PGD，验证曲线训练能否在不明显损失自然准确率的前提下，同时压低 L∞ 和 L2 攻击下的鲁棒性。最容易踩的三个坑分别是：曲线端点把显存成本放大到接近三倍；多范数 batch 比例失衡导致只提升单一范数；路由器在对抗输入下的离散跳变缺少评估指标。这三个问题在本文第六节和第九节都给了观察方法和对应解法。

后续扩展方向也比较明确：把曲线端点从完整模型换成 LoRA 增量，可以在单卡上做高效鲁棒微调；把多范数攻击从图像扰动迁移到文本对抗，能覆盖 NLP 场景下的 MoE；把曲线通路上的多个采样点做集成推理，再配合防御训练，就是一条更完整的鲁棒部署链路。建议先收藏这篇文章，等论文代码开源后，直接按第六节的最小模板跑通流程，再做横向对比。