企业官网建设流程全解析

论文阅读：攻击成功率的比较，必须建立在有效测量之上

如果你做过对抗攻击方向的实验，一定遇到过这种尴尬：同一篇论文里，方法A的Attack Success Rate（ASR）比方法B高2个点，结论写着“我们的方法更有效”。但等你拿源码在自己的机器上跑一遍，把扰动预算调成相同、把迭代次数设成相同、把评估数据集的归一化方式对齐，两个方法之间的差距要么缩小到统计噪声以内，要么干脆翻转了。

这不是个别现象。攻击成功率的“比较”这件事，在对抗攻击研究里被当成理所当然的常识，但很少有人停下来问一句：我们把两个攻击方法放在一起比ASR，这个指标本身测量得准吗？比较的基准真的有效吗？如果测量本身不可靠，那所有基于ASR得出的“谁更强”的结论就都是空中楼阁。

所以当我看到这篇arXiv 2026的新论文标题——Comparison requires valid measurement: Rethinking attack success rate comparisons in...——就知道有人终于要对这块“皇帝的新衣”下手了。这篇博客就把我在阅读这篇论文过程中的思考、对核心论点的解读，以及自己动手复现实验时踩过的坑串起来，希望能给正在做攻击评估、尤其是需要在论文里对比多个攻击方法结果的同学一些参考。

1. 论文的核心命题：比较的前提是有效测量，而不是排行榜

1.1 从标题拆解：两个关键词缺一不可

“Comparison requires valid measurement”这句话初看像一句废话，但拆开来看包含了两个独立命题：“比较”和“有效测量”。“比较”指的是我们在论文里最常做的动作：把两个攻击方法放到同一张表里，比ASR、比平均扰动、比运行时间。而“有效测量”指的是这些指标本身是否真实反映了攻击方法的性能差异。

论文把这两件事串成了一条逻辑链：先保证测量有效，再讨论比较结论。顺序绝对不能反。很多文献里做的是反过来——先有比较结论，再回头找测量数据去支持。顺序颠倒之后，一切统计上的细微偏差都会被放大成“方法优劣”的伪结论。

这篇论文的开篇部分点出了一个直白的事实：当前针对attack success rate的测量协议并没有一个统一的行业标准。不同作者对“攻击成功”的定义不一样，对扰动预算的度量方式不一样，对评估数据集的处理方式也不一样。在此前提下，任何跨方法的ASR数值比较都没有可解释的意义。

1.2 攻击成功率为什么是一个“看起来可靠、实际上脆弱”的指标

攻击成功率（Attack Success Rate，ASR）的定义在大多数论文里非常简单：给定N个测试样本，攻击方法成功让模型误分类其中M个，ASR = M / N。这个定义有三个隐藏假设，只要任何一个不成立，数值就失真。

第一个假设是所有样本的“攻击难度”相同。实际上图像分类数据集里总有一些样本模型的置信度本身就低，随便叠一点噪声就翻车，另一些样本则顽固得多。攻击方法在这种分布极不均匀的数据集上的成功率，不仅取决于方法本身的强度，还取决于测试数据集的构成。

第二个假设是扰动尺度在不同攻击方法之间可对齐。白盒攻击里的梯度类方法（比如PGD）和基于优化的方法（比如CW）解决问题的路径不同，天然输出不同量级的扰动。当作实验的人把两类方法的ASR放在同一张表里横向比较，却没有统一扰动预算时，结果就是在比较两个不可通约的量。

第三个假设是攻击结果没有随机性。事实上几乎所有攻击方法都依赖随机初始化、随机步长某些变体、随机样本选择，一次运行得到的ASR只是一个随机变量的一个样本。如果只跑一次、只用一组固定种子，跑出来的数字没有置信区间，任何“领先”或“落后”都可能纯属运气。

论文的核心贡献之一，就是把这几个隐藏假设摊开来讲透，并提出了一个“先校准、再比较”的评估框架。

1.3 为什么这个问题的严重性一直被低估

很多人可能会说：我的ASR差异很大啊，比如96.5%对88.2%，差了8个点，这总不可能靠运气吧？问题在于，8个点的差异在不同测量协议下可能被放大或缩小到任意程度。比如一个方法用的是10次迭代的PGD，另一个方法用了1000次迭代的CW，两者的计算量差了100倍，得出“后者更强”的结论根本不是因为算法更高效，仅仅是因为迭代次数不对称。

这种测量协议的不对等，在已有文献中非常普遍。有些论文为了体现自己方法性能更好，会针对攻击方提供更多的先验条件（比如告诉攻击模型目标标签、提供更多查询次数、使用不现实的大扰动预算），而对比方法却在较严苛的数据条件下运行。这种“戴着镣铐比赛”不是有效比较，而是测量协议设计的偏向。

我自己的经验是，很多时候作者不是故意要水，而是因为ASR对比这件事从来没人给出过可操作的标准，大家只能凭默契约定某种做法。但默契一多，共识就没有了。这篇论文做的就是先把问题说破，然后给出可执行的“有效测量”建议。

2. “有效测量”到底缺失了什么——三个核心设计缺陷

2.1 缺陷一：缺少扰动预算的“归一化基线”

一篇标准的对抗攻击论文里，通常会画一张“扰动预算-攻击成功率”曲线来证明方法在所有扰动范围内都优于基线。但这个图其实掩盖了一个关键问题：横轴的扰动预算往往是用无穷范数（L-infinity）量度的，而L-infinity范数只描述了所有维度上的最大扰动，无法描述扰动的空间分布。

举个例子，两个攻击方法在L-infinity范数约束下都限制为ε = 0.05，但方法A的扰动集中在高频分量，方法B的扰动集中在对人眼敏感的低频分量。分类器在两个方向上的鲁棒性不同，ASR自然不同。但在L-infinity约束相等的条件下，你能说方法A比方法B“更成功”吗？不能，因为约束相同不代表难度相同。

论文提出的思路是：在比较两个攻击方法时，不仅要固定扰动预算的量级，还要固定扰动在特征空间中的等效强度，或者退一步，至少要对扰动本身做归一化处理，比如将扰动缩放至模型输入空间的相同统计尺度下。

一个实用的建议是，模拟实验时将数据集的像素归一化方式从[0,1]转到标准化分布。若不统一，互相比较毫无价值。实测中，用[0,1]归一化的ImageNet图像和用ImageNet统计量标准化后的图像相比，同一攻击方法的ASR可以相差10个百分点以上。

2.2 缺陷二：单个数字指标（point estimate）吞掉了所有方差信息

这是我觉得论文最能切中要害的一部分。绝大多数论文的对比表中只有一个ASR数字，最多再给个每类误差或几个方差值。ASR这个数字本身，是从上千个样本上平均出来的，但这个平均背后隐藏了巨大的分布差异。

更严重的是，攻击成功率的分布往往是双峰的：一部分样本几乎总是被快速攻破，另一部分样本即使给很大扰动也攻不破。在这种分布模式下，平均值（ASR=某个值）并不能真实描述攻击方法的性能层级。一个方法可能攻破了所有容易样本，却在困难样本上一败涂地；另一个方法则均匀地攻破了一半样本。平均值相同，但性能特征完全不同。

论文反复强调的观点是：至少要把每个样本的扰动阈值（per-sample robust threshold）画出来，然后报告中位数和分位数，而不是只报一个平均值。这样读者才能判断攻击方法到底是在“整体上更强”还是仅仅在某一部分样本上更强。

我在实际实验里对这个体会特别深。之前评估一个基于GAN的对抗攻击方法，整体ASR挺高，但把每个样本被攻破所需的查询次数（Query Number）画出来以后，发现中间需要接近上万次查询才能攻破的样本占了一大片。而一个相对简单的遗传算法攻击方法ASR略低，却几乎不需要那么长尾的查询次数。如果只看ASR，我会得出完全错误的结论。

2.3 缺陷三：缺少多重假设检验和显著性判断

论文里用一个小型case study模拟了一个典型场景：两个攻击方法A和B的ASR分别为92.3%和93.5%，A比B低1.2%。如果采用1000个测试样本，这个差异的标准误大约是多少？分别对两种方法做多次独立重复实验，每次重新采样1000个测试样本，计算ASR的分布后，发现93.5%与92.3%的两个分布之间存在巨大重叠。用更正规的置换检验（permutation test）来看，p值远远大于0.05，也就是说，这1.2个百分点的差异完全没有统计显著性。

但很多论文作者会把这样的1.2%写成“我们提出的方法显著优于基线”。这里“显著”用的是日常语言而非统计语言。没有显著性检验，这种声称就仅仅是修辞。

论文建议对ASR比较至少做一个二项检验或McNemar检验。因为攻击评估通常是配对实验——同一组样本既用于攻击方法A，也用于方法B，这本身就满足了配对检验的条件，比直接比较两个独立比例的z检验更合理。

我按照论文思路在模拟数据上试了一下，同一个样本被方法A攻破却被方法B攻破、以及被方法B攻破却不被方法A攻破的情况，数量大概都在十几个左右。用McNemar检验一算，的确谈不上显著性。这让我对“比较”这件事的认识上了一个层次：不做显著性检验的比较，和掷骰子没有本质区别。

3. 论文提出的“有效测量框架”——重新定义攻击成功率对比的流程

3.1 三阶段评估流程：校准、测量、比较

论文提出了一套三阶段流程作为有效比较ASR的落地方案。第一阶段是校准（Calibration），包括扰动空间的统一度量、数据集的固定采样协议、以及攻击超参数的对齐。第二阶段是测量（Measurement），在这一阶段对多个随机种子、多个数据子集分别运行攻击，收集分布层面的统计信息。第三阶段是比较（Comparison），对收集到的统计信息做假设检验，再得出关于方法优劣的结论。

这个流程不是晦涩的纯理论，而是可以直接照做的操作规范。校准阶段解决“比得是不是同一个东西”的问题；测量阶段解决“读数是否可信”的问题；比较阶段解决“结论是否可靠”的问题。

校准阶段里最容易被人忽视的细节是“攻击提前终止”条件。很多攻击方法设有提前终止规则，比如一旦找到对抗样本就停止迭代。这个规则在单独攻击时没有问题，但在比较两个攻击方法时会出现严重偏差：方法A可能在10步内找到对抗样本，方法B在50步内才能找到，但如果统一设置100步上限并规定“达到100步视为攻击失败”，方法A的迭代步数优势就被抹平了。论文建议统一使用固定迭代次数作为比较基线，取消提前终止，或者至少报告提前终止率。

3.2 测量阶段的关键：从点估计走向分布估计

在测量阶段，对每个攻击方法执行多次独立运行（比如五个不同随机种子、各抽三批不同的样本子集），记录每批样本上的ASR。这组任务完成后，不是保留一个平均值，而是将五批样本的ASR视为一个长度为5的向量，用这些向量计算均值、标准差和变异系数。

实际做的时候，这样一个简单的改动会让指标的可靠性大增。有时攻击成功率均值完全一样，但两批样本之间的std相差三四倍，这说明方法的稳定性存在本质差异。如果只写一个平均ASR，这种不稳定信息就会彻底丢失。

另外论文还抛出了一个新颖的想法：把每个样本在被攻破时所需的最小扰动值（L2或L∞）记录成“鲁棒性阈值向量”，然后在这个向量上做排名比较，而不是在单一ASR上比较。也就是说比较两个方法“是否能用更小的扰动攻破更多的样本”。这本质上就是AUC的思路，即在所有扰动预算水平下比较曲线的整体面积，而不是只比较曲线上的一个点。

我在复现这个思路时发现，将每个样本对应的最小扰动阈值按升序排列并画出曲线，通常能比单一ASR揭示更多信息。比如有些方法曲线在前半段爬升很快，说明容易样本上效率高，但后半段平缓，代表面对鲁棒样本毫无办法；另一个方法曲线更线性，说明攻击行为更均匀。两条曲线交叉时，比较“哪一个更好”取决于你的安全场景需要防范的是哪类攻击者——是只能做低扰动攻击的，还是能承受高扰动投入的。用单一ASR做结论，会把这种丰富的对比信息直接抹平。

3.3 比较阶段：假设检验具体怎么做

论文推荐的显著性检验方法有两种：第一种是McNemar配对检验，直接用于同一个数据集上两个配对攻击结果的差异。第二种是bootstrap置信区间估计，重复采样1000次，计算ASR差的95%置信区间，如果置信区间包含0，则无法判断孰优孰劣。

McNemar检验的原理比较直白：把样本分为四个象限——A攻破B未攻破、B攻破A未攻破、两者都攻破、两者都未攻破。关注的是两个不对称象限的计数。若两个方法性能相同，这两个计数应大致相等。卡方检验可以直接检验这一假设。

建议在读论文时特别注意作者有没有报告显著性检验。如果没有，那么他报告的任何领先优势都只是一个“点估计”，不具备说服力。在做自己的实验时，至少跑一遍McNemar检验，把p值放进去。付出的算力代价很小，但结论的可信度提升非常大。

3.4 论文没有提到、但实操中极其重要的细节：计算资源预算

论文讨论测量设计时，默认假设所有方法都可以在不设上限的计算资源内运行。但我自己做实验时发现，计算资源预算直接影响比较结论的公平性。

比如方法A在单卡GPU上跑一个数据集需要2小时，方法B需要5小时。你用相同的时间预算（5小时）运行两个方法，那么方法A相当于被允许运行2.5次、取最好结果；方法B只能运行1次。这种隐性的“资源不均等”反映在ASR上会造成额外偏差。

我在实验里通常采用“FLOPs-budget”对齐策略，即让两个攻击方法的浮点运算量大致相同。这样比较的才是算法效率，而不是硬件耐力。如果论文允许不同计算量，那也需要在比较表中明确标注每个方法的平均查询次数和运行时间，否则ASR对比毫无意义。

4. 应对策略：以后做攻击评估，实验设计应该怎么改

4.1 从“单一ASR”转向“扰动-成功率全曲线”

以前我做对比实验，习惯了在表格里写一行“ASR = 97.2%”然后收工。这篇论文给我最大的启发是：比较对象应该是整条“扰动强度-成功概率”曲线，而不是曲线上某一个点。

这个做法的理由很简单：不同攻击方法在低扰动区域的性能差异和高扰动区域的性能差异往往不一致。比如简单快速梯度类方法在小扰动下反而更强，而迭代优化的方法在大扰动下才能完全发力。万一比较点正好落在交叉区域，结论会随比较点偏移而反转。

建议用更完整的表格形式来呈现结果，横向列扰动预算（比如ε = 0.01/0.02/0.05/0.1），纵向列不同方法对应的ASR。这样读者至少能看出趋势而不是只听一个数字。

4.2 用“平均最小扰动”而不是“固定扰动下的ASR”作比较指标

固定扰动预算下的ASR有一个副作用：它对预算极其敏感。预算稍微增大一点，所有方法的ASR都接近100%，就分不出高下了。反之预算很小，所有方法都很差，也分不出高下。

更公平的指标是“平均最小扰动（Average Minimum Disturbance，AMD）”，对于每个样本，寻找使模型误分类的最小扰动。基于这批值再做平均，就可以作为一个独立于具体预算的标量。论文虽然没有明确提AMD，但它思想与此完全契合：先测清楚每个样本的鲁棒性拐点，再进行跨方法比较。

AMD的计算代价更高，但实践下来信息量丰富得多。尤其是当你需要判断一个攻击方法是否“高效”，AMD比固定预算ASR更能反映本质。

4.3 报告全部参数：扰动约束、归一化、迭代次数、成功率定义

我整理的对比实验报告中应该写清楚的关键参数包括这些维度：

比较表格旁边放一个“Protocol Box”，就像论文里常有的“Implementation Details”一样，把以上参数全部写清楚。这样别人拿到你的表格时才能判断你的结论是否有意义。

4.4 小白友好的理解：就像比较两个厨师，必须固定食材和灶具

攻击成功率比较里测不准的问题，如果用生活类比来解释会比较简单。假设你要比较A厨师和B厨师谁的厨艺更高，你会让他们做同一道菜（固定任务）、用同一批食材（固定测试数据）、用同样的灶具和火候（固定扰动预算），然后让同一群评委打分（固定评估模型）。如果A厨师用顶级和牛，B厨师只能用冷冻鸡肉，最后评分A高，那这能说明A厨艺更好吗？不能——你在比较的并不是厨艺，而是食材差距。

攻击成功率对比的情况完全一样。扰动度量不统一相当于食材不一样，迭代次数不同相当于灶具火力不一样，数据集子集不同相当于同一道菜里偷偷换了不可比的配料。没有可控变量，结论就是无源之水。

5. 实操：在PyTorch中复现“有效测量”的最小示例

5.1 设计一个可复现的攻击评估协议

我按照论文的思想，用PyTorch搭了一个最小的攻击评估协议。目标是在同一个数据集、同一个模型上，对比两种攻击方法。协议包含以下几个关键步骤：

1. 校准输入归一化方式。将图像转换为Tensor，除以255，然后使用数据集的统计均值/标准差做标准化。两个方法必须使用同一套归一化。
2. 统一扰动预算。使用L∞约束，ε取固定值。
3. 固定迭代次数与步长。两个方法都设为相同迭代次数。
4. 固定随机种子。每个方法在相同的初始化种子下运行。
5. 多次重复运行。不少于五个随机种子，记录每次的ASR。

下面给出一个简化的代码骨架（基于常见实践补充）：

import torch import torch.nn.functional as F def evaluate_attack_success_rate(model, loader, attack_fn, epsilon=0.05, num_batches=5): model.eval() per_batch_asr = [] for seed in range(num_batches): torch.manual_seed(seed) success = 0 total = 0 for data, target in loader: data, target = data.cuda(), target.cuda() # 关键：不同攻击方法共用数据归一化与扰动约束 adv_data = attack_fn(model, data, target, epsilon) with torch.no_grad(): outputs = model(adv_data) pred = outputs.argmax(dim=1) success += (pred != target).sum().item() total += target.size(0) per_batch_asr.append(success / total) mean_asr = torch.tensor(per_batch_asr).mean().item() sem = torch.tensor(per_batch_asr).std().item() / torch.sqrt(torch.tensor(num_batches * 1.0)).item() return mean_asr, sem

5.2 用McNemar检验辅助判断

在对比两个攻击方法之前，把配对样本的预测结果记录下来，然后做McNemar检验。记录逻辑是：

• b：A方法成功而B方法失败的样本数
• c：B方法成功而A方法失败的样本数

k剑检验公式：

import scipy.stats as stats def mcnemar_test(b, c): chi2 = (abs(b - c) - 1) ** 2 / (b + c) p_value = 1 - stats.chi2.cdf(chi2, df=1) return p_value

如果p_value小于0.05，说明两者差异有统计学意义；如果大于0.05，别急着下结论，你的数据根本支持不了“方法A更好”的判断。

我建议在论文表格中同时报告每对方法的p值或“n.s.”（不显著）标注，这已经是许多成熟研究领域的标准操作了。

5.3 用bootstrap计算ASR差的置信区间

Bootstrap更适合直接计算ASR差异的置信区间。实现思路如下：

1. 记录每个样本在两个方法下的攻击结果（成功/失败）。
2. 有放回地抽取与原始样本数相同的样本集。
3. 计算两个方法在该样本集上的ASR差。
4. 重复1000次，获得ASR差的分布。
5. 取2.5%和97.5%分位数作为95%置信区间。

这种方法的好处是不依赖分布假设，任何攻击评估实验都能直接用。

5.4 对比实验实例：一次虚惊一场的“领先”

我自己在某个人脸识别模型的评估中试过这个流程。初次实验结果显示，方法A的ASR比方法B高5个百分点，看起来是个很漂亮的提升。但当我按照上面的流程仔细调整扰动预算和归一化方式之后，差异从5个百分点缩水到了1.2个百分点，MC显检验p值为0.23。

后来继续追查，发现初始差异的来源是方法A内部使用了一个额外的“迭代优化后处理”，看书等于每一步都在往目标方向多走一点。前十倍迭代方法A的性能提升极快，而方法B的迭代曲线更平滑。曲线交叉点在迭代步数40附近，之前A高、之后B高。如果在迭代步数30处评估，A完胜；在迭代步数80处评估，B反超。

这让我深刻认识到：攻击评估里的优秀结论，需要极大的谨慎才能成立。如果没有有效测量规范，一个“领先”的结论就像在流沙上盖高楼。

6. 常见陷阱排查与实验设计经验速查

6.1 别人给你的ASR表格为什么总是不可复现

我在复现别人论文的攻击结果时，遇到的第一个坑就是“数据集采样差异”。某些论文使用全部测试集，另一些随机抽取了1000个子集，并且没有说明抽取方式。在CIFAR-10上，随机1000个子集的ASR与全量测试集相差可达2-5个百分点。要跨论文做对比，必须确保采样协议一致。

6.2 “n-stage attack”和多步攻击的迭代数量错位

在比较一个多阶段攻击（比如先做目标区域搜索再做局部扰动优化）和一个标准PGD时，很多人会简单地将两者都设为100次迭代。但多阶段攻击的内部“搜索+优化”结构，实际计算量远超普通PGD。这时候ASR更高反映的是更高计算预算下的优势。

建议在表注中明确标注每个方法的总查询次数或总FLOPs。如果总FLOPs差异大于五倍，认为这样的ASR比较是有效测量，我个人持保留意见。

相关指标我用的是：

def compute_flops(model, input_size, outputs): # 通过统计运行时间近似，或者使用现成的FLOPs工具 total = 0 for out in outputs: total += out.numel() return total

当然更严谨的方式是用类似thop库来算前向传播的FLOPs，但攻击算法本身的梯度计算并没有被FLOPs库覆盖，需要对梯度计算部分单独估算。实际操作中我以运行时间为前提，省去复杂的FLOPs统计，但至少在论文中写清楚平均时间。

这虽然不如FLOPs准确，但直觉上已足够识别“极端不公平”，比如一个方法比另一个方法慢10倍。

6.3 注意力推广到“防御评估”时的衍生问题

论文的重心是攻击方法比较，但我认为这套“有效测量”思想同样适用于防御评估。防御方评估通常比较防御前后模型的鲁棒性提升幅度，也就是干净准确率和鲁棒准确率之间的差距。这个比较同样需要先校准：攻击方法必须是同一个，攻击预算必须一致，攻击迭代次数必须一致，否则防御前后的鲁棒性变化就无法归因。

例如在评估某个防御模型时，如果攻击方使用的是稍弱的攻击方法，可能会得出“防御有效”的结论。但把攻击方法换成一个更强的攻击，防御优势可能瞬间消失。只比较两个防御模型各自的鲁棒准确率，而不统一攻击协议，是另一个形式的测量失效。

6.4 避免“显著性p-hacking”的自我提醒

有了显著性检验，随之而来的风险是选择性报告——只报告显著的实验，忽略不显著的结果。论文的作者很敏锐地讨论了这一点，指出测量规范只是有助于“诚实的比较”，不能替代科学诚信。

我的习惯是在实验表格里同时记录所有被测评方法的p值，不管显著与否。有些结果虽然p值不显著，但仍然有参考价值。把不显著的结果也报告出来，能让读者看到真实的方差状况。

7. 最终建议：以后看攻击对比论文，先问三个问题

这篇论文读完之后，我再看到任何带对抗攻击对比表格的论文，都会先问三个问题。第一，他们是否在固定扰动预算、统一输入预处理的前提下做评估？第二，他们是否提供了多次独立重复实验的统计信息或置信区间？第三，他们是否对ASR差异做了显著性检验？如果这三个问题的答案都是否定的，那我对表格里的结论就打一个折扣。

做实验的人同样应该用这三个问题要求自己。攻击成功率对比并不是写论文时在最后一刻补出来的数字，而是整个实验设计的一环。把测量协议想清楚，比把攻击算法调得更猛重要得多。我自己的体会是，多花半天时间把评估协议标准化、纳入显著性检验，论文被审稿人质疑“评估不够严谨”的概率会显著下降，而且你自己的实验结论也会扎实很多。

最后再分享一个小操作：把每次跑攻击的记录存成JSON，把数据集名称、采样种子、归一化参数、迭代次数、扰动预算、ASR逐条记录在案。当你写论文时，这些记录会成为“有效测量”最踏实的支撑。如果哪次别人问起你的实验是怎么跑的，直接把这个JSON发过去，比我废话一小时讲述“我当初是怎么设计的”更有说服力。这也是“有效测量”落地最实际的一步。