企业官网建设流程全解析

paper

Abstract

视觉基础模型（VFMs）为少样本工业异常检测提供了可迁移的补丁表示，但其注意力计算通常继承自以语义聚合为核心的预训练目标。这可能导致潜在的不匹配：支持语义识别的token关系可能无法充分揭示用于异常定位的局部纹理和结构偏差。因此，我们研究了这样一个假设：冻结的VFMs的注意力计算可以重新配置为与任务相关的异常检测组件。我们通过“幂律自相关增强注意力”（PL-SCEA）来实现这一理念，该方法在保留预训练查询-键注意力的语义上下文的同时，构建基于上下文化值特征的token自适应自相关性。正相关过滤和幂律重加权随后强调相对于每个token关系背景而言显著的关系，而无需引入额外的可训练注意力投影。生成的特征由一个轻量级变分自编码器建模，该模型提供了一种固定尺寸的重建型表示，用于描述类别特定的正常性。

这两个阶段具有互补的作用：注意力重配置用于塑造局部关系偏差的表示方式，而基于重建的建模则将从学习到的正常性偏差转化为异常分数。在MVTec AD和VisA数据集上，整个框架在评估的少样本设置中均实现了竞争性的图像级检测，并在像素级定位方面保持了持续的强性能。进一步的消融实验表明，在测试条件下，PL-SCEA无论使用VAE还是记忆库都能提升定位能力。这些结果支持了任务对齐的注意力重配置能够增强预训练冻结表示的异常定位能力的观点。

Introduction

工业异常检测通常通过训练正常图像来识别缺陷样本并定位异常区域。特征匹配（Defard等，2021；Roth等，2022）、知识蒸馏（Deng和Li，2022；Salehi等，2021）以及重建方法（Zavrtanik、Kris-tan和Skočaj，2021）在MVTec AD（Bergmann等，2019）和VisA（Zou等，2022）上表现良好，但通常需要涵盖纹理、姿态和结构变化的类别特定正常数据，为新的产品类别重建此类数据集成本高昂。因此，少样本工业试验异常检测必须仅基于K个正常参考图像，从类别特定的角度建立正常性，同时仍能对局部缺陷保持敏感。

在少样本场景中，有限的正常参考使得预训练图像片段表示的质量和组织显得尤为重要。RADIO（Ranzinger 等，2024b）从 DINO（Caron 等，2021）、CLIP（Radford 等，2021）和 SAM（Kirillov 等，2023）中提炼出互补能力，而 RADIOv3（Ranzinger 等，2024a）进一步提升了密集表示的空间细节。然而，这些模型继承了主要针对通用语义表示优化的注意力计算机制。因此，它们的预训练特征虽提供了良好的起点，但其对分词信息的聚合方式可能仍无法准确匹配工业异常中特有的局部纹理和结构偏差。

注意力计算决定了每个输出片段如何聚合其余标记的证据。如图2所示，原始的QK注意力保留了语义上下文，但在边界和高对比度区域生成了相对碎片化的响应。直接的QQ、KK和VV相关性形成了更连续的空间模式，但部分也会合并局部不同的区域，从而降低缺陷对比度。这一观察表明，语义条件化与同类型标记之间的关系具有互补作用。这进一步引发一个更广泛的问题：能否在不丢弃预训练期间学习到的语义结构的前提下，对冻结的VFM进行注意力计算的重新配置，以实现异常定位？

受此问题的启发，我们认为冻结VFM的注意力计算应被视为与任务相关的可调设计变量，而非特征提取器中不可更改的部分。重要的是，默认情况下修改注意力并无益处：直接用QQ、KK或VV相关性替换QK注意力，可能会丢失有用的语义条件信息，或过度平滑局部结构。相反，一种以异常为导向的重构方式应保留预训练的QK上下文，并根据各标记之间的相对关系显著性选择性地重塑它们的关系。

我们通过幂律自相关增强注意力（PL-SCEA）来实现这一设计原则。PL-SCEA 首先利用原始的 QK 注意力对值特征进行上下文建模，然后计算上下文化标记之间的成对自相关性。逐标记标准化与幂律重加权强调了相对于每个标记的关联背景而言显著的关系，最终得到的权重用于重新聚合原始的值标记。该设计在不引入额外可训练注意力投影的前提下，保留了预训练语义条件，同时改变了局部关系证据的表示方式。

仅靠重新配置无法确定如何从少量参考图像中表示类别的特定正常性。因此，我们将PL-SCEA与一个轻量级变分自编码器（Kingma和Welling，2013）结合使用，该模型可重建增强关系的正常图像特征。这两个阶段分别处理检测流程中的不同部分：PL-SCEA用于在特征空间中揭示局部关系偏差，而重建模型则对正常性进行总结，并将偏离正常性的程度转化为图像块级别的异常分数。由此得到的参数化正常性模型具有固定的存储需求，避免了在显式的特征记忆库上进行最近邻检索。

我们在1至8次射击的设置下评估了MVTec AD和VisA的整体框架。该框架在图像级检测性能上保持竞争力，并在MVTec AD数据集上将像素级F1-max提升4.1%至4.8个百分点，优于AnomalyDINO-S。对照实验进一步表明，在MVTec AD单次射击设置中，用PL-SCEA替代QK注意力可改善定位性能，无论使用VAE还是记忆库。与此同时，在组件比较中，PL-SCEA与VAE的组合在像素级结果方面表现最强。这些发现表明，注意力重配置和基于重建的正常性建模提供了互补优势，而非将全部性能提升归因于任一单一组件。图1总结了训练和推理流程。

Contributions

我们提出并实证检验了这样一个假设：冻结视觉基础模型的注意力计算可以重新配置，以改善少样本工业异常检测，而不是将预训练的令牌交互视为固定不变。

我们通过PL-SCEA实例化了这一设计原则，该方法在构建基于标记自适应、幂律重新加权的自相关性时，保留了预训练QK语义条件，同时无需引入额外的可训练注意力投影。

我们结合了基于关系的特征构建与基于重建的潜在正态性建模。在MVTec AD和VisA数据集上的实验表明，在1至8次样本的设置下，定位性能表现优异；而与VAE和记忆库进行的对照比较也显示，PL-SCEA的效果并不局限于单一的正态性模型。

Related Work

Vision Foundation Models

视觉基础模型可将广泛的视觉先验知识迁移至下游任务。在异常检测中，CLIP（Radford 等，2021）提供视觉-语言对齐能力，DINO（Caron 等，2021）贡献自监督特征，SAM（Kirillov 等，2023）提供密集区域感知。RADIO（Ranzinger 等，2024b）通过蒸馏多个教师模型，而非依赖单一预训练目标。其编码器融合了 DINO、CLIP 和 SAM 的全局语义、局部对应关系以及密集空间线索。RADIOv3（Ranzinger 等，2024a）进一步强化了高分辨率的密集特征。我们采用冻结的 RADIOv3 编码器，并仅修改其现有标记之间的交互方式。

Few-Shot Anomaly Detection

在给定少量正常参考图像的情况下，少样本工业异常检测旨在学习特定类别的正常特征，并定位偏离该特征的区域。我们重点关注低级视觉异常，例如划痕、裂纹、污染和局部结构损伤，而非语义异常（如错误的对象类别）。由于有限的正常样本无法涵盖纹理、姿态和结构上的变化，核心挑战在于从预训练的视觉知识中构建一个鲁棒的、针对特定类别的正常性模型。

跨类别方法通过无监督元学习（Wu et al. 2021）、分层生成（Sheynin, Benaim, and Wolf 2021）或基于配准的对齐（Huang et al. 2022）将异常检测知识迁移至新类别。然而，这些方法通常需要辅助的类别数据或目标类别的适应。

特征匹配方法将正常图像编码为局部特征，并利用邻近点距离作为异常分数。PatchCore（Roth等，2022）通过核心集采样压缩特征库；GraphCore（Xie等，2023）建模支持特征之间的图结构关系；AnomalyDINO（Damm等，2025）表明，结合最近邻检索的高质量DINO特征可实现优异的少样本性能。FastRecon（Fang等，2023）从支持特征中重建查询特征，并评估其重构误差。这些方法通常仍依赖于参考特征的存储或检索。

尽管这些方法的评分机制不同，但它们主要基于预训练主干网络已生成的补丁表示进行操作。因此，它们关注的是常规特征是如何被存储、匹配或重建的，而不是主干网络的令牌交互规则本身是否适合用于异常定位。

视觉-语言方法通过将图像或图像块特征与正常和异常文本提示进行比较。Win-CLIP（Jeong等，2023）、PromptAD（Li等，2024）和InCTR（Zhu和Pang，2024）分别引入多尺度窗口、可学习的提示以及正常图像上下文，而AnoPLe（Lee等，2026）和KAG-prompt（Tao等，2025）进一步建模了视觉提示、文本提示与多层次特征之间的相互作用。AnomalyGPT（Gu等，2024）将这一范式扩展至指令引导的异常分析。尽管这些方法能够利用语言语义来缓解正常数据稀缺问题，但其定位性能仍依赖于密集视觉特征的质量。

Attention Reshaping in Vision Transformers

最终层注意力也经过了改进，以增强密集预测中的局部特征。SCLIP（Wang, Mei, and Yuille 2024）通过查询-查询和键-键之间的相似性构建注意力；NACLIP（Hajimiri, Ben Ayed, and Dolz 2025）引入了空间邻域先验；而ClearCLIP（Lan et al. 2024）则结合同类型注意力与简化架构，以减少全局语义带来的干扰。在异常检测中，AnomalyCLIP（Zhou等，2024）通过用值-值注意力替代原有的QK关系，以增强CLIP特征中的异常区域。这些研究显示，当需要密集的局部表示时，预训练注意力并不一定必须保持不变。然而，直接用同类型关系替换QK注意力，并不能解释如何将预训练语义条件与异常敏感的关系结构相结合。我们通过在保留QK条件的同时，重新配置上下文化标记的自相关结构，对少样本工业异常检测问题进行了探究。

Attention Reconfiguration and Latent Normality Modeling

我们的框架将少样本异常检测分为两个互补的阶段。第一阶段涉及表示生成：PL-SCEA 通过重新配置冻结 VFM 的最后一层标记交互，生成具有关系感知能力的补丁特征。第二阶段涉及正常性估计：潜在正常性建模对这些特征进行重建，并利用其方向性重建偏差作为异常证据。这种分解使我们能够考察注意力重配置是否在特定下游正常性模型之外产生了额外贡献。

第一阶段对冻结视觉基础模型的顶层注意力计算进行重构。PL-SCEA保留了QK语义条件，构建了基于上下文化值特征的自相关性，并利用重新加权的关系生成关系感知的图像块表示。第二阶段使用轻量级变分自编码器（VAE）对这些表示进行建模。在推理过程中，PL-SCEA增强后的特征与确定性VAE重建结果之间的余弦距离被转化为异常图。这两个阶段分别控制着关系偏差的表示方式以及偏离学习到的正常性的评分机制。

Token Correlations for Anomaly Detection

最后一个自注意力模块直接影响输出补丁表示如何聚合剩余标记的信息。由于预训练模型是为通用表示学习而优化的，其原始的注意力计算可能更强调语义或高对比度结构，这些结构对识别有用，但与细粒度异常定位的关联性较弱。

图2以一个例子展示了这种不匹配。原始的QK注意力保留了语义上下文，但生成的响应相对碎片化；而QQ、KK和VV之间的关联则形成了更连续的关系图。然而，同类型直接关联也能在局部上融合不同的模式。比较表明，仅改变注意力关系是不够的；重构的形式同样重要。

重复纹理和规则结构中的标记通常表现出一致的关联模式，而局部缺陷可能会扰乱这些模式。这促使设计一种注意力机制，该机制保留了QK语义条件，但根据标记之间的相对相关背景重新校准其关系。PL-SCEA通过计算语义上下文化值特征的自相关性，并选择性地重新加权所得到的关系来实现这一设计。

Power-Law Self-Correlation Enhanced Attention

为实现这一任务关联的注意力重配置，PL-SCEA 首先使用原始的 QK 注意力获取语义条件化的值表示，从这些表示中提取出标记间的自相关结构，并通过标记自适应标准化和幂律重新加权构建新的注意力关系。与以往不同，PL-SCEA 不是无差别地增加标记之间的相似性，而是对每个标记分别强调高于平均水平的自相关性，从而增强强相关与弱相关标记之间的相对对比度。

设 X ∈ RN×C 为最终注意力层的空间令牌输入，其中 N 是空间片段令牌的数量，C 是特征维度。在 PL-SCEA 相关性构建和下游的片段级异常评分中，省略前缀令牌。对于一个具有 H 个头的多头注意力模块，每个头的维度为 d = C/H。利用预训练的 QKV 投影，我们得到 Q、K、V ∈ RN×d。为清晰起见，我们先对单个头的计算过程进行表述。原始注意力为

上下文化的值表示是

与标准的自注意力机制不同，我们并未将 Y 直接用作最终的注意力输出。相反，它作为语义条件下的中间表示，用于估计令牌之间的关系一致性。

Semantically conditioned self-correlation

为了降低特征幅度的影响，并突出标记表示之间的方向一致性，我们首先沿特征维度对每个上下文化标记进行L2归一化：

其中 ϵ 保证了数值稳定性。然后，成对的自相关性为

其中 Sij 是在初始语义聚合后，令牌 i 和 j 之间的余弦相似度。

Token-adaptive correlation standardization

相关性分布可能在不同查询键和注意力头之间存在显著差异。对于第 i 个标记，PL-SCEA 计算行级均值和标准差：

标准化的相关性是

Power-law correlation enhancement

该操作将绝对余弦相似度转换为相对于当前标记相关背景的语义显著性。当 Sˆij > 0 时，标记 i 和 j 之间的关系强于标记 i 的平均相关性。因此，每个标记都根据其自身的语义分布进行校准，而非依赖单一的全局标准。较弱或中等强度的标记交互可能引入语义噪声，并掩盖细微的局部异常。因此，PL-SCEA 只保留高于平均水平的相关性，并通过幂律变换增强其对比度：

指数 γ > 0 控制着保留的正标准化相关性的浓度。当 0 < γ < 1 时，幂变换会压缩强弱正相关之间的相对差异；当 γ = 1 时，它保持正标准化相关性大小的同时去除非正相关项；当 γ > 1 时，会增强其相对对比度，赋予最强关系更大的归一化权重。我们默认使用 γ = 2。

Value reaggregation

我们按行对增强的相关性进行归一化，以获得最终的PL-SCEA权重：

其中 δij 是克罗内克 delta。当某行中没有显著的正向关系时，回退分支会保留该令牌本身。因此，

最后，PL-SCEA 使用新的注意力权重对原始的值令牌进行重新聚合：

头部输出被拼接后，通过冻结的预训练输出投影层。周围的残差连接、LayerNorm 的位置以及前馈/MLP 子层与原始 RADIOv3 块保持不变。仅将生成的空间-令牌特征传递给潜在正态性建模和补丁级异常评分。

Reconstruction-Based Latent Normality Modeling

注意力重配置后，潜在正常性建模（LNM）采用轻量级变分自编码器（VAE，Kingma 和 Welling 2013）来建模经过 PL-SCEA 提升的图像补丁表示。其作用与 PL-SCEA 不同：注意力模块负责确定关系性证据的表示方式，而 LNM 则学习一个紧凑的、针对特定类别的正常性模型，并将重建误差转化为异常分数。设 xi 表示第 i 个增强后的补丁特征。在训练过程中，首先对 xi 进行 L2 正则化以获得清晰的重建目标 x¯i，然后添加高斯噪声，并再次进行归一化，得到编码器输入 x~i.

编码器 Eϕ 将 x~ i 映射到高斯后验分布 qϕ(zi | x~ i) 的均值 µi 和标准差 σi 上。在训练过程中，通过参数重构造采样潜在变量 zi，解码器 Dθ 则重构出归一化的图像特征 x~i。LNM 目标将余弦重构损失与KL正则化结合：

重建项鼓励模型保留正常特征的方向结构，而KL项则将潜在分布正则化为标准高斯分布。我们使用较小的β值来限制过度正则化抑制正常区域细粒度变化的风险。

在推理过程中，不进行随机采样。编码器接收归一化的测试特征 x¯i，其后验均值 µi 会被传递给解码器以实现确定性重建。原始和标准化的异常分数为

其中，ma 和 sa 分别是基于正常训练图像块计算出的重建分数的均值和标准差。在这一基于重建的建模假设下，正常特征产生的方向性差异应小于异常特征。因此，我们采用标准化的重建差异作为图像块级别的异常得分。

仅考虑类别特定的正态性状态时，LNM 将可变数量的正态补丁特征压缩到固定大小的参数集 Θ = {ϕ, θ} 中，其中 ϕ 和 θ 分别表示编码器和解码器的参数。因此，其额外的存储复杂度为 O(|Θ|)，且不会随参考样本数量增加而增长。相比之下，相应的记忆库状态会随着存储的补丁特征数量增加而增长。在此比较中，两个方案共用的固定主干网络被排除在外。

Experiments

Datasets

MVTec AD（Bergmann 等，2019）包含来自15个纹理和物体类别的5,000多张高分辨率图像，每张图像均带有图像级别的异常标签和像素级别的掩码。VisA（Zou 等，2022）包含9,621张正常图像和1,200张异常图像，这些图像来自结构复杂且存在位置变化的产品，涵盖划痕、凹陷、褪色、裂纹以及结构缺陷。

Evaluation Metrics

我们报告了图像级的AUROC、AUPR和F1-max，以及像素级的AUROC、F1-max和PRO。PRO用于衡量不同阈值下的区域重叠情况。所有指标均为百分比。对于PL-SCEA，表1和表2中的主要结果是基于三个支持集种子的类别宏平均值，以均值±样本标准差的形式呈现。基线数据取自相关文献；由于支持集的选择和实现细节可能存在差异，与我们本地结果的比较具有描述性意义，而非严格控制。

Implementation Details

我们采用AnomalyDINO（Damm等，2025）的预处理方法。使用冻结的RADIOv3-B作为编码器，在其最后一个Transformer块中用PL-SCEA（γ=2）替代自注意力机制。通过一个轻量级变分自编码器（VAE），以64维的潜在空间对L2归一化的图像块特征进行建模。在训练过程中，使用AdamW优化器，学习率设置为8×10⁻⁴，权重衰减为1×10⁻⁵，批量大小为512，在一块12GB的NVIDIA RTX 3080 Ti显卡上训练最多600个epoch。推理时，利用训练期间的正态重建误差和高斯平滑对图像块得分进行标准化；图像得分是前1%最佳块得分的平均值。

Quantitative Results

MVTec AD

在表1列出的方法中，PL-SCEA在单次和两次拍摄的设置下，在所有图像级和像素级指标上均获得了最高或并列最高的报告平均值。在4次和8次拍摄时，其图像级AUROC分别比AnomalyDINO-S低0.4和0.2个点，但其在所有像素级指标上的报告平均值仍保持最高，同时在图像级AUPR和F1-max上也达到最高或并列最高水平。具体而言，在四种拍摄设置下，PL-SCEA在像素级F1-max上比AnomalyDINO-S提升了4.1至4.8个百分点。这些结果表明，该完整框架在保持图像级检测性能的同时，能够提供一致的定位提升效果。

VisA

在表2列出的方法中，完整框架在2/4/8 shot训练样本设置下，所有分类和分割指标的平均值均达到最高报告水平。1-shot训练即可获得最高的F1-max分类准确率以及三个像素级指标，而其图像级AUROC和AUPR分别比最高报告的平均值低0.1和1.0个点。PL-SCEA在所有六个指标上的性能随正常参考样本数量的增加而提升。

Qualitative Analysis

图3展示了MVTec AD和VisA在细小划痕、局部损伤以及较大结构缺陷方面的定性示例。在所展示的案例中，预测响应与标注的异常区域重叠，且覆盖了不同形状和尺度的缺陷。四次拍摄的图像映射也比单次拍摄的更集中，正常纹理和背景中的响应较少。这些观察结果与定量定位结果一致，但仅凭定性示例无法确定该方法在所有类别上的整体性能。

Ablation Studies

除非另有说明，所有消融实验均使用固定的MVTec AD单次支持集，并报告15个类别的单次运行类别宏平均值。这些受控比较与表1中的三种方法均值在数值上不可互换。注意力重配置的影响。表3探讨了仅改变注意力计算是否足够，以及重配置的形式是否重要。在测试的多种方案中，PL-SCEA在图像级AUROC、图像级AUPR、像素级AUROC和像素级F1-max方面表现最优。相对于原始QK注意力，它在像素级F1-max上提升了3.78个百分点。直接替换QQ、KK和VV并未带来相同的总体提升效果，而VV相比QK使像素级F1-max下降了6.35个百分点。这些结果表明，注意力修改并非普遍有益；在此设置下，保留QK条件并选择性地重新加权文本化自相关性至关重要。QQ获得了最高的PRO值93.77%，而PL-SCEA保持在93.74%左右，差距不超过0.03个百分点。

Effect of the Insertion Layer

表4显示，将PL-SCEA应用于最终的RADIOv3层后，在所有选定指标上均获得了最高的报告值，图像级AUROC达到97.3%，像素级AUROC为97.6%，像素级F1-max为65.3%，PRO为93.7%。与第2层相比，最终层在图像级AUROC和像素级F1-max上分别提升了1.3和2.8个百分点。这一经验趋势与假设一致：后续且更具上下文关联性的特征能提供更符合所提重新配置需求的标记关系。基于这些结果，我们仅对最终的Transformer块应用PL-SCEA。

Complementarity with Normality Modeling

表5 分别展示了注意力建模与正态性建模的效果。相比QK注意力，PL-SCEA在VAE和记忆库模型下均提升了像素级F1-max 3.8个点和3.5个点，并在两种正态性模型下均提升了像素级AUROC和PRO。因此，注意力重配置的效果在所有测试的下游替代方案中均有体现，而不仅限于VAE。与此同时，将PL-SCEA与VAE结合时，可获得最高的像素级AUROC、F1-max和PRO；而记忆库变体则在图像级AUROC上高出0.2个点。这些结果表明，关系感知特征构建与基于重建的正态性建模具有互补作用，但并未证明二者之间存在严格的协同效应。

Inference-State Memory

图4比较了两种正态性模型所需的类别特定推断状态。VAE在1至8次采样中保持固定的14.0 MB内存占用，而内存bank则从34.8 MB线性增长至278.4 MB。在8次采样时，VAE仅占用内存bank约5.0%，相当于减少95.0%。这一结果突显了基于重建的参数化正态性建模在存储方面的优势；但该结果未包含两种方法共用的固定主干结构。

Effect of the Power Exponent

图5显示，随着γ从0.5变化到2，所报告的图像级AUROC和AUPR均有所上升，分别达到97.25%和98.66%。当测试值增大时，这两个指标均有所下降；在γ=6时，它们分别降至97.12%和98.43%。因此，结果支持采用中等指数。这一模式表明，适度的重新加权能够突出具有信息量的关系，而更强的集中则可能抑制互补性的上下文信息。其余实验中我们使用γ=2。

Conclusion

本研究表明，冻结视觉基础模型的注意力计算并非仅仅是继承的实现细节；当以任务对齐的方式重新配置时，它能够提升少样本工业异常检测性能。PL-SCEA通过保留预训练的QK条件约束，同时对上下文化目标的自相关性进行标准化和幂律加权重构，实现了这一原理。基于重建的潜在正常性建模则进一步补充了该表征阶段，通过紧凑地总结正常特征，并将重建差异转化为异常分数。在MVTec AD和VisA数据集上的实验结果支持了整个框架的有效性，而MVTec AD的一次性消融实验表明，无论使用VAE还是记忆库，PL-SCEA的局部检测性能均保持稳定。在所测试的数据集和骨干网络中，这些发现支持将注意力重配置作为适应预训练表示用于局部异常检测的有效设计方向。