YOLO26最新创新改进系列:融合 WST:小波无损下采样主干,下采样是主干里唯一一次不可逆的信息丢弃:让 YOLO26 用小波把丢掉的高频收回来!
截止目前,YOLO26最新创新改进系列已更新150+种,排列组合后可达到上万种创新模型!极大节省科研时间!!!仍在持续更新中…
畅享持续更新且可大幅度提升文章档次的纯干货工具!
YOLO26 融合 WST:小波无损下采样主干
下采样是主干里唯一一次不可逆的信息丢弃:让 YOLO26 用小波把丢掉的高频收回来
前言:为什么 YOLO26 的原始结构撑不起这一类问题
YOLO26 是一个被极致压缩过的一阶段检测器:C3k2 主干负责特征提取,C2PSA 做末端全局聚合,PAN-FPN 完成 P3/P4/P5 三尺度融合,检测头以解耦的分类/回归分支直接输出密集预测。整条链路的设计目标是速度优先、结构优先——用尽可能少的算子换取尽可能快的吞吐。
这种极致压缩在通用自然图像上非常成功,但当检测目标不再是「通用物体」时,原始结构的三个缺陷会同时暴露。本节逐一指出这些缺陷,并说明融合WST之后它们如何被逐条解决——这正是本文这条改进线所要回应的核心痛点。
缺陷一:主干里的下采样是「有损且不可逆」的
YOLO26 主干在 P2/4→P3/8、P3/8→P4/16、P4/16→P5/32 三处用 stride-2 的3 × 3 3\times33×3卷积完成阶段过渡。stride-2 卷积在2 × 2 2\times22×2邻域上做加权平均,高频成分与低频成分在同一个核里被混在一起,训练完成之后无法再把它们分开。对以弱对比度、低分辨率边缘为特征的检测目标而言,细节正是在这三处被永久丢弃的。
缺陷二:下采样的尺度转换与频谱转换被绑死在一个算子里
stride-2 卷积同时承担两件事:改变空间分辨率与决定保留哪些频率。但这两件事的需求方向常常相反——降分辨率需要低通(否则混叠),保留判别性边缘又需要高频。原始结构只能折中,结果就是「想要的细节」与「不想要的混叠」被同一个核同时处理,任何一个都做不好。
缺陷三:主干中缺少「多尺度并行观察」的结构性机制
YOLO26 的多尺度完全由深度堆叠实现:浅层看细节、深层看上下文,二者严格串行。这导致深层语义必须穿过浅层的滤波才能抵达,感受野的扩大完全依赖堆叠的间接结果;一旦浅层把高频滤掉,深层再怎么堆叠也补不回来。
本文的改进(小波无损下采样主干)正是针对上述三条缺陷的逐条对治:它不改动 YOLO26 的整体拓扑、不改变特征金字塔的尺度划分、不触碰与本改进无关的任何算子,只在主干这一处做定点替换,其余部分逐参数保持原版。
为什么这条改进线值得写进论文?因为它回答的不是「换一个更强的模块会不会涨点」,而是「YOLO26 的哪一处结构是瓶颈,为什么是这一处,以及用什么机制去解」。原文中提出的机制(无损小波下采样)在这一处恰好是机制的适配性最强、副作用最小、且可被严格对照验证的位置。论文叙事因此可以形成完整的因果链:结构缺陷 → 机制分析 → 定点替换 → 严格对照 → 结论,而不是常见的「模块堆砌 + 消融表」。
Fig. 1 | 原始 YOLO26 与融合 WST 后的 YOLO26 结构对比
Fig. 1 |左列为原始 YOLO26 的结构与行为,右列为融合后的对应结构。绿色高亮标出唯一被替换的节点,其余部分(主干/颈部/检测头的其余部分)逐参数保持原版,因此两列之间的差异可以被完整归因到「无损小波下采样」这一个模块。
1. 原文摘要:翻译与提炼
1.1 英文原文(Abstract)
Transfer learning has emerged as a powerful paradigm in visual recognition, particularly when annotated data are limited. In this paper, we investigate the transferability of the wavelet transform for visual representation learning. We first theoretically analyze the transferability of wavelets from the perspective of domain generalization, and derive a theoretical result that enables a better understanding of the underlying mechanism of wavelet-based transfer learning. Based on this insight, we propose a novel wavelet-based tuning strategy that leverages the advantages of wavelets to achieve superior transfer learning performance. Specifically, we design a multi-scale tuning strategy that allows the model to learn and select the most informative wavelet components at different scales, thereby facilitating the adaptation of pre-trained models to diverse downstream tasks. Furthermore, we incorporate a learnable wavelet token module into the model, which explicitly captures the frequency information and facilitates the interaction between different scales. Extensive experiments on various benchmarks demonstrate the effectiveness of our proposed approach.
1.2 中文翻译
迁移学习已成为视觉识别中的一种有力范式,尤其是在标注数据有限时。本文研究小波变换在视觉表征学习中的可迁移性。我们首先从域泛化的角度对小波的可迁移性进行理论分析,并推导出一个理论结果,以便更好地理解基于小波的迁移学习的内在机制。基于这一洞察,我们提出一种新的基于小波的调谐策略,利用小波的优势以获得更优的迁移学习性能。具体而言,我们设计了一种多尺度调谐策略,使模型能够在不同尺度上学习并选择最具信息量的小波成分,从而促进预训练模型对多种下游任务的适配。此外,我们在模型中引入了一个可学习的小波 token 模块,它显式捕获频率信息,并促进不同尺度之间的交互。在多个基准上的大量实验验证了所提方法的有效性。
1.3 Introduction 总结提炼
| # | 原文主张 | 提炼要点 | 对检测器的可迁移含义 |
|---|---|---|---|
| 1 | 小波下采样是无损的 | 正交分解保留了全部信息 | 在主干阶段之间保留边缘与纹理,缓解弱目标在下采样中的稀释 |
| 2 | 细节带可以被重新注入 | 三个高频子带显式聚合回主通路 | 把「下采样丢掉的细节」以可控的方式补回,而不是靠更深的层去猜 |
| 3 | 多尺度调谐 | 平行的小尺度分支对主通路做调制 | 在同一层内同时保留小尺度观察与大尺度上下文 |
1.4 原文链接
- 论文:WST: Wavelet-Based Multi-scale Tuning for Visual Transfer Learning(AAAI 2025),AAAI 2025 (Proc. AAAI Conf. Artif. Intell. 39(21): 22317-22325);arXiv: 2504.01463 https://arxiv.org/abs/2504.01463
2. 为什么要融合:创新切入点
2.1 三个不可回避的现实约束
把原文方法原样搬到 YOLO26 上是不可行的。原因有三——每一个约束都直接决定了本文的实现形态:
| 现实约束 | 为什么不能直接照搬 | 本文的处理方式 |
|---|---|---|
| 原文 WST 面向 ViT 的补丁嵌入,YOLO26 的阶段过渡是卷积式的 | WST 把 stride-2 的 patch embedding 换成小波变换,其前提是 ViT 的 token 网格规则且与图像严格对齐;YOLO26 的阶段过渡是带偏置与 BN 的卷积层,其感受野、通道映射与初始化策略都已被后续网络依赖。 | 保留小波分解本身,重建过渡算子:用正交 Haar 二维分解替换 stride-2 采样,把低频带交给一个与原层同规格的 $3\times3$ 卷积(保持输出尺寸与感受野不变),把三个细节带交给一个 $1\times1$ 卷积聚合后与低频拼接再融合,使输出通道与原层完全一致。 |
| 若直接把三个细节带拼接后送入主干,低频与高频的尺度语义会互相干扰 | 细节带描述的是边缘与纹理,其统计分布与低频带差异很大;直接拼入主干通道会在 BatchNorm 上造成分布失衡,并在后续卷积中被当作普通特征处理。 | 细节带单独走一条通路:三个细节带先由独立的 $1\times1$ 卷积投影回原通道数,再与低频通路的结果拼接,最后由一个 $1\times1$ 卷积融合,使细节以「可控的补充信息」而非「并列的特征」进入网络。 |
| 单纯的「双通路并联」会让主干在深层丢失对小尺度结构的敏感度 | 多尺度调谐的原文动机是:适配预训练模型时,不同尺度需要选择不同的小波成分。本场景从零训练,若只有大尺度通路,浅层的小尺度观察能力会被削弱。 | 引入平行的小尺度分支做调制:保留一条在输入分辨率上以 $3\times3$ 卷积处理、再池化到目标尺度的并行支路,用一个通道级的门控(SE 结构)生成逐通道增益 $s$,最终输出 $y\leftarrow y\cdot(1+s)$,使主通路同时受大尺度上下文与小尺度观察共同调制。 |
2.2 本文的切入点
WST 对检测器真正的价值,是把「下采样是一次有损的信息压缩」这件事从默认设定变成了显式的设计对象。卷积主干的性能瓶颈往往不在于「特征不够强」,而在于「特征在进入下一阶段之前就已经丢掉了关键细节」;小波提供了一个正交、可逆的替代方案:它不压缩信息,只把信息按频段重新排列。本文的切入点是:只改主干的阶段过渡算子,把 YOLO26 在 P3/8→P4/16 与 P4/16→P5/32 两处的 stride-2 卷积替换为「正交小波分解 + 低频/细节双通路 + 小尺度调谐」的结构,输出通道数、尺度划分、颈部与检测头逐参数保持原版。这样做的意义在于:改进的作用点是信息流经的必经之路而不是特征处理的可选项,因此其增益可以被干净地归因。
综上,本文的改进可以概括为一句话:在 YOLO26 中定位出「无损小波下采样」适配性最强的那一处结构,做定点替换,并以零初始化残差 / 严格对照的方式把增益干净地归因到该机制本身。
2.3 思想映射表
| 原文机制 | 在 YOLO26 中的对应物 | 形式变化 |
|---|---|---|
| WST 的小波补丁嵌入 | `WaveletDownsample` 的正交 Haar 二维分解 LL/LH/HL/HH | 从 ViT 的 token 网格搬到卷积主干的阶段过渡 |
| WST 的多尺度调谐 | `WSTDown` 的平行小尺度分支与通道门控 $y\leftarrow y(1+s)$ | 由「选择不同小波成分」改写为「对主通路做逐通道增益调制」 |
| WST 的小波令牌交互 | 细节带 $1\times1$ 投影后与低频通路的拼接融合 | 以通道级融合替代令牌级交互,保持卷积主干拓扑 |
3. 改进模块核心结构与原理
3.1 改进前:原始方法详细结构
YOLO26 主干的阶段过渡为一个 stride-2 的3 × 3 3\times33×3卷积:Conv(c1, c2, 3, 2, 1)。设输入为x ∈ R C i n × H × W x\in\mathbb{R}^{C_{in}\times H\times W}x∈RCin×H×W,输出为y ∈ R C o u t × H / 2 × W / 2 y\in\mathbb{R}^{C_{out}\times H/2\times W/2}y∈RCout×H/2×W/2,其采样过程为y i , j = ∑ u , v W u , v x 2 i + u − 1 , 2 j + v − 1 y_{i,j}=\sum_{u,v}W_{u,v}\,x_{2i+u-1,\,2j+v-1}yi,j=∑u,vWu,vx2i+u−1,2j+v−1。其中W u , v W_{u,v}Wu,v是训练时固定下来的四组权重:它们既承担低通(抑制混叠),又承担高通(保留细节),两种诉求被压在同一个2 × 2 2\times22×2窗口里。
从频域看,stride-2 采样的下传函数是1 2 ( 1 + e − i ω x ) ( 1 + e − i ω y ) \tfrac{1}{2}(1+e^{-i\omega_x})(1+e^{-i\omega_y})21(1+e−iωx)(1+e−iωy),其零点位于 Nyquist 频率处——理想低通,但实际卷积核在低频段的响应并不平坦,在过渡带附近仍有可观的高频泄漏。这意味着进入下一阶段的高频既被削弱又不完全纯净,而更严重的是:一旦这些高频与低频在同一个输出通道上混合,训练再也无法把它们分离。原始结构中不存在任何「补偿这一损失」的机制。
3.2 改进后:融合方法详细原理结构
本文把 P3/8→P4/16 与 P4/16→P5/32 两处过渡替换为WSTDown(ultralytics/nn/yolo26_wst/),其余主干阶段、颈部与检测头逐参数保持原版。WSTDown内部由「小波下采样」与「小尺度调谐」两部分组成。设输入x xx的2 × 2 2\times22×2块为a = x 2 i , 2 j , b = x 2 i , 2 j + 1 , c = x 2 i + 1 , 2 j , d = x 2 i + 1 , 2 j + 1 a=x_{2i,2j},\,b=x_{2i,2j+1},\,c=x_{2i+1,2j},\,d=x_{2i+1,2j+1}a=x2i,2j,b=x2i,2j+1,c=x2i+1,2j,d=x2i+1,2j+1,则正交 Haar 二维分解给出四个半分辨率子带:
L L = 1 2 ( a + b + c + d ) LL=\tfrac{1}{2}(a+b+c+d)LL=21(a+b+c+d)(低频平均)、L H = 1 2 ( a − b + c − d ) LH=\tfrac{1}{2}(a-b+c-d)LH=21(a−b+c−d)(垂直细节)、H L = 1 2 ( a + b − c − d ) HL=\tfrac{1}{2}(a+b-c-d)HL=21(a+b−c−d)(水平细节)、H H = 1 2 ( a − b − c + d ) HH=\tfrac{1}{2}(a-b-c+d)HH=21(a−b−c+d)(对角细节)。由于 Haar 基是正交的且归一化,有L L 2 + L H 2 + H L 2 + H H 2 = a 2 + b 2 + c 2 + d 2 LL^2+LH^2+HL^2+HH^2=a^2+b^2+c^2+d^2LL2+LH2+HL2+HH2=a2+b2+c2+d2,即分解不损失任何能量,四个子带恰好保留了原信号的全部信息。低频带走Conv3×3(与原过渡层同规格,保持输出尺寸与感受野),三个细节带拼接后走Conv1×1(3C_{in}\to C_{out}),两路结果拼接后由Conv1×1(2C_{out}\to C_{out})融合,输出通道与原层完全相同。
并行的小尺度分支为Conv3×3(c_{in}\to c_{out}),在输入分辨率上处理后自适应池化到主通路的尺寸;其全局描述子经一个 SE 式门控生成逐通道增益s ∈ R C o u t × 1 × 1 s\in\mathbb{R}^{C_{out}\times1\times1}s∈RCout×1×1,最终输出y ← y ⋅ ( 1 + s ) y\leftarrow y\cdot(1+s)y←y⋅(1+s)。这一乘性形式与原版的加性形式等价(因为1 + s ∈ ( 1 , 2 ) 1+s\in(1,2)1+s∈(1,2)),但在初始化时s ≈ 0.5 s\approx0.5s≈0.5、增益接近恒等,因此小尺度分支在训练初期不会破坏主通路,只随训练推进逐渐学会「在哪些通道上放大小尺度观察」。
Fig. 2 | 小波无损下采样主干模块核心结构
Fig. 2 |该模块的内部数据流。左列为输入与前置处理,中列为并行支路,右列为路由/融合与输出。图中标注了每一级的张量变换,箭头方向即信息流方向,浅绿色为本文引入的算子、浅金色为原方法保留但被重新赋义的算子。
3.3 核心公式与优化目标对照
Fig. 3 | 原始方法与融合方法的核心公式与优化目标对照
Fig. 3 |左列为原始 YOLO26 的对应表达,右列为融合 WST 之后的表达。两列逐行对应,可直接读出「哪一步的数学形式发生了变化」。
| 环节 | 原始 YOLO26 | 环节 | 融合 WST 后的 YOLO26 |
|---|---|---|---|
| 下采样算子 | y = Conv3×3,s=2(x),输出 (C_out, H/2, W/2) | 小波分解 | LL=(a+b+c+d)/2, LH=(a−b+c−d)/2, HL=(a+b−c−d)/2, HH=(a−b−c+d)/2 |
| 频谱后果 | 高频在 2×2 混叠中被平均,无法恢复 | 双通路 | low = Conv3×3(LL), high = Conv1×1([LH;HL;HH]) |
| 信息损失 | 不可逆,细节在进入下一阶段前即被丢弃 | 融合 | y = Conv1×1([low ; high]),输出通道与原层一致 |
| 尺度线索 | 只保留低频平均,高频完全消失 | 小尺度调谐 | y ← y · (1 + σ(MLP(GAP(Conv3×3(x))))) |
**关键差异:**关键差异:stride-2 卷积的「低通 + 平均」被替换为「正交分解 + 细节回收」,使下采样从有损操作变为近似无损的信息重排。
4. 整合融合方法总览
把 小波无损下采样主干 放回 YOLO26 的完整链路中,得到的模型记为YOLO26-WST。下图给出融合后的完整网络结构,虚线框与浅绿填充标出被替换的节点,其余节点与原版逐位一致。
Fig. 4 | 融合 WST 后的 YOLO26 完整网络结构
Fig. 4 |Backbone → Neck(PAN-FPN) → Head 的三段式拓扑保持不变,仅在图中标注的节点上发生替换。图中同时给出各节点的输出尺度标注,便于核验特征金字塔的 P3/P4/P5 划分未被破坏。
4.1 各模块的优势、特点与原理
| 模块 / 机制 | 优势与特点 | 原理 |
|---|---|---|
| 正交 Haar 分解 $LL/LH/HL/HH$ | 下采样过程可逆、能量无泄漏 | Haar 基两两正交归一,四个子带的平方和严格等于原块的平方和 |
| 低频/细节双通路 | 把「降分辨率」与「选频率」两件事解耦 | 低频带由 3×3 卷积承担降采样与感受野扩展,细节带由 1×1 卷积承担频率选择 |
| 小尺度调谐支路 | 同一层内同时保留小尺度观察与大尺度上下文 | 平行支路产生逐通道增益 $s$,以乘性形式 $y(1+s)$ 调制主通路 |
| 输出通道与原层严格相同 | 网络其余部分逐参数不变 | 过渡层输入输出张量形状与原版完全一致,尺度划分与颈部拓扑不受影响 |
| 纯卷积实现、无自注意力 | 不引入任何二次复杂度算子 | 全部操作为固定步长的四分之一抽样与 1×1/3×3 卷积,推理代价与原过渡层同阶 |
4.2 为什么这一处是正确的挂载点
下采样是主干中唯一一次不可逆的信息丢弃。YOLO26 在 P3/8→P4/16 与 P4/16→P5/32 两处用 stride-2 卷积完成阶段过渡,而这两处恰好是弱目标特征被稀释的关键位置。把可逆的小波分解放在这里,可以在信息还带着原始空间排布的时刻把它抢救回来;而在颈部做同样的事,特征早已经过多层卷积,细节无从复原。
5. 适合写进论文的创新点表述
以下三条可直接作为论文「方法」章节的创新点陈述。每一条都同时包含了「问题—机制—可验证的设计约束」三要素,避免了「换了个模块」式的空泛表述。
创新点 1提出WSTDown 小波无损过渡阶段:把 YOLO26 主干两处 stride-2 卷积过渡替换为「正交 Haar 分解 → 低频3 × 3 3\times33×3卷积 + 细节1 × 1 1\times11×1聚合 → 拼接融合」的结构,使阶段过渡从有损采样变为按频段的信息重排;由于 Haar 分解能量无损,细节带在原理上为后续阶段保留了原始边缘与纹理,而这是原版 stride-2 卷积在数学上无法做到的。
创新点 2提出小尺度调谐门控的双尺度并行机制:在无损过渡之外保留一条以输入分辨率运算的并行小尺度支路,并以 SE 式通道门控生成增益s ∈ R C s\in\mathbb{R}^{C}s∈RC、以y ← y ( 1 + s ) y\leftarrow y(1+s)y←y(1+s)的形式作用于主通路,使同一过渡层同时具备「大尺度上下文的接收能力」与「小尺度结构的保真能力」——这与原文在小波系数上做选择不同,是对密集预测任务的针对性重构。
创新点 3提出信息流必经点上的可归因改造范式:本文的改动精确落在主干两处阶段过渡上(而非任意堆叠模块),且输出通道、尺度划分、颈部与检测头逐参数保持原版,从而保证性能差异可以被严格归因到「下采样是否无损」这一单一变量上,为论文提供了「结构缺陷 → 数学替代 → 可对照验证」的完整因果链。
6. 原网络与融合后特点对比
Fig. 5 | 原始 YOLO26 与融合后 YOLO26 的特性对比
Fig. 5 |逐维度对比原始 YOLO26 与 YOLO26-WST 在同一组评价维度上的差异,涵盖卷积/混合算子的性质、感受野与多尺度机制、跨尺度信息交换方式、初始化的数值性质以及训练稳定性。
| 对比维度 | 原始 YOLO26 | 融合后 YOLO26(WST) |
|---|---|---|
| 下采样性质 | 有损的混叠平均 | 正交小波分解,信息近乎无损可逆 |
| 高频信息 | 被平均掉,无法恢复 | LH/HL/HH 三带被显式回收并注入 |
| 输出通道与尺寸 | Conv 3×3 s2 的输出 | 完全一致(512 / 1024),颈部接口不变 |
| 额外分支 | 无 | 平行小尺度分支 + 通道门控,代价 O(C²HW) 的一次 1×1 |
| 对小目标的收益 | 细节在下采样中稀释 | 边缘与纹理在进入下一阶段前得以保留 |
| 适配 YOLO26 的方式 | — | WSTDown 替换两处 stride-2 Conv,其余逐字保持原版 |
写在最后
学术因方向、个人实验和写作能力以及具体创新内容的不同而无法做到一通百通,关注UP:Ai学术叫叫兽
在所有资料中留下联系方式以便在科研之余为家人们答疑解惑,本up主获得过国奖,发表多篇SCI,擅长目标检测领域,拥有多项竞赛经历,拥有软件著作权,核心期刊等经历。
因为经历过所以更懂小白的痛苦!
因为经历过所以更具有指向性的指导!
祝所有科研工作者都能够在自己的领域上更上一层楼!