标题:
Breaking Degradation Coupling: A Structural Entropy–Guided Decoupled Framework and Benchmark for Infrared Enhancement
打破退化耦合:面向红外图像增强的结构熵引导解耦框架与基准
作者:
Pu Li, Huafeng Li, Yafei Zhang, Yu Liu, Wen Wang*
1. 昆明理工大学 信息工程与自动化学院
2. 合肥工业大学 生物医学工程系
3. 云南大学 数学与统计学院
代码:
https://github.com/Kust-lp/SEGD
下载:
https://arxiv.org/abs/2604.22886
01 论文摘要
热红外(TIR)成像在真实场景下常同时受到噪声、模糊、低对比度等多种退化因素的复合影响——它们物理机制各异、非线性耦合严重,给图像增强带来巨大挑战。现有的"all-in-one"方法大多采用单一共享主干来统一处理所有退化类型,忽视了不同退化之间的内在差异,容易引发梯度冲突与参数竞争;同时,退化之间还存在潜在的顺序依赖——错误的恢复顺序会扭曲后续退化分布,造成误差累积与伪影放大。
针对上述问题,本文提出结构熵引导的解耦框架 SEGD(Structural Entropy–Guided Decoupled Framework),遵循"退化解耦—先验引导—顺序自适应"的设计哲学,将三种思想统一在一个可优化的信息论建模范式中:通过退化特异性残差模块(DRMs)把复合退化拆解为相互独立的子过程,以"分而治之"的方式分别建模,缓解参数竞争;通过退化感知证据网络(DENet)联合估计退化的类型与强度,并以不确定性感知的方式提供可靠先验,动态调节各 DRM 的恢复力度;通过结构熵引导的恢复顺序选择(SE-ROS)以二维结构熵(2D-SE)最小化为准则,自适应选择信息量最大的恢复路径并完成特征聚合,从根本上避免误差传播。作者同时构建了面向真实低光条件的夜间红外评测基准 Night-TIR。在 HM-TIR 与 Night-TIR 上的实验表明,SEGD 在更少参数、更快推理的前提下,性能全面超越当前 SOTA 方法。
02 关键创新
① 解耦|DRMs:分而治之的退化残差建模为噪声、模糊、低对比度三类退化分别构建独立参数、共享结构的残差模块(基于 RestormerBlock)。每个 DRM 只负责估计自己对应退化的残差分量,各分支独立参数、联合训练,从根本上缓解跨退化的梯度冲突与参数竞争。
② 感知|DENet:证据学习驱动的可靠先验DENet 内含两个头部协同工作——DAH 头预测退化类型,未出现的退化分支被显式抑制以避免"过度恢复";DEH 头基于证据深度学习(EDL)输出 Beta 分布,联合估计退化强度 p与置信度 S。二者被编码为通道调制参数,动态注入到编码器特征中,按"病情轻重"精细调节各 DRM 的恢复力度。
③ 择路|SE-ROS:信息论视角下的顺序自适应枚举三种退化的全部恢复顺序(共 6 条路径),将候选特征建模为相似度图,并以二维结构熵(2D-SE)最小化为准则进行编码树划分,量化每条路径对全局结构信息的贡献。在无需额外监督的前提下,将"恢复顺序选择"与"特征聚合"统一为一个可解释的信息论优化问题。
④ 基准|Night-TIR:面向真实低光的夜间红外测试集构建包含 647 张图像的夜间 TIR 评测基准,覆盖物理一致的复合退化(噪声 + 模糊 + 低对比度),弥补现有红外增强评测在真实夜间场景下的空白,为社区提供一个更具挑战性的测试床。
03 方法详解
🛠️ 整体框架:从"一锅烩"到"分诊—会诊—择路"的协同流水线
SEGD 的整体架构如下图所示,由三大核心组件构成,三者环环相扣、协同优化:
DENet(分诊)先判断"得了什么病、病得多重"→DRMs(专科治疗)让三位"专科医生"分别对症下药 →SE-ROS(会诊择路)用信息论标准选出最优的"治疗顺序",最终由解码器输出高质量红外图像。
整个过程把"退化解耦—先验引导—顺序自适应"统一在一个可端到端训练的框架中。
① 解耦|Degradation Residual Modules(DRMs):分而治之的残差建模
▍设计动机噪声、模糊、低对比度三种退化在物理机制和特征分布上差异显著。让一个共享主干"通吃所有退化",本质上是在让网络同时优化几个相互冲突的目标——梯度方向打架、参数被反复争夺,最终谁也学不好。
▍核心设计作者为三类退化分别构建一个独立的残差模块(C-DRM 对比度、B-DRM 模糊、N-DRM 噪声):
三个 DRM结构相同、参数独立,均基于RestormerBlock构建;
每个 DRM 只学习一类退化对应的残差分量(你可以理解为"针对某种病的解药剂量");
由 DENet 输出的二值因子 控制分支的"开关"。
更新规则非常直观:
其中 是输入特征(来自编码器或上一个 DRM), 是第 类退化对应的 RestormerBlock。
▍效果当某类退化不存在时(),对应分支被显式关闭,从根本上避免"过度恢复";存在时则在独立参数空间内精细补偿。各分支独立参数、联合训练——这正是"分而治之但不各自为政"的精髓。
② 感知|Degradation-Aware Evidence Network(DENet):证据学习驱动的可靠先验
▍设计动机"病情"不只有"有没有",还有"多严重"。直接给模型一个 one-hot 的类别标签远远不够——网络还需要知道每种退化的强度,以及这个判断本身有多可信。这正是 DENet 要解决的问题。
▍核心设计DENet 由特征提取器、DAH(退化感知头)和DEH(退化证据头)组成,分别承担两类任务:
**▶ DAH:判断"有没有"**通过 MLP 预测三类退化的 logits ,再经 Sigmoid 与阈值 二值化为开关因子:
训练时使用BCE Loss,且对阈值 鲁棒(除非取极端值如 0.9)。
▶ DEH:判断"多严重,且这个判断可不可信"这是 DENet 最具创新性的部分。基于证据深度学习(EDL),DEH 输出 Beta 分布的两个参数 :
其中 是退化强度, 是模型对自己判断的置信度——、 分别可理解为"该退化存在"与"不存在"的证据量。强度标签由 SSIM 自然定义:,损失函数为Beta–EDL Loss(NLL 拟合项 + KL 正则项):
KL 项的作用是惩罚过度自信,避免模型"嘴硬"地给出不可靠估计。
▶ 先验注入:把"病情诊断"变成"治疗指令"将 与 拼接后经全连接层生成通道调制参数 ,对编码器特征做强度感知调制:
这样,DRMs 拿到的不只是"做什么",还有"做多少、有多大把握"。
▍效果DENet 让恢复过程从"盲目硬上"变成"按病情轻重精准开方"——病轻则轻治,病重则重治,把握不足则保守治。
③ 择路|SE-ROS:结构熵引导的恢复顺序自适应选择
▍设计动机复合退化的恢复顺序很关键。论文给了一个非常形象的例子:
“在强噪声下先做去模糊,会让噪声污染模糊核估计,产生伪纹理;在重模糊下先去噪,又会削弱边缘一致性。”
固定顺序(如 CBN)无法适配所有图像;随机采样路径不稳定;简单平均又会被"次优路径"拖后腿。能不能让模型针对每张图像自适应地选最优路径?
▍核心设计:把"选路径"转化为"信息论优化问题"
▶ 第一步:枚举所有候选路径三种退化的全部排列共 6 条:
每条路径就是一种 DRM 的串联顺序,对应一个候选特征。
▶ 第二步:构建特征相似度图将 6 个候选特征作为顶点,构造全连接图 ,边权为非负余弦相似度:
▶ 第三步:以 2D 结构熵最小化划分编码树二维结构熵 衡量在划分 下图的"信息不确定性":
通过近线性时间算法最小化 2D-SE,得到最优编码树与划分——高内聚、低耦合的特征自然聚成簇。
▶ 第四步:基于顶点贡献度选择并聚合特征对每个顶点 ,计算其结构熵贡献——即"把它从当前簇中移除会造成多大的熵增"。 越大,说明该路径越能维持全局信息秩序:
即在每个簇内选出贡献最大的"代表路径",再用 softmax 权重做加权聚合,得到送入解码器的最终特征 。
▍效果SE-ROS 把"选哪条路"这件主观的事,转化成了一个有显式数学准则、可解释、不需要额外监督的优化问题。它同时完成顺序优化与特征聚合,从机制上抑制了多阶段误差传播与伪影放大。
④ 基准|Night-TIR:面向真实低光场景的评测床
现有红外增强评测多在常规场景下进行,难以反映夜间低光这一红外成像的核心应用场景。作者按照 HM-TIR 的退化合成协议,构建了包含647 张夜间红外图像的 Night-TIR 数据集,覆盖物理一致的单一/双重/三重复合退化情形,为社区提供了一个更贴近真实部署条件的挑战性测试床。
训练目标
整体训练目标由三部分组成,端到端联合优化:
其中 监督最终重建图像, 与 分别约束 DAH 和 DEH 的输出。无需额外监督的 SE-ROS 则在前向传播中"无声地"完成路径选择与特征聚合。
🎯一句话总结方法的精髓: SEGD 把"红外图像增强"这件原本被当作端到端黑箱的任务,拆解为"分诊 → 治疗 → 择路" 三个具有清晰物理/信息论含义的子问题,并用一套优雅的数学语言(残差学习、证据学习、结构熵)把它们重新缝合起来——既有可解释性,又有 SOTA 的性能。
04 实验评估
数据与设置:
实验在三套数据上展开:HM-TIR(1,503 张红外图像,按 8:2 划分,测试集涵盖 20%/30%/50% 的单/双/三重退化)、本文新构建的Night-TIR(647 张夜间红外图像,相同退化协议)、以及用于真实场景泛化测试的 AWMM(300 张未施加任何合成退化的真实红外图像)。前两者用 PSNR/SSIM 评测,AWMM 采用 NIMA、MUSIQ、NIQE 三项无参考感知指标。对比方法涵盖红外专用方案(WFAF、LRSID、TSIRIE、PPFN)和可见光通用 all-in-one 方案(DACLIP、DiffUIR)。所有实验基于 PyTorch + RTX 4090,AdamW 优化器训练 100 epochs。
定量实验结果:
表 1 显示,SEGD 在 HM-TIR 和 Night-TIR 上几乎全面登顶,平均 PSNR/SSIM 较强基线提升 4.90% / 3.73%;尤其在三重退化场景下,HM-TIR 上 PSNR 从 PPFN 的 18.20 dB 跃升至 20.31 dB——退化越复合,SEGD 优势越明显,这正是"分而治之 + 顺序自适应"设计理念的有力佐证。图 7 进一步对比不同恢复路径策略:固定顺序受限于误差传播,随机采样不稳定,等权平均在三重退化下被次优路径稀释;而 SE-ROS 在双重和三重场景下均最优,验证了基于 2D 结构熵的自适应择路机制。
定性实验结果:
图 3 给出 HM-TIR 与 Night-TIR 上三重复合退化的可视化对比:WFAF、LRSID、TSIRIE、DACLIP、DiffUIR 普遍存在伪影残留和背景噪声未清除的问题;PPFN 虽更稳定但仍有细节丢失与对比度不足;SEGD 则在对比度增强、细节保真、伪影抑制三者间取得最佳平衡。图 4 在 AWMM 真实红外图像上的结果同样令人信服——SEGD 在行人轮廓、地面纹理等高频区域呈现更清晰的边界,有效抑制背景噪声且避免过度增强,证明模型学到的是红外退化的本质规律,而非过拟合合成数据。
参数分析:
表 2 揭示了一个相当反直觉的结果:SEGD 参数量仅 2.268M,比 PPFN(26.60M)少 91.5%,比 DACLIP(233.14M)少 99%;推理时间 0.19s/张,比 PPFN 快 3.4×,比 DACLIP 快 80×。性能 SOTA 的同时还是几乎最轻量、最快——证明"解耦设计 + 信息论引导"带来的不只是性能提升,更是结构性的效率优势。
消融实验:
表 3 验证 DENet 的设计必要性:同时移除 DAH 和 DEH 时 PSNR 跌至 22.728 dB(最严重的退化),只保留任一头部都性能受损;移除置信度 后小幅下降,证实其用于抑制不可靠的强度估计——“类型 + 强度 + 置信度"三位一体,每一项都不冗余。图 5 显示 DENet 对阈值高度鲁棒,除非取 0.9 这类极端值,性能几乎不受影响,说明该设计在实际部署中无需精细调参。图 6 则展示了各 DRM 的"专科特异性”:对比度 DRM 仅对低对比度退化有效,噪声/模糊 DRM 同理——各司其职、合作互补,移除全部 DRMs 会导致 PSNR 骤降 6.045 dB,是整个框架的结构基石。
05 总结与展望
总结
本文提出SEGD——一个面向红外图像复合退化增强的结构熵引导解耦框架。不同于传统"共用骨干处理一切退化"的范式,SEGD 遵循"解耦—感知—择路"的设计哲学:通过DRMs以独立参数、共享结构的方式分而治之,缓解跨退化的梯度冲突与参数竞争;通过DENet基于证据深度学习联合估计退化类型、强度与置信度,提供可靠先验;通过SE-ROS以 2D 结构熵最小化为准则,无需额外监督即可自适应选择最优恢复路径并完成特征聚合。同时,作者构建了夜间红外评测基准Night-TIR。实验证明,SEGD 在三个数据集上全面 SOTA,退化越复合优势越明显,且参数量仅 2.268M、推理时间 0.19s——性能与效率兼得。
展望
SEGD 的设计思想为复杂退化场景下的图像增强开启了新的可能。短期来看,该框架在夜间安防监控、自动驾驶辅助感知、无人机遥感、红外医学影像等场景具备直接落地价值;长远而言,"解耦—择路"的范式可进一步推广至 RGB-T、深度-红外等多模态联合增强任务,DENet 的证据建模也有望扩展到处理训练集未见过的未知退化类型。更值得期待的是,基于结构熵的择路过程为深度模型的可解释性提供了天然抓手——让"黑箱"开始讲出可被理解的信息论语言,这或许是该工作之于整个图像恢复领域最具启发性的贡献。