企业官网建设流程全解析

期刊：Transactions on Medical Imaging

年份：2025

英文名字：Semi-Supervised Knee Cartilage Segmentation With Successive Eigen Noise-Assisted Mean Teacher Knowledge Distillation

中文译为：基于连续特征噪声辅助 Mean Teacher 知识蒸馏的半监督膝关节软骨分割

一、摘要

膝骨关节炎的分析需要准确分割膝关节软骨，但不同 MRI 扫描技术和序列之间存在明显的域偏移，例如图像对比度、分辨率和噪声分布不同。

现有跨模态方法通常依赖特征对齐或图像风格转换，但容易丢失一些细小软骨类别的信息，而且对高阶特征关系利用不足。

因此，作者提出SEN-MTKD 半监督知识蒸馏框架，利用少量目标域标注数据和大量未标注数据，实现不同 MRI 序列之间的跨域膝关节软骨分割。

其核心包括：

• ELRS：利用低秩特征子空间提取域不变表示；
• SEN：利用较小奇异值构造特征噪声，加强细小软骨类别；
• LRBD：约束 Teacher 和 Student 的低秩子空间结构保持一致，从而提高跨模态知识蒸馏的可靠性。

二、创新点

创新一：跨 MRI 序列的半监督 Mean Teacher 框架

论文将Mean Teacher + 知识蒸馏 + 子空间域适应结合起来。

Teacher 在源域 MRI 上预训练，而 Student 在只有少量标注的目标 MRI 序列上学习，通过大量未标注数据完成跨模态适应。

因此解决的是：Source MRI→Target MRI之间的跨序列、非配对、少标注分割问题。

创新二：Eigen Low-Rank Subspace（ELRS）

作者对 Teacher 和 Student 的中间特征进行SVD 分解，保留主要奇异值重新构造低秩特征。

这样能够去除部分冗余信息，并将两个网络的特征映射到一个共同的domain-invariant eigen subspace，缩小不同 MRI 序列之间的特征分布差异。

创新三：Successive Eigen Noise（SEN）

作者没有使用普通随机 Gaussian Noise，而是利用 SVD 中较小奇异值对应的信息构造噪声。

这些较小奇异值被认为包含更多难以区分的小软骨类别信息，因此 SEN 可以增强：

少数类、小结构软骨的表示能力。

同时，上一 batch 产生的 SEN 会加入下一 batch 的 Student 输入，因此称为Successive Eigen Noise。

创新四：Low-Rank Basis Distillation（LRBD）

作者进一步设计低秩基蒸馏损失，对齐 Teacher 和 Student 的低秩子空间结构，而不是只要求最终预测一致。

因此知识蒸馏由： Prediction Alignment进一步扩展到： Latent Subspace Structure Alignment可以减轻跨模态域偏移以及错误伪标签带来的影响。

三、方法

图2展示了用于半监督膝关节软骨分割（SEN-MTKD）的连续特征噪声辅助均值教师知识提取框架。教师模型产生域不变的伪标签，学生模型可以从中学习。在师生框架内，为教师和学生设计了一个低秩子空间模块，通过域不变特征子空间中的特征低秩（ELRS）近似，分别捕获高阶和低阶潜在模式。

3.1 Mean Teacher 半监督框架

整体采用：Teacher Model+Student Model​，Teacher 和 Student 使用相同网络结构。

Teacher 首先在具有完整标注的源域Domain A上进行训练；随后在目标域Domain B上进行半监督学习，其中只有5%–25% 数据具有标签，其余数据没有标签。

Teacher 为未标注图像产生 soft pseudo-label，Student 同时学习：

• 有标签数据的监督信息；
• Teacher 对未标注数据的预测；
• Teacher 与 Student 的低秩特征关系。

Teacher 参数则通过 Student 参数的 **EMA（Exponential Moving Average）**不断更新。

3.2 Eigen Low-Rank Subspace（ELRS）

Teacher 和 Student 分别产生特征：，

随后分别通过 SVD：，将特征分解为奇异向量和奇异值。

作者选取前 k 个较大的奇异值重新构造：，,形成 Teacher 和 Student 的低秩特征表示。

这样能够保留主要解剖结构信息，并在较低维的公共子空间中对齐两个 MRI 域的特征。

简单来说就是：

SVD → 提取主要结构特征 → 构建共享低秩空间 → 缩小 MRI 域差异。

3.3 Successive Eigen Noise（SEN）

与 ELRS 使用最大的奇异值不同，SEN 专门利用较小的奇异值。

作者认为较大奇异值主要描述明显的大结构，而较小奇异值中可能包含细小、难分辨的软骨类别信息。

因此利用低能量奇异成分构造：ξ=SEN

并将上一批次产生的 SEN 加入下一批次 Student 输入：

相当于使用一种具有语义信息的数据扰动代替简单的随机 Gaussian Noise。

其目标是增强少数类软骨的可区分性，同时降低 Student 对 Teacher 的过拟合。

3.4 Low-Rank Basis Distillation（LRBD）

ELRS 不仅能够得到低秩重构特征，还能得到 Teacher 和 Student 对应的低秩基：​,

LRBD 进一步计算两个低秩子空间之间的距离，要求：​

也就是说，不仅要求 Teacher 和 Student 最终分割结果一致，还要求它们学习到的潜在几何结构保持一致。

这样可以提高跨 MRI 序列下的特征稳定性，并降低错误 pseudo-label 对 Student 的影响。

3.5 总体损失函数

整个 SEN-MTKD 的损失由三部分组成：

其中：

• ​：监督分割损失，由Focal Loss + Weighted Dice Loss组成；
• ：Teacher–Student 预测的一致性损失；
• Llrs​：Teacher–Student 的低秩子空间蒸馏损失。

Teacher 参数不直接反向传播，而是通过 Student 参数进行 EMA 更新。

因此整个训练过程可以概括成：

ELRS提取域不变结构+SEN增强细小软骨+LRBD对齐Teacher/Student​

五、结论

论文最终证明，SEN-MTKD 能够在少量目标域标注数据 + 大量未标注数据的条件下，实现不同 MRI 序列之间的膝关节软骨分割。

其核心思想是将 Teacher 和 Student 的特征映射到共同的低维特征子空间，利用 ELRS 对齐跨域结构特征；利用 SEN 从低奇异值中提取扰动信息，增强少数软骨类别；再通过 LRBD 保持 Teacher 和 Student 潜在结构的一致性。

实验中，在25% 目标域标注数据情况下，方法取得约83.51% 的平均 Dice，高于 Mean Teacher 基线的78.15%；即使只有5% 标注数据，也能够明显优于基线，说明模型能够有效利用未标注数据。