企业官网建设流程全解析

arXiv | 2025 | Gaussian Masked Autoencoders

• 论文：https://arxiv.org/abs/2501.03229
• 代码：https://brjathu.github.io/gmae
• 期刊：arXiv（预印本）
• 时间：2025

创新点

• 本文提出了GMAE ，一种自监督图像表示学习方法，它将MAE扩展到包含一个学习的中间高斯表示，以联合学习语义和空间理解，并同时实现了语义抽象学习与空间理解能力的协同提升
• 该方法突破了传统框架的局限，引入了基于三维高斯分布的中间表征层，并通过点扩散技术进行图像渲染
• MAE是“像素→像素”的还原，GMAE是“像素→⾼斯斑点→像素”的还原，多了⼀层“灵活的中间载体”，这层载体能天然学习空间信息

贡献

• 通过将重建目标锚定于像素层面，同时结合图像的中层表征，实现了高效高层次语义抽象与空间理解的协同学习
• 这一方法可以为新一代高保真视觉数据建模技术的发展作出重要贡献

摘要及引言

• 本研究旨在学习由三维空间中物体及其关系构成的世界结构，通过学习由三维高斯分布控制的掩码自编码器作为中间表征，从原始图像观测中提取这些抽象结构
• 基于MAE，本文团队设计了能够生成理想中间表征的机制，这些表征最终会转化为学习到的潜在变量
• 具体来说，他们的核心洞见在于：三维高斯分布作为中间图像表征的候选方案表现优异，能够有效促进语义和空间理解的深入
• 基于高斯分布的表征方法得益于图像渲染的“斑点化”技术，能够将表征映射回像素空间，这使得端到端学习成为可能。因此，可以在MAE等自监督框架中联合学习这种中间表征

图1：高斯掩码自编码器功能

• 监督任务（左侧）：GMAE能完成分类、检测、分割等传统任务，性能和MAE相当，说明语义学习能⼒没丢
• 零样本任务（右侧）：不⽤专⻔训练，就能直接做三件事：
  a. Zero-shot figure ground segmentation（零样本前景-背景分割）：⾃动区分图⽚中主要物体和背景
  b. Zero-shot layering（零样本分层）：把图⽚按深度分成多层
  c. Zero-shot hierarchical edge detection（零样本层级边缘检测）：识别物体的轮廓边缘

• 图1展示了基于高斯分布的图像表示法的若干固有优势。此外，通过让三维高斯模型沿z轴移动，此模型不仅通过单张图像的单一视角，还通过数百万张此类单视角图像来学习自然世界的底层结构。因此，此模型无需任何调校即可实现图形-背景分割、简单分层以及边缘检测作为深度不连续性

预备知识

• 语义抽象：模型从图⽚中提炼核⼼含义的能⼒，⽐如识别物体类别、理解场景主题
• 空间理解：模型把握图⽚中物体位置、层次、边缘等空间信息的能⼒
• 三维⾼斯分布：可以理解为“灵活的⽴体斑点”，能通过调整位置、⼤⼩、形状、颜⾊、透明度，精准模拟图⽚中的不同区域（⽐如⽤⼤斑点模拟背景，⼩斑点模拟物体细节）
• 可微分渲染：把“⾼斯斑点”这类抽象特征，转换成我们能看懂的像素图⽚的技术，⽽且这个转换过程能反向调整“⾼斯斑点”的参数，让还原的图⽚更像原图
• 零样本学习：模型没专⻔训练过某个任务，但能直接完成这个任务，不⽤额外调参
• MSE损失函数：衡量“还原图⽚”和“原图”差距的指标，数值越⼩说明还原得越像

方法

初步结果

自监督掩码自编码器

• 隐藏层自动编码器通过随机遮蔽数据部分并预测被遮蔽区域来建模数据分布
• 在语言处理领域，BERT采用遮蔽部分文本标记并使用Transformer模型进行预测的训练方式
• 在视觉领域，MAE和BEiT通过遮蔽输入图像的局部区域并预测被遮蔽区域来实
• 在MAE中，可见区域的编码由ViT编码器完成，而较小的解码器ViT模型则使用被遮蔽标记来重建被遮蔽区域

三维高斯基元与贴片技术

• 每个高斯体的特征由三维协方差矩阵Σ ∈ R 3 × 3 \Sigma \in \mathcal{R}^{3 \times 3}Σ∈R3×3和中心位置p ∈ R p∈Rp∈R组成。此外，每个高斯体还被赋予颜色r ∈ R r∈Rr∈R和不透明度o ∈ R o∈Ro∈R，以编码场景内容
• 本研究采用标准方法将协方差矩阵分解为Σ = R S S T R T Σ =RSS^TR^TΣ=RSSTRT，分解结果为缩放矩阵S=d i a g ( s ) ∈ R 3 × 3 diag(s)\in \mathcal{R}^{3 \times 3}diag(s)∈R3×3（由缩放向量s ∈ R s∈Rs∈R表示）和旋转矩阵R ∈ R 3 × 3 R\in \mathcal{R}^{3 \times 3}R∈R3×3（由旋转四元数ϕ ∈ R 4 ϕ ∈R^4ϕ∈R4表示）。因此，每个高斯分布由一个14维向量g = { p , s , ϕ , r , o } ∈ R 14 \boldsymbol{g}=\{p, s, \phi, r, o\} \in\mathcal{R}^{14}g={p,s,ϕ,r,o}∈R14参数化

本文团队的方法

• 对于给定图像，首先将其分割为N个图像块，并通过随机掩码率r进行掩码处理，最终得到n个可见图像块。ViT编码器仅需处理这些可见图像块，即可将其编码为d enc d_{\text{enc}}denc​维的潜在嵌入向量，其中i∈{1,2,3 ，… n}
• 假设解码器具有k个可学习的查询标记q j ∈ R d dec q_j\in\mathcal{R}^{d_{\text{dec}}}qj​∈Rddec​，其中j ∈{0,1,2，…k}
• 将编码器的潜在向量x ^ i ∈ R d dec \hat{x}_i\in\mathcal{R}^{d_{\text{dec}}}x^i​∈Rddec​进行投影，并将其与查询标记进行拼接

X d e c = { x ^ i } i = 1 n ∪ { q j } j = 1 k X_{dec} = \{\hat{x}_i\}_{i=1}^n \cup \{q_j\}_{j=1}^kXdec​={x^i​}i=1n​∪{qj​}j=1k​

• { x ^ i } i = 1 n \{\hat{x}_i\}^n_{i=1}{x^i​}i=1n​：n个 “投影后的编码器向量” 集合。其中{ x ^ i } \{\hat{x}_i\}{x^i​}是原始编码器输出x i x_ixi​（{ d e n c } \{d_{enc}\}{denc​}维）经过 “投影层” 转换后的向量（维度变为{ d e n c } \{d_{enc}\}{denc​})，和解码器查询标记q j q_jqj​维度一致），i从1到n代表 “共n个可见图像块的特征”
• { q j } j = 1 k \{q_j\}_{j=1}^k{qj​}j=1k​：k+1个 “解码器查询标记” 集合（论文中j从 0 开始计数，实际共k个有效查询标记，0 可能是占位符），q j q_jqj​是{ d e n c } \{d_{enc}\}{denc​}维可学习向量，每个对应一个要生成的高斯分布

• 解码器看到令牌并预测k个高斯分布，每个查询令牌对应一个高斯分布。每个高斯分布由一个14维向量g = { p , s , ϕ , r , o } ∈ R 14 \boldsymbol{g}=\{p, s, \phi, r, o\} \in\mathcal{R}^{14}g={p,s,ϕ,r,o}∈R14参数化
• 首先完成高斯分布的k预测后，再将其通过固定相机投影映射到平面上，再对这些投影后的高斯分布进行渲染生成图像，并通过采用c·Sigmoid（s）比例因子来控制高斯分布的尺寸

图2：基于高斯点阵渲染的掩码自编码

• 1.输⼊：⼀张被随机掩码（挡住75%）的图⽚
• 2.编码器：只处理剩下的25%可⻅块，输出抽象特征
• 3.解码器：根据编码器的特征，预测出“⾼斯参数”（包括颜⾊、位置、⼤⼩、透明度等）
• 4.渲染器：把⾼斯参数转换成像素图⽚，和原图对⽐调整模型

• 总而言之，该模型的工作流程可概括如下：
• 第⼀步：掩码与编码
  把⼀张图⽚分成很多⼩⽅块，随机挡住75%的⽅块，只留下25%的可见⽅块，⽤ViT编码器处理这些可见⽅块，转换成抽象的特征向量
• 第⼆步：预测⾼斯参数
  ⽤ViT解码器接收编码器的特征，预测出⼀系列“三维⾼斯分布”的参数（每个⾼斯是14维向量，包括：位置、⼤⼩、形状、颜⾊、透明度），这些⾼斯能根据图⽚内容调整⾃⼰
• 第三步：渲染与训练
  ⽤可微分渲染器把这些“⾼斯颜料块”投射到平⾯上，⽣成还原图⽚。通过MSE损失函数对⽐还原图和原图的差距，反向调整整个模型的参数（包括编码器、解码器预测的⾼斯参数），让还原效果越来越好

实验

设计选择

高斯数量

图3：
横坐标是“⾼斯数量”（64、128、256、512），纵坐标是分类准确率（越⾼越好），两条线分别代表“线性探测”和“全参数微调”：

• 线性探测（黄线）：⾼斯数量越多，准确率越⾼（从51.4%升到61.9%），因为更多⾼斯能更细致地模拟图⽚特征
• 全参数微调（红线）：128个⾼斯后准确率快速提升，256个时达到83.2%，再增加到512个时性能没明显提升（饱和）
• 结论：在线性探测中，随着高斯数量增加，性能呈现单调上升趋势。在全参数微调阶段，虽然初期表现类似，但当高斯数量达到256时性能趋于饱和

高斯缩放机制

表1：高斯分布的最大允许尺度

• 结果：高斯最大尺度（c）对分类性能影响较小，但小尺度会严重损害图像重建质量
• 结论：最优选择：c=1.0时，平衡性能与重建效果

图4：尺度对重建的影响

• 横坐标是c值，c越⼤，⾼斯能达到的最⼤尺⼨越⼤
• 通过可视化结果表明，当使用小尺度高斯分布时，模型无法通过固定数量的高斯分布完成整个图像的重建

• 从图中可以看到：c=0.5时，还原图有很多“漏洞”（因为⾼斯太⼩，覆盖不了整个图⽚）；c=1.0和2.0时，还原图更完整、清晰
• 结合表1的数值：c=1.0时分类准确率最⾼（83.2%），c太⼤或太⼩都会略降性能
• 结论：c=1.0是最佳值，既能让⾼斯覆盖图⽚，⼜不会因太⼤导致细节模糊

掩蔽率研究

表2：编码器的掩码率

• 结果：掩码比例0.75时性能最优，与MAE一致。高掩码比例能让模型学习更有效的表征，且训练更高效
• 结论：比例过高或过低均导致性能下降

损失函数应用策略

• 研究发现，当在掩码块上应用损失函数时，MAE指标在使用归一化图像块预测时表现更优

表3：预训练采用的损失函数

• 仅对掩码块计算损失效果最优，与MAE结论一致：对所有块计算损失性能略降
• 归一化像素损失严重失效，原因是高斯会影响多个像素，难以重建局部归一化的图像块
• 结论：当仅对掩码块应用损失函数时，模型性能略优于对所有图像块应用损失函数的训练结果

最终模型

• 根据上述实验结果，本文团队最终采用ViT基础模型进行预训练，设置0.75的掩码率并完成400个训练周期，对掩码标记应用补丁损失函数，并在训练过程中为解码器配置512个高斯分布
• 该模型将作为后续实验的统一框架，并且所有模型均在ImageNet1k数据集上进行预训练

监督任务

• 采用ImageNet-1k分类和COCO目标检测数据集进行测试
• 在ImageNet和COCO数据集上进行微调时，使用ViT-base模型，该模型经过400个训练周期，掩码率设置为0.75

图像识别

表4：展示了不同预训练模型在ImageNet分类任务中的Top-1准确率表现

• 结果：GMAETop-1准确率 83.2，略低于MAE，但优于DINO
• 结论：GMAE在图像分类任务上保持了 MAE 的语义表征质量

物体检测与分割

表5：本文团队遵循ViTDet的实验方案，并在COCO数据集上进行评估

• 结果：GMAE的A P b o x AP^{box}APbox=50.2、A P m a s k AP^{mask}APmask=44.5，与MAE几乎持平，且显著优于监督预训练
• 结论：GMAE的表征可有效迁移到下游检测或分割任务，性能不逊于MAE

非监督任务

• 首先评估模型的图像重建质量：在ImageNet验证集上，本文团队的ViT-base模型在重建FID指标上达到89.45，而MAE ViT-base模型则获得98.12

图5：当输入完全可见时（遮罩比例=0）的测试重建示例

• 第一行是RGB原始图像，第二行是重建的结果
• 量化指标：rFID（衡量还原图和原图的分布差异）GMAE更⼩，PSNR（衡量清晰度）GMAE更⾼，说明GMAE的还原质量更好

• 这种重建质量的提升源于学习到的高斯分布具有非均匀性，这使得GMAE能够建模高频信息
• 因此，此模型的重建结果可以直接用于其他任务，无需额外添加GAN损失或上采样层
• 为了沿z轴分割图像，我们只需根据预测高斯分布的深度值对它们进行排序，并将其分组为L = l 0 , l 1 , . . . l d L=l0,l1, ...ldL=l0,l1,...ld组

图6：展示了64层高斯表示的分层效果

• 第⼀列是原图，后⾯的列是“按深度逆序排列的⾼斯层”（从深到浅，也就是从背景到前景）
• 可以看到：模型⾃动把物体的不同部分分配到不同⾼斯层，⽐如鸟的⾝体在前⾯的层，背景的天空在后⾯的层
• 这个特性让GMAE不⽤专⻔训练，就能直接做前景-背景分割（提取前⾯的层）和分层渲染（单独显⽰某⼏层）
• 直观展示了GMAE模型能像人眼一样，把一张平的照片拆成 “近、中、远” 不同层次，每个层次对应场景里不同远近的物体

图7：选取不同数量的核⼼⾼斯层对渲染效果的影响

• 图中展示了K=32、64、128、256、512、1024等不同深度层级的渲染效果，最后一列则完整呈现了使用全部高斯层的最终渲染结果

• K是“选取的核⼼⾼斯层数”（K=32表⽰只选32个最重要的层）
• 随着K增加，渲染图越来越清晰：K=32时只能看到⼤致轮廓，K=256时已经和原图很接近，K=1024时完全还原原图
• 结论：GMAE的⾼斯层是“有序且有优先级”的，少数核⼼层就能捕捉图⽚的主要特征，更多层则补充细节，这也说明⾼斯分布能⾼效编码图像信息

零样本图景-背景分离

• 分层渲染技术使此模型能够实现图景-背景的自动分割。只需获取分层渲染图像，通过设定阈值即可完成前景与背景的分离
• 值得注意的是，尽管GMAE属于零样本方法，但其表现优于其他少样本基线方法
  

表3：零镜头分割和检测

• 任务：在PASCAL数据集上进行零样本前景分割（区分前景 / 背景）和单目标检测，无需对任务进行微调
• 结果：GMAE在所有指标上显著领先：前景分割平均准确率18，单目标检测准确率20.26，远超MAE和VQGAN
• 结论：GMAE的3D高斯表征天然具备空间分层能力，实现了零样本前景-背景分离和目标检测

零样本边缘检测

• 与零样本图底分割类似，我们可以直接获取分层渲染图像，然后寻找z方向上不连续的边缘
• 此外，网络层数决定了边缘检测的精细程度——例如，层数越多，我们能检测到的边缘细节就越丰富
  

图8：展示了不同层数下我们的零样本方法检测到的边缘效果

• ⾸列是原图，中间列是不同分层数量l的边缘检测结果（@l=32表⽰分成32层，@l=4表⽰分成4层）
• 关键发现：l越⼩（分层越少，单层越宽），边缘检测效果越好：@l=4时，物体的轮廓边缘更连续、清晰；@l=32时，边缘会有些细碎、断裂
• 结合图9的结论：每层宽度增加（l减⼩），边缘检测质量提升，说明GMAE能通过调整分层⽅式，精准捕捉物体边缘

表4：零样本迁移至边缘计算保护

• 任务：在BSDS500数据集上进行零样本边缘检测，GMAE的方法是：按高斯深度分组，通过层间像素变化的不连续性提取边缘（无需训练）
• 对比对象：监督方法（HED、EDETR）、传统零样本方法（Sobel/Canny 算子）、现代零样本模型（SAM）
• 结果：GMAE的ODS=0.515、OIS=0.524，低于SAM（ODS=0.768）和监督方法，但与传统算子接近
• 结论：GMAE无需任何边缘检测训练，仅通过高斯深度分层即可实现基础零样本边缘检测，验证了空间表征的有效性
  

图9：边缘检测：随着增加每一层的宽度，质量提高

• 横坐标是“每层宽度”（可以理解为每层⾼斯的“覆盖范围”），纵坐标是边缘检测质量（越⾼越好）
• 趋势：随着每层宽度增加，边缘检测质量逐渐上升，从0.436提升到0.495
• 原因：每层宽度越⼤，⾼斯能覆盖的空间范围越⼴，越容易捕捉到物体的连续边缘，避免边缘断裂或模糊

定性结果

高斯函数在xy坐标系中的分布

图10：xy平面上高斯分布的可视化

• 与静态图像中的固定区域不同，高斯分布会根据图像动态调整位置

• 图中每个点代表⼀个⾼斯的中⼼位置，颜⾊深浅代表不透明度
• 关键差异：传统MAE的⽅块是“均匀分布”的（不管图⽚内容，都按固定⽹格排列），⽽GMAE的⾼斯是“动态分布”的：⽐如第四张图（圆形物体）中，⾼斯呈圆形排列；第⼆张图（矩形物体）中，⾼斯呈矩形阵列
• 优势：⾼斯能根据图⽚内容“扎堆”在信息密集区（⽐如物体边缘、细节处），⽤更少的参数精准编码图像，这也是GMAE⾼效且能捕捉细节的原因

尺寸与深度

图11：尺寸与深度

• 尺度值较大的高斯分布更靠近相机，而尺度值较小的则平均距离相机较远

• 纵坐标是“⾼斯的尺度值s”（越⼤表⽰⾼斯越⼤）
• 横坐标是“深度”（可以理解为“距离相机的远近”，数值越⼩越近）
• 趋势：尺度⼤的⾼斯（s⼤），深度值⼩（更靠近相机）；尺度⼩的⾼斯（s⼩），深度值⼤（更远
  离相机）
• 现实意义：背景通常是“⼤⽽简单”的（低频信息），所以⽤⼤⾼斯、靠近相机；物体细节是“⼩⽽复杂”的（⾼频信息），所以⽤⼩⾼斯、远离相机，这也解释了为什么GMAE能⾃动分层和分割前景背景

结论

• 本文提出了GMAE ，一种自监督图像表示学习方法，它将MAE扩展到包含一个学习的中间高斯表示，以联合学习语义和空间理解
• 本文团队发现，使用三维高斯分布来表征图像具有多项天然优势，这些优势源于其在尺度、位置和分布上的非均匀动态分配特性。因此，他们的方法能够实现零样本学习的空间理解能力
• 除了这些优势，本文团队还证明该方法学习到的表征仍具备良好的语义抽象能力，在标准监督图像识别任务中与MAE表现相当，且通过微调可迁移至检测和分割等下游任务
• 不足：与通常用于 3D 重建的高斯数量（多达数百万）相比，本文团队在GMAE中使用的高斯数量受到计算能力的限制，增加到一千以上会导致预训练速度大幅下降