企业官网建设流程全解析

PLOT: Pseudo-Labeling via Object Tracking for Monocular 3D Object Detection

2. 论文主要贡献

1. 降低三维标注生成对额外传感器和相机位姿的依赖。利用普通单目视频生成三维目标标注，为缺乏 LiDAR 和相机位姿信息的数据提供了一种可扩展的伪标签生成方案。

2. 解决视频中长期目标身份不一致的问题。通过稠密点跟踪建立跨帧对应关系，并设计全局目标记忆机制，缓解遮挡、检测失败和目标交叠造成的轨迹断裂、身份切换及错误关联。

3. 缓解单帧三维几何信息不完整的问题。利用跨帧相对位姿估计和轨迹引导的形状融合，聚合不同帧中的局部三维观测，获得更加完整的物体几何表示，改善三维属性估计。

4. 验证方法在不同场景中的适用性。在 KITTI、KITTI-360、Waymo 等三维检测基准以及真实开放场景视频上进行实验，验证生成的伪标签及其跨场景泛化能力。

3. 创新点

1. 基于稠密点跟踪的时序对应机制（3.1）。将逐帧检测得到的目标掩码与点跟踪传播得到的掩码进行显式匹配，使视频中的目标观测建立可靠的跨帧对应关系，为后续运动估计和几何融合提供基础。

2. 基于点轨迹的相机与物体运动估计（3.2）。分别利用背景点轨迹和物体内部点轨迹估计相机运动及物体相对位姿，在未知相机位姿的情况下建立统一的参考坐标系，为跨帧三维观测对齐提供依据。

3. 全局目标记忆（Global Object Memory, GOM，3.3）。维护跨帧目标记录，结合点跟踪持续性、类别与几何属性一致性以及重复目标检查，丢弃不稳定实例、修正不一致属性并合并冗余记录，从而提高长期目标关联的可靠性。

4. 轨迹引导的物体形状融合（3.4）。将不同帧中同一目标的三维点云依据相对位姿进行对齐和融合，构建更完整的 pseudo-LiDAR 表示，减轻遮挡和视角变化造成的形状缺失，并为三维属性估计提供依据。

4. 方法论

4.1 Temporal Grounding through Point Tracking（3.1）

图 3：PLOT 的整体架构。给定单目视频，首先**提取二维目标检测结果和深度信息，并通过点跟踪建立具有时序对应关系的点匹配信息。**利用这些信息估计不同视频帧之间的相对位姿和相机运动，从而实现物体形状融合与朝向估计。随后，**利用全局目标关联模块修正目标轨迹，并恢复缺失的目标实例。**最后，将补全后的伪激光雷达点云重新投影到各个视频帧中，从而生成在时间上保持一致的三维属性标注。

3.1中
本模块的目标是建立不同视频帧之间的目标与点对应关系。作者区分两种目标掩码：预测掩码（Predicted Masks）和跟踪掩码（Tracked Masks）。预测掩码由开放词汇检测与分割模型 Grounded-SAM（GSAM）逐帧生成，反映当前帧中实际预测的目标区域；跟踪掩码则由 AllTracker 将某一帧中的目标通过稠密点跟踪传播到其他帧，反映已有目标在其他帧中的对应位置。两种掩码各有作用：前者提供逐帧目标观测，后者提供跨帧点对应关系。

设第t tt帧中第k kk个目标的预测掩码为M k t M_k^tMkt​，将其跟踪到第t ′ t't′帧后得到：

M k t ′ ← t = T t ′ ← t ( M k t ) M_k^{t'\leftarrow t}=T_{t'\leftarrow t}(M_k^t)Mkt′←t​=Tt′←t​(Mkt​)

其中，T t ′ ← t T_{t'\leftarrow t}Tt′←t​表示从第t tt帧到第t ′ t't′帧的跟踪操作。

由于跟踪误差、遮挡和目标形状变化，跟踪掩码可能与当前帧检测器预测的掩码发生偏离。
作者因此采用匈牙利算法，根据掩码之间的交并比（Intersection over Union, IoU）进行二分图匹配，使所有匹配对的 IoU 总和最大：

σ ^ = arg ⁡ max ⁡ σ ∈ S n ∑ i IoU ⁡ ( M i s ← t , M σ ( i ) s ) \hat{\sigma}=\arg\max_{\sigma\in\mathcal{S}_n} \sum_i\operatorname{IoU} \left(M_i^{s\leftarrow t},M_{\sigma(i)}^s\right)σ^=argσ∈Sn​max​i∑​IoU(Mis←t​,Mσ(i)s​)

其中，M i s ← t M_i^{s\leftarrow t}Mis←t​是从第t tt帧跟踪到第s ss帧的掩码，M σ ( i ) s M_{\sigma(i)}^sMσ(i)s​是第s ss帧直接预测的掩码，σ ^ \hat{\sigma}σ^表示最优匹配关系。两种掩码位于同一帧，因此可以计算其 IoU。匹配后，跟踪掩码用于后续相对运动估计，匹配后的预测掩码用于形状融合。

此外，作者在目标掩码之外跟踪背景点，以建立背景区域的跨帧对应关系。这些背景点用于后续相机运动估计，而物体内部的点轨迹用于物体运动估计。通过分别获取目标点和背景点的对应关系，本文为后续的三维位姿估计与几何融合提供了时序基础。

4.2 Global Object Memory（GOM，3.3）

虽然点跟踪与逐帧检测能够建立局部对应关系，但遮挡、检测丢失、目标交叠和跟踪点不可见等问题仍可能导致轨迹断裂、身份切换或多个目标被错误合并。为此，作者设计全局目标记忆（GOM），将逐帧预测整理为跨帧一致的目标记录。

GOM 中的每个记忆条目代表一个持续被观察的目标，并维护其身份及相关属性。

• GOM 根据当前预测掩码与跟踪掩码之间的空间重叠，将当前检测与跟踪掩码关联。如果匹配成功，就将当前观测关联到目标；如果没有匹配，则检查新预测的置信度。只有当置信度高于检测阈值τ \tauτ时，才暂时创建新的目标记忆条目，否则丢弃该预测。

• GOM 对目标记忆进行三方面检查：目标是否具有点跟踪支持的跨帧持续性；类别标签与几何属性是否保持一致；多个记忆条目是否实际上对应同一个物体。根据检查结果，系统执行三种操作：Drop 用于丢弃不稳定或不一致的实例；Refine 用于依据占主导的证据修正已有条目的属性；Merge 用于合并被判断为同一物体的冗余记忆条目。若目标持续性和标签一致性均通过检查，且不存在重复条目，则更新并保留该记忆。

没有为持续性、一致性和冗余判断统一规定具体数值阈值，不能将这些判断简单理解为固定帧数或单一 IoU 阈值。

GOM 的关键作用是从局部的掩码匹配进一步扩展到全局的目标身份维护。例如，同一辆汽车因遮挡而被分成两段轨迹时，GOM 可以结合已有记忆和跟踪证据尝试恢复一致关联；如果同一物体被重复记录，也可以合并冗余条目。不过，若系统性误分类在多帧中始终一致，仅依靠标签一致性检查并不能保证识别出该错误。