企业官网建设流程全解析

上一篇详细解析了ORB-SLAM2的架构。这篇聊它的升级版ORB-SLAM3。ORB-SLAM3在ORB-SLAM2的基础上做了很多重要改进，是目前功能最完整的视觉SLAM系统。面试中如果你能讲清楚ORB-SLAM3相比ORB-SLAM2的新特性，会显得你对这个领域的最新进展有关注。ORB-SLAM3在2020年由同一个团队发布，论文引用量已经超过了ORB-SLAM2，成为视觉SLAM领域引用量最高的论文之一。

多地图系统

ORB-SLAM2最大的痛点之一是不能处理跟踪丢失后的恢复。一旦跟踪失败（比如快速转动导致特征全部丢失，或者经过一个白墙区域），整个系统就挂了，必须重启。这在实际产品中是不可接受的——你不可能让用户每次跟踪丢失都手动重启系统。

ORB-SLAM3引入了多地图系统（Multi-Atlas）来解决这个问题，这也是它名字中"3"的含义之一。核心思想是：跟踪失败时，不放弃当前地图，而是创建一个新的地图继续运行。当新地图和旧地图有重叠区域时，系统会尝试把它们合并。

# 多地图系统的工作流程 class MultiAtlas: def on_tracking_lost(self): # 跟踪失败，创建新地图 new_map = Map() self.atlas.append(new_map) self.current_map = new_map def try_merge_maps(self): # 检查新地图和旧地图是否有重叠 for old_map in self.atlas: if old_map == self.current_map: continue if detect_overlap(old_map, self.current_map): merge_maps(old_map, self.current_map) # 合并后统一优化 global_bundle_adjustment(old_map)

多地图系统的好处是：即使跟踪反复失败，系统也不会挂掉。每次恢复后都能和之前的地图合并，最终得到一张完整的大地图。这在实际应用中非常重要，因为真实环境里跟踪丢失是不可避免的。

地图合并的过程是这样的：当检测到新地图和旧地图有共同观测的路标点时，用这些共同路标点计算Sim3变换（带尺度的相似变换）。然后用Sim3变换把新地图的位姿和路标点变换到旧地图的坐标系下。合并之后做一次全局BA来精化所有变量。

地图合并有个风险：如果Sim3变换算错了，合并后的地图会出现严重的错位。ORB-SLAM3用了很多策略来降低这个风险：要求足够多的共同路标点、用RANSAC验证、合并后检查重投影误差等。

视觉惯性融合

ORB-SLAM3支持相机+IMU的紧耦合融合。IMU提供高频（200Hz）的加速度和角速度测量，可以弥补视觉在快速运动时的不足。

紧耦合的意思是：IMU的测量值直接作为优化变量的一部分，和视觉观测一起优化。这和松耦合不同——松耦合是把IMU积分出来的位姿当成一个独立的观测，和视觉位姿做简单的加权融合。松耦合实现简单但精度差，因为IMU积分的误差没有建模。

紧耦合的优势是精度更高。因为IMU的零偏（bias）也被当成优化变量，和位姿、路标点一起优化。零偏的估计更准确，IMU的积分误差就更小，最终的位姿估计也更准。VINS-Mono和ORB-SLAM3都用了紧耦合方案，但优化策略不同——VINS用滑动窗口，ORB-SLAM3用全局优化。

ORB-SLAM3的视觉惯性融合用的是基于预积分的方法。IMU数据在两个关键帧之间做预积分，得到一个相对运动约束。这个约束作为因子加到优化图里，和视觉的重投影约束一起优化。

预积分的好处是：IMU数据频率很高（200Hz），如果每次都把所有IMU数据加入优化，计算量太大。预积分把两个关键帧之间的所有IMU测量"压缩"成一个相对运动约束，优化时只需要处理这个约束就行。当IMU零偏变化时，预积分值可以通过一阶近似快速更新，不需要重新积分。

# IMU预积分的直觉 # 在关键帧i和j之间，有N个IMU测量 # 预积分结果：delta_R（相对旋转）, delta_v（相对速度）, delta_p（相对位移） # 这些预积分值只依赖于IMU测量，不依赖于位姿 # 当零偏变化时，用一阶近似快速更新： # delta_R_new ≈ delta_R * Exp(J_bias * delta_bias)

鱼眼相机模型

ORB-SLAM2只支持针孔相机模型。ORB-SLAM3支持鱼眼相机模型（包括Kannala-Brandt模型）。鱼眼相机的视场角可以达到190度以上，比针孔相机（通常60-90度）大得多。

大视场角对SLAM有好处：能观测到更多的特征点，跟踪更稳定。特别是在快速旋转时，大视场角能保持更多的特征追踪。ORB-SLAM3在EuRoC和TUM-VI数据集上的结果表明，鱼眼相机的精度明显优于针孔相机。在实际选型时需要根据场景的运动特点和精度需求来综合考虑。

鱼眼相机的投影模型比针孔复杂。针孔相机是简单的线性投影（x=f*X/Z），鱼眼相机需要考虑畸变。Kannala-Brandt模型用一个多项式来描述角度和像素距离的关系，能精确地建模大视场角的投影。ORB-SLAM3在优化时用的是这个模型的雅可比矩阵，精度比做图像去畸变再投影要高。

面试中的高频追问

"ORB-SLAM3的多地图系统怎么工作？" 跟踪失败时创建新地图继续运行。新地图和旧地图通过回环检测来判断是否有重叠。如果有重叠，用Sim3变换把两个地图对齐，然后合并成一个。合并后做一次全局BA来统一优化。

"紧耦合和松耦合的区别？" 松耦合把IMU积分的位姿当成独立观测，和视觉位姿做加权平均。紧耦合把IMU预积分约束直接加到优化图里，和视觉约束一起优化。紧耦合精度更高，但计算量也更大。

"为什么ORB-SLAM3要支持鱼眼相机？" 大视场角能观测到更多特征点，跟踪更鲁棒。特别是在快速运动场景下，大视场角能保持更多的特征追踪，不容易丢失。

"ORB-SLAM3的缺点？" 计算量比ORB-SLAM2更大（特别是视觉惯性融合的时候）。系统复杂度很高，代码量大，调试困难。多地图的合并有时候会失败，导致地图碎片化。IMU的标定质量对系统性能影响很大，如果IMU没标定好，融合效果可能还不如纯视觉。

"视觉惯性融合的初始化怎么做？" 这是VIO的难点。ORB-SLAM3用视觉SfM（Structure from Motion）来初始化位姿和路标点，然后用IMU数据来恢复尺度和重力方向。初始化阶段需要足够的运动激励（不能静止不动），否则IMU的零偏和重力方向不可观。

"ORB-SLAM3和VINS-Mono哪个更好？" 看场景。ORB-SLAM3功能更全面（多地图、回环检测、地图保存），适合需要完整SLAM功能的场景。VINS-Mono更轻量，实时性更好，适合嵌入式平台。精度上两者差不多，但VINS-Mono在快速运动场景下表现更好（因为它的滑动窗口优化更紧凑）。

实际项目中的建议

如果你要做视觉惯性SLAM项目，建议先用ORB-SLAM3跑通。它的配置比较灵活，支持多种相机和IMU组合。但要注意IMU和相机之间的时间同步——如果时间戳对不上（哪怕只有几毫秒的偏差），融合效果会很差。硬件上最好用同步触发的方式采集数据。

用鱼眼相机的话，标定要仔细。鱼眼的畸变很大，标定不准的话特征点的位置会有系统偏差，直接影响SLAM精度。建议用多角度的标定板图像来标定，确保覆盖整个视场。标定工具推荐用Kalibr（ETH开发的多传感器标定工具），支持相机-IMU的联合标定。

ORB-SLAM3是目前最完整的视觉SLAM系统，把多地图、视觉惯性融合、鱼眼相机支持集成到了一个框架里。如果你的项目需要完整的SLAM功能，ORB-SLAM3是很好的起点。

上一篇：第247篇 ORB-SLAM2深度解析——经典视觉SLAM的完整架构

下一篇我们聊VINS-Mono——视觉惯性里程计的另一个经典方案，看看它和ORB-SLAM3的视觉惯性融合有什么不同。VINS-Mono用的是滑动窗口优化，架构上和ORB-SLAM3的全局优化有很大区别。

如果这篇文章对你有帮助，欢迎点赞支持一下，你的鼓励是我持续更新的最大动力！系列文章持续更新中，涵盖了SLAM从数学基础到经典系统的全部知识点。