LiDAR为3D高斯“正骨”:ARSGaussian航空遥感新视角合成精度跃升80%
2026/6/4 20:49:31 网站建设 项目流程

当高飞的镜头因太空旷而失焦,当密集的视图因稀疏而长出“几何幽灵”——LiDAR 点云成了唯一能校准这双俯瞰之眼的“物理标尺”。

想象一下这样的场景:一架无人机在广袤的城郊上空巡航,镜头俯瞰着下方鳞次栉比的建筑群。通过倾斜摄影测量技术,计算机能轻松从数百张航拍图中重建出精美的三维场景。然而,当你试图从一个全新的、非原始拍摄的角度生成一张逼真的图像时,画面中墙壁上突然长出了不受控的几何“赘肉”,空气中漂浮着原本不存在的“幽灵”点。这就是航拍场景中视图合成面临的死穴:视角跨度大、观测稀疏,模型仅靠二维图像根本无法掌握真实世界中精准的几何尺度,极易导致3D重建中的“过度生长”与“漂浮点”问题。

为了破解这个困局,传统的倾斜摄影测量通常依赖事后复杂的优化与繁重的多视图立体视觉(MVS)处理,这虽然在平面测绘上表现尚可,但在极具挑战的新视角合成(Novel View Synthesis, NVS)领域,尤其是在面对稀疏视角的航空遥感大尺度场景时,它既无法提供实时的渲染反馈,也缺乏极高的几何保真度。

来自中国科学院空天信息创新研究院、中南大学及北京化工大学等机构的研究团队给出了一种全新的破局路径。他们提出的ARSGaussian,是首个将高精度 LiDAR 点云作为显式几何约束融入 3D 高斯泼溅(3DGS)框架的航空遥感新视角合成方法。这是一个旨在解决遥感领域“视觉漂移与几何失真”痛点的创新框架。

ARSGaussian 不再让模型仅凭图像“猜测”世界的样子,而是将机载 LiDAR 扫描得到的物理世界高精度点云作为“绝对几何基准”注入训练过程。这种设计使得高斯在生长和分裂时有了“主心骨”,极大地抑制了传统 3DGS 在大尺度、稀疏视角航拍场景中普遍存在的过度拟合与视觉伪影问题。实验显示,在同等评测条件下,相比专门为大场景设计的 VastGaussian、Momentum-GS 等方法,ARSGaussian 取得了更真实的渲染效果,并且在UrbanScene3D 公开数据集上达到了 26.75 dB 的 PSNR。更重要的是,它将几何估计的均方根误差(RMSE)从对比方法的 1.626 米锐减至 0.327 米,实现了惊人的 79.88% 精度飞跃。此外,团队还开源了首个密集点云与光学图像配对的航空数据集AIR-LONGYAN

以下,我们将从问题起点、核心方法、实验验证、创新价值与未来方向几个维度,逐层拆解这篇 ISPRS 顶刊论文的精妙之处。

一、问题的起点:为什么空旷的航拍视角让 3D 高斯难以“自洽”?

1.1 新视角合成:“画皮画虎难画骨”的几何桎梏

新视角合成是一项实现从有限多视图输入中,渲染出从未拍摄过的全新视角三维场景的技术。在大尺度的航空遥感(Aerial Remote Sensing)场景中,配备倾斜相机的无人机固然可以在每次飞行中捕获丰富的多视图影像。然而,由于飞行高度限制与视角方向的限制,这种采集方式天然伴随着“大间距”(采集点间隔大)和“稀疏视角”的矛盾。在传统 NeRF 或 3DGS 的渲染体系下,缺乏足够的视差约束,极易导致模型产生严重的几何估计误差,最终渲染出的图像不仅视觉模糊,甚至在几何结构上出现本质性的错误。

1.2 标准 3DGS 的两大“航空梦魇”

近期,3D高斯溅射凭借其极高的渲染效率和不错的视觉质量成为了三维重建界的明星。然而,标准的 3DGS 完全依赖于多视图图像的训练,在缺乏足够几何约束的大规模、空旷航空场景下,会暴露出两个致命缺陷:

  • 过度生长与漂浮物(Overgrowth and Floaters):由于深度信息的不确定性,算法为了最小化重投影损失,会在一些视觉纹理贫乏的区域(如大片草地、水泥墙或屋顶)错误地堆积高斯块,或在空中随机生成根本不在物理世界里的“漂浮高斯”,导致渲染的旋转视角中出现闪烁的伪影。
  • 高程精度缺失:仅仅依赖像素级的颜色损失(Color Loss),无法约束模型正确还原物体的绝对深度与高程。对于需要精确测量的遥感应用而言,这种“看起来差不多,测量差十米”的结果是无法接受的。
1.3 现有破局者的局限与 ARSGaussian 的破局

在此之前,针对大场景的优化方法,如 VastGaussian 或 CityGaussian,虽然通过分块训练等技术扩展了规模,但核心仍然依赖于纯视觉的自我拟合。这些方法或许提升了渲染效率,却无法从根本上解决上文提到的这两个问题。

LiDAR(激光雷达)则完美地填补了这一技术空白。它能无视光照与纹理变化,直接采集物理空间的高精度三维点云。当 3DGS 在文本稀疏区域陷入“凭感觉生长”的困境时,LiDAR 点云就像一条在工地里弹出的红色激光墨线——它冰冷、精准,告诉你:这里必须要有墙,那里绝对不能长杂草。然而,要将航空倾斜影像与 LiDAR 点云这两种异构的、不同分辨率的数据有效融合,需要解决复杂的坐标畸变对齐与非刚性配准难题。

ARSGaussian 的核心洞察在于:与其让模型在无监督下胡乱生长,不如将 LiDAR 点云作为“绝对几何基准”,把视觉优化限定在物理真实的范围内,并将点云深度转化为显式的几何损失函数。

二、方法的核心:ARSGaussian——给 3D 高斯安上“脊梁骨”

ARSGaussian 的核心逻辑可以归纳为三步:“对齐肉身” → “约束生长” → “强化骨骼”

2.1 精准的异构数据对齐:给融合铺平道路

要让 LiDAR 点云指导图像衍生的高斯,第一步必须是让两者在世界坐标系中严格对齐。然而,机载光学相机的成像包含了复杂的镜头畸变,直接投影会导致点云覆盖在图像上出现像素级的错位。

为此,研究团队摒弃了标准的“针孔相机模型”简化假设。在数据预处理阶段,系统引入了含畸变参数的坐标转换,利用 Brown-Conrady 模型对图像进行高精度畸变矫正,将二维像素特征精确地重投影到三维的 LiDAR 空间,实现了亚像素级的跨模态配准。在这一步确保了“所见即所得”,为后续的点云与高斯的几何锚定垫定了基石。

2.2 几何基准约束的高斯生长与分裂:铲除“视觉赘肉”

这是 ARSGaussian 最具独创性的操作,它重构了 3DGS 的优化与致密化逻辑。传统的 3DGS 在点云初始化后,通常基于梯度和阈值来无脑复制或分裂高斯。ARSGaussian 则引入了外部的 LiDAR 知识作为“几何考官”:

  • 抑制过度生长与漂浮点(Geometric Benchmark Constraint):在每次高斯优化的迭代中,算法并不是盲目处理所有的点。它会首先将现有的高斯与已配准的原始 LiDAR 点云进行比对。如果某个高斯块周围在原始 LiDAR 点云中没有对应的点存在(即匹配距离超过阈值),且它自己又在高梯度区域,那么它会被判定为“漂浮的幻影”并立即触发删除(Delete)机制。
  • 沿几何基准的分裂(Split):当算法决定增加高斯数量以细化细节时(比如在建筑边缘),ARSGaussian 不再像标准 3DGS 那样随机分裂。它通过 Kd-Tree 搜索邻近的 LiDAR 点,计算其局部切平面。新生成的高斯必须沿着 LiDAR 几何基准的长轴方向生长,并紧紧地贴附在 LiDAR 点云的局部切平面上,从而确保新增的高斯完全符合物理世界的形态。这种方法从根本上解决了航空遥感场景中常见的“无中生有”的几何伪影问题。
2.3 几何一致性正则化:从“看着像”到“测得准”

为了进一步提升模型的深度估计准确性,单纯依赖颜色损失是不够的。ARSGaussian 在损失函数中注入了三项特定的几何一致性正则化损失:深度一致性损失、法线一致性损失和尺度一致性损失。这三项正则化手段共同作用,最终将原本仅凭视觉训练可能产生的 1.626 米的几何误差,硬生生压低到了 0.327 米,将毫米级的 LiDAR 精度与厘米级的视觉渲染粘合在了一起。

三、实验的答卷:既要“看起来真”,也要“测得准”

为了验证 ARSGaussian 的优越性,研究团队在UrbanScene3D公开数据集和自建的AIR-LONGYAN数据集上,与专为大场景设计的 SOTA 方法(包括 VastGaussian、Momentum-GS、CityGaussianV2)进行了残酷的同台竞技。

  • 视觉质量的绝对领跑:在视觉质量方面,ARSGaussian 展现出了压倒性的优势。传统基于纯视觉的高斯方法在面对远景物体的稀疏纹理时,墙面往往会出现“水渍斑”或模糊不清的结构。而 ARSGaussian 凭借精准的几何基准约束,渲染出的图像不仅边缘锐利、畸变更少,在细节保持度上也明显优于此前最佳的大场景模型(定性对比优势显著)。

  • 几何精度的“降维打击”:这是 ARSGaussian 最硬核的数据。在 UrbanScene3D 数据集的定量对比中,ARSGaussian 的几何估计精度断崖式领先。对比方法(非最佳效果)的几何估计 RMSE(均方根误差)为 1.626 米,而 ARSGaussian 将该数值大幅压缩至0.327 米,相对误差减少了将近80%。这意味着在其他方法只能精准锁定到“这栋楼”附近的时候,ARSGaussian 已经能够精确地感知到“这面外墙距离镜头 10.8 米”这种物理级别的准确性。

  • 数据集的贡献:为了弥补目前航空遥感领域高质量“密集点云+高分辨率光学图像”配对数据缺失的现状,该团队在福建省龙岩市利用机载扫描仪采集并开源了AIR-LONGYAN数据集。其点云密度达到 4-8 点/平方米,且涵盖建筑、植被和地面等多类复杂场景,为后续的融合研究提供了优质素材。

四、创新的价值:ARSGaussian 为航空遥感带来了什么范式转变?

4.1 从“二维像素拟合”到“三维基准驱动”的思维转折

ARSGaussian 最大的贡献,在于它彻底改变了航空三维重建中“图优则模优”的思维定式。它不再迷信于“只要图片渲染得清晰,几何就是对的”,而是构建了以高精度传感器数据(LiDAR)为基准的绝对物理约束。这标志着遥感视角的三维重建开始从单纯的视觉美学,向可量测、高保真的物理建模迈进。

4.2 开启了“双模态并行”的 3DGS 遥感新赛道

传统的 3DGS 研究大多集中于图像(RGB)或图像+深度估计。ARSGaussian 的成功证明,将主动式传感器(LiDAR 点云)与被动式传感器(航拍图像)进行端到端的融合优化,是解决大范围、弱纹理区域建模的最优解。在 ARSGaussian 之后,后续研究开始沿袭这一思路,进一步尝试引入基于几何约束的高斯重建方法。它无疑是“空地融合”或者“航空多源融合”赛道的先行者。

4.3 平衡了实时渲染与测绘精度

VastGaussian 虽然实现了大场景分割,却牺牲了细节和几何精度。ARSGaussian 在保证高保真视觉效果的同时,引入了极高的几何一致性约束,这项技术在低空经济、数字孪生城市等对实时性计量精度都有严格要求的领域,具有不可替代的价值。

五、未来的追问:当高斯有了“骨架”,高飞的下一步在哪里?

5.1 超大规模场景的实时压缩与流式传输

尽管 ARSGaussian 在几何精度上实现了巨大突破,但海量的点云数据与稠密的 Gaussian 基元对计算资源的需求仍然不小。将这种高精度的几何约束结合进 CityGaussian 的高效 Level-of-Detail(LOD,多细节层次)压缩框架中,实现跨尺度的无级缩放渲染,仍是值得探索的方向。

5.2 地面‑空中的跨平台持续性建模

ARSGaussian 目前是在离线飞行任务中采集点云。如果能在同一个算法框架下,同时接入无人机航拍(空中视角)和自动驾驶车辆或地面设备的摄影测量数据,通过跨平台的视觉特征匹配来增强渲染的真实感与细节丰富度,有望构建出真正的“上帝视角”与“行人视角”的丝滑切换。

5.3 跨领域的算法迁移

ARSGaussian 提出的“几何基准约束”思想,具有很强的可迁移性。例如,在 3D 内容生成(AIGC 3D)领域,生成模型容易产生形状畸变或过度生长;在水下机器人视觉领域,光线折射引起的视觉畸变同样需要极强的几何先验进行校正。这套将外部稀疏测量点作为“正骨”约束的算法思路,在这些领域具有广阔的落地场景。

5.4 伦理、安全与可解释性

尽管高精度遥感数据的融合具有巨大的应用价值,但也意味着精确的空间数据采集门槛正在降低。未来需要谨慎规范无人机载 LiDAR 在城市测绘中的数据脱敏与隐私保护机制。例如,涉及军事禁区、敏感公共设施的信息不应被随意渲染或逆向解算。

关键信息速览

维度内容
论文标题ARSGaussian: 3D Gaussian Splatting with LiDAR for Aerial Remote Sensing Novel View Synthesis
作者Yiling Yao, Bing Zhang, Wenjuan Zhang, Lianru Gao, Dailiang Peng, Bocheng Li, Yaning Wang, Bowen Wang
所属单位中国科学院空天信息创新研究院、中南大学、北京化工大学、吕梁学院、国网浙江省电力有限公司
发表会议/期刊ISPRS Journal of Photogrammetry and Remote Sensing, Volume 231, 2026, Pages 288-306
论文状态已正式出版 (ISPRS 2026)
arXivarXiv:2412.18380 (2024年12月24日提交,2026年3月10日修订)
DOI10.1016/j.isprsjprs.2025.10.022
模型名称ARSGaussian
核心架构LiDAR 约束引导的 3D 高斯生长与分裂策略 + 异源数据精准对齐(畸变建模)+ 几何一致性损失正则化
输入输出输入:航拍多视角图像 + 高精度 LiDAR 点云 → 输出:高保真、高精度的三维场景与新视角合成图像
核心创新1. 将 LiDAR 点云作为几何基准引入 3DGS 训练,解决稀疏视角下的“过度生长与漂浮点”问题;2. 基于畸变模型的异构数据像素级对齐;3. 综合引入深度、法线、尺度一致性损失,极大提升几何估计精度
关键结果1. 优于 VastGaussian、CityGaussianV2 等大场景方法;2. UrbanScene3D 数据集 PSNR: 26.75 dB;3. RMSE 从 1.626m 降至 0.327m,几何精度提升 79.88%
开源数据集AIR-LONGYAN(密集 LiDAR 点云 + 航空多视角图像,点云密度 4-8 pts/m²)
评估基准UrbanScene3D 公开数据集 + AIR-LONGYAN 自建数据集
开源状态数据集与代码可通过 GitHub 获取

当倾斜摄影从“像素的加法”升级为“点云与图像的联觉”时,航拍遥感模型第一次学会了用物理尺规丈量世界。ARSGaussian 所做的,就是为漫游在高空的视觉算法装上一根“几何脊椎”。当无人机掠过龙岩的土地,每一次三维重建不再是飘忽的“视觉浮雕”,而是用毫米级的点云链结出了城市的每一寸骨骼。在数字孪生城市的宏大图景中,这看似微小的飞跃,或许将成为“数字地球”迈向可量测、可交互、可信赖的第一级台阶。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询