《面向地面图像与卫星图像配准的空间智能技术》-CVPR-2026

论文英文题目WRIVINDER: Towards Spatial Intelligence for Geo-locating Ground Images onto Satellite Imagery论文发表期刊/会议CVPR论文发表年份2026年1. 论文核心内容概括解决的问题论文解决了在GPS不可信或存在巨大视角差异的情况下如何准确地将地面图像与地理注册的卫星地图进行对齐的问题。采用的方法提出了Wrivinder框架。这是一种零样本Zero-shot、几何驱动的框架通过聚合多张地面照片重建一致的3D场景并将其与顶视卫星图像对齐。适用范围适用于自主导航、灾难响应、大规模地图绘制以及在GPS受限环境下的态势感知。它不依赖配对的训练数据因此在校园、建筑工地或乡村等缺乏标注数据的场景中表现稳健。2. 数据集情况论文发布了MC-Sat数据集这是首个链接多视图地面图像、SfM/3DGS 重建结果与地理注册卫星背景的数据集。数据来源集成了来自 ULTRAA、VisymScenes、ACC-NVS1 和 JHU-Ames 的地面图像。卫星数据采用了 USDA NAIP分辨率 0.6–1.0 米/像素和 ESRI World Imagery 底图。规模与多样性包含 15 个多视图场景共计约20,000 张地面图像。场景类型图像密度型Image Density图像集中在小型区域如建筑入口用于评估微观几何对齐。重建区域型Reconstructed Area跨越较大空间如校园用于评估远距离重建和对齐性能。3. 主要技术路线1总体概括Wrivinder 弃用了传统的检索范式利用几何重建和度量对齐来推断相机的物理位置。其核心思路是将多视图地面图像重建为 3D 场景生成天顶视图Zenith-view渲染图并将其与卫星图像直接匹配。2分项介绍3D 重建 (SfM 3DGS)输入无序地面图像集。流程首先使用 SfM 求解器如 HLOCCOLMAP估计相机内参、外参和稀疏点云随后使用3D 高斯泼溅3D Gaussian Splatting, 3DGS优化几何与外观。输出稠密且写实的 3D 场景模型。优势相比稀疏点云3DGS 能生成高质量的渲染图减少浮动伪影。天顶视角提取 (Zenith Viewpoint Extraction)输入稀疏 SfM 点云和语义掩码。流程利用 PCA 分析点云几何以确定垂直轴同时使用 Mask2Former 提取地面语义信息如道路、草地拟合地面平面。输出一致的顶视天顶视角参数。优势通过语义增强能更准确地识别可通行地面区域。度量映射器 (Metric Mapper)输入单目深度先验来自 DepthPro 或 PatchFusion。流程估计 SfM 深度与物理深度之间的全局尺度因数 \(s\)计算重建场景的物理足迹宽 \(W_m\)高 \(H_m\)。输出带有物理度量信息的渲染图模板。深度模板匹配器 (Deep Template Matcher, DTM)输入天顶渲染图与卫星图像。流程使用自监督的 ResNet-18 孪生网络预测图像间的 IoU从而确定天顶图在卫星地图中的精确位置。优势测试时自监督无需地面-卫星训练对即可实现稳健配准。地理定位 (Geolocator)流程将匹配得到的像素级对应点反向投影回 3DGS 和 SfM 模型。输出所有地面相机的 GPS 坐标经度、纬度、高度。3损失函数/优化目标DTM 训练采用自监督方式从卫星图像中提取伪地面真值块Pseudo GT Patch Pairs其中一个块经过高斯模糊和亮度扰动以模拟 3DGS 渲染的外观监督网络学习预测两者的IoU。4. 实验结果概括1评价指标平均地理定位均方根误差 (Mean Geolocation RMSE)预测坐标与真值间的平均哈弗斯距离。67% 分位地理定位误差 (67th Percentile RMSE)更稳健的异常值衡量指标。中心点地理定位误差 (Centroid Error)预测中心与真值中心间的距离。运行时间 (Run Time)以分钟为单位的计算开销。2评测结果总体表现在零样本实验中Wrivinder 在致密和大型场景中均实现了亚 30 米sub-30 m的定位精度。性能瓶颈在大范围场景中由于地面无法观测到屋顶等结构渲染图中会出现空隙导致误差升高。运行时间与图像数量呈线性相关SfM 阶段耗时最长。5. 图表描述与解读图1Wrivinder是一个零样本、几何驱动的空间智能框架旨在解决在 GPS 不可靠或存在巨大视角差异的情况下如何将多张无序地面图像精确配准到地理注册卫星地图上的难题。该框架通过SfM稀疏重建与3D 高斯泼溅稠密建模聚合场景信息利用语义感知和单目深度先验估计物理度量尺度从而生成与卫星视角一致的天顶视角渲染图。随后系统采用自监督的深度模板匹配器将渲染图与卫星背景对齐最终实现对地面相机位置的物理坐标推断。配合发布的涵盖 2 万张图像的MC-Sat 数据集Wrivinder 在无需配对训练数据的情况下于校园、工地等复杂户外场景中实现了亚 30 米的定位精度为大规模地图绘制和自主导航提供了稳健的技术路线。图2 展示了论文所提出的MC-Sat 数据集的场景示例通过三个子图直观呈现了地面图像与地理注册卫星切片之间的关联其中(a)展示了来自ULTRAA数据集的场景(b)展示了来自VisymScenes数据集的场景(c)展示了来自JHU AMES数据集的场景。该图体现了该数据集如何将多视图拍摄的地面照片与中心位置的高分辨率卫星底图链接在一起涵盖了不同的环境条件、传感器类型和地理区域为评估零样本及几何驱动的地面与卫星图像配准技术提供了基础。图3 详细展示了Wrivinder这一零样本、免训练系统的总体架构描绘了将地面图像定位到卫星地图上的五个核心技术阶段该流程始于对无序地面图像进行SfM稀疏重建并结合3D 高斯泼溅3DGS生成稠密场景模型4.1随后利用天顶视角提取器确定垂直方向并生成顶视渲染图4.2同时由度量映射器结合单目深度先验恢复物理尺度以确定渲染图的实际尺寸4.3。接着系统通过自监督的深度模板匹配器DTM在测试时将渲染图与地理注册的卫星图像进行精确对齐4.4最后利用高斯泼溅与相机地理定位器将匹配结果反向投影从而输出每个地面相机的经度、纬度和高度坐标。图4 集中展示了Wrivinder框架在执行过程中的关键中间产物直观地呈现了从地面视角到度量天顶模板的转化流程该图包含了输入端的(a) 原始地面图像以及通过 monocular 模型估计的(b) 度量深度图和用于识别地表结构的(c) 语义图。这些信息与(d) SfM 稀疏点云结合生成了能够区分地面与物体的(e) 语义化点云PCD并最终输出带有明确物理尺寸标注如 20m x 10m的(f) 度量天顶渲染图为后续与卫星地图的自监督对齐提供了具备几何一致性和物理比例的高保真 3DGS 模板。图5 展示了多个MC-Sat场景的卫星图像与Wrivinder生成的渲染图对照组具体包括(a) MUTC A09、(b) APL Back Door、(c) siteSTR0059和(d) MUTC A10四个示例。在每组对比中左侧为卫星视图其中散布的蓝色点标示了地面相机的真实地理位置Ground-truth右侧则是对应的3DGS 天顶视角渲染图。该图直观地揭示了重建质量对定位精度的影响明确指出渲染图中出现的空隙、模糊或缺失结构通常由于从地面无法观测到屋顶等高处表面所致会增加对齐的歧义性这也是导致某些场景出现较高定位误差的主要原因。表1 概述了集成到MC-Sat数据集中的原始地面图像源及其核心统计数据详细列出了包括ULTRAA3个场景1,028张地面图像、VisymScenes149个场景25.8万张地面图像、ACC-NVS16个场景14.8万张地面与机载图像和JHU-Ames1个场景1,717张地面与机载图像在内的四个子数据集的具体规模和图像类型。该表反映了 MC-Sat 如何通过整合这些具有地理和几何多样性的多源数据并将其与正射校正的卫星图像如 NAIP 和 ESRI进行配对从而构建起一个涵盖广泛环境条件、传感器类型和拍摄几何的基准测试集用以支持对零样本、几何驱动定位方法的系统评估。表2 详尽列出了Wrivinder框架在MC-Sat基准测试集的 15 个场景下的量化评估结果通过记录每个场景的图像数量、运行时间、反映 SfM 对齐质量的 World2Model RMSE以及包括平均地理定位均方根误差Mean Geolocation RMSE、67% 分位误差和中心点误差在内的多项关键地理定位指标全面衡量了系统在零样本设置下的性能表现。该表涵盖了来自 ULTRAA、VisymScenes、AMES 和 ACC-NVS 数据集的多种场景数据表明系统在图像密度型场景如 APL 门口精度可达约 1.96 米表现优异而在大规模重建区域则面临更高挑战且运行时间与图像数量大致呈线性相关从而为几何驱动的地面与卫星图像配准技术提供了核心的性能基准。