摘要：引文格式：高云涵, 林轶丽, 张敬寒, 等. 基于视觉位姿矫正的机载激光实景三维重构. 测绘通报，2024(11)：38-43. DOI: 10.13474/j.cnki.11-2246.2024.1107.

本文内容来源于《测绘通报》2024年第11期，审图号：GS京（2024）2287号

基于视觉位姿矫正的机载激光实景三维重构

1. 上海大学机电工程与自动化学院, 上海 200444;

2. 上海大学上海市智能制造及机器人重点实验室, 上海 200444

基金项目：上海市2020年度“科技创新行动计划”自然科学基金(20Z00240;20ZR1419100)

关键词：传感器, 机载移动感知系统, 视觉位姿矫正, 真彩点云

引文格式：高云涵, 林轶丽, 张敬寒, 等. 基于视觉位姿矫正的机载激光实景三维重构. 测绘通报，2024(11)：38-43. DOI: 10.13474/j.cnki.11-2246.2024.1107.

摘要

摘要：城市测绘中无人机搭载激光雷达悬停采集数据时受机身振动影响,容易产生运动畸变,导致融合建模效果不佳。针对该问题,本文提出了一种基于视觉位姿校正的机载激光实景三维重构方法。首先利用激光雷达扫描过程中双目相机获取的视频信息,处理得到激光雷达位姿变化的轨迹以矫正激光点云的位姿;然后将矫正后的激光点云投影到单目相机坐标系下,通过共线方程获得色彩信息,实现信息融合生成三维真彩点云;最后针对视觉位姿矫正前后的真彩点云,建立直线度、平面度、垂直度、融合赋色4个特征维度的评价标准。试验结果表明,视觉位姿矫正后的真彩点云相较于矫正前,直线度最高提升77.3%,平面度最高提升54.5%,垂直度最高矫正54.53°,色彩附着明显更准确。

正文

文献[9]提出了以无人机倾斜摄影技术为主、地面激光雷达技术为辅的建模方法，解决建模中的部分缺陷，但需要对点云滤波和配准问题进一步研究。文献[10]介绍了一种机载激光雷达技术与倾斜摄影测量技术相结合的建模方法，虽然可以建模，但建模效率低、错误率高，有很多流程需要人工完成。文献[11]提出了一种在移动测量下用激光点云配准视频图像的建模方法，建模精度高，但其用车辆采集具有场景局限性，用GNSS和惯性导航系统的定位信息进行模型校正，在建筑底部、井巷工程等GNSS拒止的环境难以实现实景三维重构。

针对上述提到的城市测绘中激光雷达与倾斜摄影技术融合困难、场景局限及信号差的问题，本文设计并实现机载激光实景三维重构系统，提出一种基于视觉位姿校正的机载激光实景三维重构方法。该方法直接将激光点云和图像融合建模，并通过视觉位姿矫正的技术优化无人机因机身振动所导致的激光雷达运动畸变，能够克服系统在无GNSS定位环境中不能有效采集数据的缺陷，可使视觉位姿矫正后的真彩点云在平面度、直线度、垂直度、色彩附着特征有较大提升。

1 机载激光实景三维重构系统

1.1 系统设计

本文方法通过自行研制的机载激光实景三维重构系统实现，该系统功能结构如图 1所示，系统由旋转扫描件和电控舱两部分组成。

图 1 系统功能结构

旋转扫描件包含单目相机Balser-daA3840-45uc与激光雷达UST-30LX，两者相对固定。电控舱由步进电机、双目相机、驱动控制板、中央计算机构成。首先，中央计算机发送信号给驱动控制板控制步进电机带动旋转扫描件转动采集图像和点云；然后，双目相机RealSense D455采集视频输入中央计算机，计算得到激光雷达的位姿变化轨迹，并用该轨迹矫正激光点云；最后，将矫正后的点云与单目相机采集的图像进行融合，获得真彩点云。

该系统在无人机上的具体位置如图 2(a)所示，系统中旋转扫描件和电控舱的具体位置如图 2(b)所示。

图 2 系统安装实物

1.2 系统坐标系定义

不同传感器采集信息的坐标系不同，为了在融合过程中进行坐标转换，本系统建立A、B、C、D4个坐标系，如图 3所示。旋转扫描件有激光雷达坐标系A和单目相机坐标系C，两者之间相对固定，随步进电机的转动而转动。电控舱有固定扫描坐标系B和双目相机坐标系D，两者分别与无人机相对固定，随着无人机的移动而移动。

图 3 系统坐标系

2 基于视觉位姿矫正的激光实景三维重构

本文所提出的基于视觉位姿矫正的激光实景三维重构流程如图 4所示，由数据输入、数据预处理、数据处理及数据融合4部分组成。其中，数据输入由激光雷达、单目相机和双目相机提供；数据预处理使用Matlab工具箱进行点云滤波和图像校正；数据处理分为激光雷达点云三维重建、双目相机运动估计、固定扫描坐标系和相机坐标系标定3部分；数据融合是将双目相机的轨迹、标定得到的两个相机到激光雷达的转换及在固定扫描坐标系下的激光点云共同输入基于动态位姿补偿的激光图像融合方法中，生成固定扫描坐标系下的彩色点云，完成空间上和时间上的对齐。

图 4 基于视觉位姿矫正的激光实景三维重构流程

2.1 激光点云三维重构

激光点云三维重构是将采集过程中旋转的激光雷达坐标系A上的点转到固定扫描坐标系B下。设空间中一点在A下表示为PA，并规定A的y轴与B的xOy平面平行时受控角度为θ=0°，当旋转电机转动受控角度θ时，带动A沿轴

2.2 固定扫描坐标系与相机坐标系的标定

2.3 基于双目相机的运动估计

2.4 基于动态位姿补偿的激光图像融合

基于动态位姿补偿的激光图像融合是基于视觉位姿矫正的激光实景三维重构方法的核心步骤。如图 5所示，构建一次动态位姿补偿的系统时间轴。时间轴上每一竖直实线为各传感器采集时刻t，t右上角的B、C、D分别表示空间中的固定扫描坐标系、单目相机坐标系、双目相机坐标系，t右下角数字表示时间上的采集顺序。

图 5 一次动态补偿位姿的系统时间轴

(3)

(5)

求解公式为

3 试验验证

为验证本文提出的基于视觉位姿矫正的机载激光实景三维重构方法的正确性和准确度，选择一处旧建筑墙面作为扫描对象，操纵无人机到达扫描对象前方，利用机载激光实景三维重构系统在空中上下两个定点进行悬停扫描，采集墙面上下两个视角的数据，悬停扫描场景如图 6所示。

图 6 悬停扫描场景

以直线度特征、平面度特征、垂直度特征、色彩附着特征4个维度评估点云矫正效果，室外两组视觉矫正前后真彩点云和场景实拍图像如图 7所示。

图 7 两组室外视觉位姿情况

在室外真彩点云中均匀选取9条线对比直线度，利用视觉位姿矫正前后相同的点拟合线条，用序号标注。观察图中标出的线条，可直观看出视觉位姿矫正后的直线拟合均更好，具体拟合直线的均方根误差见表 1。矫正后比矫正前真彩点云直线拟合的均方根误差明显减小，说明直线拟合更好，提升率最大为77.3%，平均提升率约为65.8%，证明了本系统在无人机搭载激光雷达扫描时视觉位姿补偿后的效果更佳。

表 1 室外真彩点云矫正前后两组点拟合直线均方根误差(RMSE)对比

在室外真彩点云中均匀选取16块平面对比平面度，用序号标注，具体平面拟合的均方根误差见表 2，矫正后的平面拟合的均方根误差明显比矫正前更小，说明平面拟合更好，提升率最大为54.5%，平均提升率约为28.5%。

表 2 室外真彩点云矫正前后各区域拟合平面均方根误差(RMSE)对比

在室外真彩点云中选取4对垂直向量对比垂直度，用序号标注，具体数值见表 3，最大矫正角度差为54.53°，平均矫正角度差为18.35°，有效矫正真彩点云中两条直线角度，使其保持垂直。

表 3 室外真彩点云矫正前后垂直度特征对比

色彩附着特征选择室外两组数据中赋色较为明显的区域圈出对比，同时对照图 7(c)、图 7(f)场景实拍图像可知，矫正后相对于矫正前的真彩点云附色效果更好。

为更直观展现矫正效果，将两幅矫正后的真彩点云图拼接融合，如图 8所示。证明本文提出的基于视觉位姿矫正的激光实景三维重构方法结果正确，赋色计算准确。

图 8 室外最终融合成果对比

同时为进一步说明点云扫描的精度，如图 9所示，均匀选择实际建筑物面上的8段距离进行评估。利用钢卷尺测量建筑物点之间距离的真值，同时在Cloud Compare软件下测量真彩点云建筑物点之间距离，取平均记录测量值进行对比。

图 9 距离测量与真值对比

由表 4可知，在测量左侧水管线到窗户距离(3组)、门框宽度距离(6组)两组时，差距率略有上升，对比发现是在真彩点云边缘和凸起集中处，点云扫描不均匀所导致。在试验工况下，平均距离测量与真值对比的绝对误差值为0.009 m，平均差距率为0.36%，小于1 cm，达到毫米级的误差。

表 4 距离测量与真值对比

4 结论

本文提出的基于视觉位姿矫正的机载激光实景三维重构方法，适用于小范围城市测绘，通过数据输入、数据预处理、数据处理及数据融合4个步骤，使真实机载情况下视觉位姿矫正后的真彩点云相较于矫正前，直线度最高提升77.3%，平面度最高提升54.5%，垂直度矫正最高54.53°，色彩附着更准确，点云扫描精度平均可以达到毫米级，合理优化无人机作为载具时，在无GNSS的情况下，激光雷达扫描产生的运动畸变问题，具有较大发展潜力，并且针对矫正前后的真彩点云建立直线度、平面度、垂直度、融合赋色4个特征维度易于量化的评价标准。在未来的工作中，将进一步优化基于视觉位姿矫正的算法，使得位姿矫正更为精确，并且能够处理光线照射不均的问题，使融合效果更好。

作者简介：高云涵(1999-),女,硕士,主要从事无人机感知系统方面的研究工作。E-mail:personal_gyh@163.com

通信作者：解杨敏,E-mail:xieym@shu.edu.com

资讯

来源：测绘学报