基于2D-3D转换的无人机激光点云与序列影像配准方法

摘要

本发明提出了一种基于2D‑3D模型转换的无人机激光点云与序列影像配准方法，以无人机MMS成像数据为研究对象，针对其数据特点，制定两步法配准模型应用策略，具体化距离成像与可见光成像数据两步法配准模型中定义的配准基元提取与匹配、由粗到精的配准算法，完成无人机MMS成像数据的配准。该方法可以较好解决初始配准误差较大或无初始配准参数条件下的无人机MMS采集的LiDAR点云数据与序列影像的配准问题。

说明书

技术领域

本发明属于无人机测量数据融合中自动数据配准的应用，提出一种全新的激光点云与序列影像自动配准方法。

背景技术

无人机移动测量系统实现了中低空遥感数据的覆盖，是传统摄影测量与遥感手段的有效补充，提供了包括高分辨率LiDAR(Light Detection and Ranging，激光测距)点云、航空影像等多种对地观测数据，在高精度地图构建、森林生物量估计、电力巡检等方面得到广泛应用。无人机平台由于载荷与成本的限制，携带轻小型或无POS系统，直接地理定向数据精度有限或无直接地理定向数据。无人机移动测量多在无地面控制点条件下进行数据采集，少有地面控制场对LiDAR点云与影像数据成果进行精度控制。同时，移动测量系统多传感器数据之间存在固有的配准误差，直接导致无人机MMS(Mobile Mapping System，移动测量系统)采集的LiDAR点云数据与序列影像之间不能直接配准融合，只能单源使用，进而降低无人机MMS成像数据的可用性。

近年来，部分学者(例如，Habib等人，2005年；Mastin等人，2009年；Mitishita等人，2008年；Parmehr等人，2014年)在激光雷达数据和卫星拍摄的光学图像之间的配准方面做了许多研究。然而，由于使用小型无人机进行激光扫描仍是一项新的研究领域，因此人们对小型无人机拍摄的激光雷达数据和光学图像的配准工作关注较少。另一方面，由于小型无人机的传感器精度和重量之间的权衡，使用直接地理参照数据与现有的ALS数据和图像的配准方法可能会导致配准失败。此外，小型无人机的低飞行高度和产生的相对较高分辨率的图像增大了配准偏差，这种偏差可能达到几十个或几百个像素，导致小型无人机激光雷达数据和图像之间难以实现精确配准。

目前主流的配准方法主要分为两大类，基于区域的配准方法和基于特征的配准方法。基于区域的方法通过最大限度地提高激光雷达数据和光学图像中相应图像区域的统计或灰度相似性来优化光学图像的EoPs。共轭区域匹配是这类方法的关键步骤。局部或全局相似度通常采用互有信息测量，利用待配准数据之间的统计依赖关系，得出相似度测量值。由于其非线性联合概率特性，互有信息作为一种异构数据的配准技术已被广泛采用(LeMoigne等，2011；Suri和Reinartz，2010)。Mastin等(2009)通过最大化灰度编码高度或回波脉冲强度与光学影像之间的相互信息，将航空影像配准到LiDAR点云上。然而，在激光雷达数据和微型无人机影像的情况下，使用基于区域的方法可能会导致配准失败。

基于特征的方法通过从图像和激光雷达数据中提取特征来执行配准任务，以建立相机姿势估计的对应关系。各种类型的标量变量或几何基元可用于形成共轭特征。根据

一般来说，基于区域的方法在很大程度上依赖于强度图像的质量和正确性，而强度图像的质量和正确性是由强度校准效果决定的。然而，微型无人机载激光雷达系统中的回波脉冲强度校准仍然是一个持续的研究问题。基于特征的配准方法旨在提取和匹配场景内的物理几何基元，使两个数据集对齐。在LiDAR数据和图像中寻找共轭特征是一项复杂的任务。不匹配的对应特征可能会导致配准结果的精度和鲁棒性降低。

因此，本专利以无人机MMS成像数据为研究对象，针对其数据特点，制定两步法配准模型应用策略，具体化距离成像与可见光成像数据两步法配准模型中定义的配准基元提取与匹配、由粗到精的配准算法，完成无人机MMS成像数据的配准。

发明内容

针对小型无人机激光点云数据与序列影像之间配准方法的欠缺和不足，本发明提出新的一种基于2D-3D模型转换的无人机激光点云数据与序列影像的配准方法。

为了解决上述技术问题，本发明采用如下的技术方案：

一种基于2D-3D模型转换的无人机激光点云数据与序列影像的配准方法，包括以下步骤：

步骤1，通过运动结构恢复方法恢复标定相机采集的序列影像在摄影测量坐标系中的外方位元素，进而通过多视立体匹配的方法由序列影像生成MVS影像密集点云；

步骤2，在LiDAR点云中进行建筑物屋顶配准基元提取，并通过激光提取结果引导序列影像中的配准基元的提取，最终形成同名角点匹配集合；

步骤3，根据同名角点匹配集合，解算2D-3D粗配准模型，获得摄影测量坐标系与LiDAR参考坐标系之间的初始转换关系；

步骤4，将粗配准解算获得的空间坐标转换关系作为初始值，使用ICP算法变种，实现MVS影像密集点云与LiDAR点云之间的最优配准，获得序列影像的精确配准参数。

进一步的，步骤2的具体实现包括如下子步骤，

步骤2.1，选用标记点过程的方法实现LiDAR点云数据中的建筑物点云的提取，并且使用Recursive Minimum Bounding Rectangle算法进行建筑物外边界多边形提取与规则化，得到建筑物外框；

步骤2.2，将POS提供的定姿定位数据转换为相机外方位元素值，使用共线方程将步骤2.1中提取到的建筑物外框反投影到所有序列影像上，由于反投影后的建筑物外框与真实的影像建筑物位置之间存在严重的位置和方向偏移，需要进行进一步的修正，具体修正方法如下，

(1)对反投影区域R1建立缓冲区，缓冲区宽度视区域内初始反投影误差定，在此区域内进行张量梯度统计，对于一张多通道影像f＝(f

其中，(ˉ)表示高斯核卷积运算，f

其主方向按式4计算

λ

通过上述方法计算出R1缓冲区内每个像素点的张量梯度大小与方向，并得出缓冲区内张量梯度统计直方图，将所有的LiDAR建筑物外框反投影到序列影像上，分析反投影缓冲区区域内的张量梯度统计图，对于不具备矩形、L形张量梯度方向统计特性的区域进行剔除，保留区域内存在单峰、双峰张量梯度方向特性的反投影区域R1’；

(2)旋转反投影区域R1’到张量梯度方向统计峰值的垂直方向，即建筑物长边方向，得到旋转后的R2区域；以R2区域为核，构建缓冲区，在R2的主方向与垂直主方向上进行缓冲区滑动，统计R2与其缓冲区构成的区域内的张量梯度大小的和，在局部极大响应处停止滑动，将此区域作为进行序列影像建筑物基元提取的最优选区R3；使用基于全局对比度显著性检测的分割方法，在R3区域内进行建筑序列物影像的分割，对分割结果进行轮廓提取，并使用RMBR算法进行规则化，即可得到规则化的序列影像建筑物配准基元；

步骤2.3，对于区域R3的外多边形角点和序列影像配准基元规则化后获得的外多边形角点，计算两个外多边形角点之间在像平面上的空间距离，并依据空间邻近性准则生成同名角点；同时，根据序列影像中选择的同名角点，获取MVS影像密集点云与LiDAR点云的同名角点匹配集合。

进一步的，步骤3的具体实现包括如下子步骤，

步骤3.1，使用同名角点匹配集合解算2D-3D配准模型，即公式(5)，令序列影像的关键帧中一个建筑物外多边形角点的像空间坐标为m＝(u,v,f)

s

其中，A为已知的相机内参数矩阵，s

步骤3.2，根据MVS影像密集点云与LiDAR点云中的同名角点匹配集合，分别得到其在LiDAR参考坐标系和MVS影像密集点云所在的摄影测量坐标系中的点坐标，并解算三维空间相似变换；令在摄影测量坐标系(C

进一步的，步骤4中的精配准过程分为两个子步骤，即粗配准模型参数到精配准模型初值的转换以及迭代最邻近点优化解算，具体实现如下，

步骤4.1，使用同名角点匹配集合完成粗配准后，通过最小化MVS点云与LiDAR点云之间的距离实现配准参数精化，其配准几何模型可表示为：

M

2D-3D模型初值转换：令一像点为m，其在C

s

其中s

其中，R为旋转参数，

T＝P

由公式(8)至(11)可知，一张粗配准影像对应一种C

步骤4.2，采用刚体空间相似变换模型作为MVS影像密集点云与LiDAR点云之间的配准模型，使用点到面距离差作为点对误差，则误差方程可表示为：

其中，m

进一步的，步骤4.1中，进行全部空间转换参数(λ,R,T)的求解时，采用投票聚类的方法实现参数的稳健估计。

与现有技术相比，本发明具有以下优点和有益效果：

本发明可以较好解决初始配准误差较大或无初始配准参数条件下的无人机MMS采集的LiDAR点云数据与序列影像的配准问题，为后续的数据融合等处理提供较高的数据精度。

附图说明

图1为基于2D-3D模型转换的无人机激光点云数据与序列影像的配准方法流程图。

图2为序列影像生成的密集点云的示意图。

图3为LiDAR点云数据配准基元提取的示意图。

图4为LiDAR点云建筑物提取结果反投影到影像的示意图。

图5为激光建筑物外框提取先验知识引导下的影像建筑物区域确定的示意图。

图6为R3区域内的建筑物轮廓检测的示意图。

具体实施方式

以下结合附图和实施例对本发明技术方案进行说明。

选择武汉大学测绘遥感信息工程国家重点实验室研制的低空无人机多传感器采集系统Heli-Mapper得到的点云数据和序列影像对本发明提出的方法进行具体说明。参见图1，本发明实施例包含以下步骤：

步骤1，利用SfM方法(Structure from Motion，运动结构恢复)恢复标定相机采集的序列影像在摄影测量坐标系中的外方位元素，并且通过多视立体匹配方法得到由序列影像生成的MVS影像密集点云(图2)。

步骤2，在LiDAR点云中进行建筑物屋顶配准基元提取，并通过激光提取结果引导序列影像中的配准基元的提取，最终形成同名角点匹配集合。

上述步骤2进一步包含以下步骤：

步骤2.1，选用标记点过程的方法(Yang et al.,2013)实现LiDAR点云数据中的建筑物点云的提取，并且使用RMBR(Recursive Minimum Bounding Rectangle)算法(Kwak,2013)进行建筑物外边界多边形提取与规则化，得到建筑物外框，如图3所示。

步骤2.2，将POS提供的定姿定位数据转换为相机外方位元素值，使用共线方程将步骤2.1中提取到的建筑物外框反投影到所有序列影像上(图4)。但由于POS数据质量以及系统标定、传感器同步误差，反投影后的建筑物外框与真实的影像建筑物位置之间存在严重的位置和方向偏移(图5(a))，需要进行进一步的修正。

具体修正方法如下：使用R1缓冲区域内的张量梯度统计，确定建筑物在序列影像中所在的区域。对反投影区域R1建立缓冲区，缓冲区宽度视区域内初始反投影误差定(经验值50-200像素)，在此区域内进行张量梯度统计。对于一张多通道影像f＝(f

其中，(ˉ)表示高斯核卷积运算，f

其主方向按式4计算

λ

通过上述方法即可计算出R1缓冲区内每个像素点的张量梯度大小与方向，并得出缓冲区内张量梯度统计直方图。将所有的LiDAR建筑物外框反投影到序列影像上，分析反投影缓冲区区域内的张量梯度统计图，对于不具备矩形、L形张量梯度方向统计特性的区域进行剔除，保留区域内存在单峰、双峰张量梯度方向特性的反投影区域R1。

通过以下步骤进一步对建筑物区域范围精化：旋转反投影区域R1到张量梯度方向统计峰值的垂直方向，即建筑物长边方向，得到旋转后的R2区域(图5(b))；以R2区域为核，构建缓冲区，在R2的主方向与垂直主方向上进行缓冲区滑动，统计R2与其缓冲区构成的区域内的张量梯度大小的和，在局部极大响应处停止滑动，将此区域作为进行序列影像建筑物基元提取的最优选区(R3，其中半透明部分为缓冲区区域，图5(c))。在确定序列影像建筑物所处区域后，此局部区域(图6(a))内建筑物呈现高全局显著性。使用基于全局对比度显著性检测的分割方法(RCC，Region Contrast Cut)，在R3区域内进行建筑物序列影像的分割(图6(b))。对分割结果进行轮廓提取(图6(c))，并使用RMBR算法进行规则化即可得到规则化的序列影像建筑物配准基元(图6(d))。

步骤2.3，将LiDAR点云配准基元进行反投影(图4)获得区域R3(图5c)的外多边形角点，序列影像配准基元规则化后获得的外多边形角点(图6d)。计算两个外多边形角点之间在像平面上的空间距离，并依据空间邻近性准则生成同名角点。同时，根据序列影像中选择的同名角点，获取密集点云与Lidar点云的同名角点匹配集合。

步骤3，基于同名角点匹配集合进行粗配准，获得摄影测量坐标系与LiDAR参考坐标系之间的初始转换关系，具体包含以下步骤：

步骤3.1，使用同名角点匹配集合解算2D-3D配准模型，即公式(5)。令序列影像的关键帧中一个建筑物外多边形角点的像空间坐标为m＝(u,v,f)

s

其中，A为已知的相机内参数矩阵，s

LEPETIT V,MORENO-NOGUER F,FUA P.EPnP:An Accurate O(n)Solution to thePnP Problem[J].International Journal of Computer Vision,2009,81(2):155-166.

HABIB A,GHANMA M,MORGAN M,et al.Photogrammetric and LiDAR dataregistration using linear features[J].Photogrammetric engineering and remotesensing,2005,71(6):699-707.

步骤3.2，根据MVS影像密集点云与LiDAR点云中的同名角点匹配集合，分别得到其在LiDAR参考坐标系和MVS影像密集点云所在的摄影测量坐标系中的点坐标，并解算三维空间相似变换；令在摄影测量坐标系(C

步骤4，包含粗配准模型的初值转换和精配准计算。

步骤4.1，精配准模型初值转换。

使用配准基元对完成粗配准后，通过最小化MVS点云与LiDAR点云之间的距离实现配准参数精化，其配准几何模型可表示为：

M

精配准过程分为两个步骤，即粗配准模型参数到精配准模型初值的转换以及迭代最邻近点优化解算。在本步骤中需要对2D-3D模型中得到的影像外参数矩阵转换到式(6)中的R变量，实现2D-3D的转换。

2D-3D模型初值转换：令一像点为m，其在C

s

其中s

其中R为旋转参数，

T＝P

由公式(8)至(10)可知，一张粗配准影像对应一种C

为实现(λ,R,T)的稳健，采用投票聚类的方法实现参数的稳健估计(Fernandesand Oliveira,2008)。

FERNANDES L A F,OLIVEIRA M M.Real-time line detection through animproved Hough transform voting scheme[J].Pattern Recognition,2008,41(1):299-314.

步骤4.2，迭代最近邻点模型参数优化。无人机LiDAR点云数据范围覆盖小，作业时间短，在进行激光点云航带平差后，其内部的非线性变形幅度可忽略不计，可以认为其不存在非刚体形变。故采用刚体空间相似变换模型作为MVS影像密集点云与LiDAR点云之间的配准模型。使用点到面距离差作为点对误差，则误差方程可表示为：

其中，m

下面将结合具体实例应用进一步说明本发明的技术方案及有益效果。

利用Heli-Mapper采集到的梁子湖区域的数据集，经过本发明方法处理之后，其配准平均误差为0.075m(水平方向)和0.072m(竖直方向)。说明本发明可提供较高精度的激光点云与序列影像的配准结果。

具体实施时，本发明提供的流程可采用软件技术实现自动运行。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。