一种基于多阶特征点线匹配的异源影像匹配方法

摘要

本发明公开了一种基于多阶特征点线匹配的异源影像匹配方法，具体步骤包括：特征初筛与匹配，用于解决成像传感器、成像视角导致的图像分辨率、旋转、变形等问题，其包括多尺度特征检测和特征快速匹配；特征筛选优化，包括VLD特征计算，KVLD特征匹配筛选；特征精筛选，包括RANSAC特征精筛；特征均布与加密，包括Delaunay三角网特征均布，基于GRID网格的特征加密。本发明使用带有多尺度分析能力的SIFT特征检测算法，实现了不同尺度检测出影像特征点的能力，解决了成像传感器、成像视角导致的图像分辨率、旋转、变形等问题，具有精度高，鲁棒性强、效率高的优点，同时利用KVLD技术，提升了特征匹配精度与质量。

说明书

技术领域

本发明属于图像处理技术领域,尤其涉及一种基于多阶特征点线匹配的异源影像匹配方法。

背景技术

大区域数字正射影像由于能够直观、形象地反映地形地貌情况，在国民经济和国防建设中发挥着越来越重要的作用。在当前数字地球时代的大背景下，遥感数据分辨率越来越高、获取方式越来越多样化、获取周期越来越短，爆炸性增长的海量遥感数据对传统的数字正射影像生产手段提出了巨大的挑战，大区域高分辨率正射影像的自动生成与快速更新成为摄影测量与遥感领域的热点问题。

对遥感数据的测量与解译是遥感数据的重要应用方向，影像匹配是影像理解的前提和重要部分。单张的遥感影像不能提供测区的完整信息，需要将多张影像拼接起来，得到测区整体结果，以便从全局角度对影像进行解译与识别。同时，通过对异源多分辨率多视角影像进行关联匹配，可以提高历史影像的利用率。然而，在影像关联匹配过程中，一直存在或多或少的误匹配问题，例如，异源影像地物差异、分辨率差异、视角差异等，给影像后续校正、处理带来了困难。

常见的遥感影像数据的关联匹配通常采用纹理分析和特征匹配两种方法。纹理分析通过构建描述纹理的数字特征，使用自相关函数、灰度共生矩阵、灰度游程及灰度分布等方法，计算能量、熵、逆差阵、相关性等统计量，找到关联匹配关系。但纹理特征计算量通常较大，多尺度和定位分析能力不足，处理流程简单，多使用于单一纹理影像的关联匹配分析。特征匹配随着图像处理和机器视觉技术发展而诞生，也是目前应用领域最广，使用频率最高的配准方法。它通过某个特征对图像进行分析，计算效率较基于区域方法有很大提升，同时对光照变化、尺度变化、旋转甚至拍摄视角变化等均有较好的鲁棒性，场景适应性强。该方法一般包括特征的提取、描述及匹配三个步骤。常用特征包括点特征、线特征、面特征及虚拟特征。图像的点特征是指在各位方向的梯度变化都较大的点，如角点、拐点、交叉点等。图像的线特征主要包括道路、建筑的轮廓线及江河等的边缘线等。线特征反应了图像的纹理信息，较适用存在畸变的图像间的配准。图像的面特征是指连续大范围区域内的相同图像纹理特征，如草原、森林、湖泊及建筑等，多用于多光谱图像配准领域，根据光谱成份的不同，很容易区分并识别这些区域。图像的虚拟特征是一种通过扩展基本特征(点特征和线特征)而形成的新的结构特征，如三角形、圆等。

上述影像数据的关联匹配方法，在面向异源多分辨率多视角影像数据关联应用场景时，主要遇到的问题是大侧摆(大于45度)情况下，一般的特征匹配算法难以完成匹配要求。

发明内容

针对影像数据的关联匹配方法在面向异源多分辨率多视角影像数据关联应用场景时存在的大侧摆(大于45度)情况下难以完成匹配要求的问题，本发明公开了一种基于多阶特征点线匹配的异源影像匹配方法。

本发明公开了一种基于多阶特征点线匹配的异源影像匹配方法，其具体步骤如下：

S1，异源影像的特征初筛与匹配，具体包括:

S11,通道检查。判断待匹配的两幅异源影像是否为单通道影像，如果是则转入步骤S12，否则，将非单通道影像加权成为单通道影像；

S12,分辨率检查。判断两幅异源影像分辨率是否相同，如果是，则进入步骤S13，否则，将高分辨率影像进行下采样，使其分辨率和另一幅低分辨率影像相同；

S13,多尺度特征检测。采用具有多尺度分析能力的尺度不变特征变换(ScaleInvariant Feature Transform,SIFT)特征检测算法，对两幅异源影像进行特征初筛，得到各自初始特征点及其特征描述向量，完成异源影像的特征初筛；

S14,特征快速匹配。使用K近邻或者BBF算法，对两幅异源影像各自的特征描述向量进行快速匹配，并根据特征向量匹配结果，得到两幅异源影像间的匹配特征点，实现异源影像的特征快速匹配。

S2，特征筛选优化,具体包括：

S21，建立虚拟线段，根据几何一致性度量进行阈值筛选。

对于经过步骤S1处理后的两幅异源影像，任选一副为主影像，另一幅为从影像。从主影像中选取两个特征点，分别为P

从从影像中找到P

其中，符号s(P)计算的是特征点P的尺度，符号α(P)表示特征点P的主方向，R(α)表示顺时针旋转α角度，三者的计算公式为SIFT特征检测算法中对于特征点的尺度、主方向和旋转角度的计算公式。

然后，以欧式距离或者曼哈顿距离为准则，计算主影像中P

d

t

e

函数dist(x1,x2)表示的是x1，x2两点间的欧式距离或曼哈顿距离。计算出从影像中P′

d′

t′

e′

然后，计算匹配点对m

χ(m

其中，

当χ(m

在主影像中，对每两个特征点构建一个虚拟线段，共计构建(N-1)×(N-1)个虚拟线段，N为主影像中特征点的数量，然后对所构建的虚拟线段通过上述几何一致性度量进行阈值筛选，留下符合几何一致性度量要求的虚拟线段，然后基于符合几何一致性度量要求的虚拟线段中的特征点，找到从影像中对应的特征点，再根据此从影像的特征点构建从影像的虚拟线段。

S22,构建覆盖虚拟线段的内点圆。

经过步骤S21的计算，得到主影像和从影像中符合几何一致性度量要求的虚拟线段，然后构建覆盖每个虚拟线段的内点圆。对于主影像中的虚拟线段I(P

内点圆D

通过上述方式，构建覆盖主影像和从影像中所有符合要求的虚拟线段的内点圆。

S23，对虚拟线段内每个内点圆计算其梯度直方图的统计结果。

利用SIFT特征检测算法中像素点梯度的计算公式，对内点圆中的每个像素点计算其梯度，然后统计内点圆中每个点的梯度值，得到内点圆的梯度直方图。特别的，在对内点圆中每个点的梯度值进行直方图统计时，使用V个统计区间，第u个内点圆的直方图里、第γ个统计区间的统计结果记为(h

最后，分别对主从两个影像内的所有内点圆的梯度直方图统计结果进行归一化处理，使之满足

S24，对内点圆中所有像素的方向进行直方图统计，得到内点圆主方向。

对于单个内点圆D

对于内点圆D

将w

S25,进行虚拟线段的VLD特征描述。通过步骤S23和S24的计算，得到虚拟线段的内点圆梯度直方图统计结果和内点圆主方向，并将其作为虚拟线段的虚拟线段描述子(Virtual Line Descriptor，VLD)。

S26，自定义虚拟线段对比度，并对虚拟线段进行筛选。

在对每条虚拟线段进行VLD特征描述后，再根据对比度因子对虚拟线段进行一次筛选。虚拟线段对比度因子的计算公式为：

当影像像素值在[0,255]这个区间时，设置对比度因子阈值30,当k超过30时，舍弃对应的虚拟线段。按照上述方法对主影像和从影像的虚拟线段进行筛选。

S27，计算虚拟线段之间的VLD特征距离并筛选。

计算主影像和从影像各自对应的虚拟线段l和l′之间的VLD特征距离τ(l,l′)：

式中，β∈[0,1]，为可调权重，由用户设置。当特征距离τ(l,l′)小于某一阈值时，认为该匹配是一对符合要求的虚拟线段匹配。

筛选后，得到符合要求的虚拟线段I(P

S28，K连接的虚拟线段描述子(KVLD)特征匹配筛选，使用KVLD对构成虚拟线段的特征点进行筛选。

假设S27得到的特征点P

将特征点P

在给定搜索半径B

S3,特征精筛选。对于所有使用KVLD筛选后的特征点，使用随机抽样一致性(RANSAC)特征精筛算法完成筛选。

S4，特征均布与加密，包括Delaunay三角网特征均布，基于Grid网格的特征加密。

S41，Delaunay三角网特征均布；

利用步骤S3筛选后得到的可靠匹配特征点，作为控制点进行Delaunay三角网的构建，通过多个圆弧将控制点区域划分为几个弧带，构网时规定只可在当前弧带搜索第三点，成功搜索后进入下一弧带，如此循环构网。

在构建三角网时，结合三角单元面积和角度双重约束迭代优化Delaunay三角网，其具体包括：

当三角单元面积大于面积阈值T_max时，通过在三角单元内内插三角形的重心点，将内差点视为匹配基础单元，通过最小二乘法匹配内插点，最小二乘匹配的步骤是，假设p(x,y)和q(x,y)分别代表像素位置(x,y)处的匹配中心的搜索窗口的灰度，计算匹配窗口与搜索窗口的互信息，如果该互信息小于前一次迭代后互信息值，则迭代结束，完成内插点匹配，否则，继续迭代，计算下一个匹配窗口与搜索窗口的互信息值；

当三角单元面积小于面积阈值T_min时，将构成三角单元的控制点剔除，当三角单元的最小角的角度小于角度阈值T_theta时，将通过以点带线的方法来优化此类狭长三角单元，即将最小边合并为一个点，将构成最小边的控制点同时向中点移动，选取最小边的中点为新的控制点，并将中点视为新的匹配基础单元，采用最小二乘匹配方法对其进一步优化，多次迭代优化三角网。

S42,基于Grid网格的特征加密；

为了得到优质的影像校正和镶嵌拼接能力，对特征点按照Grid网格进行局部加密，并采用自适应非极大值压制的方法进行均布，其具体方法是：在网格生成之间，增加某区域边界上的网格点数目，即根据实际工程图与观测区域的尺寸大小对比，给边界上的点赋予较小节点的间距，这样，生成的网格在此边界上比较紧密。

通过S41、S42求解加密特征点，使其定位精度满足优于0.3像素。

本发明的有益效果为：

(1)本发明使用带有多尺度分析能力的SIFT特征检测算法，实现了不同尺度检测出影像特征点的能力，解决了成像传感器、成像视角导致的图像分辨率、旋转、变形等问题，具有精度高，鲁棒性强、适应不同尺度与旋转角度的优点，同时算法效率较高。

(2)本发明使用KVLD技术，解决了当图像中存在水体、沙漠等重复纹理时，SIFT特征检测算法无法进一步检测特征点的难题，通过KVLD技术，可以增强在重复纹理、大倾角、大平移、大变形的图像特征描述能力，提升特征匹配精度与质量。

(3)本发明通过Delaunay三角网均布与GRID网格加密技术，求解加密了特征点，使得特征点匹配精度达到亚像素级，匹配误差小于0.3像素，解决了一般特征匹配算法在大倾角(大于45度)情况下，难以完成匹配的难题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明技术方案的流程总图；

图2为Delaunay三角网构建流程图；

图3为双重约束三角网优化示意图。

具体实施方式

下面结合附图和具体实施例来对基于多阶特征点线匹配的异源影像匹配方法进一步的详细说明。

遥感影像数据关联匹配可采用纹理分析和特征匹配两种技术方法。纹理分析通过构建描述纹理的数字特征，使用自相关函数、灰度共生矩阵、灰度游程及灰度分布等方法，计算能量、熵、逆差阵、相关性等统计量，找到关联匹配关系。纹理特征计算量通常较大，多尺度和定位分析能力不足，处理流程简单，适合单一纹理影像的关联匹配分析；特征匹配随着图像处理和机器视觉技术发展而诞生，在遥感图像配准、高精度校正、同步定位与建图(SLAM)制图方向有着重要的应用价值，特征匹配技术发展迅速，流程构建相对完备，在特征检测、精匹配、质量优化等环节存在多种应对具体问题的技术方法。

异源多分辨率多视角影像数据的关联匹配，涉及成像传感器、图像分辨率、成像视角、拍摄时相、光照、遮挡等存在差异，分析处理存在较大难度，应对此类数据需要采用流程可控、功能可扩展的特征匹配技术方法。对匹配的每个技术环节进行针对性的分析，对传递误差进行有效控制，才能使整体满足稳健性和可用性，为影像镶嵌等具体应用提供可靠的保障。

本发明公开了一种基于多阶特征点线匹配的异源影像匹配方法，图1为本发明技术方案的流程总图，其具体步骤如下：

S1，异源影像的特征初筛与匹配，用于解决成像传感器、成像视角导致的图像分辨率、旋转、变形等问题，具体包括:

S11,通道检查。判断待匹配的两幅异源影像是否为单通道影像，如果是则转入步骤S12，否则，将非单通道影像加权成为单通道影像；

S12,分辨率检查。判断两幅异源影像分辨率是否相同，如果是，则进入步骤S13，否则，将高分辨率影像进行下采样，使其分辨率和另一幅低分辨率影像相同；

S13,多尺度特征检测。采用具有多尺度分析能力的尺度不变特征变换(ScaleInvariant Feature Transform,SIFT)特征检测算法，对两幅异源影像进行特征初筛，得到各自初始特征点及其特征描述向量，完成异源影像的特征初筛；

S14,特征快速匹配。使用K近邻或者BBF算法，对两幅异源影像各自的特征描述向量进行快速匹配，并根据特征向量匹配结果，得到两幅异源影像间的匹配特征点，实现异源影像的特征快速匹配。

S2，特征筛选优化。S1步骤中，基于SIFT特征检测算法完成了两幅异源影像的特征初筛与匹配，得到了初始的匹配特征点，解决了图像分辨率、旋转变形、光照等因素的影响，但当图像中存在水体、沙漠这种重复纹理时，存在错误匹配，需要进一步筛选。基于VLD(Virtual Line Descriptor)的特征描述(KLVD)可以增强在重复纹理及大倾角、大平移、大变形图像的描述能力。此处K指的是特征点周边固定半径内匹配的VLD特征点数量，所以又称为KVLD技术，优点是能够大幅提升特征匹配的准确性，进一步筛选初匹配得到的特征点，提升精度与质量。具体包括：

S21，建立虚拟线段，根据几何一致性度量进行阈值筛选。

对于经过步骤S1处理后的两幅异源影像，任选一副为主影像，另一幅为从影像。从主影像中选取两个特征点，分别为P

从从影像中找到P

其中，符号s(P)计算的是特征点P的尺度，符号α(P)表示特征点P的主方向，R(α)表示顺时针旋转α角度，三者的具体计算公式为SIFT特征检测算法中对于特征点的尺度、主方向和旋转角度的计算公式。

然后，以欧式距离或者曼哈顿距离为准则，计算主影像中P

d

t

e

函数dist(x,y)表示的是x，y两点间的欧式距离或曼哈顿距离。计算出从影像中P′

d′

t′

e′

然后，计算匹配点对m

χ(m

其中，

当χ(m

基于上述方式，在主影像中，对每两个特征点构建一个虚拟线段，共计构建(N-1)×(N-1)个虚拟线段，N为主影像中特征点的数量，然后对所构建的虚拟线段通过上述几何一致性度量进行阈值筛选，留下符合几何一致性度量要求的虚拟线段，然后基于符合几何一致性度量要求的虚拟线段中的特征点，找到从影像中对应的特征点，再根据此从影像的特征点构建从影像的虚拟线段。

S22,构建覆盖虚拟线段的内点圆。

经过步骤S21的计算，得到主影像和从影像中符合几何一致性度量要求的虚拟线段，然后构建覆盖每个虚拟线段的内点圆。对于主影像中的虚拟线段I(P

内点圆D

在实际测试过程中，U的最优值为10。

通过上述方式，构建覆盖主影像和从影像中所有符合要求的虚拟线段的内点圆。

S23，对虚拟线段内每个内点圆计算其梯度直方图的统计结果。

利用SIFT特征检测算法中像素点梯度的计算公式，对内点圆中的每个像素点计算其梯度，然后统计内点圆中每个点的梯度值，得到内点圆的梯度直方图。特别的，在对内点圆中每个点的梯度值进行直方图统计时，使用V个统计区间，第u个内点圆的直方图里、第γ个统计区间的统计结果记为(h

最后，分别对主从两个影像内的所有内点圆的梯度直方图统计结果进行归一化处理，使之满足

S24，对内点圆中所有像素的方向进行直方图统计，得到内点圆主方向。

对于单个内点圆D

对于内点圆D

将w

S25,进行虚拟线段的VLD特征描述。通过步骤S23和S24的计算，得到虚拟线段的内点圆梯度直方图统计结果和内点圆主方向，并将其作为虚拟线段的虚拟线段描述子(Virtual Line Descriptor，VLD)。

S26，自定义虚拟线段对比度，并对虚拟线段进行筛选。

在对每条虚拟线段进行VLD特征描述后，再根据对比度因子对虚拟线段进行一次筛选。因为部分虚拟线段正好落在影像中物体边缘处，使得VLD特征描述中，部分梯度直方图统计区间的值非常大，影响后续VLD特征距离的计算，所以需要对其进行筛选。虚拟线段对比度因子的计算公式为：

当影像像素值在[0,255]这个区间时，设置对比度因子阈值30,当k超过30时，舍弃对应的虚拟线段。按照上述方法对主影像和从影像的虚拟线段进行筛选。

S27，计算虚拟线段之间的VLD特征距离并筛选。

通过S23、S24、S26的计算和筛选，在主影像中得到符合要求的虚拟线段I(P

式中，β∈[0,1]，为可调权重，由用户设置。当特征距离τ(l,l′)小于某一阈值时，认为该匹配是一对符合要求的VLD匹配。根据历史试验结果统计显示，当τ(l,l′)≤0.35，可认为该匹配是一对符合要求的虚拟线段匹配。

筛选后，得到符合要求的虚拟线段I(P

S28，K连接的虚拟线段描述子(KVLD)特征匹配筛选，使用KVLD对构成虚拟线段的特征点进行筛选。

假设S27得到的特征点P

将特征点P

在给定搜索半径B

S3,特征精筛选。对于所有使用KVLD筛选后的特征点，使用RANSAC特征精筛算法完成筛选。

由于图像成像环境、设备的复杂性，导致图像存在噪声、变形等问题，利用向量距离得到快速匹配结果仍然存在很多错误。随机抽样一致性(RANSAC)算法是一种有效的去除噪声影响，估计模型的方法。RANSAC使用尽可能少的点来估计模型参数，然后尽可能的扩大得到的模型参数的影响范围，可进一步用于消除错误匹配的点。

S4，特征均布与加密，包括Delaunay三角网特征均布，基于Grid网格的特征加密。

S41，Delaunay三角网特征均布；

Delaunay三角网与TPS薄板函数结合，可得到较高精度的校正，用于道路错开等局部处理，其具体过程如图2所示。

利用步骤S3筛选后得到的可靠匹配特征点，作为控制点进行Delaunay三角网的构建，通过多个圆弧将控制点区域划分为几个弧带，构网时规定只可在当前弧带搜索第三点，成功搜索后进入下一弧带，如此循环构网。

由于遥感影像对地观测范围较广，很可能在山区地貌或建筑高程欺负较大区域匹配结果相对密集，而在平原地区，匹配结果相对稀疏，导致构建三角网内三角单元大小分布不均匀，将无法满足后续影响配准精度等要求，因此，在构建三角网时，结合三角单元面积和角度双重约束迭代优化Delaunay三角网，其过程如图3所示。

针对三角单元的面积约束，具体包括：

当三角单元面积大于面积阈值T_max时，通过在三角单元内内插三角形的重心点，将内差点视为匹配基础单元，通过最小二乘法匹配内插点，最小二乘匹配的步骤是，假设p(x,y)和q(x,y)分别代表像素位置(x,y)处的匹配中心的搜索窗口的灰度，计算匹配窗口与搜索窗口的互信息，如果该互信息小于前一次迭代后互信息值，则迭代结束，完成内插点匹配，否则，继续迭代，计算下一个匹配窗口与搜索窗口的互信息；

当三角单元面积小于面积阈值T_min时，将构成三角单元的控制点剔除，因为对面积过小的三角单元单独进行小面元配准会造成算法耗时。角度约束主要因三角网中某三角单元因角度过小，而形成狭长的三角单元，当三角单元的最小角的角度小于角度阈值T_theta时，将通过以点带线的方法来优化此类狭长三角单元，即将最小边合并为一个点，将构成最小边的控制点同时向中点移动，选取最小边的中点为新的控制点，并将中点视为新的匹配基础单元，采用最小二乘匹配方法对其进一步优化，多次迭代优化三角网。

S42,基于Grid网格的特征加密；

为了得到优质的影像校正和镶嵌拼接能力，对特征点按照Grid网格进行局部加密，并采用自适应非极大值压制的方法进行均布，改善特征点在图像空间位置上的分布特性，从而控制因过于稀疏或者稠密导致的图像校正等几何处理问题。

具体的，通过加密边界上的网络点的方式来控制。由于计算域内部的网格密度是由边界控制并进行传递的，所以如果要加密某计算区域的网格，通过加密要加密的区域周围的边界来达到目的，具体方法是：

在网格生成之间，增加某区域边界上的网格点数目，即根据实际工程图与观测区域的尺寸大小对比，给边界上的点赋予较小节点的间距，这样，生成的网格在此边界上比较紧密。

通过S41、S42求解加密特征点，使其定位精度满足优于0.3像素。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。