融合AD代价和多模局部特征代价的立体匹配方法及系统

摘要

本发明公开了一种融合AD代价和多模局部特征代价的立体匹配方法及系统，方法包括：获取图像对，将左图像L作为目标图像，右图像R作为参考图像以及将右图像R作为目标图像，左图像L作为参考图像，分别通过立体匹配得到视差图；对两次匹配得到的视差图进行优化，得到精确的视差图；其中，立体匹配过程包括分别计算目标图像在参考图像中的像素点的AD代价和多模局部特征代价，将其加权融合后得到相应的初始匹配代价，基于所述初始匹配代价计算对应的聚合代价，在聚合区域内，计算目标图像的视差图。本发明在设计匹配代价时，通过引入多模局部特征代价，充分考虑了匹配代价对纹理信息的感知性，从而改善了弱纹理区域和边缘处的匹配效果，提高了立体匹配精度。

说明书

技术领域

本发明属于图像匹配技术领域，更具体地，涉及一种融合AD代价和多模局部特征代价的立体匹配方法及系统。

背景技术

在虚拟现实、无人驾驶、三维重建等诸多领域中，双目立体匹配是将图像从二维空间恢复到三维空间的关键步骤。

现有技术路径主要分为基于深度学习的立体匹配方法和基于传统图像处理的立体匹配方法。基于深度学习的立体匹配方法大多依赖于数据集，在某些场景下不能取得较好的匹配结果；基于传统图像处理的立体匹配方法，通过构造匹配代价来刻画待匹配像素间的相似性，利用相似性的大小进行立体匹配。

然而，现有的匹配代价多从像素的灰度值的差异性进行刻画，忽略了待匹配像素与其邻域像素之间的结构信息的刻画，导致在图像弱纹理区域和边缘处的匹配效果不佳。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种融合AD代价和多模局部特征代价的立体匹配方法及系统，其目的在于提升立体匹配方法在弱纹理区域和边缘处的匹配精度。

为实现上述目的，按照本发明的一个方面，提供了一种融合AD代价和多模局部特征代价的立体匹配方法，包括：

数据获取步骤：获取图像对，所述图像对包括左图像L和右图像R；

立体匹配步骤：将左图像L作为目标图像，右图像R作为参考图像，通过立体匹配得到视差图；将右图像R作为目标图像，左图像L作为参考图像，通过立体匹配得到视差图；

视差优化步骤：对两次匹配得到的视差图进行一致性比对，对不一致的像素点及遮挡区域的像素点进行优化，获得最终视差图；

其中，所述立体匹配过程包括：

代价计算步骤：将目标图像中的任一像素点(x,y)作为待匹配像素点，在视差搜索范围内，分别计算所述像素点(x,y)在参考图像中的像素点的AD 代价和多模局部特征代价；将所述AD代价和多模局部特征代价加权融合，获得所述像素点(x,y)在参考图像视差范围内对应像素点的初始匹配代价；其中，所述多模局部特征代价用于表征所述待匹配像素与其邻域像素之间的相对大小关系；

代价聚合步骤：在所述目标图像中，设定聚合窗口，在所述聚合窗口内，通过空间距离和颜色距离加权，对所述初始匹配代价聚合，得到所述像素点(x,y)的聚合代价；

视差计算步骤：将所述像素点(x,y)聚合代价的最小值所对应的视差作为该像素点的视差，得到目标图像的视差图。

进一步地，所述多模局部特征代价通过如下子步骤获得：

分别将所述左图像及右图像灰度化，对灰度化后的图像进行多模局部特征编码，其中，所述多模局部特征编码包括中心梯度特征编码、角度特征编码和径向梯度特征编码；

计算所述多模局部特征编码对应的二进制串的汉明距离，得到相应的多模局部特征代价，其中，所述多模局部特征代价包括中心梯度代价、角度代价及径向梯度代价，分别用于表征待匹配像素与其邻域像素之间的梯度变化、角度变化及径向梯度变化。

进一步地，所述中心梯度代价C

其中，T

进一步地，所述初始匹配代价C(x,y,d)为：

C(x,y,d)＝ρ(C

式中，C

式中，

进一步地，所述代价聚合步骤中，包括子步骤：

在聚合代价窗口内，通过空间距离和颜色距离加权，计算所述初始匹配代价的聚合权重w

用所述聚合权重w

进一步地，所述聚合权重w

式中，(x,y)是聚合区域内待匹配像素点p的坐标，(x

进一步地，所述视差优化步骤包括如下子步骤：

分别用目标图像中每个像素点的聚合代价对视差图中的每个视差值进行插值，得到以左图像为目标图像的亚像素视差值d

在给定的误差范围内，针对同一个像素点，比较对应的亚像素视差值d

用邻域视差值的中值对所述误匹配点进行填充，用邻域视差值的最小值对遮挡区域的像素点进行填充，得到最终视差图。

按照本发明的另一方面，提供了一种融合AD代价和多模局部特征代价的立体匹配系统，包括：

数据获取模块，用于获取匹配图像对，所述匹配图像对包括左图像L和右图像R；

立体匹配模块，用于将左图像L作为目标图像，右图像R作为参考图像，通过立体匹配子模块得到视差图；将右图像R作为目标图像，左图像L作为参考图像，通过立体匹配子模块得到视差图；

视差优化模块，用于对两次匹配得到的视差图进行一致性比对，对不一致的像素点及遮挡区域的像素点进行优化，获得最终视差图；

其中，所述立体匹配子模块包括：

代价计算单元，用于将目标图像中的任一像素点(x,y)作为待匹配像素，在视差搜索范围内，分别计算所述像素点(x,y)在参考图像中的像素点的AD 代价和多模局部特征代价；将所述AD代价和多模局部特征代价加权融合，获得所述像素点(x,y)在参考图像视差范围内对应像素点的初始匹配代价；其中，所述多模局部特征代价用于表征所述待匹配像素与其邻域像素之间的相对大小关系；

代价聚合单元，用于在所述目标图像中，设定聚合窗口，在所述聚合窗口内，通过空间距离和颜色距离加权，对所述初始匹配代价聚合，得到所述像素点(x,y)的聚合代价；

视差计算单元，用于将所述像素点(x,y)聚合代价的最小值所对应的视差作为该像素点的视差，得到目标图像的视差图。

进一步地，所述多模局部特征代价包括：

多模局部特征编码结构，用于分别将所述左图像及右图像灰度化，对灰度化后的图像进行多模局部特征编码，其中，所述多模局部特征编码包括中心梯度特征编码、角度特征编码和径向梯度特征编码；

汉明距离计算结构，用于计算所述多模局部特征编码对应的二进制串的汉明距离，得到相应的多模局部特征代价；其中，所述多模局部特征代为中心梯度代价、角度代价及径向梯度代价，分别用于表征待匹配像素与其邻域像素之间的梯度变化、角度变化及径向梯度变化。

进一步地，所述代价聚合单元包括：

聚合权重计算结构，用于在聚合代价窗口内，通过空间距离和颜色距离加权，计算所述初始匹配代价的聚合权重w

加权平均运算结构，用于用所述聚合权重w

其中，所述聚合权重w

式中，(x,y)是聚合区域内待匹配像素点p的坐标，(x

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明的立体匹配方法，用AD代价表征像素点之间的灰度相似性，用多模局部特征代价表征待匹配像素与其邻域像素之间的相对大小关系，该相对大小关系反应了像素点之间的结构相似性，即本发明创造性的将待匹配像素与其邻域像素之间的结构性信息引入匹配代价，充分考虑了对像素点之间的灰度相似性和结构相似性的刻画，改善了现有方法设计的匹配代价受光照影响大，在弱纹理区域和边缘处的匹配精度低的问题，提升了立体匹配方法在弱纹理区域和边缘处的匹配精度。

(2)进一步地，本发明在计算聚合代价时，聚合过程中引入空间距离和颜色距离影响因子，综合考虑了聚合区域内像素点的空间位置和颜色相似性对中心像素匹配代价权重分配的影响，改善了现有方法在代价聚合过程中只考虑颜色相似性所导致的深度不连续区域聚合代价计算不准确的问题。

附图说明

图1为本发明提供的融合AD代价和多模局部特征代价的立体匹配方法流程图；

图2为本发明实施例的中心梯度特征编码示意图；

图3是本发明实施例的角度特征编码示意图；

图4是本发明实施例的径向梯度特征编码示意图；

图5是本发明实施例的亚像素优化示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供的融合AD代价和多模局部特征代价的双目立体匹配方法，主要包括如下步骤：

数据获取步骤：获取双目立体视觉传感器的左图像L和右图像R，将其作为匹配图像对；

立体匹配步骤：将左图像L作为目标图像，右图像R作为参考图像，通过立体匹配得到左图像的视差图；将右图像R作为目标图像，左图像L作为参考图像，通过立体匹配得到右图像的视差图；

视差优化步骤：通过对左图像的视差图和右图像的视差图进行优化，去除误匹配点，提高匹配精度，获得最终视差图。

其中，立体匹配步骤中的立体匹配过程包括：

代价计算步骤：以目标图像中的任一像素点(x,y)作为待匹配像素点，分别计算该像素点(x,y)在视差搜索范围{d

其中，视差范围根据图像的最大视差决定，本实施例中，最大视差取值为64。

代价聚合步骤：在目标图像中，获取聚合窗口，在该聚合窗口内，通过空间距离和颜色距离加权，对每个像素的初始匹配代价进行聚合，得到目标图像中每个像素的聚合代价

视差计算步骤：将目标图像中每个像素的聚合代价的最小值

具体地，本实施例中，双目立体视觉传感器为双目立体相机。

具体地，上述的立体匹配过程中，代价计算步骤中，对于目标图像中的任一像素点(x,y)，其在视差搜索范围内，在对应的参考图像中的像素点的AD代价C

其中，

多模局部特征代价表征待匹配像素与其邻域像素之间的结构性信息，包括：中心梯度代价、角度代价及径向梯度代价，分别表征待匹配像素与其邻域像素之间的梯度变化、角度变化及径向梯度变化。

中心梯度代价、角度代价及径向梯度代价根据如下子步骤获取：

分别对左、右图像进行灰度化，对灰度化后的图像中每个像素点进行多模局部特征编码，其中，多模局部特征编码包括中心梯度特征编码、角度特征编码和径向梯度特征编码；

计算多模局部特征编码对应的二进制串的汉明距离，得到相应的多模局部特征代价。

其中，中心梯度特征编码方式为在设定的匹配窗口内按照一定的次序进行遍历，以待匹配像素为参考像素，如果当前像素灰度值大于或等于参考像素灰度值，则将当前像素位置编码为1，如果当前像素灰度值小于参考像素灰度值，则将当前像素位置编码为0，得到表示窗口中心像素的中心梯度特征的二进制串。

角度特征编码方式为在相同的匹配窗口内，按照和中心梯度特征编码方式相同的次序进行遍历，选择遍历次序的下一个像素为参考像素，如果当前像素灰度值大于或等于参考像素灰度值，则将当前像素位置编码为1，如果当前像素灰度值小于参考像素灰度值，则将当前像素位置编码为0，得到表示窗口中心像素的角度特征的二进制串。

径向梯度特征编码方式为在相同的匹配窗口内，按照和中心梯度特征编码方式相同的次序进行遍历，比较待遍历像素点与其径向向外方向的相邻像素的灰度值大小关系。如果该像素的灰度值大于或等于径向相邻像素的灰度值，该像素位置编码为1；如果该像素灰度值小于径向相邻像素的灰度值，该像素位置编码为0，得到表示窗口中心像素的径向梯度特征的二进制串。

具体地，如图2所示，本实施例中，中心梯度特征编码方式取匹配窗口左上角行列坐标最小值为起始像素点，按照顺时针顺序依次遍历，图2 中的数字45、150、……110分别表示匹配窗口中的像素灰度值，中心处的 81为待匹配像素，编号①、②……、⑧分别表示顺时针的匹配次序，按照中心梯度特征编码方式，得到的中心梯度特征二进制编码为01110110。

如图3所示，本实施例中，角度特征编码方式取窗口左上角行列坐标最小值为起始像素点，按照顺时针顺序依次遍历，选取顺时针次序下一个像素为参考像素，按照角度特征编码方式，得到的角度特征二进制编码为 11001000。

如图4所示，本实施例中，径向梯度特征编码方式取匹配窗口内左上角行列坐标最小值为起始像素，按照顺时针方向次序，比较其与径向向外方向的相邻像素的灰度值大小关系。按照径向梯度特征编码方式，得到的径向梯度特征二进制编码为01010010。

计算中心梯度特征编码二进制串的汉明距离，得到对应的中心梯度代价C

式中，T

角度代价C

式中，T

径向梯度代价C

式中,T

具体地，代价计算步骤中，将AD代价和多模局部特征代价加权融合，得到的代价C(x,y,d)为：

C(x,y,d)＝ρ(C

式中，C

其中，c,λ分别表示代价、归一化加权系数。

具体地，代价聚合步骤中，获取聚合窗口包括：

通过像素灰度值的大小差异按照自适应十字窗的方式，获取聚合代价窗口区域，自适应十字窗构建方式如下：

其中，p表示十字臂中心参考像素，p

得到目标图像中每个像素的聚合代价

在聚合代价窗口内，通过空间距离和颜色距离加权，计算上述得到的每个像素的初始匹配代价的聚合权重w

用该聚合权重w

具体地，聚合权重w

式中，(x,y)是聚合区域内待匹配像素点p的坐标，(x

其中，窗口内聚合代价C

式中，R为自适应十字窗确定的聚合窗口区域，w

视差优化步骤中，可以通过以下方法进行视差优化：

亚像素优化：以左图像为目标图像，用目标图像中每个像素点的聚合代价对视差图中的每个视差值进行插值，得到左图像每个像素点对应的亚像素视差值d

具体地，如图5所示，取视差d所对应的聚合代价的C

一致性检查：在给定的误差范围内，针对同一个像素点，比较该像素点对应的亚像素视差值d

视差填充：使用邻域视差值的中值对上述误匹配点进行填充，使用邻域视差值的最小值对未定义视差点进行填充，得到最终视差图。

在视差优化的过程中，通过亚像素视差优化提高匹配精度，通过一致性检查去除误匹配点，通孔洞填充弥补误匹配点和遮挡点，最终得到精确的视差图。

在一致性检查时，针对左右图像分别进行立体匹配后，得到左图像中的像素(x,y)的视差为d

在上述实施例中，由于在匹配代价的构建过程中引入中心梯度代价、角度代价和径向梯度代价，即将待匹配像素与其邻域像素之间的结构性信息引入匹配代价，增强了匹配代价对结构性纹理的感知性，改善了弱纹理区域和边缘处的匹配效果，表现为立体匹配算法能够在弱纹理区域和边缘处取得较高的匹配精度。

此外，由于在代价聚合过程中引入颜色距离和空间距离影响因子，降低了低颜色相似度和远距离像素在代价聚合过程中的权重，表现最后的匹配结果视差图能够在视差变化大的区域获得较好的匹配效果。

本实施例在专业立体匹配测试平台Middlebury V3的Training Dense数据集对常用的IGF算法、ADSG算法和SGBM1算法进行对比实验。评价指标采用平均误差(Avgerr)和bad1.0，平均误差度量了立体匹配算法计算视差与真实视差之间的误差均值，其值越小表示算法越优秀，bad 1.0描述了计算视差与真实视差计算差值大于一个像素的比率，其值越小表示算法越优秀，实验结果见表1。由实验结果可知，本发明提出的立体匹配算法在平均误差和bad 1.0指标上都低于传统的立体匹配方法，说明本发明提出的立体匹配方法具有一定的先进性。

表1不同算法的立体匹配精度对比

本发明还提供了一种融合AD代价和多模局部特征代价的立体匹配系统，包括：

数据获取模块，用于获取匹配图像对，匹配图像对包括左图像L和右图像R；

立体匹配模块，用于将左图像L作为目标图像，右图像R作为参考图像，通过立体匹配子模块得到视差图；将右图像R作为目标图像，左图像L作为参考图像，通过立体匹配子模块得到视差图；

视差优化模块，用于对两次匹配得到的视差图进行一致性比对，对不一致的像素点及遮挡区域的像素点进行优化，获得最终视差图；

其中，立体匹配子模块包括：

代价计算单元，用于将目标图像中的任一像素点(x,y)作为待匹配像素，在视差搜索范围内，分别计算像素点(x,y)在参考图像中的像素点的AD代价和多模局部特征代价；将AD代价和多模局部特征代价加权融合，获得像素点(x,y)在参考图像视差范围内对应像素点的初始匹配代价；其中，多模局部特征代价用于表征待匹配像素与其邻域像素之间的相对大小关系；

代价聚合单元，用于在目标图像中，设定聚合窗口，在聚合窗口内，通过空间距离和颜色距离加权，对初始匹配代价聚合，得到像素点(x,y)的聚合代价；

视差计算单元，用于将像素点(x,y)聚合代价的最小值所对应的视差作为该像素点的视差，得到目标图像的视差图。

其中，多模局部特征代价包括：

多模局部特征编码结构，用于分别将左图像及右图像灰度化，对灰度化后的图像进行多模局部特征编码，其中，多模局部特征编码包括中心梯度特征编码、角度特征编码和径向梯度特征编码；

汉明距离计算结构，用于计算多模局部特征编码对应的二进制串的汉明距离，得到相应的多模局部特征代价；其中，多模局部特征代为中心梯度代价、角度代价及径向梯度代价，分别用于表征待匹配像素与其邻域像素之间的梯度变化、角度变化及径向梯度变化。

代价聚合单元包括：

聚合权重计算结构，用于在聚合代价窗口内，通过空间距离和颜色距离加权，计算初始匹配代价的聚合权重w

加权平均运算结构，用于用聚合权重w

其中，聚合权重w

式中，(x,y)是聚合区域内待匹配像素点p的坐标，(x

视差优化模块，包括：

亚像素优化单元，用于分别用目标图像中每个像素点的聚合代价对视差图中的每个视差值进行插值，得到以左图像为目标图像的亚像素视差值d

一致性检查单元，用于在给定的误差范围内，针对同一个像素点，比较对应的亚像素视差值d

视差填充单元，用于用邻域视差值的中值对误匹配点进行填充，用邻域视差值的最小值对遮挡区域的像素点进行填充，得到最终视差图。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。