一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置

摘要

本发明涉及一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法(100)，指示所述第一图像的典型特征的所述第一图像的关键点与指示所述第二图像的典型特征的所述第二图像的关键点相关联，借此形成了所述第一图像的关键点与所述第二图像的关键点之间的初始关联关系，所述初始关联关系由指示符指示，所述初始关联关系包括所述不正确关联关系，所述方法(100)包括：将所述第一图像的每个关键点与所述第二图像的每个关键点进行关联(101)，以获得全局关联关系；确定(103)初始关联关系对的相似性度量；确定(105)全局关联关系对的相似性度量；确定(107)相似性度量在预先确定的范围内的初始关联关系对的第一数目；确定(109)相似性度量在所述预先确定的范围内的全局关联关系对的第二数目；将所述对的第一数目和所述对的第二数目进行比较(111)，以检测所述不正确关联关系。本发明还涉及一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置。

说明书

技术领域

本发明涉及计算机视觉领域，尤其涉及图像匹配。

背景技术

评定图像间的相似性的能力是基础却复杂的任务，能够作为许多应用的构成要素。这些应用可包括，例如，目视搜寻、目标检测、目标识别、摄像机跟踪、目标跟踪和场景重建。

图像相似性评定很容易由人解决，但从机器角度来看是却是难题，因为它基于从各种低级属性开始的图像内容的自动译码。因此，采用了图像匹配技术。

图像匹配方法依赖于所谓的局部特征。局部特征是图像中围绕点的块的简洁描述。用于确定局部特征的点显示出图像的典型特征，例如，四角，其检测对于照明、尺度、旋转和透视变化是稳定的。这样的点也称为关键点，图像对之间的相似性可通过图像共有的关键点的数目和位置评定。由于关键点检测中的噪声影响或关键点的不匹配，匹配结果通常包括正确关联关系，即内点，和不正确关联关系，即离群点。

在Lepsoy,S.、Francini,G.,Cordara,G.、de Gusmao和P.P.B.，IEEE多媒体与展览国际会议，2011年7月11-15“快速目视搜寻中离群点的统计建模”中，描述了图像比较方法。

发明内容

本发明的目的是提供一种检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的有效方法。

该目的是通过独立权利要求的特征来实现的。结合从属权利要求、说明书和附图，更多的实现方式是显而易见的。

本发明基于发现可以确定可由关键点匹配技术提供的初始关联关系对和可通过将所述第一图像的每个关键点和所述第二图像的每个关键点进行关联而获得的全局关联关系对的相似性度量。所述初始关联关系主要包括正确关联关系，其中所述全局关联关系主要包括不正确关联关系。通过统计性地评估初始关联关系对和全局关联关系对的相似性度量，初始关联关系内的不正确关联关系可以通过统计方法进行检测。

相似性度量可以为对数距离比(logarithmic distance ratio，LDR)，其允许应用相似性不变量度量。距离可以为马氏距离，其说明了第一图像和第二图像中的关键点的位置的不确定性。可以通过协方差矩阵定义位置的不确定性，其中，可以实现二维图像和三维图像的协方差矩阵的有效确定。

根据第一方面，本发明涉及一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法，指示所述第一图像的典型特征的所述第一图像的关键点与指示所述第二图像的典型特征的所述第二图像的关键点相关联，借此形成了所述第一图像的关键点与所述第二图像的关键点之间的初始关联关系，所述初始关联关系由指示符指示，所述初始关联关系包括所述不正确关联关系，所述方法包括：将所述第一图像的每个关键点与所述第二图像的每个关键点进行关联，以获得全局关联关系；确定初始关联关系对的相似性度量；确定全局关联关系对的相似性度量；确定相似性度量在预 先确定的范围内的初始关联关系对的第一数目；确定相似性度量在所述预先确定的范围内的全局关联关系对的第二数目；将所述对的第一数目和所述对的第二数目进行比较，以检测所述不正确关联关系。因此，可以提供一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的有效方法。

所述第一图像和所述第二图像可以为纹理图像。所述第一图像和所述第二图像还可以包括深度图。所述第一图像或所述第二图像的典型特征可以为几何特征，例如，四角。

所述第一图像的关键点和所述第二图像的关键点之间的所述初始关联关系可通过关键点匹配技术获得。所述指示符可以为矢量或矩阵。初始关联关系对或全局关联关系对的相似性度量可以为实数，如1.8或2.5。

所述预先确定的范围可以为实数范围，如1.0-1.2。所述预先确定的范围可以为初始关联关系对的相似性度量的直方图的竖条或全局关联关系对的相似性度量的直方图的竖条。

初始关联关系对的相似性度量的分布和全局关联关系对的相似性度量的分布可以指示各个概率密度函数。因此，可以考虑相似性度量的统计数据。因此，能够通过统计比较检测不正确关联关系。

根据第一方面，在所述方法的第一种实现形式中，所述方法还包括：通过所有初始关联关系对的数目将所述对的第一数目归一化；通过所有全局关联关系对的数目将所述对的第二数目归一化。因此，可以改善所述对的第一数目与所述对的第二数目的比较。

所述对的第一数目的归一化可以通过所述对的第一数目除以所有初始关 联关系对的数目或用所有初始关联关系对的数目对所述对的第一数目进行加权实现。所述对的第二数目的归一化可以通过所述对的第二数目除以所有全局关联关系对的数目或用所有全局关联关系对的数目对所述对的第二数目进行加权实现。

根据第一方面或第一方面的任一前述实现形式，在所述方法的第二种实现形式中，初始关联关系对或全局关联关系对包括第一关联关系和第二关联关系，所述第一关联关系包括所述第一图像中的第一关键点和所述第二图像中的第二关键点，所述第二关联关系包括所述第一图像中的第三关键点和所述第二图像中的第四关键点，所述初始关联关系对或所述全局关联关系对的相似性度量根据下述等式确定：

$ldr(x_i,x_j,y_i,y_j)=\ln \left(\frac{\left|\right|x_i-x_j\left|\right|}{\left|\right|y_i-y_j\left|\right|}\right)$

||x_i-x_j||＝sqrt((x_i-x_j)C_xixj(x_i-x_j))，其中，C_xixj＝C_xi+C_xj

||y_i-y_j||＝sqrt((y_i-y_j)C_yiyj(y_i-y_j))，其中，C_yiyj＝C_yi+C_yj

其中，x_i表示所述第一关键点在所述第一图像中的位置，x_j表示所述第三关键点在所述第一图像中的位置，y_i表示所述第二关键点在所述第二图像中的位置，y_j表示所述第四关键点在所述第二图像中的位置，||·||表示距离，sqrt表示平方根运算，C_xi表示第一协方差矩阵，C_xj表示第三协方差矩阵，C_yi表示第二协方差矩阵，C_yj表示第四协方差矩阵，C_xixj表示第一合并协方差矩阵，C_yiyj表示第二合并协方差矩阵，ldr表示所述相似性度量。因此，可以应用相似性不变量度量。

所述相似性度量可以为对数距离比(log-distance-ratio，LDR)，其中， 所述第一关键点的位置和所述第三关键点的位置之间的距离||x_i-x_j||以及所述第二关键点的位置和所述第四关键点的位置之间的距离||y_i-y_j||可以为马氏距离。马氏距离可以说明关键点的位置的不确定性，其可以通过误差椭圆或误差椭球建模。距离||·||与欧氏距离可能无关。

根据第一方面的第二种实现形式，在所述方法的第三种实现形式中，所述第一协方差矩阵或所述第三协方差矩阵是在所述第一图像的像素值的二阶导数的基础上确定的，所述第二协方差矩阵或所述第四协方差矩阵是在所述第二图像的像素值的二阶导数的基础上确定的。因此，可以提供协方差矩阵的有效确定。所述二阶导数可包括海森或相逆的海森矩阵运算。

根据第一方面的第二种实现形式，在所述方法的第四种实现形式中，所述第一图像包括第一深度图，所述第二图像包括第二深度图，所述第一深度图指示所述第一图像的关键点的深度，所述第二深度图指示所述第二图像的关键点的深度，所述第一协方差矩阵、所述第二协方差矩阵、所述第三协方差矩阵或所述第四协方差矩阵是在所述第一深度图或所述第二深度图的基础上确定的。因此，可以实现三维图像中的协方差矩阵的确定。

例如，所述协方差矩阵可以基于视图的水平和垂直视域和导致水平和垂直维度中的栅方差的纹理图像的分辨率确定。对于三维点，协方差矩阵可以是对角的3x3矩阵，其中，每一行的元素表示三个空间维度的协方差。所述协方差矩阵可以基于所述第一深度图或第二深度图定义的点的z坐标确定。此外，可以考虑针对深度确定的深度传感器准确性参数或从多摄像机系统计算的估计的深度的置信度值。视差的计算成本的置信度值可以从多个摄像机中计算。

根据第一方面或第一方面的任一前述实现形式，在所述方法的第五种实 现形式中，所述第一图像包括第一深度图，所述第二图像包括第二深度图，所述第一深度图指示所述第一图像的关键点的深度，所述第二深度图指示所述第二图像的关键点的深度，所述初始关联关系对和所述全局关联关系对的相似性度量是在所述第一深度图和所述第二深度图的基础上确定的。因此，可以实现三维图像的不正确关联关系检测的改善。

根据第一方面或第一方面的任一前述实现形式，在所述方法的第六种实现形式中，所述第一图像由第一图像捕捉参数表征，所述第二图像由第二图像捕捉参数表征，所述初始关联关系对和所述全局关联关系对的相似性度量是在所述第一图像捕捉参数和所述第二图像捕捉参数的基础上确定的。因此，可以实现关键点的位置确定的改善。

所述图像捕捉参数可包括摄像机内参数。所述图像捕捉参数可包括图像摄像机的焦距、图像摄像机的光中心和/或图像摄像机的像素纵横比。

根据第一方面或第一方面的任一前述实现形式，在所述方法的第七种实现形式中，所述方法包括：通过检测所述第一图像中的典型特征，尤其是四角，检测所述第一图像中的关键点；通过检测所述第二图像中的典型特征，尤其是四角，检测所述第二图像中的关键点。因此，通过特征检测技术可以实现关键点的检测。

例如，关键点的检测可以通过尺度不变量特征变换(Scale-Invariant Feature Transform，SIFT)技术、快速鲁棒性特征(speeded up robust features，SURF)技术或二进制鲁棒性不变可扩展关键点(binary robust invariant scalable keypoint，BRISK)技术执行。所述技术可以检测不同的典型特征。所述二进制鲁棒性不变可扩展关键点(binary robust invariant scalable keypoint，BRISK)技术尤其可以用于检测四角。

根据第一方面的第七种实现形式，在所述方法的第八种实现形式中，所述方法还包括：确定所述第一图像中的检测的关键点的第一描述符，其中，所述第一描述符指示所述第一图像中的检测的关键点的特征；确定所述第二图像中的检测的关键点的第二描述符，其中，所述第二描述符指示所述第二图像中的检测的关键点的特征；基于所述第一描述符和所述第二描述符，将所述第一图像的检测的关键点与所述第二图像的检测的关键点进行关联，以获得所述初始关联关系。因此，可以实现初始关联关系的有效确定。

所述检测的关键点的特征可包括关键点周围的图像块的特征。所述检测的关键点的特征可包括梯度、颜色和/或形状。基于所述第一描述符和所述第二描述符的关联可以基于欧几里得距离、暴力破解方法或k-d树方法。

根据第一方面或第一方面的任一前述实现形式，在所述方法的第九种实现形式中，所述第一图像包括第一深度图，所述第二图像包括第二深度图，所述第一深度图指示所述第一图像的像素深度，所述第二深度图指示所述第二图像的像素深度，依靠所述第一深度图的像素值或所述第二深度图的像素值控制所述第一图像的像素值或所述第二图像的像素值，特别是设为零。因此，可以实现所述第一图像或所述第二图像的感兴趣区(region of interest，ROI)屏蔽。

根据第一方面或第一方面的任一前述实现形式，在所述方法的第十种实现形式中，将所述对的第一数目和所述对的第二数目进行比较包括判断所述对的第一数目是否小于所述对的第二数目，若所述对的第一数目小于所述对的第二数目，检测所述不正确关联关系。因此，可以实现检测所述不正确关联关系的统计意义。

所述不正确关联关系的检测可以基于统计的拟合优度检验执行。所述不 正确关联关系的检测还可以基于卡方检验。

若所述对的第一数目小于所述对的第二数目，相似性度量在预先确定的范围内的初始关联关系对的关联关系可以检测为不正确关联关系。若所述对的第一数目大于所述对的第二数目，相似性度量在预先确定的范围内的初始关联关系对的关联关系可以检测为正确关联关系。

所述对的第一数目和所对的第二数目的比较可能与所述初始关联关系对的相似性度量的直方图的竖条与全局关联关系对的相似性度量的直方图的竖条的比较相关。确定用以检测正确关联关系或内点的数目的分布之间的差异的概念在单个直方图竖条内可为可用的或有效的，该单个直方图竖条可包括或可指预先确定的范围。

根据第二方面，本发明涉及一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置，指示所述第一图像的典型特征的所述第一图像的关键点与指示所述第二图像的典型特征的所述第二图像的关键点相关联，借此形成了所述第一图像的关键点与所述第二图像的关键点之间的初始关联关系，所述初始关联关系由指示符指示，所述初始关联关系包括所述不正确关联关系，所述装置包括：处理器，用于将所述第一图像的每个关键点与所述第二图像的每个关键点进行关联，以获得全局关联关系；确定初始关联关系对的相似性度量；确定全局关联关系对的相似性度量；确定相似性度量在预先确定的范围内的初始关联关系对的第一数目；确定相似性度量在所述预先确定的范围内的全局关联关系对的第二数目；将所述对的第一数目和所述对的第二数目进行比较，以检测所述不正确关联关系。因此，可以提供一种用于有效检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置。

所述处理器可用于执行计算机程序。

所述装置可执行根据第一方面的方法。所述装置的进一步的特征能直接根据第一方面的方法的功能性产生。

根据第二方面，在所述装置的第一种实现形式中，所述处理器还用于通过检测所述第一图像中的典型特征，尤其是四角，检测所述第一图像中的关键点；通过检测所述第二图像中的典型特征，尤其是四角，检测所述第二图像中的关键点。因此，通过特征检测技术可以实现关键点的检测。

根据第二方面的第一种实现形式，在所述装置的第二种实现形式中，所述处理器还用于确定所述第一图像中的检测的关键点的第一描述符，其中，所述第一描述符指示所述第一图像中的检测的关键点的特征；确定所述第二图像中的检测的关键点的第二描述符，其中，所述第二描述符指示所述第二图像中的检测的关键点的特征；基于所述第一描述符和所述第二描述符，将所述第一图像的检测的关键点与所述第二图像的检测的关键点进行关联，以获得所述初始关联关系。因此，可以实现初始关联关系的有效确定。

根据第二方面，在所述装置的又一实现形式中，实现形式用于执行根据第一方面的所述方法的一个、部分或所有实现形式。

根据第三方面，本发明涉及一种计算机程序，包括：当在计算机上运行时，用于执行根据第一方面或者第一方面的任意实施形式的方法的程序代码。因此，所述方法可以以自动和重复的方式应用。

该计算机程序以机器可读程序代码的形式提供。该程序代码可以包括一系列计算机处理器的命令。所述计算机的处理器可用于执行该程序代码。

本发明可以以硬件和/或软件形式来实现。

附图说明

本发明的具体实施方式将结合以下附图进行描述，其中：

图1示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法的图；

图2示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置的图；

图3示出了根据一种实现形式的第一图像和第二图像的图；

图4示出了根据一种实现形式的第一图像的关键点和第二图像的关键点之间的初始关联关系的图；

图5示出了根据一种实现形式的第一图像的关键点和第二图像的关键点之间的全局关联关系的图；

图6示出了根据一种实现形式的投射在两个不同像平面上的3D场景的透视失真图；

图7示出了根据一种实现形式的第一图像或第二图像内的关键点和协方差椭圆的图；

图8示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置的图；

图9示出了根据一种实现形式的用于检测第一图像的关键点和第二图像 的关键点之间的不正确关联关系的装置的图；

图10示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置的图；

图11示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置的图；

图12示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置的图；

图13示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置的图；

图14示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置的图；

图15示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置的图；

图16示出了根据一种实现形式的感兴趣区屏蔽单元的图。

在附图中，相同的标号指相同或相当的特征。

具体实施方式

图1示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法100的图。指示所述第一图像的典型特征的所述第一图像的关键点与指示所述第二图像的典型特征的所述第二图 像的关键点相关联，借此形成了所述第一图像的关键点与所述第二图像的关键点之间的初始关联关系。所述初始关联关系由指示符指示。所述初始关联关系包括所述不正确关联关系。

所述方法100包括：将所述第一图像的每个关键点与所述第二图像的每个关键点进行关联101，以获得全局关联关系；确定103初始关联关系对的相似性度量；确定105全局关联关系对的相似性度量；确定107相似性度量在预先确定的范围内的初始关联关系对的第一数目；确定109相似性度量在所述预先确定的范围内的全局关联关系对的第二数目；将所述对的第一数目和所述对的第二数目进行比较111，以检测所述不正确关联关系。

所述第一图像和所述第二图像可以为纹理图像。所述第一图像和所述第二图像还可以包括深度图。所述第一图像或所述第二图像的典型特征可以为几何特征，例如，四角。

所述第一图像的关键点和所述第二图像的关键点之间的所述初始关联关系可通过关键点匹配技术获得。所述指示符可以为矢量或矩阵。初始关联关系对或全局关联关系对的相似性度量可以为实数，如1.8或2.5。

所述预先确定的范围可以为实数范围，如1.0-1.2。所述预先确定的范围可以为初始关联关系对的相似性度量的直方图的竖条或全局关联关系对的相似性度量的直方图的竖条。

初始关联关系对的相似性度量的分布和全局关联关系对的相似性度量的分布可以指示各个概率密度函数。因此，可以考虑相似性度量的统计数据。因此，能够通过统计比较检测不正确关联关系。

图2示出了根据一种实现形式的用于检测第一图像的关键点和第二图像 的关键点之间的不正确关联关系的装置200的图。

指示所述第一图像的典型特征的所述第一图像的关键点与指示所述第二图像的典型特征的所述第二图像的关键点相关联，借此形成了所述第一图像的关键点与所述第二图像的关键点之间的初始关联关系。所述初始关联关系由指示符指示。所述初始关联关系包括所述不正确关联关系。

所述装置200包括：处理器201，用于将所述第一图像的每个关键点与所述第二图像的每个关键点进行关联，以获得全局关联关系；确定初始关联关系对的相似性度量；确定全局关联关系对的相似性度量；确定相似性度量在预先确定的范围内的初始关联关系对的第一数目；确定相似性度量在所述预先确定的范围内的全局关联关系对的第二数目；将所述对的第一数目和所述对的第二数目进行比较，以检测所述不正确关联关系。

所述处理器201可用于执行计算机程序。

所述装置200的实施例可用于执行图1的方法100。所述装置200的进一步的特征能直接从图1的方法100的功能性产生。

图3示出了根据一种实现形式的第一图像301和第二图像303的图。所述第一图像301包括第一关键点305和第三关键点309。所述第二图像303包括第二关键点307和第四关键点311。

所述第一图像301的所述第一关键点305和所述第三关键点309能指示所述第一图像301的典型特征。所述第二图像303的所述第二关键点307和所述第四关键点311能指示所述第二图像303的典型特征。所述第一图像301或所述第二图像303的典型特征可以为几何特征，例如，四角。

图4示出了根据一种实现形式的第一图像301的关键点305和309和第二图像303的关键点307和311之间的初始关联关系401和403的图。所述初始关联关系401和403可由指示符指示。

通过检测所述第一图像301中的典型特征，尤其是四角，可以检测所述第一图像301中的关键点305和309。通过检测所述第二图像303中的典型特征，尤其是四角，可以检测所述第二图像303中的关键点307和311。

可以确定所述第一图像301中的检测的关键点305和309的第一描述符，其中，所述第一描述符可以指示所述第一图像301中的检测的关键点305和309的特征。可以确定所述第二图像303中的检测的关键点307和311的第二描述符，其中，所述第二描述符可以指示所述第二图像303中的检测的关键点307和311的特征。通过基于所述第一描述符和所述第二描述符，将所述第一图像301的检测的关键点305和309与所述第二图像303的检测的关键点307和311进行关联，可以获得所述初始关联关系401和403。

图5示出了根据一种实现形式的第一图像301的关键点305和309和第二图像303的关键点307和311之间的全局关联关系501、503、505和507的图。

通过检测所述第一图像301中的典型特征，尤其是四角，可以检测所述第一图像301中的关键点305和309。通过检测所述第二图像303中的典型特征，尤其是四角，可以检测所述第二图像303中的关键点307和311。

通过将所述第一图像301的每个关键点305和309与所述第二图像303的每个关键点307和311进行关联，可以获得全局关联关系501、503、505和507。

图6示出了根据一种实现形式的投射在两个不同像平面上的3D场景的透视失真图。

本发明可以涉及计算机视觉领域，尤其涉及称为2D/3D视频图像匹配和/或比较，以及3D重建的话题。

在计算机视觉和图像/视频处理领域中，可靠地评价纹理图像间的相似性的能力是基础却又复杂的任务，能够作为许多应用域的构成要素。这些应用域可包括目视搜寻、目标检测、目标识别、摄像机跟踪、目标跟踪和场景重建等。

图像相似性评定很容易由人解决，但从机器角度来看是却是难题，因为它可基于从各种低级属性开始的数字图像内容的自动译码。

为了定量地测量图像间的相似性，策略可以为进行图像匹配。图像匹配方法可依赖于所谓的局部特征。常见的方法可以为尺度不变量特征变换(Scale-Invariant Feature Transform，SIFT)、快速鲁棒性特征(Speeded Up Robust Features，SURF)、面向二进制鲁棒性基本特征(Oriented Binary Robust Independent Elementary Features，ORB)和二进制鲁棒性不变可扩展关键点(Binary Robust Invariance Scalable Keypoint，BRISK)，而且还可以有许多选择。

局部特征可以为图像中围绕点的块的简洁描述，例如，在SIFT中每个特征的128字节。在图像中，用于计算局部特征的点能显示出场景的不同元素，例如，四角和/或特定图案，其检测对于照明、尺度、旋转和透视变化可以是稳定的。这样的点可以称为关键点。图像对之间的相似性可以通过图像共有的关键点即匹配的关键点的数目和位置来评定。

当计算了3D图像匹配之时，可以应用标准2D纹理图像比较。然而，特定的方法可以尝试考虑来自深度图和/或视差图的额外信息。

图像匹配的过程可包括以下步骤：第一，可以进行来自一组兴趣点，也称为关键点，的纹理图像的检测，以及相应描述符的提取。第二，通过比较相关的描述符能够发现特征点间的对应关系即匹配。匹配策略可取决于描述符的类型，可以包括若干或多或少有关联的策略，例如暴力破解或k-d树。第三，由于关键点检测中的噪声影响和/或描述符匹配阶段的关键点的不匹配，匹配结果可以包括正确关联关系，即内点，和不正确或错误关联关系，即离群点，因此可以执行不正确关联关系或离群点移除步骤。不正确关联关系或离群点移除可以依赖于如下假设：正确的匹配可以展示两个图像中的一致位置，遵从两个图像间的几何变换，例如，投影。为了最小化不正确或错误关联关系的数目，可以应用找到最大化内点数目的模型参数的程序。第四，在不正确关联关系或离群点消除步骤之后，可以将关于图像间相似性的评估作为通过所有的迭代找到的最大正确关联关系或内点集合的函数给出。

图像匹配过程中的重要步骤在于第三个步骤，其中可以实行不正确或错误关联关系的过滤。可以应用迭代方法和非迭代方法两个主要方面来解决该问题。

在第一组中，可以应用基于随机抽样一致(Random Sample Consensus，RANSAC)方法的若干选择。RANSAC离群点检测的基本方法可以为找到符合噪声观测数目的模型的最佳参数集合的迭代方法。通常，可以针对该组中的方法应用模型，例如，单应矩阵、仿射变换和/或3D罗托平移。

在非迭代方法中，可以应用能够通过分析关联关系对或匹配对的对数距离比(Log-Distance-Ratio，LDR)来识别不正确或离群点关联关系的方法。 本发明的基本假设可以为：由于正确匹配的关键点的位置的一致性，关键点之间的距离比在图像间可以保持不变。由于不正确关联关系对或匹配对的LDR的统计属性可以与正确关联关系或匹配的LDR的属性大大不同，可以建立不正确关联关系或匹配即离群点的LDR模型，并可以进行用于检测正确的关联关系或内点的拟合优度检验。该方法可能比迭代方法快，且由于不基于任何针对不正确关联关系或离群点检测的模型，例如单应矩阵和/或仿射，该方法可以提供更灵活的解决方案。

就准确度而言，基于在投影几何的模型即RANSAC和相关修改的情况下的迭代一致性检查的不正确关联关系或离群点检测策略可以给出良好的结果。然而，要达到收敛可能需要很长时间。特别地，时间复杂度可取决于若干变量，包括选择的模型，即要估计的未知参数的数目、允许迭代的最大数目、终止条件和不正确关联关系或离群点在输入数据中的百分比等。因此，属于该族的该方法的挑战可以是到达收敛需要的时间，即用于实现准确解决方案的有效迭代的数目。

免除统计模型的策略可以解决收敛时间问题。实际上，该程序原本就可以是非迭代的，时间复杂性可以仅取决于输入关联关系对或匹配对的数目。然而，虽然其能带来若干优势，尤其是速度，但检测透视失真的图像中的正确关联关系或内点匹配的能力可能受到限制。实际上，该程序可以隐式地假设关联的或匹配的关键点位于一个平面上。

当关键点不属于平面形的表面时，例如，当关联或匹配同一3D场景的两个不同视图，透视失真可能很高，该方法可能不能选择正确关联关系或匹配的最优数目。在图6中，展示了描述此挑战的示意图。当3D场景投射到不同像平面上时，根据视图的点的场景结构和空间距离，像平面上观察到的失真可能很高。

图7示出了根据一种实现形式的第一图像301或第二图像303内的关键点和协方差椭圆的图。该图可以涉及2D图像。关键点通过交叉圆描述。协方差椭圆通过虚线椭圆描述。

迭代和非迭代方法的另一挑战可能与关键点位置计算中的噪声有关。实际上，它们可以不考虑关键点提取阶段中的噪声影响，该噪声影响实际上对定位准确度有影响。当考虑尺度空间关键点提取器，例如SIFT或SURF时，不考虑关键点提取阶段中的噪声影响尤为正确，其中可以提取不同尺度的特征。在图7中，描述了特征位置不确定性的示意图。交叉圆为检测的或提取的关键点，而环绕的椭圆定义了不确定性区域。

当在图像对之间进行匹配时，本发明涉及过滤不正确或错误关键点关联关系即离群点匹配的方法。本方法可以为非迭代性的，可以依赖于LDR的概念选择正确关联关系或内点的数目。本发明的目标可在于克服LDR建模中关于关键点位置不确定性的特定方法的挑战。为了达到该目标，可以通过协方差矩阵对关键点位置中的不确定性建模，LDR建模的关键点到关键点间的距离可以依靠马氏距离在统计层面上进行评估。此外，当3D图像即纹理图像和相应的深度图可用时，每个检测的关键点可以在3D空间投射，允许3D空间中的LDR的计算的扩展，因此也允许透视失真匹配的正确建模。

图8示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置200的图。该图可以涉及2D图像正确关联关系或内点选择实施。

所述装置200包括统计2D离群点检测单元801、第一特征检测单元803、第二特征检测单元805、第一描述符计算单元807、第二描述符计算单元809和描述符匹配单元811。

本发明可以涉及一种在关键点位置不确定性的正确建模的情况下稳健地检测不正确关联关系或离群点匹配，且允许在存在3D图像对也同时存在严重透视失真的情况下的准确的不正确关联关系或离群点检测的装置200或方法。在图8中，示出了2D图像正确关联关系或内点选择的实施，其中输入的可以为两个纹理图像。可以实行特征提取和描述计算阶段，随后是能提供初始关键点关联关系集合的描述符匹配步骤。在块801中，可以处理关联关系，以移除不正确或错误关键点关联关系，即不正确关联关系或离群点移除。

图9示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置200的图。该图可以涉及根据一种实现形式的正确关联关系或离群点匹配检测实施中的统计2D。

所述装置200包括统计2D离群点检测单元801。所述统计2D离群点检测单元801包括离群点模型函数计算单元901和匹配LDR计算和离群点检测单元902。

在本发明中，能提供两个阶段，即在图9中的块801。输入的可以为从两个纹理图像提取的关键点，以及例如匹配方法提供的关键点对即关联的匹配的集合或矢量。在初始阶段，不正确关联关系或离群点匹配的对数距离比，即LDR模型函数可以在块901中进行评估。接着可以评估匹配关键点的LDR模型函数，并可以根据拟合优度检验检测不正确关联关系或离群点。

图10示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置200的图。该图可以涉及根据一种实现形式的2D模型函数计算。

所述装置200包括离群点模型函数计算单元901。所述离群点模型函数计算单元901包括第一2D协方差计算单元1001、第二2D协方差计算单元1003、LDR确定单元1005和概率密度函数确定单元1007。

根据图10中的块901，可以执行模型函数计算。输入的可以是从两个图像提取的两组关键点和它们之间的对应关系的数目。当计算块901中的不正确关联关系或离群点的LDR模型函数时，基本上，对应关系可以为两个组中所有可能的关键点的组合。相反，当在块902中评估正确关联关系或内点模型函数时，对应关系可以为通过点匹配技术提供的关联关系或匹配。

换句话说，LDR模型的算法对于图9中的不正确关联关系或离群点模型函数计算901与作为图11中所示的块902中的一部分的正确关联关系或内点模型函数计算901可以是相同的。在这两种情况中，如图10所示的细节可能适用，但输入数据可以根据模型变化，以生成不正确或正确关联关系，即离群点或内点。

在块1001和1003中，可以进行关键点协方差计算，允许围绕每个关键点的不确定性区域在像平面上以椭圆的形式定义。关键点协方差的良好近似值可以是由纹理图像强度值构成的二阶导数的倒数，即海森矩阵。对于尺度空间特征，海森矩阵可以由关键点检测器提供。

在块1005中，可以依赖于马氏距离计算关联关系对或匹配对之间的LDR。特别地，协方差为C的两个随机矢量x和y，即两个关键点之间的马氏距离可以定义为M(x,y)＝sqrt((x-y)C(x-y))，其中，sqrt代表平方根。在这种情况下，x和y可以为2D空间中的两个关键点，相关的协方差矩阵为Cx和Cy。在块1005中，当评估了两个关键点之间的距离时，可以对相应的协方差矩阵进行求和，因此，C＝Cx+Cy。可以以概率密度函数即pdf的形式 概括所有提供的对的LDR的统计数据，其中，pdf能表示LDR模型。

图11示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置200的图。该图可以涉及匹配2D模型LDR计算和离群点检测。

所述装置200包括匹配LDR计算和离群点检测单元902。所述匹配LDR计算和离群点检测单元902包括离群点模型函数计算单元901、匹配对LDR模型单元1103和拟合优度检验单元1101。

在图11的块902中，可以评估关联的或匹配的关键点的LDR模型。通过块901可以描述LDR模型计算的算法。特别地，输入的可以是来自两个图像的关键点以及匹配技术提供的关键点关联关系。接着通过块1101中的拟合优度检验比较不正确关联关系或离群点的LDR模型和正确关联关系或内点，可以丢弃不正确关联关系或离群点匹配。

图12示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置200的图。该图可以涉及统计3D离群点匹配检测。

所述装置200包括统计3D离群点检测单元1201、离群点模型函数计算单元1203、匹配LDR计算和离群点检测单元1205、第一3D关键点投射单元1207和第二3D关键点投射单元1209。

对存在深度信息情况下的统计的不正确关联关系或离群点匹配检测进行了描述。大体上，该块可以是对前述块801的3D扩展。在这种情况下，输入的可以是3D图像对，即文理图像和深度图对、匹配关键点集合以及额外的图像捕捉参数或摄像机内参数。在块1207和1209中，依赖于图像捕捉参 数或摄像机内参数和来自深度图的深度信息，可以在3D空间中对纹理图像中检测的关键点进行背面投影。块1203可以为不正确关联关系或离群点提供LDR模型函数计算，而块1205能实行匹配关键点的LDR建模。

图13示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置200的图。该图可以涉及3D模型函数计算。

所述装置200包括离群点模型函数计算单元1203。所述离群点模型函数计算单元1203包括LDR确定单元1005、第一3D协方差计算单元1301、第二3D协方差计算单元1303和概率密度函数确定单元1007。

图13中的块1203可以提供3D LDR模型函数计算，即块901的扩展。输入的可以是属于两个图像的两组3D关键点和它们之间的对应关系的数目。当计算不正确关联关系或离群点的LDR模型函数时，基本上，这些对应关系可以是两个组中所有可能的关键点的组合。当评估正确关联关系或内点模型函数时，对应关系可以是通过点匹配技术提供的关联关系或匹配。

在块1301和1303中，可以进行关键点协方差计算，允许围绕每个3D关键点的不确定性体积以椭球的形式定义。在3D情景中，每个关键点的协方差可以与关键点深度不确定性进行关联，其能反过来依赖于特定深度传感器。当使用合适的摄像机或传感器时，估计协方差矩阵的一种可能方式可以如下。

鉴于视图的纹理相机水平和垂直视域即Hfov和Vfov，以及摄像机或传感器分辨率即Hres和Vres，水平和垂直维度中的栅方差可以计算为Hvar＝(tan(Hfov/Hres))²，Vvar＝(tan(Vfov/Vres))²。

对于每个3D点p＝(px,py,pz)，协方差矩阵可以是对角的3x3矩阵，其中，每一行的元素可以表示X、Y和Z维度的协方差。具体地，Cov_x＝pz*Hvar，Cov_y＝pz*Vvar，Cov_z＝(alpha*pz²)²。alpha值可以取决于摄像机或传感器准确性。特别地，数量alpha*pz²可以是深度估计的标准偏差，可以取决于摄像机或传感器准确性。

在块1005中，可以依赖于马氏距离计算关联关系对或匹配对之间的LDR。可以通过概率密度函数即pdf的形式概括所有相应的对的LDR的统计数据，其中，pdf能表示LDR模型。

图14示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置200的图。该图可以涉及匹配3D LDR模型函数计算和离群点检测。

所述装置200包括匹配LDR计算和离群点检测单元1205。所述匹配LDR计算和离群点检测单元1205包括离群点模型函数计算单元1203、匹配对LDR模型单元1103和拟合优度检验单元1101。

在图14的块1205中，可以评估关联的或匹配的关键点的LDR模型。在块901中，可以示出LDR模型计算的算法。特别地，输入的可以是来自两个图像的关键点以及匹配技术提供的关键点关联关系。接着通过块1101中示出的拟合优度检验比较不正确关联关系或离群点的LDR模型和正确关联关系或内点，可以丢弃不正确关联关系或离群点匹配。该程序可以在拟合优度检验和特定的正确关联关系或内点匹配的提取后进行。

图15示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置200的图。该图可以涉及3D图像内点选择的实施。

所述装置200包括统计3D离群点检测单元1201、第一特征检测单元803、第二特征检测单元805、第一描述符计算单元807、第二描述符计算单元809、描述符匹配单元811、第一感兴趣区屏蔽单元1501和第二感兴趣区屏蔽单元1503。

示出了3D图像正确关联关系或内点选择的实施，其中，3D图像对可以同图像捕捉参数或摄像机内参数一起输入。

在初始阶段，感兴趣区可以根据深度测量的可信度进行提取。接着可以实行特征提取和描述计算阶段，随后是能提供初始关键点关联关系集合的描述符匹配步骤。在块1201中，可以处理关联关系，以移除不正确或错误关联关系或匹配。

图16示出了根据一种实现形式的感兴趣区屏蔽单元1601的图。

在图16中的块1601可以对无效深度值提供过滤。可以屏蔽纹理图像中的相应位置，这样，可以不在这些区域中实行特征提取。该无效深度值的过滤可以进一步提高不正确关联关系或离群点检测和图像比较的稳健性。在实现形式中，所述感兴趣区屏蔽单元1601作为图15的第一感兴趣区屏蔽单元1501和第二感兴趣区屏蔽单元1503。

纹理图像可以为从特定视角获取的图像，包含关于视觉场景的颜色和纹理的信息。其可以以RGB或YUV格式表示。在视频情境下，其也可以称作图片或帧。深度图可以是灰度等级图像，其中，该图像每个点的值确定该点表示的视觉场景到照相机的距离。可选地，可以采用视差图，视差图的值可与深度图中的值成反比。感兴趣区可以表示为ROI。

3D图像可以是包括纹理图像和相应的深度图或视差图的信号。可以记 录纹理图像和深度或视差图。这可能意味着同一位置的像素可包含关于同一场景点的信息。点云可以为通过根据相机模型，例如针孔照相机、图像捕捉参数或摄像机内参数和/或来自相关联的深度或视差图的信息，将纹理图像投射到3D空间得到的数据结构。视频序列可为一组后续的纹理图像，其也可以称为帧。

图像捕捉参数或摄像机内参数可包括通过校准过程获得的矩阵。它们可提供关于焦距、光中心和像素纵横比的信息。它们也可以称为内部函数。

关键点可以是示出图像域中包括透视变换、图像比例的变化以及照明变化的局部和全局扰动下的检测稳定性的一个图像中的关键点。局部特征可以是图像中环绕关键点的块的简洁描述。

本发明可以涉及一种用于对稳健2D-3D图像比较进行离群点检测的方法和装置。所述方法可应用于编码器或解码器。

LDR直方图可以用于通过在一系列参考中的图像中的查询中查找到包含可见物体的视图的图像识别即查询在图像中该物体。可以应用识别方法，该方法能够在假设H0即参考图像不包含查询中的该物体的视图与H1即参考图像包含查询中的该物体的视图之间做出二元判定。

假设H0可以表示事情的预期状态，因为几乎所有的参考图像都不包含查询中的该物体的视图。一定量的证据，即异常事件，可能是与拒绝H0并接受H1相关的。该证据可以在LDR直方图和模型函数间的关系中找到。若直方图非常符合该模型函数，那么可以接受假设H0，若否，则可以接受假设H1。检验这样的假设的方法可以是Pearson的卡方检验。令LDR直方图有K个竖条，h1，…，hK。直方图可以与离散化模型函数比较，在每个竖条上集成以产生模型概率p1，…，pK。这些量可以用于制定检验。

在有效水平为α，要接受假设H1，需满足：

$c=\underset{k=1}{\overset{K}{\Sigma }}\frac{{(h_k-{\mathrm{np}}_k)}^2}{{\mathrm{np}}_k}\ge {\chi }_{1-\alpha ,K-1}^2$

其中，n可以是用于创建直方图的匹配对的数目，即直方图值的和。阈值可以是卡方分布的100(1–α)％，自由度为K–1。

若LDR直方图的形状与模型函数的形状大不相同，意味着许多关联关系或匹配可能是正确关联关系或内点，拟合优度参数c的值可以很高。参数c可以作为两个图像间的相似性度量。

基于图8至图16所描述的装置200的实施例可以通过将此处描述的不同单元和模块实现为硬件单元或软件模块，或者其任意组合而实现。

基于图8至图16所描述的装置200的特定实施例可以通过将此处描述的一个、部分或所有不同的单元和模块实现为计算机程序的软件模块而实现，这些计算机程序的软件模块可以通过基于图2描述的处理器201执行。