图案间特征对应设备、其图案间特征对应方法及其程序

摘要

一种图案间特征对应设备(1)，用于即使在要比较的图案有畸变的情况下也以高精度来确定特征对应关系。该设备(1)包括：产生其中的特征点在图案中的位置彼此接近的邻近特征点组和将邻近特征点组的特征点之间的位置关系指示为特征点组位置的位置关系数值的装置(11)；比较所产生的位置关系数值以检测对应特征点组位置候选的装置(12)；比较对应特征点组位置候选的每个特征点组位置的特征点与邻近特征点组位置的特征点之间的位置关系数值，将对应邻近特征点添加到对应特征点组位置候选，并更新对应特征点组位置候选的装置(13)；检查更新后的对应特征点组位置候选的相关对应特征点候选以设置对应特征点组位置候选的相关对应特征点的装置(14)；以及检查对应特征点组位置候选以设置图案间对应特征点的装置(15)。

说明书

技术领域

本发明涉及图案间特征对应设备、用于该图案间特征对应设备的图案间特征对应方法以及针对该方法的程序，具体涉及一种确定图案间特征对应关系的技术。

背景技术

例如，在专利文献1中描述的指纹验证设备使用这种技术来确定图案间特征对应关系。这种指纹验证设备是一种用于验证指纹图案之间的匹配的设备。

上述指纹验证设备对于所有特征点，通过强力(brute force)方法来检验要搜索的指纹与参考指纹之间的匹配，并确定某个区域的坐标匹配量，在所述区域中从已经被确定为候选的对应特征点中以投票的方式选举出坐标匹配参数空间。

此外，指纹验证设备基于该坐标匹配量来执行特征点的坐标匹配，执行精细选择过程并确定对应特征点，在所述精细选择过程中删除彼此之间特征相差极大的候选对。

此外，作为确定图案间特征对应关系的另一种技术，以示例的方式示出了以下技术：在该技术中，为了确定对应点，将点用作单元，基于从每个点所具有的局部图案信息得到的特征量来计算对应点的类似程度，执行对应程度的初始化，执行更新，进行收敛判定，并且提取对应程度高的对应点(例如，参考专利文献2)。

此外，作为确定图案间特征对应关系的另一种技术，提出了以下技术：在该技术中，基于脊上特征点的连接状态来执行匹配检验(例如，参考专利文献3)。

[专利文献1]日本专利申请公开No.1984-778

[专利文献2]日本专利申请公开No.1999-110542

[专利文献3]日本专利申请公开No.1999-195119

发明内容

本发明要解决的技术问题

然而，在上述指纹验证设备中，在采用在以上提到的专利文献1中描述的技术的情况下，每当采集指纹时指纹图案变化。因此，在要验证的图案包括不能通过所采取的几何变换来指示的弹性畸变成分的情况下，当通过使用坐标匹配参数来指示要验证的图案之间的总变化时，实际对应特征点可能彼此极大地不同。由此，出现的问题是图案之间匹配的验证变难。

在上述指纹验证设备中，在为了精细选择候选对而执行的特征点坐标匹配过程中，作为刚体运动来处理要验证的图案之间的总变化。因此，当要验证的图案包括不能通过所采取的几何变换来指示的弹性畸变分量时，通过该过程删除实际对应特征点的一部分。相应地，出现的问题是没有充分提取用于鉴别的对应特征点。

此外，当不使用每个点的标识信息时，不能通过使用以上提到的专利文献2中所描述的技术来计算点之间的类似程度。专利文献3中描述的技术不能用于没有脊的图案。

相应地，本发明的目的是提供一种图案间特征对应设备，可以解决上述问题并且即使要验证的图案有畸变也可以以高精度确定图案之间的特征对应关系，本发明的目的还包括提供一种用于这种图案间特征对应设备的图案间特征对应方法以及针对该方法的程序。

解决问题的手段

根据本发明的图案间特征对应设备包括：

产生装置，用于将所输入的图案信号中彼此在位置上接近的N个特征点设置为邻近特征点组，将邻近特征点组和布置关系数值组设置为特征点组布置，并产生邻近特征点组、布置关系数值组和特征点组布置中的至少一个，所述布置关系数值组表示邻近特征点组的特征点之间的布置关系，N是大于等于2的整数，

检测装置，用于执行对第一图案的布置关系数值与由产生装置产生的第二图案的布置关系数值的比较，以检测彼此相对应的对应特征点组布置候选，

更新装置，用于对于对应特征点组布置候选，执行对与每个特征点组布置的特征点和在位置上接近特征点组布置的特征点有关的布置关系数值的比较，分别将彼此相对应的邻近特征点添加到对应特征点组布置候选，并更新对应特征点组布置候选，

用于检验由更新装置更新的对应特征点组布置候选的伴随对应特征点候选，以确定对应特征点组布置候选的伴随对应特征点的装置，以及

用于检验对应特征点组布置候选，以确定在图案之间彼此相对应的对应特征点的装置。

根据本发明的图案间特征对应方法包括：

第一步骤，在所述第一步骤中，将所输入的图案信号中彼此在位置上接近的N个特征点设置为邻近特征点组，将邻近特征点组和布置关系数值组设置为特征点组布置，并产生邻近特征点组、布置关系数值组和特征点组布置中的至少一个，所述布置关系数值组表示邻近特征点组的特征点之间的布置关系，N是大于等于2的整数，

第二步骤，在所述第二步骤中，执行对第一图案的布置关系数值与在第一步骤中产生的第二图案的布置关系数值的比较，以检测彼此相对应的对应特征点组布置候选，

第三步骤，在所述第三步骤中，对于对应特征点组布置候选，执行对与每个特征点组布置的特征点和在位置上接近特征点组布置的特征点有关的布置关系数值的比较，分别将彼此相对应的邻近特征点添加到对应特征点组布置候选，并更新对应特征点组布置候选，

第四步骤，在所述第四步骤中，检验在第三步骤中更新的对应特征点组布置候选的伴随对应特征点候选，以确定对应特征点组布置候选的伴随对应特征点，以及

第五步骤，在所述第五步骤中，检验对应特征点组布置候选，以确定在图案之间彼此相对应的对应特征点。

根据本发明的程序允许图案间特征对应设备中的中央处理单元执行处理，以通过使用图案的特征点信息使图案间特征彼此相对应，所述程序包括以下进程：

第一进程，在所述第一进程中，将所输入的图案信号中彼此在位置上接近的N个特征点设置为邻近特征点组，将邻近特征点组和布置关系数值组设置为特征点组布置，并产生邻近特征点组、布置关系数值组和特征点组布置中的至少一个，所述布置关系数值组表示邻近特征点组的特征点之间的布置关系，N是大于等于2的整数，

第二进程，在所述第二进程中，执行对第一图案的布置关系数值与在第一进程中产生的第二图案的布置关系数值的比较，以检测彼此相对应的对应特征点组布置候选，

第三进程，在所述第三进程中，对于对应特征点组布置候选，执行对与每个特征点组布置的特征点和在位置上接近特征点组布置的特征点有关的布置关系数值的比较，分别将彼此相对应的邻近特征点添加到对应特征点组布置候选，并更新对应特征点组布置候选，

第四进程，在所述第四进程中，检验在第三进程中更新的对应特征点组布置候选的伴随对应特征点候选，以确定对应特征点组布置候选的伴随对应特征点，以及

第五进程，在所述第五进程中，检验对应特征点组布置候选以确定在图案之间彼此相对应的对应特征点。

本发明的效果

本发明具有上述配置并如上所述来操作。因此，本发明具有的效果是：即使要验证的图案有畸变，也可以以高精度来确定图案之间的特征对应关系。

附图说明

图1示出了根据本发明第一示例实施例的图案间特征对应设备的示例配置的框图。

图2示出了根据本发明第一示例实施例的图案间特征对应方法的操作的流程图。

图3A和图3B示出了在本发明第一示例实施例中产生邻近特征点组布置的方法的图。

图4A和图4B示出了在本发明第一示例实施例中检测对应特征点组布置候选的方法的图。

图5A和图5B示出了在本发明第一示例实施例中更新对应特征电组布置候选的方法的图。

图6A和图6B示出了在本发明第一示例实施例中选择伴随对应特征点候选的图。

图7示出了在本发明第一示例实施例中特征点相关布置关系数值的图。

图8A和图8B示出了在本发明第一示例实施例中的布置关系的比较的图，其中每个布置关系示出了特征点组布置的特征点以及靠近特征点组布置的特征点的布置。

图9示出了根据本发明第二示例实施例的图案间特征对应设备的示例配置的框图。

图10示出了根据本发明第三示例实施例的图案验证设备的示例配置的框图。

符号的描述

1图案间特征对应设备

2CPU

3程序存储单元

4图案验证设备

11图案邻近特征点组布置创建单元

11a搜索图案邻近特征点组布置创建单元

11b参考图案邻近特征点组布置创建单元

12对应布置候选检测单元

13对应布置候选更新单元

14对应布置候选对应特征点确定单元

15对应特征点确定单元

41搜索图案特征存储单元

42参考图案特征存储单元

43验证确定单元

具体实施方式

接下来将参考附图描述本发明的示例实施例。图1示出了根据本发明第一示例实施例的图案间特征对应设备的示例配置的框图。在图1中，图案间特征对应设备1包括：图案邻近特征点组布置创建单元11、对应布置候选检测单元12、对应布置候选更新单元13、对应布置候选对应特征点确定单元14和对应特征点确定单元15。

图2示出了根据本发明第一示例实施例的图案间特征对应方法的操作的流程图。将参考图1和图2来描述根据本发明第一示例实施例的图案间特征对应方法的操作。

图案间特征对应设备1的图案邻近特征点组布置创建单元11输入图案信号并创建图案信号中邻近特征点组的布置(图2中的步骤S1)。对应布置候选检测单元12对于输入图案，检测图案邻近特征点组布置创建单元11创建的图案信号中的邻近特征点组布置之间的匹配，并检测彼此相对应的特征点组布置候选(图2中的步骤S2)。

对应布置候选更新单元13对于对应布置候选检测单元12检测到的对应(特征点组)布置候选，针对每个特征点组布置及其邻近特征点来检验布置关系的匹配，添加彼此相对应的邻近特征点并更新对应布置候选(图2中的步骤S3)。

对应布置候选对应特征点确定单元14对于对应布置候选更新单元13已完成更新的每个对应布置候选，检验伴随对应布置候选的每个对应特征点候选，并确定伴随对应布置候选的对应特征点(图2中的步骤S4)。

对应特征点确定单元15检验由对应布置候选对应特征点确定单元14已确定其伴随对应特征点的每个对应布置候选，并得到在图案之间彼此相对应的对应布置以及伴随该对应布置的对应特征点(图2中的步骤S5)。

图3A和图3B示出了在本发明第一示例实施例中产生邻近特征点组布置的方法的图。图4A和图4B示出了在本发明第一示例实施例中检测对应特征点组布置候选的方法的图。图5A和图5B示出了在本发明第一示例实施例中更新对应特征点组布置候选的方法的图。

图6A和图6B示出了在本发明第一示例实施例中选择伴随对应特征点候选的图。图7示出了在本发明第一示例实施例中特征点相关布置关系数值的图。图8A和图8B示出了在本发明第一示例实施例中布置关系的比较的图，其中每个布置关系示出了特征点组布置的特征点以及在位置上接近特征点组布置的特征点的布置。

将参考图1至图8来详细描述本根据本发明第一示例实施例的图案间特征对应方法的操作。上述图案间特征对应设备1的所有单元操作如下。

图案邻近特征点组布置创建单元11输入图案信号并创建图案信号中的邻近特征点组的布置。邻近特征点组的布置包括在图案信号中检测到的特征点集合以及布置关系数值组，所述布置关系数值组表示特征点集合的特征点之间的布置关系。特征点相关布置关系数值包括可以用来确定特征点之间的布置的数值，如，特征点之间的距离、连接特征点的矢量之间的交叉角、特征点之间特征点方向的差异、或其他。

在该示例实施例中，邻近特征点组是在图案信号中位置上彼此接近的特征点的集合。邻近特征点组的所有布置都由标识符(ID)来标识，并且被管理。此外，希望所创建的邻近特征点组布置的特征点数目是大于等于2的固定整数N。

图3A和图3B示意性地示出了指纹图案的特征点及其邻近特征点组布置的不完整放大图作为图案的示例。图3A示出了指纹的特征点(P1至P6)的空间分布。图3B示出了邻近特征点组的布置(D1至D4)，每个布置包括包括三个特征点。

图7示意性地示出了特征点相关布置关系数值的示例。例如，特征点P1与特征点P2之间的距离L12、特征点间矢量P2P1与特征点间矢量P2P3之间的交叉角、或特征点方向v1可以用作特征点相关布置关系数值，其中特征点方向v1是：当可以针对如指纹图案一样的每个特征点检测到特征点方向时，特征点P1的相对于布置P1P2P3的任意特征点间矢量等而言的特征点方向。

对应布置候选检测单元12对于输入图案，检验在图案信号中创建的所有特征点组布置之间的匹配，以检测彼此相对应的特征点组布置候选。通过检验特征点相关布置关系数值等之间的差异是否在预定的可允许范围之内来执行特征点组布置的匹配检验。对应布置候选检测单元12登记特征点组布置，所述特征点组布置在图案之间彼此相对应并且通过匹配检验作为对应布置候选。

可以通过使用参考坐标系的一般图像坐标系来测量用于对特征点组布置进行匹配检验的特征点相关布置关系数值。然而，当如指纹验证一样在图案之间包括弹性畸变成分时，希望使用本申请的申请人提出的图案中的流线坐标系来作为参考坐标系。通过使用该坐标系，特征点相关布置关系数值的变化变小。

因此，可以通过减小可允许范围来减小由于特征点组布置等的错误检测而引起的诸如错误对应之类的“噪声”的影响，从而可以提高检测精度，例如，得到可以容易检测的实际对应特征点组布置。当流线坐标系用作参考坐标系时，位置上彼此分离的特征点可以被看作是邻近特征点。得到的效果是可以验证的图案的数目增大。

通过检测图案信号中的流线并设置与检测到的流线的方向相对应的坐标系(称作“流线坐标系”)，来得到流线坐标系。例如，特别地由条带图案上图案的流动方向的分布来确定的坐标系被限定为图案的流线坐标系(称作“自然坐标系”)，其中所述条带图案被由彼此正交的流线曲线和法线曲线组成的曲线组变形和指定。曲线组称作“坐标曲线组”，诸如图案中的每个点在流线坐标系中的位置、姿势或其他之类的属性由点与每个坐标曲线之间的关系来确定。

图4A和图4B示意性地示出了要搜索的图案和参考图案的特征点和邻近特征点组布置的不完整放大图，其中将要搜索的图案和参考图案相互比较，以说明图案中彼此相对应的对应布置候选的检测。图4A示出了要搜索的图案的邻近特征点组布置D1至D4。图4B示出了参考图案的邻近特征点组布置M1至M3。在该示例中，多对邻近特征点组布置(D1，M1)，(D2，M2)和(D3，M3)通过匹配检验并且这多对特征点组布置被检测为对应布置候选。

对应布置候选更新单元13对于对应布置候选，检验对应布置候选的每个特征点组布置的特征点和在位置上靠近特征点组布置的特征点的布置关系数值之间的匹配，并向对应特征点组布置添加基于检验结果被确定为布置关系数值彼此匹配的邻近特征点作为新的对应特征点候选。顺序地对所有邻近特征点执行这种检验和添加过程，尽可能多地连续执行对应布置候选的更新。

图5A和图5B对于要搜索的图案和参考图案，示意性地示出了被确定为布置关系数值彼此匹配的布置候选，以及这些布置的邻近特征点。图5A示出了要搜索的图案的特征点组布置D1及其邻近特征点P4至P6。图5B示出了参考图案的特征点组布置M1及其邻近特征点Q4至Q5。

在本示例中，特征点组布置D1和M1是通过布置匹配检验的对应布置候选。为了更新对应布置候选，例如，将布置D1和特征点P4的位置关系数值与布置M1和特征点Q4的位置关系数值相比较。如果位置关系数值的差异在预定的可允许范围内，则分别将特征点P4和Q4添加到特征点组布置D1和M1，将对应布置(D1，M1)替换成新的对应布置(D1’，M1’)。

如图8A和8B所示，例如，在将布置D1和特征点P4的位置关系数值与布置M1和特征点Q4的位置关系数值相比较时，将特征点P1和P4之间的距离L14与特征点Q1和Q4之间的距离N14相比较，此外，必须执行对特征点间矢量P1P2和特征点间矢量P1P4之间的交叉角与特征点间矢量Q1Q2和特征点间矢量Q1Q4之间的交叉角的比较等等。这是因为特征点P4与布置P1P2P3之间的位置关系不能通过仅使用距离L14来确定。

如果可以如指纹图案一样检测到特征点的特征点方向，则可以执行对特征点方向v1和特征点矢量之间的交叉角与特征点方向w1和对应特征点矢量之间的交叉角的比较，而不是执行上述对特征点矢量的交叉角的比较。

以同样的方式，关于新创建的对应布置(D1’，M1’)，将布置D1’和邻近特征点P5之间的位置关系数值与布置M1’和邻近特征点Q5之间的位置关系数值相比较，如果布置关系数值之间的差异在预定的可允许范围之内，则分别将特征点P5和Q5添加到布置D1’和M1’。将对应布置(D1’，M1’)替换成对应布置(D1”，M”)。

因此，对应布置候选更新单元13继续顺序地执行对应布置候选的检验和更新。当已针对所有对应布置候选完成了检验时，对应布置候选更新单元13记录不再更新的对应布置。已完成更新的对应布置候选(D1”，M1”)的特征点对P1-Q1、P2-Q2、P3-Q3、P4-Q4和P5-Q5被设置为对应布置候选的伴随对应特征点候选，其中这些特征点对中的特征点彼此相对应。

对应布置候选对应特征点确定单元14对于已完成更新的对应布置候选，检验伴随对应布置候选的每个对应特征点候选并确定对应布置候选的对应特征点。基于对应特征点候选的邻近特征点的对应关系来执行每个对应特征点候选的检验。

需要该过程，因为当在对应布置候选更新单元13中添加对应邻近特征点时，新添加的对应特征点与已存在的伴随对应特征点候选之间可能并不满足特征点对应的一对一特性。

图6A和图6B示出了上述不满足特征点对应的一对一特性的对应布置。图6A的布置D1和图6B的布置M1是对应布置候选。有必要确定布置D1的邻近特征点(P4和P7)与布置M1的邻近特征点(Q4)之间的对应关系。然而，如果基于与对应布置(D1，M1)有关的信息来选择该对应关系，则错误选择的可能性很大。

为此，为了尽可能保持实际对应特征点，即使在对应布置候选更新单元13中不满足特征点对应的一对一特性时，也将邻近特征点P4-Q4和P7-Q4添加到对应布置作为对应邻近特征点。当已完成对应布置的更新时，可以执行以下过程：对于并不满足一对一特性的对应特征点候选，保存对应程度高的候选。基于邻近区域中特征点的对应程度来确定对应程度，所述邻近区域的中心是特征点候选、例如对应特征点的数目或其他。

对应特征点确定单元15评估已完成伴随对应特征点的确定的每个对应布置候选，并得到最终对应布置和伴随对应特征点。可以通过使用以下方法来有效地执行对应布置候选的评估：基于对应布置候选的伴随对应特征点的数目来执行评估。一旦确定了对应布置，就希望对应特征点确定单元15输出伴随该对应布置的对应特征点作为最终对应特征点。

因此，在该示例实施例中，即使在要验证的图像之间产生了畸变，也可以抑制畸变的效应并且可以对图案之间的匹配进行验证。此外，在该示例实施例中，即使在要验证的图案之间产生畸变，也可以抑制畸变的效应并且可以执行图案之间彼此相对应的对应特征点的提取。

图9示出了根据本发明第二示例实施例的图案间特征对应设备的示例配置的框图。在图9中，图案间特征对应设备1包括CPU(中央处理单元)2和用于存储供CPU 2执行的程序的程序存储单元3。

在图案间特征对应设备1中，CPU 2执行存储在程序存储单元3中的程序，从而实现由以上提到的图案邻近特征点组布置创建单元11、对应布置候选检测单元12、对应布置候选更新单元13、对应布置候选对应特征点确定单元14和对应特征点确定单元15所执行的处理。

相应地，在本发明第二示例实施例的图案间特征对应设备中，CPU 2执行存储在程序存储单元3中的程序，从而第二示例实施例的图案间特征对应设备具有与第一实施例的图案间特征对应设备相同的效果。

图10示出了根据本发明第三示例实施例的图案验证设备的示例配置的框图。在图10中，图案验证设备4包括：搜索图案特征存储单元41、参考图案特征存储单元42、搜索图案邻近特征点组布置创建单元11a、参考图案邻近特征点组布置创建单元11b、对应布置候选检测单元12、对应布置候选更新单元13、对应布置候选对应特征点确定单元14、对应特征点确定单元15和验证确定单元43。

搜索图案特征存储单元14一并存储从要搜索的图案中检测到的图案特征以及包括其图案特征的位置数据在内的属性数据。参考图案特征存储单元42一并保存从参考图案中检测到的图案特征以及包括图案特征的位置数据在内的属性数据。

搜索图案邻近特征点组布置创建单元11a检测与搜索图案特征存储单元41中保存的图案特征数据的组合在位置上接近的特征点的组合，作为搜索图案侧邻近特征点组布置。参考图案邻近特征点组布置创建单元11b检测与参考图案特征存储单元42中保存的图案特征数据的组合在位置上接近的特征点的组合，作为参考图案侧邻近特征点组布置。

对应布置候选检测单元12依次读出搜索图案邻近特征点组布置创建单元11a和参考图案邻近特征点组布置创建单元11b检测到的每个邻近特征点组布置数据，对于邻近特征点组布置，对特征点间相对距离、交叉角、特征点方向等进行比较，并通过强力方法来检测彼此相对应的对应特征点组布置。

对应布置候选更新单元13检验彼此相对应的特征点组布置与该特征点组布置的邻近特征点之间关系的匹配，基于检验结果将邻近特征点添加到对应特征点组布置作为对应邻近特征点，并更新对应特征点组布置。

对应布置候选对应特征点确定单元14对于已完成更新的每个对应布置候选，基于对应特征点候选的邻近特征点的对应程度来最终选择伴随对应布置候选的每个对应特征点候选，并确定对应特征点。对应特征点确定单元15评估已完成伴随对应特征点的确定的每个对应布置候选，确定适当的对应布置并输出伴随该对应布置的对应特征点。

验证确定单元43根据输出至对应特征点确定单元15的对应特征点的数据来确定图案的匹配。例如，从对应特征点的数目得到得分，当得分超过预定的阈值时，可以通过验证结果来确定图案相互匹配。

当根据该示例实施例的图案验证设备4用于指纹验证系统(安全管理系统)时，验证确定单元43的确定结果用于例如允许进入建筑物、允许进入建筑物中的区域等等。

在该示例实施例中，由于基于特征点的局部位置关系来执行从图案特征点的输入过程到对应特征点的确定过程的所有过程，所以与基于坐标匹配的对应特征点确定设备相比，即使当图案具有畸变时，也可以以高精度来提取对应特征点。因此，可以通过使用本示例实施例来实现高精度图案验证。

此外，搜索图案邻近特征点组布置创建单元11a、参考图案邻近特征点组布置创建单元11b、对应布置候选检测单元12、对应布置候选更新单元13、对应布置候选对应特征点确定单元14、对应特征点确定单元15和验证确定单元43所执行的全部或部分处理/功能可以由在计算机上执行的程序来实现。

本申请要求于2007年12月26日提交的日本专利申请No.2007-333390的优先权，其全部公开一并在此作为参考。

工业应用

本发明可以应用于诸如个人识别、个人身份确认或嫌犯搜索等应用中，在这些应用中检验指纹图案或掌纹图案的匹配。