面部特征验证装置、面部特征验证方法及程序

摘要

一种面部特征验证装置，能够合成被监视人员用于指定监视人员想要监视的监视目标人物的适当的验证图像。该面部特征验证装置包括：多个成像装置(1)；用于控制成像装置(1)的成像控制装置(2)；用于显示由成像装置(1)所拾取的图像的显示装置(3)；和用于从所拾取的图像中检测人物、确定该人物的脸部区域，提取脸部图像、从由多个成像装置(1)所拾取的图像中提取脸部图像、从多个被提取的脸部图像中提取脸部特征并结合该多个脸部特征、然后将它们与记录在脸部图像数据库(5)中的脸部特征相验证的验证装置(4)。

说明书

技术领域

本发明涉及例如当通过使用多个监视摄像机来持续观察可疑人物时，能够针对预先被记录的那些面部来验证面部的面部特征验证装置，特别涉及当进行面部验证时，能够合成面部图像并能验证该面部图像以识别受监视的人物的面部特征验证装置，和所使用的面部特征验证方法，以及由计算机所执行的程序以进行面部特征验证。

背景技术

传统地，在使用监视摄像机的监视系统中，监视人员基于从安装在多个地点的监视摄像机发送的图像，通过用控制器从多个已安装的监视摄像机中选择可选的一个，以观察所期望的地点。但是，如果对所期望的地点进行监视，不能说由监视人员所选择的监视摄像机拾取最适当的图像。

因此，作为用于改善该情况的方法，例如，专利文件1中所描述的监视系统已经被公知了。即，摄像机被安装在多个位置，最接近于由监视人员所指示的位置的摄像机是自动从多个旋转摄像机中被选择的，且被用于显示所拾取的图像。

专利文件1：JP-A-2002-77889

发明内容

本发明所要解决的问题

但是，如在现有技术中，即使监视人员选择了例如最接近于受监视的人物的摄像机作为由监视人员从多个上述摄像机中所选择的摄像机，该摄像机也不会必然显示最佳图像。即，该最佳图像表示通过该图像能区分(识别)受监视的人物的图像。

因此，用来拾取受监视的人物的最佳摄像机是否是最接近于由监视人员所指示的位置的摄像机是根据情况变化的。因此，可能有监视人员不能很快拾取受监视的人物的情况，并且还存在由于不清楚是否以高可靠性地获得了适于识别受监视的人物的图像的缺点。

考虑到上述情况提出本发明。因此，本发明的目的在于提供一种能够合成用于识别(验证)被监视人员所监视的人物所需的适当图像的面部特征验证装置、其所使用的面部特征验证方法、及其程序。

解决问题的方法

根据本发明的面部特征验证装置包括：

多个拾取单元；

控制拾取单元的拾取控制单元；

显示由拾取单元所拾取的图像的显示单元；以及

将所拾取的图像与预先记录的图像相验证的验证单元，

其中验证单元包括：

用于在所拾取的图像中检测人物的人物检测部分；

从涉及所检测的人物的所拾取的图像中确定面部区域以提取面部图像的面部特征提取部分；

合成所提取的面部特征的面部特征合成部分；以及

将所合成的面部特征与预先记录在面部图像数据库中的面部图像相验证的验证部分。

通过此配置，当监视人员选择受监视的人物以通过多个拾取单元拾取受监视的人物时，可能观察由照相拾取单元在不同角度拍摄的照片。而且，如果确定由指定的拾取单元所拾取的图像不适于验证，则该图像可以被合成为适于验证的图像，在用单个拾取单元验证不能成功的情况下，可改善验证的精确度。

另外，根据本发明的面部特征验证装置的特征在于，该拾取控制单元包括：作为与用于从外部进行控制的外部设备的接口的外部I/F部分；把由外部设备输入的图像坐标变换成预定的世界坐标(world coordinate)的坐标变换部分；以及计算用于驱使拾取单元的旋转角度的拾取设备控制部分。

通过此配置，如果监视人员使用外部设备选择受监视的人物以依靠拾取单元连续地拾取受监视的人物，可能连续地观察由照相拾取单元在不同角度拍摄的照片。

根据本发明的面部特征验证装置的特征在于，该验证部分包括拾取单元选择部分，其在拾取单元中选择用于位置检测的拾取单元，其检测所检测人物位置，和用于追踪的拾取单元，其进行所检测人物的追踪。

通过此配置，由于监视人员选择受监视的人物以便通过多个拾取单元连续地拾取受监视的人物，因此可能连续地观察由照相拾取单元在不同角度拍摄的照片。另外，如果确定由指定的拾取单元所拾取的图像不适于验证，则该图像可以被合成为适于验证的图像，在用单个拾取单元验证不能成功的情况下，可改善验证的精确度。

另外，一种面部特征验证方法，包括：

提供多个拾取单元、控制拾取单元的拾取控制单元、显示由拾取单元所拾取的图像的显示单元，以及将所拾取的图像与预先记录的图像数据相验证的验证单元；

检测所拾取的图像中人物；

从涉及所检测的人物的所拾取的图像中确定面部区域以提取面部图像；

从所提取的面部图像中提取面部特征；

合成所提取的面部特征；以及

将所合成的面部特征与预先记录在面部图像数据库中的面部图像进行验证。

通过此方法，如果确定由指定的拾取单元所拾取的图像不适于验证，则该图像可以被合成为适于验证的图像，其中在用单个拾取单元验证不能成功的情况下，可改善验证的精确度。

另外，根据本发明的程序使用：多个拾取单元；用于控制多个拾取装置的拾取控制装置；用于显示由多个拾取装置所拾取的图像的装置；和用于将所拾取的图像与预先记录的图像数据相验证的装置；且根据本发明的程序进行用于验证面部特征的操作，通过该操作，计算机被用于执行步骤：从所拾取的图像中拾取人物；通过从所检测的人物的所拾取图像中所确定的面部区域来提取面部图像；从所提取的面部图像中提取面部特征；合成所提取的面部特征；以及将所合成的面部特征与预先记录的面部图像数据库相验证。

通过此配置，如果用于使计算机实施面部图像合成方法的程序被存储在记录介质中，通过该面部图像合成方法能合成多个面部特征，它可被结合于任何类型的设备中。

本发明的效果

根据本发明，因为提供了拾取控制单元，其能控制能选择和拍摄受监视的并被显示在显示单元上的人物的所有拾取单元，也提供了合成单元，其合成由多个拾取单元所拾取的面部图像，所以，在用单个拾取单元验证不能成功的情况下使能验证来改善验证的精确度。

附图说明

图1是根据本发明的第一个实施例的面部特征验证装置的配置方框图；

图2(A)和2(B)分别是描述根据本发明的第一个实施例的用于提取端点以合成面部特征的方法的示意图；

图3(A)、3(B)和3(C)分别是显示根据本发明的第一个实施例的面部特征合成的示意图；

图4是描述根据本发明的第一个实施例的拾取控制装置的操作的流程图；

图5是描述根据本发明的第一个实施例的验证装置的操作的流程图；

图6是显示根据本发明的第二个实施例的面部特征验证系统的配置方框图；

图7是描述根据本发明的第二个实施例的拾取控制装置的操作的流程图；以及

图8是描述根据本发明的第二个实施例的验证装置的操作的流程图。

标记数字描述

1A到1E  拾取单元

2  拾取控制单元

21 外部I/F部分

22 坐标变换部分

23 拾取控制部分

3  显示单元

4  验证单元

41 照片输入部分

42 人物检测部分

43 面部检测部分

44 面部特征提取部分

45 面部特征保存(holding)部分

46 面部特征合成部分

47 验证部分

48 拾取单元选择部分

5  面部图像数据库

6  外部设备

具体实施方式

接下来，参考附图做出本发明的实施例的具体描述。

[第一个实施例]

图1显示根据本发明的面部特征验证装置的配置结构，其包括多个拾取单元1，用于控制拾取单元1的拾取控制单元2，用于显示由拾取单元1所拾取的图像的显示单元3，用于从所拾取的图像中检测人物、通过确定人物的面部区域提取面部图像、从多个所提取的面部图像中提取面部特征并合成多个面部特征、将该面部特征与预先记录在面部图像数据库5中的面部特征相验证的验证单元4。

由通用监视摄像机(以后称为摄像机)1A到1E例如能够拾取预先设置的拾取区域的固定摄像机和旋转摄像机来配置拾取单元。

拾取控制单元2包括外部I/F部分21，即到诸如控制器的外部设备6的接口，用于将由外部设备6所输入的图像坐标变换成由面部特征验证系统的整体所能理解的世界坐标的坐标变换部分22，和用于计算用于驱使拾取单元1的旋转角度的拾取控制部分23。

下面将描述验证单元4的细节。但是，验证单元4包括照片输入部分41、用于从所拾取的图像中检测人物的人物检测部分42、脸部检测部分43、用于通过确定人物的脸部区域而提取面部图像的面部提取部分44、用于从多个所提取的面部图像中提取面部特征的面部特征提取部分45、用于合成多个所提取的面部特征的面部特征合成部分46，和用于将该面部特征与预先记录的面部特征相验证的验证部分47。

下面，描述本发明的操作。

当监视人员通过使用诸如控制器的外部设备6从显示在显示单元3的受监视目标中选择人物时，图像坐标被输出到外部I/F部分21，接下来，图像坐标被输出到坐标变换部分22，进行了将图像坐标变换到世界坐标的处理。而且，世界坐标意指在假设摄像机的位置是原点[0，0，0]的情况下，通过坐标术语用于表示空间内部的坐标。

这里，在图像坐标为[Xc，Yc，Zc]，世界坐标为[Xm，Ym，Zm]的情况下，世界坐标主要取决于以下公式。

[公式1]

$>\left(\begin{array}{}>>>>X>m>>>>>>>Y>m>>>>>>>Z>m>>>>>>1>>>\end{array}\right)>=\left(\begin{array}{}>>>>R>11>>>>>R>12>>>>>R>13>>>>tx>>>>>>R>21>>>>>R>22>>>>>R>23>>>>ty>>>>>>R>31>>>>>R>32>>>>>R>33>>>>tz>>>>>0>>>0>>>0>>>1>>>\end{array}\right)\left(\begin{array}{}>>>>X>c>>>>>>>Y>c>>>>>>>Z>c>>>>>>1>>>\end{array}\right)>->->->>(>1>)>>>s>$

即，在公式1中所示的系数R11、R12、R13、R21、R22、R23、R31、R32、R33、tx、ty和tz被得到且被变换到世界坐标。但是，在监视摄像机的安装地点上安置标记，且预先准备安装地点的标记的图像坐标和世界坐标的多个组合，能基于多维联立方程通过计算公式1获得这些系数。

如果由监视人员所指定作为受监视目标的人物的世界坐标被计算出来，则该世界坐标被输出到拾取单元控制部分23。该拾取单元控制部分23评估各摄像机1A到1E是否能够拾取包含了存在受监视目标的世界坐标的区域。用此方法，如果当安装各拾取单元1时各拾取单元1预先保存照相区域，则能够进行评估。在能够使该拾取作为评估结果的情况下，基于预置位置间的位置即拾取单元1在缺省状态中的拾取角度和该目标的世界坐标之间的关系，通过计算该拾取单元1的水平角度和倾斜角度的旋转角度，移动拾取单元。因此，由能拾取被监视人员所选择的受监视的人物的拾取单元1来拾取受监视的人物。

由该拾取单元1所拾取的照片被输入到拾取输入部分41。各拾取单元1的被输入的照片被输出到人物检测部分42，基于各拾取单元的照片来检测人物。这里，关于人物的检测，确定人物基于：捕获照片对于每一帧的移动和变化，其中帧即由拾取单元1所拾取的最小单位，以及椭圆目标存在于该移动和变换之上或之中。然后，在面部检测部分43中从所检测的人物中检测面部区域。这里，确定面部检测基于，例如，在预先记录了多个面部图像且使得面部检测部分研究(study)这些面部图像来准备平均面部的情况下，是否有相似于平均面部的灰度照片的区域(即，相关程度是否高)。然后，面部特征提取部分44提取面部特征诸如眼睛、鼻子、嘴巴、等等，这成为面部的特征。确定面部特征的提取基于，例如，在之前记录了多个面部特征诸如右眼、左眼、鼻子和嘴巴并使得面部特征提取部分44研究这些面部特征来准备平均特征的情况下，是否有相似于平均特征的灰度照片的区域(即，相关程度是否高)。

基于面部特征检测的结果，确定面部是否被转向正面。关于面部方向的评估，例如，预先记录且研究了多个正面面部、朝右转向45度的面部、朝左转向45度的面部、朝上倾斜45度的面部、朝下倾斜45度的面部，等等，且准备了在各个角度的平均面部，其中基于人物面部是否相似于平均面部的灰度图像(即，相关程度是否高)来确定人物的面部转向哪个方向。如果确定面部是转向正面的，然后，面部数据被传送到验证部分47，如果确定面部转向非正面的方向，则面部数据被传送到其次(next)的面部特征保存部分45和面部特征合成部分46。

首先，描述面部转向正面的情况。

在面部转向正面的情况下，面部数据被传送到验证部分47，且用预先记录在面部图像数据库中的面部图像验证该面部数据。关于验证方法，结合诸如眼睛、鼻子、嘴巴、眉毛和面部轮廓的面部部分的位置关系，厚度和长度信息，和该面部的灰度信息特征进行匹配。作为验证的结果，匹配程度高的被记录的图像，即，匹配程度高于固定级别的被记录的图像被输出到外部I/F部分21。然后，在显示单元3上显示其结果。

接下来，用图2描述用于提取端点以合成面部特征的方法。

如图2(A)所示，在面部图像朝左倾斜的情况下，检测由用于提取面部特征的方法所提取的面部部分的端点(如图2(B)中的交叉X所示)。该方法基于假设以上所提取的面部部分的轮廓线被进一步提取，且其两端被视为端点。那么，如果面部图像是朝左倾斜的图像，则询问面部特征保存部分45是否有朝其反方向倾斜的面部图像，即，向右倾斜。如果提取了反方向的特征，则接下来合成两幅图像。

接下来，用图3描述用于合成面部特征的方法。

首先，如图3(A)和(B)所示，两幅转向彼此相反方向的面部图像被放大和缩小以至于成为相同的放大倍率。然后，进行变换和平行移动以合成，以便两幅面部图像的相应的右眼、左眼、右鼻、左鼻、右嘴和左嘴的特征端点相互重叠。通过例如公知的仿射变换等等进行变换和平行移动。在这里，仿射变换是一种保留了地理特征的变换系统，例如，位于原始图像上直线上的点在变换后仍保留在相同直线上，并且平行线在变换后仍然是平行线。

而且，假设图3(A)中的坐标为[u，v]且图3(B)中的坐标为[x，y]的情况下，可以建立以下关系。

u＝ax+by+c......(2)

v＝dx+ey+f......(3)

即，通过获得公式(2)和(3)中所示的系数a、b、c、d、e和f，计算相应于相应的坐标[u，v]的坐标[x，y]，因此能按照坐标变换图(B)的图像。这里，显示了线性变换例如仿射变换的例子。该变换不局限于此。它可以是另外的线性变换或非线性变换。

在合成完成后，被合成的图像被输出到验证部分47，且用预先记录在面部图像数据库5中的面部图像验证它。关于验证方法，结合诸如眼睛、鼻子、嘴巴、眉毛和面部轮廓的面部部分的位置关系，厚度和长度信息，和该面部的灰度信息特征进行匹配。作为验证的结果，匹配程度高的被记录的图像，即，匹配程度高于固定级别的被记录的图像被输出到外部I/F部分21。然后，在显示单元3上显示其结果。

接下来，用图4描述拾取控制单元2的操作。

图4是描述拾取控制单元2的操作的流程图。首先，如果控制器即外部设备6选择被显示在显示单元3上的人物，则图像坐标被输入。图像坐标被变换到对所有拾取单元1都通用的世界坐标(步骤S11)。在变换过程中，在上述公式1中所示的系数R11、R12、R13、R21、R22、R23、R31、R32、R33、tx、ty和tz被预先得到，并被变换到世界坐标。连续地，在从步骤S12到S15的循环处理中，进行与作为拾取装置1的各摄像机1A到1E的数量相等的次数的处理。首先，确定各拾取单元1是否能拾取所指定的世界坐标(步骤S13)。通过预先预置各摄像机1A到1E的可摄像范围进行该评估。连续地，如果确定所指定的世界坐标能被各摄像机1A到1E所摄像，则计算每个摄像机1A到1E的旋转角度以便各摄像机1A到1E拾取所指定的世界坐标。如果确定各摄像机1A到1E不能拾取，则处理回到步骤S12以便进行下一个拾取单元1的处理。

接下来，用图5描述验证单元4的操作。

图5是描述验证单元4的操作的流程图。首先，输入来自各摄像机1A到1E的照片。对于所输入的照片进行用于检测人物的处理(步骤S21)。这里，关于人物的检测，确定人物基于：捕获照片对于每一帧的移动和变化，其中帧即由拾取单元1所拾取的最小单位，以及椭圆目标存在于该移动和变换之上或之中。连续地，从所检测的人物中检测面部区域(步骤S22)。这里，确定面部检测基于：例如，在预先记录了多个面部图像且使得面部检测部分研究这些面部图像来准备平均面部的情况下，是否有相似于平均面部的灰度照片的区域(即，相关程度是否高)。

接下来，面部特征，即眼睛、鼻子和嘴巴成为从所检测的面部区域中所提取的面部的特征(步骤S23)。确定面部特征的提取基于：例如，在预先记录了多个面部特征诸如右眼、左眼、鼻子和嘴巴且研究这些面部特征来准备平均特征的情况下，是否有相似于平均特征的灰度照片的区域(即，相关程度是否高)。

然后，是用于确定该面部方向是否是正面的处理(步骤S24)。关于面部方向的评估，例如，预先记录且研究了多个正面面部、朝右转向45度的面部、朝左转向45度的面部、朝上倾斜45度的面部、朝下倾斜45度的面部，等等，且准备了在各个角度的平均面部，其中基于人物面部是否相似于平均面部的灰度图像(即，相关程度是否高)来确定人物的面部转向哪个方向。作为评估的结果，如果确定面部是转向正面的，则进行用于从预先被记录的面部图像数据库中读取面部数据的处理(步骤S28)。然后，将在步骤S23中所提取的面部特征与从面部图像数据库中所读取的面部特征相验证(步骤S29)。关于验证方法，结合诸如眼睛、鼻子、嘴巴、眉毛和面部轮廓的面部部分的位置关系，厚度和长度信息，和该面部的灰度信息特征进行匹配。而且，如果基于正面面部评估的结果确定该面部不是转向正面的，则存储在步骤S23中所提取的面部特征(步骤S25)。

接下来，从所存储的面部特征中搜索在步骤S23中所提取的那些面部特征的反方向面部特征(步骤S26)。如果在步骤S23中所提取的那些面部特征的反方向面部特征不存在于所存储的面部特征中，则验证处理被终止。如果在步骤S23中所提取的那些面部特征的反方向面部特征存在于所存储的面部特征中，则在步骤S23中所提取的面部特征和因此而被读取的面部特征被合成(步骤S27)。如前所述实施合成方法。即，首先，两幅转向彼此相反方向的面部图像被放大和缩小以至于成为相同的放大倍率。然后，进行旋转和平行移动以合成，以便两幅面部图像的相应的右眼、左眼、右鼻、左鼻、右嘴和左嘴的特征端点相互重叠。通过如上所述的例如公知的仿射变换等等进行旋转和平行移动。

然后，进行用于从预先记录在面部图像数据库中读取面部数据的处理(步骤S28)。连续地，所合成的面部特征与从面部图像数据库中读取的面部特征相互验证(步骤S29)。如前所述，通过结合诸如眼睛、鼻子、嘴巴、眉毛和面部轮廓的面部部分的位置关系，厚度和长度信息，和该面部的灰度信息特征进行匹配而实施验证方法。最后，验证的结果被显示在显示单元上(步骤S30)。

因此，用根据本发明的第一个实施例的面部特征验证装置，如果监视人员选择所期望被观察的人物，以便依靠多个拾取单元1拾取受监视的人物，则可能依靠照相拾取单元1从不同角度观察照片。另外，如果确定由指定的拾取单元1所拾取的图像不适于验证，则该图像可以被合成为适于验证的图像，其中可改善验证的精确度，在用拾取装置1的单个单元验证不能成功的情况下，通过另外的拾取装置能够进行验证。

[第二个实施例]

接下来，用图6描述根据本发明的第二个实施例的面部特征验证系统。而且，在本实施例中，与第一个实施例的那些成分相同的成分被给予相同的标号，且其重叠的描述被省略。

图6描述根据本发明的第二个实施例的面部特征验证装置的系统的配置。根据本实施例的面部特征验证装置不同于第一个实施例的要点在于，在人物检测部分42和坐标变换部分22之间的验证单元4包括拾取单元选择部分48。

在该拾取单元选择部分48中，其输入被连接于人物检测部分42的输出。另外，人物检测部分42还被连接于坐标变换部分22。通过提供拾取单元选择部分48，依靠多个拾取单元能够进行由监视人员所选择的人物的自动追踪。

接下来，描述本实施例的操作，主要集中在不同于图1的部分。

首先，由拾取单元1(的各摄像机1A到1E)所拾取的照片被输入到照片输入部分41。然后，在人物检测部分42中从被输入的照片中检测人物。如已经描述的，关于人物的检测，确定人物基于：捕获照片对于每一帧的移动和变化，其中帧即由拾取单元1所拾取的最小单位，以及椭圆目标存在于该移动和变换之上或之中。在此时，人物的移动方向和该人物存在的图像坐标被同时检测。然后，人物检测的结果被输出到拾取单元选择部分48。该拾取单元选择部分48基于图像坐标即所输入的人物检测的结果，从拾取单元1中选择照相拾取单元1。进一步，同时，已检测到该人物的拾取单元1被作为仅进行位置检测的拾取单元1，且其他先前所选择的照相拾取单元1被作为用于自动追踪的拾取单元1。该指令被输出到其次的坐标变换部分22，对于进行自动追踪的拾取单元1，图像坐标被变换成世界坐标。然后，该世界坐标被输出到其次的拾取单元控制部分23。然后，计算旋转角度以便各拾取单元1拾取该世界坐标，并基于此驱使各拾取单元1。

上述操作属于用于自动追踪由拾取单元1所检测的人物的方法。接下来，描述用于自动追踪由外部设备6诸如控制器等所选择的人物的方法。

首先，当通过使用外部设备6诸如控制器等，从被显示在显示单元3上的受监视的目标中选择人物时，该图像坐标被输出到外部I/F部分21。连续地，图像坐标被输出到坐标变换部分22，其中进行将图像坐标变换成全部面部特征验证系统所能理解的世界坐标的处理。通过先前描述的公式(1)实施该变换方法。连续地，选择能拍摄表示由拾取单元选择部分48所选择的人物的位置的世界坐标的拾取单元1，其中，拾取单元1的一个被作为用于位置检测功能的拾取单元，其他拾取单元1被作为用于自动追踪功能的拾取单元。该指令被输出到其次的坐标变换部分22，且对于进行自动追踪的拾取装置1，从图像坐标被变换成世界坐标，世界坐标被输出到其次的拾取单元控制部分23。然后，计算旋转角度，以便使得各拾取单元1拾取世界坐标，从而驱使各拾取单元1。

接下来，用图7描述拾取控制单元2的操作，图7显示描述拾取单元1的操作的流程图。本实施例中的操作流程不同于根据图4中所示的第一个实施例的拾取控制单元2的操作流程的要点在于，前者包括用于对图6中拾取单元选择部分48设置自动追踪的请求步骤(步骤S1A)。

接下来，仅描述不同于图4的要点。首先，当通过控制器或诸如此类即外部设备6选择被显示在显示单元3上的人物时，图像坐标被输入。随后，由控制器或诸如此类即外部设备6所输入的图像坐标被输出到图6的拾取单元选择部分48(步骤S1A)。之后，选择用于自动追踪的拾取单元1，处理回到常规。其操作被描述在如下验证单元4的操作流程的描述中。之后，由控制器即外部设备6所输入的图像坐标被变换成通用于进行自动追踪的拾取单元1的世界坐标(步骤S11)。通过预先得到在上述公式1中所示的系数R11、R12、R13、R21、R22、R23、R31、R32、R33、tx、ty和tz并变换该图像坐标到世界坐标，可以进行变换处理。随后的程序类似于图4中的那些。

接下来，用图8描述验证单元4，图8是描述验证单元4的操作的流程图。在这里，仅描述不同于图5的要点。

根据本实施例的验证单元4的操作流程不同于图5中所示的验证单元4的操作流程的要点在于，前者包括选择拾取单元1的步骤(步骤S2A)和请求坐标变换的步骤(步骤S2B)。

首先，照片从各拾取单元1被输入到图像输入部分41。在人物检测部分2中，对从图像输入部分41输入的照片进行用于检测人物的操作(步骤S21)。在这里，如前所述，关于人物的检测，确定人物基于：捕获照片对于每一帧的移动和变化，其中帧即由拾取单元1所拾取的最小单位，以及椭圆目标存在于该移动和变换之上或之中。而且，在此时，人物的移动方向和该人物存在的图像坐标被同时检测。其次，选择拾取单元1(步骤S2A)。这里，基于图像坐标即所输入的人物检测的结果，从多个拾取单元1中选择照相拾取单元。而且，同时地，已检测到人物的拾取单元1被作为仅进行位置检测的拾取单元，其他先前所选择的照相拾取单元被作为用于自动追踪的拾取单元。其次，人物检测部分42经由拾取单元选择部分48输出坐标变换请求信号到坐标变换部分22(步骤S2B)。坐标变换部分22是用于按照前述的公式(1)变换坐标的部分，图像坐标被变换成对于进行自动追踪的拾取单元1的世界坐标，该世界坐标被输出到其次的拾取单元控制部分23。之后，拾取单元控制部分23计算旋转角度以便使得各拾取单元1拾取世界坐标，并驱使各拾取单元1。面部检测处理(步骤S22)之后的后续处理类似于图5中的那些。

因此，用根据本发明的第二个实施例的面部特征验证装置，当监视人员选择所期望被观察的人物时，因为多个拾取单元1连续地拾取受监视的人物，所以可能通过照相拾取单元1连续地观察来自不同角度的照片。另外，如果确定由指定的拾取单元1所拾取的图像不适于验证，则该图像可以被合成为适于验证的图像，其中能提供能产生如下效果的面部特征验证装置，通过它可在用单个拾取单元验证不能成功的情况下改善验证的精确度。

另外，本发明不局限于上述实施例，它可以在不脱离本发明的精神的范围内以各种修改和变化来实施。

虽然参考具体实施例给出了本发明的细节描述，对于相同领域技术人员来说显而易见的是，本发明可在不脱离其精神和范围的情况下做出各种修改和变化。

本申请基于2004年11月16日提交的日本公布未审查专利申请No.2004-331894，其内容作为引用附于此。

工业适用性

根据本发明的面部特征验证装置包括拾取控制单元，其能控制能通过选择被显示在显示单元上的人物而拾取受监视的人物的所有拾取单元，和合成单元，用于合成由多个拾取单元所拾取的面部图像，且能实现具有高可靠性的摄像机监视系统，因为通过在用单个拾取单元验证不能成功的情况下进行验证能改善验证的精确度。