跟踪控制装置、跟踪控制方法、跟踪控制程序及自动跟踪摄影系统

摘要

本发明提供一种追踪性能高且能够摄影高品质的动态图像的跟踪控制装置、跟踪控制方法、跟踪控制程序及自动跟踪摄影系统。本发明的一方式中，自动跟踪摄影系统(1)由控制终端(100)来远程控制相机(10)，从而一边自动跟踪目标一边进行摄影，控制终端(100)具备：目标位置检测部，检测目标的位置；控制延迟时间推定部，推定产生控制延迟的时间T；目标位置预测部，预测T时间之后的目标的位置；控制量运算部，运算为了使摄影画面的中心移动到所预测的目标的位置而所需要的相机(10)的平摇及俯仰的控制量；判定部，判定所预测到的目标的位置是否属于不灵敏区；及指示部，对相机(10)指示执行平摇及俯仰，仅在所预测到的目标的位置不属于不灵敏区的情况下，由指示部对相机(10)指示执行平摇及俯仰。

说明书

技术领域

本发明涉及一种通过远程控制相机的平摇和/或俯仰而用于一边跟踪目标一边进行摄影的跟踪控制装置、跟踪控制方法、跟踪控制程序及自动跟踪摄影系统。

背景技术

已知有如下自动跟踪摄影系统：其使用具备平摇和/或俯仰的功能的相机，一边自动跟踪移动的被摄体，一边进行摄影。

通常，在自动跟踪摄影系统中，从利用相机摄影的图像中依次检测目标(作为跟踪对象的被摄体)的位置，以目标始终位于摄影画面中央的方式控制相机的平摇和/或俯仰。

在专利文献1中记载有在这种自动跟踪摄影系统中，预测目标的移动而控制平摇及俯仰。即，记载有预测规定时间之后的目标的位置而控制相机的平摇及俯仰。并且，在专利文献1中记载有通过对输出到相机的平摇及俯仰的指令值进行低通滤波处理而衰减高频率的移动，从而使图像的移动平稳。

现有技术文献

专利文献

专利文献1：日本特开2007-295175号公报

发明内容

发明所要解决的问题

在这种自动跟踪摄影系统中，也已知有由控制终端远程控制相机，以使相机跟踪目标的系统。然而，在如此远程控制相机的系统中，存在根据相机与控制终端之间的通信状态而产生不规则的控制延迟的问题。在专利文献1中，预测目标的移动而控制相机的平摇及俯仰，但由于是一定时间之后的预测，因此存在产生不规则的控制延迟的情况下无法应对的缺陷。

这种不规则的控制延迟在控制终端并列执行多种处理的情况下也会产生。即，利用由一个CPU(Central Processing Unit：中央处理装置)並列执行多种处理的计算机来远程控制相机的情况下，根据CPU的使用状态而产生不规则的控制延迟。

并且，存在如下问题：若预测目标的移动而控制相机的平摇和/或俯仰，则容易频发轻微的摆动。即，存在如下问题：由于是预测，因此产生误差，且为了修正该误差而频发轻微的摆动。专利文献1是通过对输出到相机的平摇及俯仰的指令值进行低通滤波处理而衰减高频率的移动的方式，因此存在如下缺点，即无法有效地防止轻微却频率不高的移动。

本发明是鉴于这种情况而完成的，其目的在于提供一种能够摄影追踪性能高且高品质的动态图像的跟踪控制装置、跟踪控制方法、跟踪控制程序及自动跟踪摄影系统。

用于解决问题的手段

用于解决上述课题的方法如下。

(1)一种跟踪控制装置，其远程控制具备平摇和/或俯仰的功能的相机的平摇和/或俯仰的动作，以使相机跟踪目标，所述跟踪控制装置具备：目标位置检测部，根据由相机所摄影的图像而检测目标的位置；控制延迟时间推定部，至少根据与相机之间的通信状态而推定产生控制延迟的时间T；目标位置预测部，将T时间之后的目标的位置作为目标预测位置而进行预测；控制量运算部，运算为了使作为配置目标的位置而设定于相机的摄影画面内的目标配置位置移动到目标预测位置而所需要的相机的平摇和/或俯仰的控制量；判定部，判定目标预测位置是否属于以目标配置位置为基准而设定的不灵敏区；及指示部，在利用判定部判定目标预测位置不属于不灵敏区的情况下，对相机指示以控制量执行平摇和/或俯仰。

根据本方式，考虑基于通信的控制延迟而预测目标的位置。而且，根据所预测的目标的位置而控制相机的平摇和/或俯仰。由此，即使在通过通信而产生控制延迟的情况下，也能够使相机以高精度进行追踪。并且，根据本方式，设定有不灵敏区，针对在不灵敏区内被预测的目标的移动，将相机设定为不进行追踪。由此，能够防止相机的轻微的移动，并能够摄影高品质的动态图像。

(2)根据上述(1)的跟踪控制装置，其中，控制延迟时间推定部还根据目标位置检测部的动作状态而推定产生控制延迟的时间T。

根据本方式，还考虑目标位置检测部的动作状态而预测目标的位置。若目标的位置检测中需要时间，则产生相应量的控制延迟。通过考虑目标位置检测部的动作状态而预测目标的位置，能够以更高精度预测目标的位置。由此，能够进一步提高追踪性能。

(3)根据上述(1)或(2)的跟踪控制装置，其中，目标位置预测部根据目标的移动履历而预测目标预测位置。

根据本方式，根据目标的移动履历而预测目标预测位置。通过分析目标的移动履历，能够在某种程度上正确地预测T时间之后的目标的位置。由此，可以进行追踪性能高的控制。

(4)根据上述(1)至(3)中任一项所述的跟踪控制装置，其还具备：控制量修正部，其在控制量为阈值以上的情况下，将控制量修正为阈值。

根据本方式，在算出阈值以上的控制量的情况下，控制量被限制为阈值。即，以一次动作能够进行平摇和/或俯仰的范围被限制为一定范围。由此，即使在实际位置与预测位置的误差大的情况下，也能够防止相机突然大幅移动，并能够摄影不存在不协调感的高品质的动态图像。

(5)根据上述(4)的跟踪控制装置，其中，阈值被设定为与以目标配置位置为基准而设定的不灵敏区的大小相同的值。

根据本方式，以一次动作可以进行平摇和/或俯仰的范围被设定为与不灵敏区的大小相同的值。另外，在本发明中，“相同的值”严格来讲不仅包括相同的情况，而且也包括实质上可视为相同的情况。即为包括大致相同的值的概念。

(6)根据上述(1)至(5)中任一项所述的跟踪控制装置，其还具备：不灵敏区变更部，其变更不灵敏区。

根据本方式，能够变更不灵敏区。由此，根据情况能够适当地设定不灵敏区，并能够摄影更高品质的动态图像。

(7)根据上述(6)的跟踪控制装置，其中，不灵敏区变更部获取目标的速度信息，并根据目标的速度而缩放不灵敏区。

根据本方式，根据目标的速度而缩放不灵敏区。该情况下，目标的速度越快，不灵敏区会越缩小。

(8)根据上述(6)或(7)所述的跟踪控制装置，其中，不灵敏区变更部获取目标的加速度信息，并根据目标的加速度而缩放不灵敏区。

根据本方式，根据目标的加速度而缩放不灵敏区。该情况下，目标的加速度越大，不灵敏区会越缩小。

(9)根据上述(6)至(8)中任一项所述的跟踪控制装置，其中，不灵敏区变更部获取目标的大小的信息，并根据目标的大小而缩放不灵敏区。

根据本方式，根据目标的大小而缩放不灵敏区。该情况下，目标的大小越大，不灵敏区会越缩小。

(10)根据上述(6)至(9)中任一项所述的跟踪控制装置，其中，不灵敏区变更部获取从相机到目标的距离的信息，并根据从相机到目标的距离而缩放不灵敏区。

根据本方式，根据从相机到目标的距离而缩放不灵敏区。该情况下，从相机到目标的距离越接近，不灵敏区会越缩小。

(11)根据上述(6)至(10)中任一项所述的跟踪控制装置，其中，目标为人物，不灵敏区变更部获取人物的脸部的朝向信息，缩小与人物的脸部的朝向相同方向的不灵敏区。

根据本方式，在目标为人物的情况下，与人物的脸部的朝向相同方向的不灵敏区会被缩小。

(12)根据上述(6)至(11)中任一项所述的跟踪控制装置，其中，不灵敏区变更部获取目标预测位置的信息，缩小被预测到目标进行移动的方向的不灵敏区。

根据本方式，缩小被预测到目标进行移动的方向的不灵敏区。

(13)根据上述(12)的跟踪控制装置，其中，不灵敏区变更部获取控制量的信息，并根据控制量的大小而缩放不灵敏区。

根据本方式，在缩小被预测到目标进行移动的方向的不灵敏区的情况下，根据平摇和/或俯仰的控制量而缩放其大小。即，控制量越大，不灵敏区会越缩小。

(14)根据上述(6)至(13)中任一项所述的跟踪控制装置，其还具备：预测可靠性计算部，其计算基于目标位置预测部的预测的可靠性，不灵敏区变更部根据利用预测可靠性计算部计算的可靠性而缩放不灵敏区。

根据本方式，计算出预测的可靠性，根据所算出的可靠性而缩放不灵敏区。该情况下，可靠性越降低，不灵敏区会越扩大。

(15)根据上述(1)至(14)中任一项所述的跟踪控制装置，其还具备：显示部，其显示利用相机摄影的图像。

根据本方式，具备显示利用相机摄影的图像的显示部。由此，能够确认利用相机摄影的图像。

(16)根据上述(15)的跟踪控制装置，其还具备：输入部，指定在显示部的显示画面上的位置；及目标设定部，将利用输入部指定的位置的被摄体设定为目标。

根据本方式。在显示部的显示画面上能够设定作为目标的被摄体。由此，能够简单地设定目标。

(17)根据上述(1)至(16)中任一项所述的跟踪控制装置，其还具备：脸部检测部，从利用相机摄影的图像中检测人物的脸部；及目标设定部，将利用脸部检测部检测到的人物的脸部设定为目标。

根据本方式，从图像中检测的人物的脸部被设定为目标。由此，能够简单地将人物设为目标而进行跟踪。

(18)根据上述(1)至(17)中任一项所述的跟踪控制装置，其中，相机具备：摄像部，经由透镜而拍摄被摄体的光学图像；及云台部，使摄像部进行平摇和/或俯仰。

根据本方式，使摄像部以机械方式进行平摇和/或俯仰，从而提供平摇和/或俯仰的功能。

(19)根据上述(1)至(17)中任一项所述的跟踪控制装置，其中，相机具备：摄像部，经由透镜而拍摄被摄体的光学图像；及图像剪切部，剪切利用摄像部拍摄的图像的一部分，使利用图像剪切部剪切的图像的位置移动，从而能够以电子方式进行平摇和/或俯仰。

根据本方式，通过图像的剪切而以电子方式进行平摇和/或俯仰。该情况下，优选使用如魚眼透镜之类的广角透镜进行摄影。

(20)一种跟踪控制方法，由控制终端远程控制具备平摇和/或俯仰的功能的相机的平摇和/或俯仰的动作，从而使相机跟踪目标，所述跟踪控制方法具有：根据利用相机摄影的图像而检测目标的位置的工序；至少根据相机与控制终端之间的通信状态而推定产生控制延迟的时间T的工序；将T时间之后的目标的位置，作为目标预测位置而进行预测的工序；运算为了使作为配置目标的位置而设定于相机的摄影画面内的目标配置位置移动到目标预测位置而所需要的相机的平摇和/或俯仰的控制量的工序；判定目标预测位置是否属于以目标配置位置为基准而设定的不灵敏区的工序；及在判定为目标预测位置不属于不灵敏区的情况下，对相机指示以控制量执行平摇和/或俯仰的工序。

根据本方式，考虑基于通信的控制延迟而预测目标的位置。而且，根据所预测到的位置而控制相机的平摇和/或俯仰。由此，即使在通过通信而产生了控制延迟的情况下，也能够使相机以高精度进行追踪。并且，根据本方式，设定不灵敏区，针对在不灵敏区内被预测的目标的移动，设定为使相机不进行追踪。由此，能够防止相机的轻微的移动，并能够拍摄高品质的动态图像。

(21)一种跟踪控制程序，远程控制具备平摇和/或俯仰的功能的相机的平摇和/或俯仰的动作，从而使相机跟踪目标，所述跟踪控制程序使计算机实现如下功能：获取利用相机摄影的图像的功能；根据所获取的图像而检测目标的位置的功能；至少根据与相机之间的通信状态而推定产生控制延迟的时间T的功能；将T时间之后的目标的位置作为目标预测位置而进行预测的功能；运算为了使作为配置目标的位置而设定于相机的摄影画面内的目标配置位置移动到目标预测位置而所需要的相机的平摇和/或俯仰的控制量的功能；判定目标预测位置是否属于以目标配置位置为基准而设定的不灵敏区的功能；及在判定为目标预测位置不属于不灵敏区的情况下，对相机指示以控制量执行平摇和/或俯仰的功能。

根据本方式，考虑基于通信的控制延迟而预测目标的位置。而且，根据所预测到的位置而控制相机的平摇和/或俯仰。由此，即使在通过通信而产生控制延迟的情况下，也能够使相机以高精度进行追踪。并且，根据本方式，设定不灵敏区，针对在不灵敏区内被预测的目标的移动，将相机设定为不进行追踪。由此，能够防止相机的轻微的移动，并能够摄影高品质的动态图像。

(22)一种自动跟踪摄影系统，其由控制终端远程控制具备平摇和/或俯仰的功能的相机的平摇和/或俯仰的动作，从而使相机跟踪目标，所述控制终端具备：目标位置检测部，根据利用相机摄影的图像而检测目标的位置；控制延迟时间推定部，至少根据与相机之间的通信状态而推定产生控制延迟的时间T；目标位置预测部，将T时间之后的目标的位置作为目标预测位置而进行预测；控制量运算部，运算为了使作为配置目标的位置而设定于相机的摄影画面内的目标配置位置移动到目标预测位置而所需要的相机的平摇和/或俯仰的控制量；判定部，判定目标预测位置是否属于以目标配置位置为基准而设定的不灵敏区；及指示部，在判定为目标预测位置不属于不灵敏区的情况下，对相机指示以控制量执行平摇和/或俯仰。

根据本方式，考虑基于通信的控制延迟而预测目标的位置。而且，根据所预测到的位置而控制相机的平摇和/或俯仰。由此，即使在通过通信而产生控制延迟的情况下，也能够使相机以高精度进行追踪。并且，根据本方式，设定不灵敏区，针对在不灵敏区内被预测的目标的移动，设定为使相机不进行追踪。由此，能够防止相机的轻微的移动，并能够摄影高品质的动态图像。

发明效果

根据本发明，能够摄影追踪性能高且高品质的动态图像。

附图说明

图1是表示本发明所涉及的自动跟踪摄影系统的一实施方式的系统结构图。

图2是表示相机的系统结构的框图。

图3是表示控制终端的系统结构的框图。

图4是表示作为跟踪控制装置而发挥功能的控制终端的系统结构的框图。

图5是表示目标设定时显示器的画面显示例的图。

图6是表示预测方法的一例的图。

图7是表示预测方法的另一例的图。

图8是计算平摇及俯仰的控制量的方法的概念图。

图9是不灵敏区的设定的概念图。

图10是表示目标的设定处理的步骤的流程图。

图11是表示跟踪控制的步骤的流程图。

图12是本实施方式的跟踪控制的概念图。

图13是表示作为第2实施方式的跟踪控制装置而发挥功能的控制终端的系统结构的框图。

图14是阈值的设定的概念图。

图15是表示第2实施方式的跟踪控制的步骤的流程图。

图16是表示作为第3实施方式的跟踪控制装置而发挥功能的控制终端的系统结构的框图。

图17是不灵敏区的变更方法的概念图。

图18是表示第3实施方式的跟踪控制的步骤的流程图。

图19是根据到目标为止的距离而缩放不灵敏区的方法的概念图。

图20是根据作为目标的人物的脸部的朝向而缩放不灵敏区的方法的概念图。

图21是表示作为第4实施方式的跟踪控制装置而发挥功能的控制终端的系统结构的框图。

图22是表示第4实施方式的跟踪控制的步骤的流程图。

图23是表示作为第5实施方式的跟踪控制装置而发挥功能的控制终端的系统结构的框图。

图24是表示以电子方式实现平摇及俯仰的功能的相机的系统结构的框图。

图25是基于图像剪切部的图像剪切的概念图。

图26是表示控制终端的显示器的画面显示例的图。

具体实施方式

以下，根据附图对用于实施本发明的优选方式进行详细说明。

《系统结构》

图1是表示本发明所涉及的自动跟踪摄影系统的一实施方式的系统结构图。

如图1所示，本实施方式的自动跟踪摄影系统1具备：相机10，具备平摇及俯仰的功能；及控制终端100，远程控制该相机10的动作。

＜相机＞

相机10具备摄像部12及云台部14。

〔相机的摄像部〕

摄像部12具备壳体12A，在壳体12A的内部具备透镜16及未图示的图像传感器。

透镜16具有聚焦功能及变焦功能。透镜16通过未图示的透镜驱动部使其光学系统的一部分沿光轴L前后移动而调节聚焦。并且，透镜16通过未图示透镜驱动部使其光学系统的一部分沿光轴L前后移动而调节变焦。

图像传感器接收透过透镜16的光。图像传感器例如由CCD图像传感器(CCD：ChargeCoupled Device，电荷耦合元件)和CMOS图像传感器(CMOS：Complementary Metal OxideSemiconductor，互补型金属氧化物半导体)等二维图像传感器构成。

〔相机的云台部〕

云台部14将摄像部12支撑为可以进行平摇及俯仰。云台部14具备基座框架14A及旋转框架14B。

基座框架14A是基座部，其将旋转框架14B支撑为旋转自如。旋转框架14B被支撑为相对于该基座框架14A以平摇轴P为中心旋转自如。

旋转框架14B是摄像部12的支撑部，其将摄像部12支撑为旋转自如。摄像部12被支撑为相对于该旋转框架14B以俯仰轴T为中心旋转自如。该俯仰轴T与平摇轴P正交且与摄像部12的光轴L正交。

基座框架14A内置于未图示的平摇驱动部中。平摇驱动部例如由马达构成。旋转框架14B被该平摇驱动部驱动而以平摇轴P为中心进行旋转。

并且，在旋转框架14B中内置有未图示的俯仰驱动部。俯仰驱动部例如由马达构成。摄像部12被该俯仰驱动部驱动而以俯仰轴T为中心进行旋转。

若驱动平摇驱动部，则摄像部12会进行平摇，若驱动仰驱动部，则摄像部12会进行俯仰。可以平摇的角度例如为270度(±135度)，可以俯仰的角度为135度(-45度～+90度)。

基座框架14A具备操作面板18。操作面板18中具备电源按钮等各种操作部件。相机10经由该操作面板18而进行各种操作。

〔相机的系统结构〕

图2是表示相机的系统结构的框图。

如图2所示，相机10具备AFE(Analog Front End：模拟前端)24、相机控制部30、存储器50及无线LAN通信部(LAN：Local Area Network，局域网)52。

AFE24对从摄像部12的图像传感器20输出的信号(图像信号)实施例如去除干扰、信号放大、A/D转换(A/D：Analog/Digital，模拟/数字)等信号处理。由AFE24生成的数字图像信号被输出到相机控制部30。

相机控制部30由具备CPU(Central Processing Unit，中央处理器)及存储器的微型计算机构成，通过执行规定程序而作为图像信号处理部32、摄像控制部34、透镜控制部36、平摇控制部38P、俯仰控制部38T、通信控制部40及相机动作控制部42而发挥功能。

图像信号处理部32对从AFE24获取的数字图像信号实施所需要的信号处理，并生成数字图像数据。例如生成包括亮度信号(Y)的图像数据或色差信号(Cr、Cb)的图像数据的数字图像数据。

摄像控制部34控制图像传感器20的驱动，从而控制基于图像传感器20的拍摄。

透镜控制部36控制透镜驱动部16A，从而控制透镜16的聚焦、变焦、光圈的动作。

平摇控制部38P控制平摇驱动部22P的驱动，从而控制相机10的平摇动作。

俯仰控制部38T控制俯仰驱动部22T的驱动，从而控制相机10的俯仰动作。

通信控制部40控制无线LAN通信部52，从而控制与外部设备之间的无线LAN通信。在本实施方式的自动跟踪摄影系统1中，控制与作为外部设备的控制终端100之间的通信。

相机动作控制部42根据来自操作面板18及控制终端100的指示而集中控制相机整体的动作。

存储器50作为各种数据的存储部而发挥功能，并根据来自相机动作控制部42的请求进行数据的读写。

无线LAN通信部52经由天线52A而与无线LAN接入点或可进行无线LAN通信的外部设备之间进行按照规定无线LAN标准(例如IEEE802.11a/b/g/n标准〔IEEE：The Instituteof Electrical and Electronics Engineers,Inc./美国电子技术人员协会〕)的无线LAN通信。

＜控制终端＞

如图1所示，控制终端100由所谓的智能手机构成，构成为在矩形平板状框体101上具备显示器102、操作按钮103、扬声器104、麦克风105(参考图3)及内置相机106等。

图3是表示控制终端的系统结构的框图。

如图3所示，控制终端100具备对控制终端100整体动作进行控制的CPU110，且构成为在该CPU110上经由系统总线112而连接主存储器114、非易失性存储器116、移动通信部118、无线LAN通信部120、近距离无线通信部122、显示部124、触摸面板输入部126、键输入部128、语音处理部130及图像处理部132等。

CPU110读取存储在非易失性存储器116中的动作程序(OS(Operating System，操作系统)及在该OS上进行动作的应用程序)及定型数据等，扩展到主存储器114而执行该动作程序，由此作为控制该控制终端整体的动作的控制部而发挥功能。

主存储器114例如由RAM(Random Access Memory，随机存取存储器)构成，作为CPU110的工作存储器而发挥功能。

非易失性存储器116例如由闪存EEPROM(EEPROM：Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)构成，并存储上述动作程序和各种定型数据。并且，非易失性存储器116作为控制终端100的存储部而发挥功能，并存储各种数据。

移动通信部118根据遵照IMT-2000标准(International MobileTelecommunication-2000，国际移动通信-2000)的第3代移动通信系统及遵照IMT-Advance标准(International Mobile Telecommunications-Advanced，高级国际移动通信)的第4代移动通信系统，经由天线118A而与最近的未图示的基站之间进行数据的发送和接收。

无线LAN通信部120经由天线120A而与无线LAN接入点或可进行无线LAN通信的外部设备之间进行按照规定的无线LAN通信标准(例如，IEEE802.11a/b/g/n标准)的无线LAN通信。

近距离无线通信部122经由天线122A而与例如处于2级(半径约为10m内)范围内的其他Bluetooth(注册商标)标准的设备进行数据的发送和接收。

显示部124由构成显示器102的彩色液晶面板和其驱动电路构成，并显示各种图像。

触摸面板输入部126是输入部的一例。触摸面板输入部126使用透明电极而与显示器102构成为一体。若用户对显示器102的显示画面进行触摸操作，则触摸面板输入部12生成与该触摸操作对应的二维的位置坐标信息并进行输出。即，输出在被触摸而指定的显示器102的显示画面上的位置的坐标信息。

键输入部128由包括控制终端100的框体101中所具备的操作按钮103的多个键开关和其驱动电路构成。

语音处理部130将经由系统总线112而提供的数字语音数据进行模拟化，并从扬声器104进行输出。并且，语音处理部130对从麦克风105输入的模拟的语音信号进行采样，并进行数字数据化而输出。

图像处理部132将从具备透镜及图像传感器的内置相机106输出的模拟的图像信号进行数字化，并实施所需要的信号处理而输出。

＜跟踪控制装置＞

在本实施方式的自动跟踪摄影系统1中，控制终端100的CPU110执行规定的跟踪控制程序，由此控制终端100作为跟踪控制控制装置200而发挥功能。

图4是表示作为跟踪控制装置而发挥功能的控制终端的系统结构的框图。

如图4所示，跟踪控制装置200具备图像获取部210、目标设定部212、目标位置检测部214、移动履历记录部216、控制延迟时间推定部218、目标位置预测部220、控制量运算部222、不灵敏区设定部224、判定部226及指示部228。

〔图像获取部〕

图像获取部210从连接成可进行通信的相机10中获取图像。相机10若从跟踪控制装置200被指示执行摄影，则以一定的帧速率摄影图像。然后，将所摄影的图像依次传送到控制终端100中。图像获取部210依次获取从相机10传送过来的图像。

[目标设定部]

目标设定部212设定目标即作为跟踪对象的被摄体。目标设定部212将利用相机10摄影的图像显示于显示器102，并将在画面上被用户触摸的被摄体设定为目标。

图5是表示设定目标时显示器的画面显示例的图。

如图5所示，在设定目标时，在显示器102上显示由相机10来摄影的图像。目标设定部212从相机10中获取图像数据，并显示于显示器102。

用户确认显示器102的画面显示，并在画面上触摸而选择作为跟踪对象的被摄体。目标设定部212根据来自触摸面板输入部126的输出，以被触摸到的位置为中心设定矩形形状跟踪框F，从而设定目标。此时，在选择人物作为目标的情况下，抽出人物的脸部区域，以包围所抽出的脸部区域的方式设定跟踪框F。或者，以被触摸的位置为基准抽出运动物体，以包围所抽出的运动物体的方式设定跟踪框F。

所设定的跟踪框F的中心被设为目标的位置。所设定的跟踪框F与摄影图像重叠显示于显示器102。

〔目标位置检测部〕

目标位置检测部214分析由图像获取部210获取的图像，并检测作为跟踪对象的目标的位置。在本实施方式中，通过利用了模板的已知的块匹配而检测目标的位置。在块匹配中，在以时序的方式得到的多个图像数据之间，利用模板来求出目标的移动矢量，由此求出目标的位置。该情况下，例如将被设定的跟踪框内的图像作为模板图像而利用，并求出目标的位置。

〔移动履历记录部〕

移动履历记录部216根据由目标位置检测部214检测到的目标的位置信息而记录目标的移动履历。该移动履历的信息至少包括目标的位置信息及检测到该位置的时的时间信息。该移动履历的信息记录于例如主存储器114中。

移动履历的信息被使用于目标的位置的预测中。从而，记载有至少在预测中所需量的履历。

〔控制延迟时间推定部〕

控制延迟时间推定部218根据与相机10之间的通信状态而推定产生控制延迟的时间T。即，推定因通信的影响而延迟多少控制。在本实施方式中，检测数据的发送和接收所需时间，从而推定产生控制延迟的时间T。数据的发送和接收所需时间例如根据图像数据的接收间隔而检测。即，测量接收图像数据的间隔，从而检测数据的发送和接收所需时间。该情况下，求出最近的N次分量的图像数据的接收间隔的平均值而能够设为数据的发送和接收所需时间。

〔目标位置预测部〕

目标位置预测部220根据目标的移动履历而预测T时间之后的目标的位置。在本实施方式中，将T时间之后的平摇方向的位置和T时间之后的俯仰方向的位置分开而进行预测。

图6是表示预测方法的一例的图，作为预测T时间之后的平摇方向的目标的位置的方法而示出。

如图6所示，由目标的移动履历来推定目标的移动，并推定T时间之后的目标的位置。

另外，在图6中，横轴表示时间，纵轴表示平摇方向的目标的位置。并且，点P是这次检测到的目标的位置，点P-1是上次检测到的目标的位置，点P-2是上上次检测到的目标的位置。并且，点P+1是这次预测的T时间之后的目标的位置。

如图6所示，针对沿单向移动的目标，根据插值求出过去检测到的通过各点的曲线C，从而求出T时间之后的目标的位置P+1。

图7是表示预测方法的另一例的图。与图6同样，示出预测T时间之后的平摇方向的目标的位置的方法。

如图7所示，针对不规则地移动的目标，求出过去检测到的位置的平均，从而求出T时间之后的目标的位置P+1。

由此，目标位置预测部220分析目标的移动履历而预测T时间之后的目标的位置。所预测到的位置作为目标预测位置而输出到控制量运算部222。

〔控制量运算部〕

控制量运算部222运算为了跟踪目标而所需要的相机10的平摇及俯仰的控制量。此时，控制量运算部222根据由目标位置预测部220预测到的目标预测位置而运算相机10的平摇及俯仰的控制量。即，运算相机10的平摇及俯仰的控制量，以使T时间之后的目标位于相机10的摄影画面内的规定位置。

图8是计算平摇及俯仰的控制量的方法的概念图。

在跟踪摄影中，控制相机10的平摇及俯仰，以使目标始终位于画面内的规定的位置。

在相机10的摄影画面内，若将配置目标的位置设为目标配置位置PO，则控制量运算部222运算为了使目标配置位置PO移动到目标预测位置PT而所需要的相机10的平摇及俯仰的控制量。例如，在将目标配置位置PO设定于画面中央的情况下，控制量运算部222运算为了使相机10的摄影画面的中央位置移动到目标预测位置PT而所需要的相机10的平摇及俯仰的控制量。

如图8所示，至于控制量，运算出平摇方向及俯仰方向的旋转的角度及速度。即，平摇方向DP的旋转角度θP及角速度作为平摇方向DP的控制量而被运算，俯仰方向DT的旋转角度θT及角速度作为俯仰方向DT的控制量而被运算。

另外，有时也无法获取目标预测位置的信息。在这种情况下，控制量运算部222根据利用目标位置检测部214检测到的目标的位置而运算相机10的平摇及俯仰的控制量。无法获取目标预测位置的信息的情况是指，例如，如刚开始跟踪那样，无法获得目标的移动履历的信息，而无法预测T时间之后的目标的位置的情况。

〔不灵敏区设定部〕

不灵敏区设定部224以目标配置位置为基准，在设定相机10的摄影画面内设定不灵敏区。不灵敏区是指不进行跟踪控制的区域。即，若在该区域内，则即使目标进行了移动，也不会使相机10进行平摇及俯仰的区域。通过设定不灵敏区，能够防止相机10与目标的轻微的移动一并进行平摇及俯仰，并能够摄影稳定的高品质的图像。

图9是不灵敏区的设定的概念图。

如图9所示，不灵敏区DZ以目标配置位置PO为基准设定于摄影画面内的一定的范围内。另外，在图9所示例中，将目标配置位置PO设定于相机10的摄影画面的中央。

不灵敏区DZ以目标配置位置PO为基准，沿平摇方向DP设定于一定的范围内，且沿俯仰方向DT设定于一定的范围内。更具体而言，以目标配置位置PO为基准，沿平摇的正方向DP(+)设定于一定的范围DZP(+)内，且沿负方向DP(-)设定于一定的范围DZP(-)内。并且，沿俯仰的正方向DT(+)设定于一定的范围DZT(+)内，且沿负方向DT(-)设定于一定的范围DZT(-)内。

不灵敏区DZ的设定信息作为不灵敏区设定信息而存储于非易失性存储器116中。不灵敏区设定部224读取该不灵敏区设定信息而设定不灵敏区DZ。

〔判定部〕

判定部226获取利用目标位置预测部220预测的目标预测位置的信息，并判定目标预测位置是否属于不灵敏区DZ。判定结果被输出到指示部228。

另外，在无法获取目标预测位置的信息的情况下，判定部226根据利用目标位置检测部214检测的目标的位置进行判定。即，判定利用目标位置检测部214检测到的目标的位置是否属于不灵敏区DZ。

〔指示部〕

指示部228根据判定部226的判定结果，对相机10指示执行平摇及俯仰。具体而言，仅在判定为目标预测位置不属于不灵敏区的情况下，指示执行平摇及俯仰。从而，在判定为目标预测位置属于不灵敏区的情况下，不指示执行平摇及俯仰。其结果，仅在目标预测位置不属于不灵敏区的情况下，进行平摇及俯仰。

通过将利用控制量运算部222运算的平摇及俯仰的控制量的信息发送到相机10而进行指示。

《跟踪控制方法》

其次，关于本实施方式的自动跟踪摄影系统中的跟踪控制方法进行说明。

首先，进行目标的设定。

图10是表示目标的设定处理的步骤的流程图。另外，在图10中，右侧的块是利用控制终端100进行的处理，左侧的块是利用相机10进行的处理。

首先，从控制终端100对相机10指示开始摄影(步骤S10)。相机10接收该开始摄影的指示而开始摄影(步骤S12)，然后，将所摄影的图像对控制终端100进行传送(步骤S14)。

控制终端100接收从相机10被传送过来的图像(步骤S16)，将接收到的图像显示于显示器102(步骤S18)。

用户触摸在显示于显示器102上的图像中作为目标的被摄体而设定目标(步骤S20)。

之后，判定是否完成目标的设定(步骤S22)，若完成目标的设定，则会开始跟踪控制。

由此，使利用相机10所摄影的图像显示于控制终端100的显示器102上，且使用户在画面上触摸作为目标的被摄体，由此进行目标的设定。

图11是表示跟踪控制的步骤的流程图。

在目标的设定之后，也持续利用相机10来摄影图像(步骤S110)。被摄影的图像传送到控制终端100(步骤S112)。

控制终端100接收从相机10传送过来的图像(步骤S114)。然后，由该通信状态来推定产生控制延迟的时间T(步骤S116)。即，将数据的发送和接收时所需时间进行检测，从而推定产生控制延迟的时间T。在此，数据的发送和接收时所需时间是根据图像数据的接收间隔而检测的。从而，推定时至少需要接收两次图像。

若产生控制延迟的时间T被推定，紧接着，控制终端100进行不灵敏区的设定(步骤S118)。即，以目标配置位置PO为基准，在一定的范围内设定不灵敏区DZ(参考图5)。

若不灵敏区DZ被设定，紧接着，控制终端100从利用相机10摄影的图像中检测目标的位置(步骤S120)。被检测到的目标的位置信息与摄影图像的时刻的信息一同，作为目标移动履历而被存储于主存储器114中。

若完成检测目标的位置，紧接着，控制终端100判定是否可以预测T时间之后的目标的移动位置(步骤S122)。根据目标的移动履历而可以进行预测。从而，在无法获取移动履历的情况下，判定为不可以进行预测。

在步骤S122中，若判定为可以预测T时间之后的目标的移动位置，则控制终端100根据目标的移动履历而预测T时间之后的目标的位置(步骤S124)。然而，根据该预测结果而运算平摇及俯仰的控制量(步骤S126)。即，运算为了使目标配置位置位于目标预测位置而所需要的相机10的平摇及俯仰的控制量。

另外，在步骤S122中，若判定为不可以进行预测，则控制终端100根据通过步骤S120而检测到的目标的位置，运算为了使目标位于目标配置位置而所需要的相机10的平摇及俯仰的控制量。即，运算为了使目标配置位置位于被检测到的目标的位置而所需要的相机10的平摇及俯仰的控制量。

若算出平摇及俯仰的控制量，紧接着，控制终端100判定目标预测位置是否属于不灵敏区DZ(步骤S128)。即，判定所预测到的T时间之后的目标的位置是否属于不灵敏区DZ。

另外，在无法预测T时间之后的目标的位置的情况下，即，在未能够获取目标预测位置的信息的情况下，控制终端100判定通过步骤S120而检测到的目标的位置是否属于不灵敏区DZ。

经过该判定的结果，在判定为目标预测位置不属于不灵敏区DZ的情况下，控制终端100对相机10指示执行平摇及俯仰(步骤S130)。即，将算出的控制量的信息发送到相机10，对相机10指示以所算出的控制量执行平摇及俯仰。

相机10若从控制终端100接收平摇及俯仰的执行指令，则按照该指令而实施平摇及俯仰(步骤S132)。即，以被指示的控制量实施平摇及俯仰。由此，以移动的目标位于目标配置位置的方式，相机10进行平摇及俯仰。

另一方面，在步骤S128中，若判定为目标预测位置属于不灵敏区DZ，则控制终端100对相机10不指示执行平摇及俯仰，而转移到下一个处理。由此，能够防止相机10追踪目标的轻微的移动。

之后，控制终端100判定是否被指示结束摄影(步骤S134)。在被指示结束摄影的情况下，对相机10指示结束摄影(步骤S136)。相机10接收结束摄影的指示而结束摄影(步骤S138)。

在未被指示结束摄影的情况下，返回到步骤S110，重复实施上述处理。

如此，在本实施方式的自动跟踪摄影系统1中，考虑基于通信的控制延迟而预测目标的位置，根据所预测到的目标的位置而控制相机10的平摇及俯仰。由此，即使在因通信而产生了控制延迟的情况下，也能够使相机以高精度进行追踪。

并且，在本实施方式的自动跟踪摄影系统1中，设定有不灵敏区DZ，仅在被预测到目标超过不灵敏区DZ进行移动的情况下，相机10进行平摇及俯仰。由此，能够有效地防止相机10追踪目标的轻微的移动，并能够摄影高品质的动态图像。

图12是本实施方式的跟踪控制的概念图。在图12中，符号DZ是不灵敏区，符号F是跟踪框，符号PO是目标配置位置，符号PC是从图像中检测到的目标的位置，符号PT是目标预测位置。

图12的(A)部分表示无法预测T时间之后的目标的位置的情况。该情况下，根据从图像中检测到的目标的位置PC，相机10进行平摇及俯仰。即，以目标配置位置PO移动到从图像中检测到的目标PC的位置的方式，相机10进行平摇及俯仰。

另外，在图12的情况下，被检测到的目标的位置PC属于不灵敏区DZ，因此相机10不进行平摇及俯仰。

图12的(B)部分是能够预测T时间之后的目标的位置的情况，而且是所预测到的目标预测位置PT属于不灵敏区DZ的情况。该情况下，相机10不会进行平摇及俯仰。

图12的(C)部分是预测到T时间之后的目标的位置的情况，而且是所预测到的目标预测位置PT不属于不灵敏区DZ的情况。该情况下，根据所预测到的目标预测位置PT，相机10进行平摇及俯仰。即，以目标配置位置PO移动目标预测位置PT的方式，相机10进行平摇及俯仰。

《跟踪控制的第2实施方式》

如上所述，在本发明中，预测目标的动作而进行跟踪控制。然而，若如此预测目标的动作而进行跟踪控制，则在所预测到的位置与实际位置的误差大的情况下会遗失目标，或者在下一次的控制时需要大幅度的平摇及俯仰的动作。

于是，在本实施方式中，将平摇及俯仰的控制量限制在一定的值，即使在所预测到的位置与实际位置的误差大的情况下，也可以进行稳定而高品质的动态图像的摄影。

图13是作为第2实施方式的跟踪控制装置而发挥功能的控制终端的系统结构的框图。

本实施方式的跟踪控制装置具备控制量判定部230及控制量修正部232。另外，除了具备控制量判定部230及控制量修正部232这一点以外，与上述实施方式的跟踪控制装置的结构相同。从而，对于与上述实施方式的跟踪控制装置相同的构成要件标注相同的符号，并省略其说明。

控制量判定部230将利用控制量运算部222算出的控制量与阈值进行比较，判定所算出的控制量是否为阈值以上。

阈值例如被设定为与不灵敏区DZ的设定值相同的值，向平摇方向及俯仰方向的各个方向而被设定。

图14是阈值的设定的概念图。

在图14中，点Pdz(+)是以目标配置位置PO为基准而设定的不灵敏区DZ的平摇的正方向DP(+)的边界位置，点Pdz(-)是平摇的负方向DP(-)的边界位置。并且，点Tdz(+)是俯仰的正方向DT(+)的边界位置，点Tdz(-)是俯仰的负方向DT(-)的边界位置。

如图14所示，平摇的正方向DP(+)的阈值Pth(+)被设定为为了使目标配置位置PO移动到点Pdz(+)即不灵敏区DZ的平摇的正方向DP(+)的边界位置为止所需要的旋转角度，平摇在负方向DP(-)的阈值Pth(-)被设定为为了使目标配置位置PO移动至点Pdz(-)即平摇的负方向DP(-)的边界位置Pdz(-)为止所需要的旋转角度。并且，俯仰的正方向DT(+)的阈值Tth(+)被设定为使目标配置位置PO移动至点Tdz(+)即不灵敏区DZ的俯仰的正方向DT(+)的边界位置为止所需要的旋转角度，俯仰的负方向DT(-)的阈值Tth(-)被设定为使目标配置位置PO移动至点Tdz(-)即俯仰的负方向DP(-)的边界位置Tdz(-)为止所需要的旋转角度。

另外，阈值无需与不灵敏区DZ的设定值严格相同，而能够在视为相同的范围内进行设定。即，“相同的值”中包括实质上视为相同的范围。

控制量修正部232根据控制量判定部230的判定结果来修正利用控制量运算部222算出的控制量。即，在利用控制量运算部222算出的控制量为阈值以上的情况下将控制量修正为阈值。然而，将所修正的控制量的信息输出到指示部228。

另外，在利用控制量运算部222算出的控制量小于阈值的情况下，不修正控制量而输出到指示部228。

图15是表示第2实施方式的跟踪控制的步骤的流程图。

另外，除了限制控制量的处理被追加以外，与上述实施方式的跟踪控制的步骤相同。从而，在此，仅对限制控制量的处理进行说明。

如图15所示，在步骤S128中，若判定为目标预测位置不属于不灵敏区DZ，则判定所算出的控制量是否为阈值以上(步骤S129a)。

在此，所算出的控制量小于阈值的情况下，以所算出的控制量对相机10指示进行平摇及俯仰(步骤S130)。

另一方面，在所算出的控制量为阈值以上的情况下，控制量被限制在阈值。即，控制量被修正为阈值(步骤S129b)。然后，以修正的控制量对相机10指示进行平摇及俯仰(步骤S130)。即，将阈值的值作为控制量而指示进行平摇及俯仰。

如此，根据本实施方式，以一次的控制便可以执行的平摇及俯仰的旋转量被限制在一定的值。由此，即使在预测到的位置与实际位置的误差大的情况下，也能够防止遗失目标，或者使相机大幅度进行平摇及俯仰。由此，能够稳定地摄影高品质的动态图像。

另外，在本实施方式中，配合不灵敏区的大小而设定阈值的值，但阈值的值也可以由用户能够任意地设定。

《跟踪控制的第3实施方式》

在上述实施方式中，将不灵敏区设为恒定而进行跟踪控制。在本实施方式中，根据目标的状况而缩放不灵敏区。

图16是作为第3实施方式的跟踪控制装置而发挥功能的控制终端的系统结构的框图。

本实施方式的跟踪控制装置具备不灵敏区变更部234，这一点与上述第2实施方式的跟踪控制装置不同。从而，在此，仅对不灵敏区变更部234进行说明，关于其他结构，标注与上述第2实施方式的跟踪控制装置相同的符号，并省略其说明。

不灵敏区变更部234根据目标的状态而缩放利用不灵敏区设定部224设定的不灵敏区的范围。在本实施方式中，根据被预测的目标的移动方向而缩放不灵敏区。具体而言，缩小被预测的目标的移动方向的不灵敏区。

不灵敏区变更部234获取利用目标位置检测部214检测到的目标的位置信息及利用目标位置预测部220预测到的目标预测位置的信息，并推定目标的移动方向。然后，缩小所推定的移动方向的不灵敏区。

图17是不灵敏区的变更方法的概念图。图17的(A)部分是预测目标的移动方向的方法的概念图，图17的(B)部分是基于预测的不灵敏区的变更方法的概念图。并且，在图17中，符号DZ0是修正前的不灵敏区，符号DZ1是修正后的不灵敏区，符号F是跟踪框，符号PO是目标配置位置，符号PC是从图像中检测到的目标的位置，符号PT是目标预测位置。

如图17的(A)部分所示，相对于从图像中检测到的目标的位置PC，在目标预测位置PT位于平摇的正方向DP(+)的情况下，能够预测目标的移动方法TD为平摇的正方向DP(+)。

该情况下，如图17的(B)部分所示，平摇的正方向DP(+)的不灵敏区被缩小一定量。例如，作为基准不灵敏区的修正前的不灵敏区DZ0，以目标配置位置PO为基准，沿平摇的正方向DP(+)被设定为DZP(+)、沿负方向DP(-)被设定为DZP(-)的范围，且沿俯仰的正方向DT(+)被设定为DZT(+)、沿负方向DT(-)被设定为DZT(-)的范围的情况下，在修正后的不灵敏区DZ1中，若将修正量设为ΔR，则平摇的正方向DP(+)的不灵敏区以目标配置位置PO为基准被设定为[DZP(+)-ΔR]的范围。

由此，通过将被预测到目标进行移动的方向的不灵敏区设为较窄，能够配合目标的移动而适当地跟踪目标。

图18是表示第3实施方式的跟踪控制的步骤的流程图。

另外，除了修正不灵敏区的处理被追加以外，与上述第2实施方式的跟踪控制的步骤相同。从而，在此，仅对修正不灵敏区的处理进行说明。

如图18所示，在步骤S126中，若运算出平摇及俯仰的控制量，则控制终端100进行不灵敏区的修正处理(步骤S127)。即，获取检测到的目标的位置信息及所预测到的目标预测位置的信息，推定目标的移动方向。然后，以缩小所推定的移动方向的不灵敏区的方式修正不灵敏区。

若不灵敏区被修正，则判定在被修正的不灵敏区下目标预测位置是否属于不灵敏区(步骤S128)。

由此，根据本实施方式，根据被预测的目标的移动方向而修正不灵敏区。由此，提高追踪性能，并且能够适当地防止图像的轻微的摆动。

另外，在上述例中，将修正量设为恒定，但例如也可以根据平摇及俯仰的控制量而增减修正量。例如，也可以与平摇及俯仰的控制量成比例而增减修正量。

＜修正不灵敏区的方法的变形例＞

在上述实施方式中，以根据被预测的目标的移动方向而缩放不灵敏区的情况为例进行了说明，但修正不灵敏区的方式并不限定于此。以下，对修正不灵敏区的方法的变形例进行说明。

〔根据目标的速度而缩放不灵敏区的方法〕

能够根据目标的移动速度而缩放不灵敏区。该情况下，目标的速度越快，不灵敏区会越缩小。缩小的方式可以是连续的，也可以是阶段性的。并且，可以缩放不灵敏区整体，也可以仅缩放移动方向的不灵敏区。例如通过获取目标的移动履历的信息而求出目标的移动速度。

〔根据目标的加速度而缩放不灵敏区的方法〕

不灵敏区能够根据目标的加速度而缩放。该情况下，目标的加速度越大，不灵敏区会越缩小。缩小的方式可以是连续的，也可以是阶段性的。并且，可以缩放不灵敏区整体，也可以仅缩放移动方向的不灵敏区。例如通过获取目标的移动履历的信息而求出目标的加速度。

〔根据直至目标为止的距离而缩放不灵敏区的方法〕

不灵敏区能够根据从相机10至目标的距离而进行缩放。

图19是根据直至目标的距离而缩放不灵敏区的方法的概念图。图19的(A)部分表示直至成为基准的距离的不灵敏区的设定状态。并且，图19的(B)部分表示比成为基准的距离更远离目标的情况的不灵敏区的设定状态，图19的(C)部分表示比成为基准的距离更接近目标的情况的不灵敏区的设定状态。

如图19的(A)部分所示，将成为基准的距离的不灵敏区设为DZ0。若将修正后的不灵敏区设为DZ1，则如图19的(B)部分所示，直至目标的距离远离，则修正后的不灵敏区DZ1比成为基准的距离的不灵敏区DZ0更扩大。另一方面，若直至目标的距离接近，则如图19的(C)部分所示，修正后的不灵敏区DZ1比成为基准的距离的不灵敏区DZ0更缩小。

由此，根据直至目标的距离而修正不灵敏区的情况下，距离越接近，不灵敏区会越缩小，直至目标的距离越远离，不灵敏区会越扩大。由此，能够适当地防止被摄影的图像轻微地摆动。

另外，缩放的方式可以是连续的，也可以是阶段性的。并且，例如从相机10中获取自动聚焦时的测距信息而能够求出直至目标的距离。此外，也可以使相机10具备测距部而获取从该测距部至目标的信息。另外，也可以分析利用相机10摄影的图像而求出直至目标的距离。

〔根据摄影画面上的目标的大小而缩放不灵敏区的方法〕

由利用相机10摄影的目标的大小，能够在某种程度上推定从相机10至目标的距离。即，若摄影条件相同，则从相机10至目标的距离越接近，利用相机10摄影的目标的大小变得越大。从而，与根据从相机10至目标的距离而缩放不灵敏区的情况同样，能够根据被摄影的目标的大小而缩放不灵敏区。该情况下，目标的大小变得越大，不灵敏区会越缩小。即，可以认为目标被拍摄得越大，越接近于相机10，因此目标的大小变得越大，不灵敏区会越缩小。

例如将人物设为目标，并检测人物的脸部的位置进行跟踪的情况下，能够与成为基准的脸部的大小进行比较而缩放不灵敏区。

〔根据人物的脸部的朝向而缩放不灵敏区的方法〕

在将人物设为目标的情况下，能够根据摄影画面上的人物的脸部的朝向而缩放不灵敏区。这是因为能够推定沿脸部朝向的方向移动。从而，该情况下，缩小人物的脸部的朝向的方向的不灵敏区。

图20是根据作为目标的人物的脸部的朝向而缩放不灵敏区的方法的概念图。

如图20所示，在作为目标的人物的脸部的朝向FD为平摇的正方向DP(+)的情况下，平摇的正方向DP(+)的不灵敏区被缩小一定量。例如，作为基准的不灵敏区的修正前的不灵敏区DZ0，以目标配置位置PO为基准，在沿平摇的正方向DP(+)被设定为DZP(+)的范围，且沿负方向DP(-)被设定为DZP(-)的范围，且沿俯仰的正方向DT(+)被设定为DZT(+)，沿负方向DT(-)被设定为DZT(-)的范围的情况下，在修正后的不灵敏区DZ1中，若将修正量设为ΔR，则平摇的正方向DP(+)的不灵敏区以目标配置位置PO为基准被设定为[DZP(+)-ΔR]的范围。

分析利用相机10摄影的图像，从而检测人物的脸部的朝向。因此，如同本例，在根据脸部的朝向而修正不灵敏区的情况下，控制终端100具备用于检测人物的脸部及其朝向的构件即脸部检测部及朝向检测部。这些构件能够由规定的图像分析程序而实现。

〔配合多种方法而缩放不灵敏区的方法〕

不灵敏区的修正能够组合上述多种方法而实施。例如能够根据被预测的目标的移动方向及速度而修正不灵敏区。或者，能够根据被预测的目标的移动方向及加速度而修正不灵敏区。或者，能够根据被预测的目标的移动方向及直至目标为止的距离而修正不灵敏区。

如此，能够配置各种方式而缩放不灵敏区。由此，能够更适当地设定不灵敏区，并能够提高追踪性能。

《跟踪控制的第4实施方式》

在本实施方式中，根据预测的可靠性而缩放不灵敏区。即，在预测的可靠性低的情况下，扩大不灵敏区而防止图像轻微地摆动。

图21是作为第4实施方式的跟踪控制装置而发挥功能的控制终端的系统结构的框图。

与上述第2实施方式的跟踪控制装置不同点在于，本实施方式的跟踪控制装置具备预测可靠性计算部236及不灵敏区变更部234。从而，在此，关于预测可靠性计算部236及不灵敏区变更部234进行说明，关于其他结构，标注与上述第2实施方式的跟踪控制装置相同的符号，并省略其说明。

预测可靠性计算部236根据利用控制延迟时间推定部218推定的控制延迟时间，计算预测的可靠性即利用目标位置预测部220预测的目标预测位置的可靠性。

通常，预测时间越长，预测的可靠性会越降低。从而，控制延迟时间越长，利用预测可靠性计算部236算出的可靠性会越降低。

预测可靠性计算部236参考控制延迟时间与可靠性建立关联的图表，由控制延迟时间计算预测的可靠性。

不灵敏区变更部234根据所算出的可靠性而修正不灵敏区。具体而言，预测的可靠性越低，越以将成为基准的灵敏区整体进行扩大的方式进行修正。

图22是表示第4实施方式的跟踪控制的步骤的流程图。

另外，除了追加计算预测的可靠性的处理及修正不灵敏区的处理以外，与上述第2实施方式的跟踪控制的步骤相同。从而，在此，仅对计算预测的可靠性的处理及修正不灵敏区的处理进行说明。

如图22所示，在步骤S126中，若运算出平摇及俯仰的控制量，则控制终端100计算预测的可靠性(步骤S127a)。即，由控制延迟时间计算预测的可靠性。如上所述，控制延迟时间变得越长，预测的可靠性会越降低。

控制终端100根据所算出的预测的可靠性而修正不灵敏区(步骤S127b)。即，修正为可靠性越降低，不灵敏区会越扩大。

之后，控制终端100判定在被修正的不灵敏区下目标预测位置是否属于不灵敏区(步骤S128)，并根据该判定结果对相机10指示执行平摇及俯仰。

由此，根据本实施方式，根据预测的可靠性而修正不灵敏区。由此，提高追踪性能，并且能够适当地防止图像轻微地摆动。

另外，在上述例中设为缩放不灵敏区整体的结构，但如上述第3实施方式所示，也能够根据目标的状态而缩放不灵敏区。即，还能够通过本实施方式的方法而修正通过上述第3实施方式的方法而修正的不灵敏区。例如，能够根据预测的可靠性而仅缩放被预测的目标的移动方向。

并且，上述例中，由控制延迟时间计算预测的可靠性，但计算预测的可靠性的方法并不限定于此。此外，例如能够由目标的检测成功与否的履历来计算预测的可靠性，或者能够由控制延迟时间的履历来计算预测的可靠性。

《跟踪控制的第5实施方式》

在上述实施方式中，根据与相机10之间的通信状态而推定产生控制延迟的时间T。在本实施方式中，还根据目标位置检测部214的动作状态而推定产生控制延迟的时间T。即，考虑目标的位置检测处理所需时间来推定控制延迟时间。

图23是表示作为第5实施方式的跟踪控制装置而发挥功能的控制终端的系统结构的框图。

本实施方式的跟踪控制装置具备检测处理时间推定部238，这一点与上述实施方式的跟踪控制装置不同。从而，在此，仅对检测处理时间推定部238进行说明，关于其他结构，标注与上述实施方式的跟踪控制装置相同的符号，并省略其说明。

检测处理时间推定部238利用目标位置检测部214的动作状态来推定目标的位置检测所需时间。目标的位置检测所需时间主要根据施加于CPU110的负载而变动。从而，检测处理时间推定部238监视施加于CPU110的负载而推定目标的位置检测所需时间。

控制延迟时间推定部218考虑到利用检测处理时间推定部238推定的检测处理时间而推定控制延迟时间。即，对由通信状态求出的延迟时间加上检测处理时间而求出控制延迟时间。

由此，考虑到目标的位置检测处理所需时间而推定控制延迟时间，由此能够提高预测精度。

另外，在本实施方式中，考虑到目标的位置检测处理所需时间而推定了控制延迟时间，但也能够考虑其他处理时间。通常，控制终端侧的处理所需时间根据施加于CPU110的负载而变动，因此监视施加于CPU110的负载而推定整体的控制延迟时间是有效的。

《其他实施方式》

＜相机的变形例＞

〔相机的变形例(1)〕

在上述实施方式中，以机械结构来实现平摇及俯仰的功能，但也能够以电子方式来实现平摇及俯仰的功能。即，设为将所摄影的图像的一部分进行剪切而生成输出用图像数据的结构，通过改变剪切该输出用图像的范围，能够以电子方式实现平摇和/或俯仰的功能。

图24是表示以电子方式实现平摇及俯仰的功能的相机的系统结构的框图。

该相机300构成为具备经由鱼眼透镜316而拍摄被摄体的光学图像的摄像部312、AFE324、相机控制部330、存储器350及无线LAN通信部352。

摄像部312构成为具备鱼眼透镜316、接受通过鱼眼透镜316的光的图像传感器320及透镜驱动部316A。

鱼眼透镜316具有聚焦功能，并被透镜驱动部316A驱动而调节聚焦及光圈。鱼眼透镜316例如由对角鱼眼透镜构成。

图像传感器320由CCD图像传感器和CMOS图像传感器等二维图像传感器构成。

AFE324对从图像传感器320输出的信号(图像信号)实施例如去除干扰、信号放大、A/D转换等信号处理。由AFE324生成的数字图像信号被输出到相机控制部330。

存储器350作为各种数据的存储部而发挥功能，根据来自相机动作控制部342的请求进行数据的读写。

无线LAN通信部352经由天线352A而与无线LAN接入点或可进行无线LAN通信的外部设备之间按照规定的无线LAN标准进行无线LAN通信。

相机控制部330由具备CPU及存储器的微型计算机构成，通过执行规定的程序而作为图像信号处理部332、摄像控制部334、透镜控制部336、通信控制部340、相机动作控制部342及图像剪切部344发挥功能。

图像信号处理部332对从AFE324获取的数字图像信号实施所需要的信号处理，并生成数字图像数据。例如生成包括亮度信号(Y)的图像数据和色差信号(Cr、Cb)的图像数据的数字图像数据。

摄像控制部334控制图像传感器320的驱动，从而控制基于图像传感器320的拍摄。

透镜控制部336控制透镜驱动部316A，从而控制鱼眼透镜316的聚焦及光圈的动作。

通信控制部340控制无线LAN通信部352，从而控制与外部设备之间的无线LAN通信。

相机动作控制部342根据未图示的来自相机300的操作部及控制终端的指示而集中控制相机整体的动作。

图像剪切部344获取利用图像信号处理部332生成的图像数据，并剪切该图像的一部分而生成输出用图像数据。图像剪切部344根据来自相机动作控制部342的指令剪切图像，并生成输出用图像数据。例如以所指示的坐标位置为中心，以所指示的尺寸来剪切所指示的纵横比的图像，从而生成输出用图像数据。

图25是基于图像剪切部的图像剪切的概念图。

在图25中，图像I1是经由鱼眼透镜316而由图像传感器320拍摄到的图像。图像剪切部344剪切该图像I1的一部分而生成输出用图像I2。

相机300将利用图像剪切部344剪切的图像I2设为输出用图像，并输出到控制终端100。

图26是表示控制终端的显示器的画面显示例的图。

如图26所示，在控制终端100的显示器102上，从经由鱼眼透镜316而被拍摄到的图像I1剪切的图像I2，作为由相机300摄影的图像而显示。

如此，在以电子方式实现平摇及俯仰的功能的相机300中，设为剪切实际上摄影的图像的一部分并输出图像数据的结构，可以设为改变其剪切位置而进行平摇和/或俯仰的结构。

另外，在上述例子中设为如下结构：剪切利用1个摄像部拍摄到的图像的一部分而获取输出用图像数据，但也可以设为如下结构：相机中具备多个摄像部，并将利用该多个摄像部拍摄到的图像进行接合而生成1个图像，剪切该图像的一部分而获取输出用图像数据。例如，也能够设为如下结构：具备对前方进行摄影的第1摄像部及对后方进行拍摄的第2摄像部，将利用第1摄像部拍摄到的图像和利用第2摄像部拍摄到的图像进行接合而生成1个图像，由此构成可以沿平摇方向进行360°摄影的相机，剪切其一部分而获取输出用图像数据。

〔相机的变形例(2)〕

上述实施方式的相机10具备平摇及俯仰的功能，但相机只要至少具备平摇或俯仰的功能即可。在仅具备平摇功能的相机的情况下，仅通过平摇动作来进行目标的跟踪。同样地，在仅具备俯仰功能的相机的情况下，仅通过俯仰动作来进行目标的跟踪。

＜目标设定部的变形例＞

在上述实施方式中设为如下结构：将利用相机10摄影的图像显示于显示器102，且将在画面上被用户触摸的被摄体设定为目标，但设定目标的方法并不限定于此。

例如也能够设为如下结构：作为跟踪控制装置的功能而附加从利用相机摄影的图像中自动检测人物的脸部的功能(脸部检测部的功能)，将以该功能检测到的人物的脸部自动设定为目标。由此，能够简单地设定目标。

另外，在该情况下，有时检测到多个脸部，但在该情况下也能够设为如下结构：例如向用户显示检测结果，以选择作为目标的被摄体。并且也能够设为如下结构：由所检测到的脸部的尺寸和位置来自动确定目标。例如在越是位于画面中央的脸部越像主要被摄体、越是尺寸较大的脸部越像主要被摄体这样的判断基准下，确定主要被摄体，并自动确定目标。

并且，例如能够设为如下结构：作为跟踪控制装置的功能而附加从利用相机摄影的图像中检测运动物体的功能(运动物体检测部的功能)，并利用该功能将最先检测到的运动物体设定为目标。由此，能够简单地设定目标。

另外，在该情况下，有时多个运动物体被同时被检测到，但该情况下，也能够设为使用户选择作为目标的被摄体的结构。或者也能够设为由所检测到的运动物体的尺寸、位置来自动确定目标的结构。

并且，在上述实施方式中所为根据被触摸到的位置信息来设定一定尺寸的跟踪框的结构，但也可以使用户能够调整跟踪框的位置、尺寸。

并且，跟踪框也可以自动调整位置、尺寸。例如也可以以被触摸到的位置为基准抽出运动物体，以包围该运动物体的方式设定跟踪框。或者也可以以被触摸到的位置为基准抽出人物的脸部，以包围该脸部的方式设定跟踪框。

并且，在上述实施方式中设为如下结构：在控制终端侧的显示器上实时显示利用相机摄影的图像以选择目标，但也能够设为如下结构：将静止图像进行摄影，使该静止图像显示于显示器以选择目标。

另外，也能够设为如下结构：预先登录目标的图像，读取该图像而设定目标。

＜相机与控制终端的连接形式＞

在上述实施方式中，设为将相机与控制终端连接成可以进行无线通信的结构，但相机与控制终端只要连接成彼此可以通信即可。从而，也可以设为连接成可以进行有线通信的结构。并且，关于通信的标准等也无特别的限定。并且，也能够设为不是将相机与控制终端直接连接的方式，而是例如经由网络而连接的方式。

＜控制终端＞

在上述实施方式中，作为控制终端而采用智能手机，但控制终端的方式并无特别的限定。从而，控制终端也能够由个人计算机和平板终端等构成。并且，能够作为专用装置而构成。

＜数据的发送和接收所需要的检测＞

在上述实施方式中，根据图像数据的接收间隔来检测数据的发送和接收所需时间，但数据的发送和接收所需时间的检测方法并不限定于此。此外，也能够设为如下结构：例如，在控制终端中具备检测通信速度的构件，并根据该检测结果而检测数据的发送和接收所需时间。

符号说明

1-自动跟踪摄影系统，10-相机，12-摄像部，12A-壳体，14-云台部，14A-基座框架，14B-旋转框架，16-透镜，16A-透镜驱动部，18-操作面板，20-图像传感器，22P-平摇驱动部，22T-俯仰驱动部，30-相机控制部，32-图像信号处理部，34-摄像控制部，36-透镜控制部，38P-平摇控制部，38T-俯仰控制部，40-通信控制部，42-相机动作控制部，50-存储器，52-无线LAN通信部，52A-天线，100-控制终端，101-框体，102-显示器，103-操作按钮，104-扬声器，105-麦克风，106-内置相机，110-CPU，112-系统总线，114-主存储器，116-非易失性存储器，118-移动通信部，118A-天线，120-无线LAN通信部，120A-天线，122-近距离无线通信部，122A-天线，124-显示部，126-触摸面板输入部，128-键输入部，130-语音处理部，132-图像处理部，200-跟踪控制装置，210-图像获取部，212-目标设定部，214-目标位置检测部，216-移动履历记录部，218-控制延迟时间推定部，220-目标位置预测部，222-控制量运算部，224-不灵敏区设定部，226-判定部，228-指示部，230-控制量判定部，232-控制量修正部，234-不灵敏区变更部，236-预测可靠性计算部，238-检测处理时间推定部，300-相机，312-摄像部，316-鱼眼透镜，316A-透镜驱动部，320-图像传感器，324-AFE，330-相机控制部，332-图像信号处理部，334-摄像控制部，336-透镜控制部，340-通信控制部，342-相机动作控制部，344-图像剪切部，350-存储器，352-无线LAN通信部，352A-天线，DP-平摇方向，DT-俯仰方向，DZ-不灵敏区，PC-从图像中检测到的目标的位置，PO-目标配置位置，PT-目标预测位置。