跟踪对象确定设备、跟踪对象确定方法和跟踪对象确定程序

摘要

实现了对出现在输入视频中的运动对象是否是摄像者所跟踪和捕获的对象的确定。基于由运动对象的运动矢量所确定的运动状态发生改变的时间与由摄像机运动的运动矢量所确定的拍摄状态发生改变的时间之间的时间差，来确定运动对象是否是摄像者所关注的主题图像。

说明书

技术领域

本发明涉及跟踪对象确定设备、跟踪对象确定方法和跟踪对象确 定程序，更具体地，涉及用于确定出现在视频中的对象是否是摄像者 所跟踪的对象的跟踪对象确定设备、跟踪对象确定方法和跟踪对象确 定程序。

背景技术

跟踪对象是被捕获的连续出现在屏幕上并且认为是摄像者所关注 的运动对象。因此，对跟踪对象的检测需要产生概要视频或提取关键 帧，以用于识别视频中的重要对象。

在专利文献1(日本专利公开No.08-191411)中记载了跟踪对象 确定设备的一个示例。

专利文献1中记载的方法是：基于运动区域的分布，计算视频区 间中跟踪对象的存在可能性，在该视频区间中沿固定方向运动的摄像 机执行拍摄，运动区域是具有与摄像机的运动所产生的运动矢量不同 的矢量的图像区域。在该方法中，通过使用运动区域中多个像素所获 得的运动区域的集中程度、聚集程度、重心位置和分散程度或者视频 区间中包括运动区域在内的多个帧的速率所获得的静止程度，来确定 “总是持续存在的运动区域集合”是跟踪对象。

如图23所示，用于确定跟踪对象的结构包括：运动矢量检测单元 300，检测关于视频的每一帧的运动矢量；摇摄区间检测单元301，基 于视频的每一帧的运动矢量，检测摇摄区间的起点和终点；运动区域 信息检测单元302，检测作为预测图像的运动补偿预测图像与当前帧 之间相关程度较低的区域，作为运动区域，以提取区域的分布信息， 预测图像是从过去的视频帧平行移动了预定量的运动矢量的图像；以 及场景确定单元303，基于在每个摇摄区间检测到的运动区域的分布 信息，来确定该区间与跟踪对象的场景相对应。

专利文献1：日本专利公开No.H08-191411

非专利文献1：Yousuke Torii，Seiichi Konya和Masashi  Morimoto，“Extracting follow and close-up shots from moving images”， MIRU2005，pp.24-31

非专利文献2：Yoshio Iwai，Shihong Lao，Osamu Yamaguchi， Takatsugu Hirayama，“A Survey on Face Detection and Face Reconition”， IPSJ SIG Technical Reports(CVIM-149)，2005，pp.343-368

现有技术方法的第一个问题是在摄像机无法以与运动对象几乎相 同的速度运动时，无法确定运动对象是跟踪对象。

在例如由于拍摄镜头较短从而拍摄在摄像机的移动速率将要等于 运动对象的移动速率之前结束的情况下，在由于运动对象随机运动而 使得摄像者无法预测运动对象的移动目的地的情况下，或者在摄像机 移动速率随着运动对象运动而改变的情况下(例如在长焦摄像机进行 拍摄的情况下)，无法确定运动对象是跟踪对象。

其原因在于，根据运动区域的分布状态来确定运动对象是否是要 跟踪的对象，该运动区域是具有与摄像机的运动所产生的运动矢量不 同的运动矢量的图像区域。因此，当由于摄像机的运动与运动对象的 移动速率不同，运动区域的分布无法满足“总是持续出现”的属性时， 无法确定作为运动区域集合的运动对象是跟踪对象。

现有技术方法的第二个问题是在以固定方向捕获的视频区间的终 点之前无法判断运动对象是跟踪对象。

其原因在于，由于根据可以在视频区间中稳定地跟踪运动对象的 多个帧的速率来确定运动对象是否是要跟踪的对象，所以除非获得了 视频区间的长度，否则无法确定运动对象是跟踪对象。

发明内容

本发明的目的是确定出现在视频中的运动对象是摄像者要跟踪和 捕获的对象。

根据本发明的第一示例性方面，跟踪对象确定设备包括：单元， 基于由运动对象的运动矢量所确定的运动状态发生改变的时间与由摄 像机运动的运动矢量所确定的拍摄状态发生改变的时间之间的时间 差，确定所述运动对象是否为摄像者所跟踪。

根据本发明的第二示例性方面，跟踪对象确定方法包括：基于由 运动对象的运动矢量所确定的运动状态发生改变的时间与由摄像机运 动的运动矢量所确定的拍摄状态发生改变的时间之间的时间差，确定 所述运动对象是否为摄像者所跟踪。

根据本发明的第三示例性方面，跟踪对象确定程序使计算机执行 以下处理：基于由运动对象的运动矢量所确定的运动状态发生改变的 时间与由摄像机运动的运动矢量所确定的拍摄状态发生改变的时间之 间的时间差，确定所述运动对象是否为摄像者所跟踪。

本发明的第一效果在于，即使摄像机无法以与运动对象几乎相同 的速度运动，也可以确定运动对象是跟踪对象。因此，即使屏幕上对 象的位置逐渐变化，例如，在视频拍摄镜头对于摄像者而言太短而无 法跟上运动对象时，或者在由于对象随机运动因此摄像者无法预测对 象的运动时，或者在由于使用长焦摄像机因此摄像机运动不稳定时， 也可以根据运动对象的运动状态的改变点与摄像机的拍摄状态的改变 点之间的时间差来确定运动对象是跟踪对象。

本发明的第二效果在于，即使没有获得视频区间的长度，也可以 确定运动对象是跟踪对象。因此，可以在以固定方向捕获的视频区间 的终点之前，确定是否跟踪运动对象。

附图说明

图1是示出了根据本发明第一示例性实施例的跟踪对象确定设备 的结构的框图；

图2是示出了根据第一示例性实施例的运动状态改变点的时间和 运动对象信息的一个示例的图；

图3是示出了根据第一示例性实施例的拍摄状态改变点的时间和 拍摄状态的一个示例的图；

图4是示出了根据第一示例性实施例的时间差的一个示例的图；

图5是示出了根据本发明的第一示例性实施例的跟踪对象确定设 备的操作的流程图；

图6是根据第一示例性实施例的在解释摄像机坐标系上的点P与 作为摄像机转动角的摇摄角和倾斜角之间的关系时使用的图；

图7是根据第一示例性实施例的、基于统计来表示ρ(Di|i是跟踪 对象)与时间差之间的关系的函数的一个示例的图；

图8是根据第一示例性实施例的在解释屏幕上的运动对象的表观 运动状态时使用的图；

图9是示出了根据第一示例性实施例，表示在运动对象i是跟踪 对象时的时间差为Di的概率与基于屏幕上的运动对象的位置和速率 的时间差之间的关系的函数的一个示例的图；

图10是示出了根据第一示例性实施例，表示在运动对象i是跟踪 对象时的时间差为Di的概率与基于屏幕上的运动对象的位置和速率 的时间差之间的关系的函数的一个示例的图；

图11是示出了根据第一示例性实施例，表示在运动对象i是跟踪 对象时的时间差为Di的概率与基于屏幕上的运动对象的大小的时间 差之间的关系的函数的一个示例的图；

图12是示出了根据第一示例性实施例，表示在运动对象i是跟踪 对象时的时间差为Di的概率与基于屏幕上的运动对象的大小的时间 差之间的关系的函数的一个示例的图；

图13是根据第一示例性实施例，在解释在运动对象i是跟踪对象 时的时间差为Di的概率的计算方法时使用的图；

图14是示出了根据第一示例性实施例的跟踪确定结果的输出的 一个示例的图；

图15是示出了根据第一示例性实施例的跟确定结果的输出的一 个示例的图；

图16是示出了根据本发明的第二示例性实施例的跟踪对象确定 设备的结构的框图；

图17是示出了第一示例中输入视频的概要的图；

图18是示出了第一示例的结构的框图；

图19是根据第一示例，在解释计算时间差的拍摄状态改变点与移 动状态改变点之间的组合时使用的图；

图20是示出了根据第一示例的用于计算在运动对象i是跟踪对象 时的时间差为Di的概率的函数的图；

图21是示出了根据第一示例的用于计算在运动对象i是跟踪对象 时的时间差为Di的概率的函数的图；

图22是示出了根据第一示例的跟踪确定结果的输出的一个示例 的图；以及

图23是示出了根据现有技术的跟踪对象确定设备的示例的框图。

具体实施方式

接下来，将参考附图详细地描述本发明的示例性实施例。

[第一示例性实施例]

参考图1，根据本发明第一示例性实施例的跟踪对象确定设备包 括：视频输入单元100，输入视频；数据处理设备110，可在程序的控 制之下进行操作；以及确定结果输出单元120，输出每个运动对象的 跟踪确定结果。

视频输入单元100向数据处理设备110输入形成视频的每个帧的 图像信息。

数据处理设备110包括运动状态改变点检测单元111、拍摄状态 改变点检测单元112、跟踪分数计算单元113以及跟踪确定单元114。

运动状态改变点检测单元111具有检测运动状态改变点作为由在 运动对象的运动矢量所确定的运动状态发生改变的时间的功能。

运动状态改变点检测单元111从接收自视频输入单元110的帧图 像中检测运动对象，并获得运动对象ID、运动对象的图像数据、运动 对象的表观位置坐标、运动对象的运动矢量以及运动对象的运动状态， 作为运动对象信息。

运动状态改变点检测单元111检测运动状态改变点，作为运动对 象的运动状态发生改变的时间，获得运动状态改变点的时间和与运动 状态改变点有关的运动对象信息，并将其输入跟踪分数计算单元113。

运动对象表示四周运动的物体，例如汽车、球、动物或人，不包 括诸如水的液体。

这里，运动对象的表观位置坐标表示摄像机坐标系上的位置，是 摄像机与运动对象之间的相对位置关系。假设运动对象的运动矢量不 是表示摄像机操作与运动对象的运动之间的相对运动的摄像机坐标系 中的运动矢量(表观运动矢量)，而是在真实空间投影位置的二维坐标 系中的运动矢量(绝对运动矢量)。

运动对象的运动状态表示由运动对象的运动矢量所确定的状态， 并且可以通过预先关于运动矢量的方向或大小确定阈值来定义每个状 态，或由某种运动矢量(例如关于摄像机图像拾取平面的平行/垂直运 动)来定义每个状态。

假设运动状态改变点是运动对象的运动状态发生改变的时间。图 2是示出了运动状态改变点的时间和运动状态改变点处的运动对象信 息的一个示例的图。

拍摄状态改变点检测单元112具有检测拍摄状态改变点，以作为 由视频的摄像机运动的运动矢量所定义的拍摄状态发生改变的时间的 功能。

拍摄状态改变点检测单元112从接收自视频输入单元100的视频 的每一帧获得摄像机运动的运动矢量和拍摄状态，作为拍摄信息。

拍摄状态改变点检测单元112还检测拍摄状态改变点(时间)，作 为拍摄状态改变的时间，获得拍摄状态改变点和拍摄状态改变点处的 拍摄信息，并将其输入至跟踪分数计算单元113。

假设摄像机运动的运动矢量是在真实空间投影摄像机的帧图像的 中心点的位置的二维坐标系上的运动矢量。

拍摄状态是由摄像机运动的运动矢量所确定的状态，并且可以通 过预先基于摄像机运动的运动矢量的方向或大小确定阈值来定义每个 状态，或者由某种摄像机运动(例如摇摄、倾斜、缩放和固定)来定 义每个状态。

假设拍摄状态的改变点是拍摄状态发生改变的时间。图3示出了 拍摄状态改变点的时间和与拍摄状态改变点有关的拍摄信息的一个示 例。

拍摄分数计算单元113具有利用拍摄状态改变点的时间与运动状 态改变点的时间之间的差作为运动对象的时间差，基于运动对象的时 间差来计算运动对象的跟踪分数的功能。

当从运动状态改变点检测单元111接收到运动状态改变点的时间 和与运动状态改变点有关的运动对象信息，并从拍摄状态改变点检测 单元112接收到拍摄状态改变点的时间和与拍摄状态改变点有关的拍 摄信息时，跟踪分数计算单元113基于运动状态改变点的时间与拍摄 状态改变点的时间之间的时间差来计算运动对象的跟踪分数。

跟踪分数计算单元113向跟踪确定单元114输出运动对象的跟踪 分数和运动对象信息。

下面结合图2、图3和概述了图2和图3的图4来描述跟踪分数。

例如，考虑跟踪和拍摄老鼠静止。开始向右转、突然保持静止、 然后开始向左转的示例。在这种情形下，老鼠的运动的状态可以表示 为图2所示的运动对象A的运动状态。

另一方面，摄像者开始跟着老鼠的运动操作摄像机，在以固定速 率使摄像机向右运动之后，由于无法预测老鼠将在下一时刻停止，他/ 她以从老鼠保持静止的时间之后的瞬时延迟使摄像机保持静止。当老 鼠随后开始向左跑时，他/她以从开始跑之后的瞬时延迟来开始使摄像 机向左运动。在这种情形下的拍摄状态如图3所示。

假设向右滚动的球进入视频而出现。将球表示为运动对象B，其 运动状态如图2所示。由于在此球不是跟踪对象，因此摄像机的摄像 者的操作不受球的运动的影响。

以摄像机响应于运动对象的运动改变而改变拍摄状态所需的瞬时 延迟作为时间差，在运动对象A的运动状态发生改变的点的时间sA1 与拍摄状态发生改变的点的时间t1之间、在时间sA2与时间t2之间、 在时间sA3与时间t3之间、在时间sA4与时间t4之间以及在时间sA5 与时间t5之间，计算关于运动对象A的时间差。

在运动对象B的运动状态发生改变的点的时间sB0与拍摄状态发 生改变的点的时间t2之间，计算关于运动对象B的时间差。与运动体 A和B有关的时间差的示例示出在图4中。

由于摄像者跟着作为跟踪对象的运动对象A的运动来改变拍摄状 态，以便总是通过摄像机来捕捉运动对象A，所以预测关于运动对象 A所计算的每个时间差是固定范围内的值。

此外，由于摄像者无法跟踪运动对象B，因此预测关于运动对象 B所计算的时间差是固定范围外的值。

因此，在本示例性实施例中，根据上述趋势，设置一函数，该函 数在时间差在固定范围内时呈现较高的值，而在时间差在固定范围外 时呈现较低的值，并且基于该函数和时间差来计算跟踪分数。

跟踪确定单元114具有基于运动对象的跟踪分数来确定运动对象 是跟踪对象的功能。

跟踪确定单元114基于跟踪分数计算单元113输入的运动对象的 跟踪分数来确定运动对象是否是跟踪对象，并向确定结果输出单元 120输入跟踪确定结果和运动对象的运动对象信息。

确定结果输出单元120输出跟踪确定单元114应用的跟踪确定结 果和运动对象的运动对象信息。

[第一示例性实施例的操作的说明]

接下来，参考图1和图5的流程图来详细说明本示例性实施例的 整体操作。

首先，视频输入单元100向运动状态改变点检测单元111和拍摄 状态改变点检测单元112输入形成输入视频的每个帧(步骤A01)。

在从视频输入单元100接收到帧图像时，运动状态改变点检测单 元111检测运动对象以提取运动对象ID、运动对象的图像数据、运动 对象的表观位置、运动对象的运动矢量和运动对象的运动状态，作为 运动对象信息(步骤A02)。

在运动对象已知时检测运动对象的可能的一种方法是基于模板的 方法。在基于模板的方法中，计算预先存储的运动对象的模板图像与 输入帧之间的像素值的差，并且在该差不大于阈值时，确定在输入图 像中存在运动对象。

备选地，可以预先准备各种尺寸的模板图像，以通过使用像素值 的差最小的模板来检测运动对象的区域。

还可以从帧图像中提取预先准备的模板图像的差最小的区域，并 将其用作新的模板图像。

即使在运动对象的配置或大小在移动的同时发生改变时，使用多 个模板或从帧图像中提取的区域的模板注册提供了稳定地检测到运动 对象的效果。

在运动图像未知的情况下检测运动对象的可能的一种方法是基于 块匹配的方法。在基于块匹配的方法中，将输入帧分区为单位块，并 且关于每个单位块，获得与在过去的帧中计算出最高相似度的区域的 距离，作为每个单位块的运动矢量。

此外，还将运动矢量的方向和大小类似的块组成组，并检测属于 具有摄像机的运动所产生的运动矢量的组之外的最大组的块组，作为 运动区域。

可用于检测运动对象的方法是基于模板的方法、基于块匹配的方 法或其他方法。

可以按照检测的顺序依次对运动对象ID进行编号，或者以预先 应用于模板的ID对运动对象ID进行编号，可以将在检测到运动对象 时使用的模板的ID可以应用于运动对象。

作为运动对象的图像数据，可以剪切并使用从图像帧检测到的运 动对象区域，可以剪切并使用包括运动对象区域的矩形区域，可以将 剪切的图像区域转换为预先确定和使用的配置和大小，或者可以使用 在检测时使用的模板图像。

可以将以下内容用作运动对象的表观位置：帧图像中运动对象区 域的重心的位置，包括运动对象区域在内的矩形区域的重心，或者包 括运动对象区域在内的矩形区域的四个顶点。

按照下述方式获得运动对象的运动矢量。

可以使用由作为摄像机转动角的摇摄角和倾斜角所表示的二维绝 对坐标系来表示帧图像中的任意点。如图6所示，在例如通过使用摇 摄角P0和倾斜角T0作为摄像机转动角来将帧图像的中心点(摄像机 坐标系中的原点)Oc表示为(P0，T0)的情况下，帧图像上绝对坐 标系上点P的位置由表达式1表示。

(数值表达式1)

$P(X,Y)=({\tan }^{-1}\left(\begin{array}{c}x\\ f\end{array}\right)+P0,{\tan }^{-1}\left(\frac{y}{\sqrt{x^2+f^2}}\right)+T0)$(表达式1)

以f作为透镜系统的焦距且以x和y作为表观位置，根据摄像机 图像拾取元件CCD的像素的大小和数目来计算成像面上的位置。当 x，y＜＜f时，表达式1可以近似为如下所示。

P(X，Y)＝(αx+P0，βy+T0)    (表达式2)

当在摄像机的摇摄角从P0转动ΔP，并且倾斜角从T0转动ΔT 的情况下，摄像机坐标系上的任意点(x，y)移动到(x+Δx，y+Δy) 时，按照α＝ΔP/Δx和β＝ΔT/Δy来计算α和β。α和β是关于每 个f预先计算出的。

通过根据表达式2将运动对象的图像区域中的代表点P的表观位 置(x，y)和单位时间之前的时间处的代表点P’的表观位置分别转换为 绝对坐标系上的点P(X，Y)和P’(X’，Y’)，并计算两者之间的差，获得运 动对象的运动矢量。

备选地，还可以计算运动对象的图像区域中绝对坐标上的代表点 P1至Pn中的每个点与单位时间之前的时间处的绝对坐标上的代表点 P1’至Pn”中的每个点之间的差，并使用在各个点计算出的n个运动矢 量的平均。

在摄像机的初始状态下，将摇摄角P0和倾斜角T0均设置为0度， 并且获得摇摄角P0和倾斜角T0，作为从拍摄开始时间到当前帧的摄 像机转动角度。P0和T0是通过使用安装在摄像机上的角速度传感器 获得的。

备选地，可以提取从运动对象之外的其他区域获得的运动矢量， 作为反映摄像机运动的运动矢量，累积从拍摄开始直至当前的各个帧 提取的反映摄像机运动的运动矢量，并根据预先获得的累积值与摇摄 角和倾斜角之间的关系来计算P0和T0。

如下通过使用运动对象的运动矢量来确定运动对象的运动状态。

例如，使用在过去数个帧中计算的运动矢量的平均值。

还可以按照运动矢量的大小的阈值处理，设置诸如“高速率”、“中 等速率”和“低速率”的类别。

此外，还可以按照运动矢量的方向的阈值处理，设置诸如“0至 90度”、“90至180度”、“180至225度”和“225至360度”的类别。

此外，还可以设置诸如“静止”、“向右平行移动(相对于摄像机 图像拾取平面)”、“向左平行移动”、“向上平行移动”和“向下平行移 动”。

备选地，可以基于数个过去的帧中的运动矢量来计算当前帧中的 加速度，并使用在数个过去的帧中计算的加速度的平均值。

在以运动矢量u’运动的运动对象在前面Δt帧中以运动矢量u运 动时，可按照表达式3来获得加速度α。

(数值表达式2)

$\alpha =\frac{u^{\prime }-u}{\mathrm{\Delta t}}$(表达式3)

可以由预先安装在运动对象上的GPS传感器和角速度传感器或 者通过其他方法来获得运动对象的运动矢量和运动状态。

运动状态改变点检测单元111检测运动对象的运动状态发生改变 的运动状态改变点，并向跟踪分数计算单元113输入运动状态改变点 的时间和与运动状态改变点有关的运动对象信息(步骤A03)。

作为运动对象的运动状态改变点，检测运动矢量的平均值和运动 矢量的加速度的平均值超过阈值时的时间，作为改变点。备选地，在 运动矢量的阈值处理确定了类别，当前帧所属的类别与前一帧所属的 类别不同的情况下，可以检测当前帧的时间，作为改变点。

将运动对象保持匀速运动和匀加速度运动的状态作为静止状态， 假设运动对象的运动状态的改变点是特定静止状态开始转变为后续静 止状态的点。假设从静止状态到后续静止状态的转变状态包括在后续 静止状态中。

拍摄状态改变点检测单元112从接收自视频输入单元100的每个 帧获得摄像机运动的运动矢量和由摄像机运动的运动矢量所确定的拍 摄状态，作为拍摄信息(步骤A04)。非专利文献1中记载了通过图像 处理获得摄像机运动的运动矢量的方法的一个示例。

非专利文献1中记载的方法是：关于相同拍摄中的一组连续帧， 从拍摄的第一帧开始检测拐点，并跟踪拐点。可以通过 Lucas-Kanade-Tomasi方法来实现拐点的提取和跟踪。

接下来，假设摄像机运动可以由平行移动x和y方向、扩大/缩小 和旋转来表示，基于表达式4所示的摄像技巧模型来计算摄像机运动。

(数值表达式3)

$\left(\begin{array}{c}x\\ y\end{array}\right)=\frac{1}{z}\{\left(\begin{array}{cc}1& -\theta \\ \theta & 1\end{array}\right)\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right)+\left(\begin{array}{c}\mathrm{dx}\\ \mathrm{dy}\end{array}\right)\}$(表达式4)

假设(x，y)是当前帧Fi中拐点处的表观坐标，并假设(x’，y’) 是帧Fi的一个单位时间之前的帧Fi’中与拐点跟踪所检测的(x，y)相 对应的拐点处的表观坐标。

参数集{z，dx，dy，θ}表示帧Fi与帧Fi’之间的摄像机运动，z表示 扩大/缩小参数，dx和dy分别表示x和y方向的平移运动，θ表示旋 转参数。

上述模型的前提是旋转角θ较小，可以在摄像机在旋转方向中的 运动可忽略的情况下使用。扩大/缩小操作表示缩/放或推移，平行移 动表示跟拍、吊拍、摇摄和斜拍中的任何一种。

可以通过将与拐点相对应的两个对应对{(x，y)，(x’，y’)}代入表达式 4来计算参数集{z，dx，dy，θ}。

可能作为参数集计算方法是通过使用由于可靠性较高而被选择作 为拐点的两个拐点来计算参数集的方法。

为了抑制运动对象的局部运动所产生的影响，存在选择在与拐点 相对应的所有组合对中计算的参数集组中最经常使用的参数集的方 法，以及选择在与拐点相对应的所有组合对中计算的参数集组的中间 值的方法。

作为计算参数集的方法，可以使用上述方法中的任何一种或其他 方法。

可以通过转换为绝对坐标(X，Y)和(X’，Y’)的当前帧Fi的中心点 Oi的表观位置(x，y)与Oi单位时间之前的中心点Oi’的表观位置(x’， y’)之间的差，来计算摄像机运动的运动矢量之中的与摄像机的图像 拾取平面平行方向的运动分量。扩大和缩小方向的分量与参数z相对 应。

使用摄像机运动的运动矢量，按照下面所述的方式来确定拍摄状 态。

例如，使用从数个过去的帧中计算的摄像机运动的运动矢量的平 均值。

备选地，可以通过运动矢量的大小的阈值处理来定义诸如“高速 率”、“中等速率”和“低速度”的类别。

可以通过运动矢量的方向的阈值处理来定义诸如“镜头右转(向 右跟拍)”、“镜头左转(向左跟拍)”、“仰摄(推摄)”、“俯摄(向下拍 摄low boom)”、“静止”、“缩放(扩大)”、“缩放(缩小)”的类别。

备选地，可以基于数个过去的帧中摄像机运动的运动矢量来计算 当前帧中的加速度，并使用在数个过去的帧中计算的加速度的平均值。

在当前帧中以摄像机运动的运动矢量u’来进行拍摄和在Δt前的 帧中以运动矢量u进行拍摄的情况下，通过表达式3，获得加速度α。

摄像机运动的运动矢量和拍摄状态可以根据各种传感器的操作历 史和预先安装在摄像机上的缩放功能来获得，或者使用其他方法来获 得。

拍摄状态改变点检测单元112检测拍摄状态发生改变的拍摄状态 改变点。当检测到拍摄状态改变点时，向跟踪分数计算单元113输入 拍摄状态改变点的时间和与拍摄状态改变点有关的拍摄信息。在未检 测到拍摄状态改变点时，执行步骤A01(步骤A05)。

检测摄像机运动的运动矢量的平均值或者运动矢量的加速度的平 均值超过阈值的时间，作为拍摄状态改变点。

备选地，在运动矢量的阈值处理定义了类别，当前帧所属的类别 与前一帧所属的类别不同的情况下，可以检测当前帧的时间，作为改 变点。

将摄像机运动保持匀速或匀加速度的状态作为静止状态，假设摄 像机状态改变点是特定静止状态开始转变为后续静止状态的点。假设 从静止状态到后续静止状态的转变状态包括在后续静止状态中。

当从拍摄状态改变点检测单元112输入拍摄状态改变点的时间 时，跟踪分数计算单元113计算输入时间与已经从运动状态改变点检 测单元111输入的运动状态改变点的时间之间的与每个运动对象有关 的时间差(步骤A06)。

关于每个运动对象，根据在拍摄状态改变点的时间之前的最接近 时间所检测到的运动状态改变点来计算时间差。

备选地，还可以根据在拍摄状态改变点的时间之前所检测到的运 动状态改变点中运动状态与拍摄状态类似的运动状态改变点，来计算 时间差。

还可以根据在拍摄状态改变点的时间之前所检测到的运动状态改 变点之中，从拍摄状态改变点的时间起的一小段时间Δt之后所预测 的运动对象的绝对坐标系中的位置在Δt后变为帧图像上的点的运动 状态的运动状态改变点，来计算时间差。

跟踪分数计算单元113基于时间差来计算跟踪分数，以将跟踪分 数和运动对象信息输入跟踪确定单元114(步骤A07)。

运动对象i的跟踪分数Ri被定义为：在运动对象i为跟踪对象的 概率较高，且运动对象i为非跟踪对象的概率较低时，呈现较高的值。

例如，如表达式5所示，可以将该值计算为运动对象i为跟踪对 象的概率与运动对象i为非跟踪对象的概率之比。ρ(i是跟踪对象|Di) 表示在时间差为Di时运动对象i为跟踪对象的概率。

(数值表达式4)

(表达式5)

表达式5可以按照贝叶斯定理展开。ρ(Di|i是跟踪对象)表示在运 动对象i为跟踪对象时时间差为Di的概率。

(数值表达式5)

(表达式6)

在相同帧中包括N个运动体时，Ri将计算如下。

(数值表达式6)

(表达式7)

假定j是从1≤i≤N(j≠i)的N-1个值，表示每个运动对象的ID。

ρ(Di|i是非跟踪对象)表示在运动对象为非跟踪对象时时间差为Di 的概率。假定关于非跟踪对象i，每个时间差Di均匀出现(均匀分布)， 则ρ(Di|i是非跟踪对象)是常数。

假设Di的可能范围(通常约为几秒)，ρ(Di|i是非跟踪对象)是有 限值。

ρ(j是跟踪对象)表示j是跟踪对象的提前概率。假设每个运动对象 (j＝i至N)为跟踪对象的概率是相等的，则ρ(i是跟踪对象)和所有j 的ρ(j是跟踪对象)是(1-C)/N。

C表示拍摄状态变为不再跟踪的概率的常数，是基于统计法设置 的。

wi表示加权系数：在运动对象i的运动方向和摄像机的拍摄方向 类似的情况下为1，否则为0。

根据上述内容，假设表达式7的分母为常数C’。

可以按照下述函数来计算ρ(Di|i是跟踪对象)。

(1)使用基于统计法的函数的方法

时间差对应于摄像者从识别了运动对象的运动状态发生改变到摄 像机的拍摄状态发生改变的反应速度。因此，基于普通人类反应速度 来设置函数。

例如，ρ(Di|i是跟踪对象)可以由图7所示的函数表示。以普通人 类反应速度的模式为T1，在时间差为T1时图7的函数G1(t)为100％， 在时间差为0时图7的函数G1(t)为0％。结果，响应于运动对象的运 动改变而改变拍摄状态之前的时间越接近普通人类反应速度，可以计 算的值越高。

还可以基于关于摄像者固有的反应速度的统计法来设置函数。结 果，可以计算根据摄像者的习惯的值。

(2)使用基于屏幕上运动对象的位置和速率的函数的方法

时间差根据屏幕上运动对象的位置和速率而改变。例如，在位于 屏幕的右侧的运动对象向右改变其运动时，摄像者以短时间差来改变 拍摄状态，以便捕捉屏幕上的运动对象。

相反，当位于屏幕中心的运动对象改变其运动时，运动对象运动 到屏幕之外的时间比位于右侧的运动对象向右改变其运动的情况下的 时间更长，因此时间差将较大。

假设基于上述属性，时间差根据屏幕上运动对象的位置和速率而 改变，则在表观位置(x，y)运动以具有表观运动矢量u的运动对象i 是跟踪对象时，可以通过使用时间差是Di的概率ρ(Di|i是跟踪对象， (x，y)，u)，如下来计算ρ(Di|i是跟踪对象)。

(数值表达式7)

(表达式8)

ρ((x，y)，u)表示运动对象在视频中的表观位置(x，y)以表观运动矢 量u出现的概率，在假设运动对象以每个速率出现在每个位置的概率 都相等的情况下，可以将ρ((x，y)，u)当作常数值处理。

ρ(Di|i是跟踪对象，(x，y)，u)还可以按照以下方式获得。例如，假设 在运动对象的运动状态发生改变时运动对象的重心的表观位置坐标是 (x1，y1)，则如图8所示，帧的宽度是W，高度是H。在这种情况下， 表观运动矢量u可以表示为(x1，y1)与预定单位时间之前(x1，y1)所存在 的表观位置坐标(x1’，y1’)之间的差。

假设运动对象以运动矢量u进行匀速线性运动，则在运动对象的 重心的坐标设置为起始点且与运动矢量u平行绘制的直线和帧之间的 交点表示为(x2，y2)时，运动对象运动到屏幕之外所需的时间T2表示 如下。

(数值表达式8)

(表达式9)

在这种情况下，可以使用图9和图10所示的函数G2来表示ρ(Di|i 是跟踪对象，(x，y)，u)。

在T2＞T1时，摄像者检测到在运动对象在屏幕上变为不可捕获之 前有时间，因此很可能他/她以长于T1但短于T2的时间差来改变拍摄 状态。在运动对象在屏幕上变为不可捕获的时间T2之后拍摄状态才 改变的概率较低。结果，可以如图9所示来表示函数G2。

另一方面，在T2＜T1时，由于摄像者难以在运动对象在屏幕上变 为不可捕获之前改变拍摄状态，因此很可能拍摄状态以人类反应速度 T1进行改变。由于在运动对象改变其运动的时间T1之后，运动对象 已经在屏幕之外，所以拍摄状态在T1之后才改变的概率较低。因此， 可以如图10所示来表示函数G2。

(3)使用基于屏幕上运动对象的大小的函数的方法

时间差根据屏幕上运动对象的大小而改变。例如，当大运动对象 的运动状态发生改变时，由于摄像者可迅速注意到运动，因此他/她以 短的时间差来改变拍摄状态。

另一方面，当小运动对象的运动状态发生改变时，注意到改变的 时间比大运动对象的情况的时间长，因此，时间差较大。

假设基于上述属性，时间差根据屏幕上运动对象的大小而改变， 则可以通过使用在表观大小为s的运动对象i为跟踪对象时、时间差 为Di的概率ρ(Di|i是跟踪对象，s)，如下来计算ρ(Di|i是跟踪对象)。

(数值表达式9)

(表达式10)

ρ(s)表示运动对象在视频中以表观大小s出现的概率，在假设运动 对象以每个大小出现的概率都相等的情况下，可以将ρ(s)当作常数值 处理。

ρ(Di|i是跟踪对象，s)可以使用图11和图12所示的函数G3来表示。 运动对象的表观大小表示为s，出现在视频中的运动对象的平均大小 表示为S。

在s＜S的情况下，摄像者未注意到运动对象的运动状态的改变， 因此很可能他或她以大于反应速度T1的时间差来改变拍摄状态。因 此，可以如图11所示来表示函数G3。

另一方面，在s＞S的情况下，尽管摄像者迅速注意到运动对象的 运动状态的改变，但是由于难以以比人类反应速度T1还短的时间差 来改变拍摄状态，所以很可能他或她以人类的反应速度T1来改变拍 摄状态。因此，可以如图12所示来表示函数G3。

在运动对象i是跟踪对象时，时间差为Di的概率ρ(Di|i是跟踪对 象)可以使用(1)、(2)和(3)的函数来表示，或者使用除(1)、(2) 和(3)之外的其他函数来表示。

将描述跟踪分数计算单元113的操作的一个示例。

将在以下情况下结合图4和图13进行说明：在步骤A06处，关 于每个运动对象，根据在拍摄状态改变点的时间之前所检测到的最接 近时间处的运动状态改变点来计算时间差，以使用函数G1。

在时间t1检测到拍摄状态改变点时，根据图4，计算与运动对象 A相关的物体A的运动状态改变点sA1与时间t1之间的时间差 DA1(＝t1-sA1)。相应地，时间t1处运动对象A的跟踪分数是RA1 (＝ρA1/C’)。跟踪分数计算单元113向跟踪确定单元114输入{RA1， 时间sA1处运动对象A的运动对象信息}。

当在时间t2处检测到拍摄状态时，基于与运动对象A相关的时间 差DA2(＝t2-sA2)，计算运动对象A的跟踪分数RA2(＝ρA2/(C’+ρB0))。 基于与运动对象B相关的时间差DB0(＝t2-sB0)，计算时间t2处运动对 象B的跟踪分数RB0(＝ρB0/(C’+ρA2))。

跟踪分数计算单元113向跟踪确定单元114输入{RA2，时间sA2 处运动对象A的运动对象信息}和{RB0，时间sB0处运动对象B的运动 对象信息}。

接下来，按照相同的方式，在检测到拍摄状态改变点时，计算时 间t3、t4和t5处的每个运动对象的跟踪分数，并将跟踪分数和运动对 象信息作为计算结果输入至跟踪确定单元114。

当从跟踪分数计算单元113获得了跟踪分数和运动对象信息时， 跟踪确定单元114基于跟踪分数来计算每个运动对象是否是跟踪对 象，并将确定结果和运动对象信息输入至确定结果输出单元120(步 骤A07)。

确定是否是跟踪对象是通过确定跟踪分数大于预定阈值的运动对 象作为跟踪对象来进行的。

例如，当RA0至RA5不小于阈值且RB0不大于阈值时，确定运 动对象A在拍摄状态改变点t1、t2、t3、t4和t5处是跟踪对象，运动 对象B在拍摄状态改变点t2处是非跟踪对象。

确定结果输出单元120输出跟踪确定单元114所应用的确定结果 和运动对象信息。作为输出格式，运动对象ID、运动对象的图像数据、 运动对象的运动状态改变点的时间以及确定结果以图14所示的表格 式呈现在屏幕上。

备选地，在关于视频的所有帧执行了运动对象的跟踪确定之后总 地显示所有确定结果的方法也是可以的。如图15所示，总地在屏幕上 呈现相同的运动对象ID。

备选地，还可以比较具有不同ID的运动物体的图像数据，之后 向相似度在阈值内的图像数据新应用相同ID，总地在屏幕上呈现相同 ID的确定结果。

确定运动物体的图像数据之间的相似度可以通过以下方法实现： 当图像数据之间的色差不大于阈值时，确定图像数据是类似的；或者， 计算诸如颜色柱状图、边缘特征量和颜色分散性的图像数据的图像特 征量，并在图像特征量不大于阈值时确定图像数据是类似的。作为图 像数据，可以选择运动对象的图像数据之中的最平均的图像数据。

备选地，以被确定为跟踪对象的每个运动对象的图像数据作为模 板，从输入视频中检测运动对象出现区间，并进行再现。结果，用户 可以观看和聆听在视频中至少跟踪和捕获一次的运动对象出现的所有 视频区间。

备选地，还可以在相同运动对象出现的区间中选择运动对象的图 像数据最大的区间、运动对象的速度最小的区间、某种摄像技巧固定 的区间、或者摄像技巧的速率最低的区间，以再现所选区间，或者将 所选区间的中心帧呈现为代表性图像。结果，用户可以观看和聆听很 容易捕获每个跟踪对象或检查代表性图像的视频。

[第一示例性实施例的效果]

接下来，描述本示例性实施例的效果。

在根据现有技术的方法中，基于作为具有与摄像机的运动所产生 的运动矢量不同的运动矢量的图像区域的运动区域的分布状态来确定 运动对象是否是跟踪对象。因此，当由于运动对象的速度和摄像机的 速度不同因而运动区域的分布不满足“总是持续存在”的属性时，不 可能确定作为运动区域集合的运动对象是目标对象。

另一方面，在本示例性实施例中，基于运动对象的运动状态的改 变的时间和拍摄状态的改变的时间之间的差来确定运动对象是否是跟 踪对象。

因此，可以获得如下效果：由于拍摄镜头较短从而拍摄在摄像机 速度变得与运动对象的速度相等之前结束，由于运动对象持续进行不 可预测运动而使得摄像者无法预测运动对象的移动目的地，或者由于 在跟踪拍摄期间摄像机速度改变(例如在使用长焦摄像机进行拍摄)， 在运动对象未持续出现在屏幕上的固定位置的情况下，根据运动对象 的运动的改变时间与拍摄状态的改变时间之间的时间差，确定运动对 象是跟踪对象。

此外，由于在根据现有技术的方法中，基于视频区间中可以稳定 地跟踪运动对象的部分区间的速率来确定运动对象是否是跟踪对象， 所以不可能在摄像机沿固定方向运动的同时执行拍摄的情况下在视频 区间结束之前确定运动对象是跟踪对象。

另一方面，根据本示例性实施例，由于基于运动对象的运动状态 的改变时间与拍摄状态的改变时间之间的差来确定运动对象是否是跟 踪对象，所以可以在摄像机沿固定方向运动的同时执行拍摄的情况下 在视频区间结束之前确定运动对象是跟踪对象。

[第二示例性实施例]

接下来，将参考附图来详细说明本发明的第二示例性实施例。

参考图16，本发明的第二示例性实施例除了本发明的第一示例性 实施例中的组件之外，还包括跟踪确定程序。

跟踪确定程序230被读入数据处理设备210，以控制数据处理设 备210的操作，并向确定结果输出单元220输出数据处理设备210中 的单元所获得的确定结果。

数据处理设备210在跟踪确定程序230的控制之下执行与第一示 例性实施例中的数据处理设备110相同的处理。

[第二示例性实施例的效果]

本示例性实施例通过外部程序产生执行跟踪对象确定的效果。

[第一示例]

接下来，将参考特定示例来说明本发明的跟踪对象确定设备的操 作。

本示例对应于本发明的第一示例性实施例。在本示例中，示出了 本发明的跟踪对象确定设备应用于通过跟踪和拍摄向右走的人A突然 停止并开始向右跑所获得的视频的示例。

[结构的说明]

图17示出了输入视频的概要。在屏幕中心的人A在时间t0开始 走动。在时间t3停止并保持静止之后，人A在t6开始向右跑。

摄像者注意到人A开始运动，并且在时间t1以与人A的走动速 率相等的速率操作摄像机。响应于人A在时间t4静止，在t5使摄像 机逆时针运动，并且在t6在帧的中心处捕获了人A之后，使摄像机静 止。响应于人A在时间t7开始跑步，以加速度开始操作摄像机，在时 间t8在屏幕上捕获人A，并且在时间t8之后以与人的跑步速率相等 的速率来操作摄像机。

如图18所示，根据本示例，提供了视频输入终端作为视频输入单 元，个人计算机作为数据处理设备，以及显示器作为视频输出设备。

个人计算机具有中央处理单元，用作移动状态改变点检测单元、 人拍摄状态改变点检测单元、人跟踪分数计算单元和人跟踪确定单元。

[操作的说明]

现在假设从视频输入终端应用形成视频的每个帧。

中央处理单元的移动状态改变点检测单元从输入帧中检测人区 域，并提取人的ID、人区域的图像数据、人的表观位置、人的运动矢 量和人的移动状态，作为人的信息。人的移动状态表示由人的运动矢 量所确定的状态，假设每个状态由运动矢量的方向和速率来确定。

当人的移动状态在输入帧中发生改变时，移动状态改变点检测单 元向人跟踪分数计算单元输入时间和人的信息。

用于检测人区域的手段包括使用从整个人区域获得的信息的方 法。可以是例如如下方法：将各个人出现的图像存储为模板，并在输 入图像与模板之间的差不大于阈值时确定人在输入图像中存在。

另一种可能的方法是：预先存储组合了颜色信息(例如皮肤颜色) 和边缘方向或密度的模型，并在从输入帧中检测到与模型类似的区域 时，确定人存在。

在统计学习从对大量的人区域图像和非人区域图像的采样的学习 中获得的特征量分布，并确定从输入图像所获得的特征量所属的人区 域图像或非人区域图像的分布的方法中，包括使用神经网络、支持向 量机和Adaboost的方法。

另外可能的方法是使用人的脸部信息的方法。这些方法包括例如： 在非专利文献2中公开的方法，通过使用利用脸部(头部)的轮廓是 椭圆形且眼睛和鼻子具有细长的形状的事实而产生的模板，来检测脸 部；利用辉度分布的特征(脸颊或额头部分具有高辉度而眼睛或鼻子 部分具有低辉度)的脸部检测方法；以及使用脸部或肤色区域和位置 的对称性来检测脸部的方法。

还可以在通过上述示例或其他方法检测到人的脸部时，确定脸部 和脸部的下部中的固定区域作为人区域。作为检测人的方法，可以使 用上述示例，或者可以应用其他方法。

非专利文献2中公开了人区域检测手段的现有技术。

在基于模板的方法用于人区域检测手段时，通过下面的过程来应 用人ID。

首先，以预先注册的各个人出现的图像作为模板，将“人A”应 用于在时间t0从图像帧检测到的人区域。新注册被检测作为模板的人 A的图像，并且在随后检测到的或接下来的帧中的人区域与人A的图 像类似时，应用相同ID“人A”。当该区域与人A的图像不类似时， 应用新的ID。

假设人区域的图像数据是包括人区域检测单元所检测的人区域在 内的矩形区域。

假设人的表观位置是帧图像中人区域的重心坐标。

可以通过使用下面给出的模板的方法来提取人区域的运动矢量。

从输入帧Fi中检测人区域，以获得包括人区域的矩形区域，作为 模板。关于帧Fj(j＞i)，在帧Fi上扫描以人区域的重心坐标为中心的 固定范围，并检测与模板类似的区域，以获得所检测区域的重心坐标。

获得帧Fi和Fj中从摄像机初始状态到摇摄方向和倾斜方向的转 动的角度，并通过将所获得的角度代入表达式2来获得帧Fi和Fj中 人区域的重心的位置的绝对坐标，以基于所获得的位置之间的差来计 算人A的运动矢量。

从摄像机初始状态到摇摄方向和倾斜方向的转动的角度可以通过 安装在摄像机上的GPS或角速度传感器来获得。

假设人区域的运动状态是每一个都是在数个过去的帧中检测到的 运动矢量的平均值，并且检测平均值改变大于预先设置的阈值的时间， 作为运动状态改变点。图17示出了人区域的移动状态的示例。

在输入视频的情况下，移动状态改变点检测单元获得时间t0处的 人的运动矢量uA0、时间t3处的人的运动矢量uA1以及时间t6处的 人的运动矢量uA2。在时间t0、t3和t6检测人A的移动状态改变点， 并每次都将时间和人信息输入至人跟踪分数计算单元。

人拍摄状态改变点检测单元从输入帧中获得摄像机运动的运动矢 量和拍摄状态，作为拍摄信息。

从安装在摄像机上的角速度传感器获得拍摄信息。检测摄像机运 动的运动矢量改变大于阈值的时间点，以作为拍摄状态改变点。当输 入帧对应于拍摄状态改变点时，向人跟踪分数计算单元输入拍摄状态 改变点的时间和与拍摄状态改变点有关的拍摄信息，并在输入帧不是 拍摄状态改变点时，从视频输入终端输入后续帧。

人拍摄状态改变点检测单元在时间t0获得v0，在时间t1获得v1， 在时间t2获得v2，在时间t4获得v3，在时间t5获得v4，在时间t7 获得v5，在时间t8获得v6，作为摄像技巧的速率。图17示出了拍摄 状态的一个示例。

当从人拍摄状态改变点单元检测到输入了拍摄状态改变点的时间 时，人跟踪分数计算单元计算与每个人有关的输入时间与已经从移动 状态改变点检测单元输入的移动状态改变点的时间之间的时间差。基 于时间差来计算人的跟踪分数，以向人跟踪确定单元输入跟踪分数和 人的信息。

计算拍摄状态改变点的时间与移动状态改变点的时间之间的时间 差，该移动状态改变点是：在人拍摄状态改变点的时间之前所检测到 的移动状态改变点之中，从拍摄状态改变点的时间起的一小段时间Δt 之后所预测的人的绝对坐标系中的位置在Δt后变为帧图像上的点的 移动状态的移动状态改变点。

将结合图19来描述用于计算时间差的拍摄状态改变点与移动状 态改变点之间的组合。

在时间t1处检测到拍摄状态改变点时，确定是否计算与在t1之 前检测到的移动状态改变点t0的时间差。以时间0处人的绝对坐标系 中的位置作为Q0，将时间t1+Δt处人的绝对坐标系中的位置Q1表示 为Q0+(t1+Δt)*uA0。

另一方面，以时间t0的帧的中心作为O0，时间t1+Δt的帧图像 的中心位置可以移动到O0+v1*Δt。在这种情况下，存在Δt(＜TH2)， 其中{Q0+(t1+Δt)*uA0}＝{O0+v1*Δt+TH1}，计算拍摄状态改 变点t1与移动状态改变点t0之间的时间差D0(＝t1-t0)。

TH1表示与在Δt之后存在运动对象的屏幕的中心的距离，用户 预先在位于中心时设置TH1为0，并且在位于屏幕左侧或右侧时设置 TH1为W。TH2表示在运动对象是跟踪对象时在Δt之后在位置TH1 处捕获跟踪对象的时间差。对于TH1，一般可以设置2秒或3秒。

以输入视频中TH1＝0，由于Q0＝O0，因此Δt＝uA0/(v1-uA0) 成立。当Δt是几秒时，计算拍摄状态改变点t1与移动状态改变点t0 之间的时间差。

当在时间t2检测到拍摄状态改变点时，确定是否计算与在t2之 前检测到的移动状态改变点t0的时间差。在Δt之后人A的绝对坐标 系中的位置是Q0+(t2+Δt)*uA0。

另一方面，时间t2+Δt处帧图像的中心位置是O0+(t2-t1)*v1+ v2*Δt。此时，由于uA0＝v2，{Q0+(t2+Δt)*uA0}＝{O0+(t2-t1) *v1+v2*Δt}在任意Δt均成立，因此计算拍摄状态改变点t2与移 动状态改变点t0之间的时间差D1(＝t2-t0)。

类似地，计算时间t4处的时间差D2、时间t5处的时间差D3、时 间t6处的时间差D4、时间t8处的时间差D5。

使用函数G2，基于屏幕上运动对象的位置和速率，按照下面描述 的方式，计算跟踪分数。

基于在拍摄状态改变点t1与移动状态改变点t2之间计算的时间 差，以如下方式计算跟踪分数R0。由于在时间t0，人A的表观位置 是屏幕的中心，人的表观速度是uA0，根据表达式9，人A变为在屏 幕上不可捕获之前的时间T表示为W/(2*|uA0|)。

因此，使用图9所示的函数。图20示出了该函数。由于在时间 t1，时间差是D0，人的跟踪分数将为R0(＝ρ0/C’)。向人跟踪确定单元 输入{R0，时间t0的人A的移动信息}。

在时间t2，基于在拍摄状态改变点t2与移动状态改变点t1之间 计算的时间差，按照下述方式来计算跟踪分数R1。由于在时间t0，人 A的表观位置是屏幕的中心，并且人A的表观速度是uA0，因此使用 图20所示的函数。由于在时间t2，时间差是D1，人的跟踪分数将为 R1(＝ρ1/C’)。向人跟踪确定单元输入{R1，时间t0的人A的移动信 息}。

在时间t4，基于在拍摄状态改变点t3与移动状态改变点t2之间 计算的时间差，按照下述方式来计算跟踪分数R2。由于在时间t3，人 A的表观位置是屏幕的中心，并且人A的表观速度是-v2(＝-uA0)，因 此使用图20所示的函数。

由于在时间t4，时间差是D2，跟踪分数将为R2(＝ρ2/C’)。向人 跟踪确定单元输入{R2，时间t3的人A的移动信息}。

类似地，基于时间差D3来计算跟踪分数R3(＝ρ3/C’)，并向人跟 踪确定单元输入{R3，时间t3的人A的移动信息}。

在时间t7，基于在拍摄状态改变点7与移动状态改变点t6之间计 算的时间差，按照下述方式来计算跟踪分数R4。由于在时间t6，人A 的表观位置是屏幕的中心，并且人A的表观速度是uA2，根据表达式 9，人变为在屏幕上不可捕获之前的时间T’表示为W/(2*|uA2|)。

因此，使用图21所示的函数。由于|uA2|＞|uA0|，因此T’＜T成立。 由于时间t7处的时间差为D4，人的跟踪分数将为R4(＝ρ4/C’)。向人 跟踪确定单元输入{R4，时间t6的人A的移动信息}。

类似地，在时间t8，基于时间差D5，计算跟踪分数R5(＝ρ5/C’)， 以向人跟踪确定单元输入{R5，时间t6的人A的移动信息}。

在输入跟踪分数和人的信息时，在跟踪分数大于预先确定的阈值 Rth时，人跟踪确定单元确定人A是跟踪对象。人跟踪确定单元向显 示器输入跟踪确定结果和人的信息。

在显示器上，总地显示与人ID、图像、出现时间和确定结果有关 的整个视频的确定结果。图22示出了显示确定结果的一个示例。

在图像中显示基于与所有移动状态改变点有关的人A的人信息， 移动状态以人A的最小速度改变的图像数据。结果，可以显示没有由 于人A的运动而导致的运动模糊的图像。

作为出现时间，总地显示人A的所有移动状态改变点的时间。作 为确定结果，显示“跟踪”。

尽管上面参考优选示例性实施例和示例描述了本发明，但是本发 明并不一定局限于上述示例性实施例和示例，而可以在不背离其技术 思想的范围内进行修改。

工业适用性

本发明适用于跟踪对象确定设备，以及用于在计算机上实现跟踪 对象确定设备的程序，跟踪对象确定设备确定出现在视频中的运动对 象是否是跟踪对象，产生出现在视频中的跟踪对象列表，以便产生概 述视频，利用概述视频，通过指定跟踪对象出现在其中的区间，可以 捕获跟踪对象，或者以便提取代表性图像组，在代表性图像组中，通 过从跟踪对象出现的区间中选择清楚地呈现跟踪对象的帧，可以捕获 跟踪对象。本发明还可用作跟踪对象确定设备，以用于选择视频区间， 以基于家庭录像或素材视频中的跟踪对象，来组织、分类和编辑视频。

通过引用并入的文献

本申请基于并要求2009年3月31日提交的日本专利申请 No.2009-085963的优先权，通过引用将其公开全部并入在此。