背景差分提取装置以及背景差分提取方法

摘要

提供一种用于能够利用通过视点移动的照相机取得的图像，取得背景差分的技术。首先，通过照相机(11)，取得不包含对象物的图像即背景图像。利用照相机(11)的视线方向以及视点位置的信息，将背景图像中的像素的位置信息变换为固定坐标系中的极坐标信息。将背景图像中的像素的颜色信息与该像素的极坐标信息的对应关系记录在记录部(3)中。接着，通过照相机(11)，取得包含对象物的图像即实际图像。利用照相机(11)的视线方向以及视点位置的信息，将实际图像中的像素的位置信息变换为固定坐标系中的极坐标信息。利用实际图像中的像素的极坐标信息，确定与实际图像对应的角度区域内的背景图像作为对象背景。通过比较实际图像与对象背景，提取它们之间的差分。

说明书

技术领域

本发明涉及用于通过比较图像数据之间而提取背景差分的技术。

背景技术

为了持续拍摄被摄体，需要将照相机的视线持续朝向对象。多数情况下 该作业由摄影者手动进行，但难以完美地追踪到球类的跳跃等高速且不规则 的运动。因此，在各领域中，以机械方式自动控制照相机的视线方向的系统 (所谓的主动视觉(ActiveVision)：参照以下的非专利文献1)的研究正在 各领域中踊跃地进行。

在通常的主动视觉的技术中，由于将照相机本身安装于驱动云台上而使 其运动，因此关于视线方向的移动的响应速度慢。这导致难以跟踪具有突发 的加速度变化的运动对象(例如，在球类比赛中利用的球)。如果考虑到高速 照相机的帧速率快的能够达到100万fps、图像处理被GPU高速化的现状， 那么可以说视线控制速度在各种跟踪系统中成为速度方面的瓶颈。

为了解决该问题，提出了根据配置在照相机前方的小型驱动镜面高速地 进行照相机的视线变更的被称为扫视镜(SaccadeMirror)的光学系统(参照 以下的非专利文献2)。在该技术中，通过利用双轴的检流计反射镜，变得能 够进行高速的视线变更。可以想到如果在控制系统中能够进行视线的控制使 得始终在画面中心捕捉到对象物，则能够进行无以伦比的动态拍摄。

然而，若要跟踪对象物则需要提取图像中的对象物并将照相机的视线朝 向其方向。作为提取图像中的对象物的方法，例如有：

(1)提取了图像中的特征量后，通过与事先学习而获得的学习数据进行 比较，确定图像中的对象物的方法；以及

(2)预先取得背景图像，通过与包含对象物的图像(实际图像)进行比 较而确定对象物的方法(所谓的背景差分方法) 等。在所述(1)的方法中，虽然具有无需取得背景图像的优点，但图像处理 的时间变长，因此不适合实际时间中的对象物确定。此外，该方法虽然也基 于学习数据的内容，但对象物的确定精度也往往不充分。

所述(2)的背景差分方法具有可进行高速的对象物确定的优点。但是， 以往提出的背景差分方法(例如，以下的非专利文献3、4)以由视点固定照 相机获得的图像作为前提。可以想到这些技术难以直接应用于视点移动的照 相机。

现有技术文献

非专利文献

非专利文献1：J.Aloimonos,I.WeissandA.Bandyopadhyay:“Active Vision”,Int’lJournalofComputerVision,vol.1,no.4,pp.333.356(1988).

非专利文献2：K.Okumura,H.OkuandM.Ishikawa:“High-SpeedGaze ControllerforMillisecond-orderPan/tiltCamera”,Proc.ofIEEEInt’lConf.on RoboticsandAutomation,pp.6186.6191(2011).

非专利文献3：T.WadaandT.Matsuyama:“AppearanceSphere: Backgroundmodelforpan-tilt-zoomcamera”,Proc.of13thInt’lConf.ofPattern Recognition,pp.A718.722(1996).

非专利文献4：K.Yachi,T.WadaandT.Matsuyama:“HumanHeadTracking usingAdaptiveAppearanceModelwithaFixed-viewpointPan-tilt-zoomCamera”, Proc.ofIEEEIntl’Conf.onAutomaticFaceandGestureRecognition,pp. 150.155(2000).

发明内容

发明要解决的课题

本发明鉴于所述状况而完成。本发明的目的在于，提供用于使能够利用 通过视点移动的照相机取得的图像来取得背景差分的技术。

用于解决课题的手段

用于解决所述的课题的手段可如下的项目那样记载。

(项目1)

一种背景差分提取装置，用于利用通过视线方向以及视点位置能够移动 的照相机获得的图像，提取背景差分，其中，

具有拍摄部、极坐标计算部、记录部、对象背景提取部、以及差分提取 部，

所述拍摄部具有照相机以及驱动部，

所述照相机成为能够取得不包含对象物的图像即背景图像、或者包含对 象物的图像即实际图像的结构，

所述驱动部成为能够变更所述照相机的视线方向以及视点位置的结构，

所述极坐标计算部具有视线方向取得部、视点位置取得部、以及坐标变 换部，

所述视线方向取得部成为取得所述照相机的视线方向的结构，

所述视点位置取得部成为取得所述照相机的视点位置的结构，

所述坐标变换部成为利用所取得的所述视线方向以及视点位置，将所述 背景图像或者所述实际图像中的像素的位置信息变换为固定坐标系中的极坐 标信息的结构，

所述记录部成为用于记录所述背景图像中的像素的颜色信息和该像素的 极坐标信息的对应关系的结构，

所述对象背景提取部成为利用所述实际图像中的像素的极坐标信息，确 定与所述实际图像对应的角度区域中的所述背景图像作为对象背景的结构，

所述差分提取部成为通过比较所述实际图像与所述对象背景，提取它们 之间的差分的结构。

(项目2)

如项目1所述的背景差分提取装置，成为如下结构：

所述坐标变换部中的、向所述极坐标信息的变换通过以下的处理来进行：

将所述背景图像或者所述实际图像中的像素的位置信息变换为在视点被 固定的虚拟照相机中的虚拟图像上的、作为该像素的位置信息的虚拟位置信 息的处理；以及

将所述虚拟位置信息变换为所述固定坐标系中的极坐标信息的处理。

(项目3)

如项目1或2所述的背景差分提取装置，其中，

进一步具有量化部，

所述量化部被设为对在所述坐标变换部中获得的所述极坐标信息进行量 化的结构，

进而，所述量化部被设为所述照相机中的视线方向从所述固定坐标系中 的基准方向越偏离，就越增大作为量化单位的角度范围的结构，

所述记录部被设为利用被量化后的所述极坐标信息作为所述像素的极坐 标信息的结构。

(项目4)

如项目1至3的任一项所述的背景差分提取装置，其中，

进一步具有残影生成部，

所述残影生成部被设为如下结构：沿着所述视线方向移动的方向确定多 张所述对象背景，通过合成所确定的多张所述对象背景，生成具有残影的合 成对象背景，

所述差分提取部被设为通过比较所述实际图像与所述合成对象背景，提 取所述差分的结构。

(项目5)

如项目1至4的任一项所述的背景差分提取装置，其中，

所述照相机的视线方向由平移方向角度与倾斜方向角度来表示。

(项目6)

如项目1至5的任一项所述的背景差分提取装置，其中，

所述驱动部具有镜面光学系统，其使所述照相机的视线方向变化为平移 方向和倾斜方向。

(项目7)

如项目1至6的任一项所述的背景差分提取装置，其中，

进一步具有背景更新部，

所述背景更新部被设为如下结构：在所述实际图像中，将在所述差分提 取部中没有作为所述差分的部分确定为新的背景图像，从而更新所述记录部 中的所述背景图像中的像素的颜色信息。

(项目8)

如项目1至7的任一项所述的背景差分提取装置，其中，

所述驱动部被设为如下结构：将所述照相机的视线方向朝向由所述差分 提取部提取为差分的部分。

(项目9)

一种背景差分提取方法，用于利用通过视线方向以及视点位置能够移动 的照相机获得的图像，提取背景差分，其特征在于，所述背景差分提取方法 具有：

通过所述照相机，取得不包含对象物的图像即背景图像的步骤；

利用所述照相机的视线方向以及视点位置的信息，将所述背景图像中的 像素的位置信息变换为所述固定坐标系中的极坐标信息的步骤；

将所述背景图像中的像素的颜色信息与该像素的极坐标信息的对应关系 记录在记录部中的步骤；

通过所述照相机，取得包含对象物的图像即实际图像的步骤；

利用所述照相机的视线方向以及视点位置的信息，将所述实际图像中的 像素的位置信息变换为固定坐标系中的极坐标信息的步骤；

利用所述实际图像中的像素的极坐标信息，确定与所述实际图像对应的 角度区域内的所述背景图像作为对象背景的步骤；以及

通过比较所述实际图像与所述对象背景，提取它们之间的差分的步骤。

(项目10)

一种计算机程序，用于利用通过视线方向以及视点位置能够移动的照相 机获得的图像，提取背景差分，所述计算机程序使计算机执行如下的步骤：

使照相机取得不包含对象物的图像即背景图像的步骤；

利用所述照相机的视线方向以及视点位置的信息，将所述背景图像中的 像素的位置信息变换为固定坐标系中的极坐标信息的步骤；

将所述背景图像中的像素的颜色信息与该像素的极坐标信息的对应关系 记录在记录部中的步骤；

使所述照相机取得包含对象物的图像即实际图像的步骤；

利用所述照相机的视线方向以及视点位置的信息，将所述实际图像中的 像素的位置信息变换为所述固定坐标系中的极坐标信息的步骤；

利用所述实际图像中的像素的极坐标信息，确定与所述实际图像对应的 角度区域内的所述背景图像作为对象背景的步骤；以及

通过比较所述实际图像与所述对象背景，提取它们之间的差分的步骤。

该计算机程序能够存储在适当的记录介质(例如CD-ROM或DVD盘这 样的光学性记录介质、硬盘或软件这样的磁性记录介质、或者MO盘这样的 光磁记录介质)中。该计算机程序能够经由互联网等通信线路被传送。

发明效果

根据本发明，能够利用通过视点移动的照相机取得的图像来取得背景差 分。从而，例如，能够将所取得的背景差分看做对象物，从而为了追踪该对 象物而进行照相机的视线控制。

附图说明

图1是表示本发明的第一实施方式的背景差分提取装置的概略性结构的 模块图。

图2是表示拍摄部的具体的结构例的说明图。

图3是包含图1的装置的跟踪系统的概略性的说明图。

图4是表示利用了图1的装置的背景差分提取方法的概略性的步骤的流 程图。

图5是表示注册背景信息的步骤的流程图。

图6是成为用于说明坐标变换步骤的前提的坐标系以及视点位置的说明 图。

图7是成为用于说明坐标变换步骤的前提的坐标系以及像素位置的说明 图，图(a)是虚拟照相机坐标系的说明图，图(b)是固定坐标系中的平移 角与倾角的说明图。

图8是表示算出极坐标的步骤的流程图。

图9是用于说明量化后的极坐标信息的说明图。

图10是表示用于算出实际图像的信息的步骤的流程图。

图11是表示本发明的第二实施方式中的背景差分提取装置的概略性的 结构的模块图。

具体实施方式

以下，参照附图，说明本发明的第一实施方式的背景差分提取装置。本 实施方式的装置用于后述的对象物跟踪系统。

(第一实施方式的结构)

如图1所示，本实施方式的背景差分提取装置具有拍摄部1、极坐标计 算部2、记录部3、对象背景提取部4、差分提取部5。进一步，该装置具有 背景更新部6。

拍摄部1具有照相机11以及驱动部12。进而，拍摄部1具有瞳孔转移 部13。图2表示拍摄部1的具体结构例。

照相机11成为为了跟踪对象物而以适当的帧速率取得图像的结构。例 如，在对象物高速地移动的情况下，能够利用以每一帧1ms的周期取得数字 图像的照相机，但这仅仅是一例，可根据用途而使用不同的帧速率。照相机 11的像素数可根据跟踪的目的而决定，原则上没有特别的限制。照相机11 的视线方向在图2中以箭头表示。如后述那样，照相机11成为能够取得不包 含对象物的图像即背景图像、或者包含对象物的图像即实际图像的结构。即， 照相机11是在注册背景图像信息时拍摄背景图像，在跟踪对象物时拍摄实际 图像(包含对象物的图像)的照相机。当然，在本实施方式中，还可以分别 具有用于背景图像拍摄的照相机以及用于实际图像拍摄的照相机。另外，作 为照相机11，并不限定于可见光照相机，也可以是拍摄红外线或其他波长段 的电磁波(包括太赫兹波或毫米波)的照相机。总之，作为照相机11，只要 是能够取得数字图像的照相机即可，也可以是所谓的测距仪(Rangefinder)。 此外，作为照相机11，也可以是拍摄单一波长光的照相机(黑白照相机)。 此时，所获得的图像的像素值仅是亮度值。在本说明书中，设像素的亮度值 本身也对应于“像素的颜色信息”的一例。

驱动部12具有用于将照相机11的视线方向变化为平移(Pan)方向和倾 斜(Tilt)方向的镜面光学系统。更具体地说，如图2所示，驱动部12具有 平移镜121与倾斜镜122。平移镜121以及倾斜镜122都通过未图示的驱动 部件、例如控制电机，以规定轴为中心，可分别向平移方向或倾斜方向转动。 此外，在本实施方式中，通过未图示的控制部，能够控制平移角度以及倾斜 角度。进而，在本实施方式中，能够取得实际的平移角度以及倾斜角度而反 馈给控制部侧。

如后述那样，被瞳孔转移部13转移的瞳孔的位置(即视点位置)随着平 移角度或倾斜角度的变更而变动。由此，驱动部12成为了能够变更照相机 11的视线方向以及视点位置的结构。另外，在本说明书中，设照相机11的视 线方向由平移方向角度和倾斜方向角度来表示。

进而，本实施方式的驱动部12被未图示的控制部控制为将照相机11的 视线方向朝向被差分提取部5作为差分而提取的部分。

瞳孔转移部13由图2所示的瞳孔转移光学系统构成。瞳孔转移部13将 照相机11的瞳孔位置转移到平移镜121与倾斜镜122之间。

极坐标计算部2具有视线方向取得部21、视点位置取得部22、坐标变换 部23。进而，本实施方式的极坐标计算部2具有量化部24。

视线方向取得部21成为用于取得照相机11的视线方向的结构。具体来 说，视线方向取得部21从拍摄部1(或者未图示的控制部)取得驱动部12 中的平移镜121以及倾斜镜122的斜角度的信息(优选是实际的角度但也可 以是控制指令值)，从而算出视线方向。

视点位置取得部22成为取得照相机11的视点位置的结构。具体来说， 视点位置取得部22与视线方向取得部21一样，从拍摄部1取得驱动部12中 的平移镜121以及倾斜镜122的斜角度的信息，从而算出视点位置。

坐标变换部23利用所取得的视线方向以及视点位置，将背景图像或实际 图像中的像素的位置信息变换为固定坐标系(所谓的全局坐标系)中的极坐 标信息。

在本实施方式中，坐标变换部23中的向极坐标信息的变换通过以下的处 理来执行。

(1)将背景图像或实际图像中的像素的位置信息变换为视点被固定的虚 拟照相机中的虚拟图像上的、作为该像素的位置信息的虚拟位置信息的处理； 以及

(2)将虚拟位置信息变换为固定坐标系中的极坐标信息的处理。

量化部24对在坐标变换部23中获得的极坐标信息进行量化。量化部24 被设为照相机11中的视线方向越偏离固定坐标系中的基准方向，就越增大作 为量化单位的角度范围的结构。

极坐标计算部2的详细的处理将在本实施方式的动作的说明中详细叙 述。极坐标计算部2能够例如由计算机的硬件以及软件的组合来构成。

记录部3成为用于记录背景图像中的像素的颜色信息与该像素的极坐标 信息的对应关系的结构。本实施方式的记录部3作为应记录于该记录部3的 像素的极坐标信息而利用由量化部24量化后的极坐标信息。

记录部3例如是能够在计算机中利用的易失性或非易失性存储器，但对 具体的记录介质没有限制。记录部3可以是可由计算机经由网络利用的记录 装置。此外，作为像素的颜色空间，没有特别限制，能够根据需要利用RGB 或HSV等适当的颜色空间。此外，作为颜色空间，可以仅是亮度信息，此外， 根据需要，也可以仅是亮度信息以外的颜色信息。

对象背景提取部4利用实际图像中的像素的极坐标信息，确定与实际图 像对应的角度区域中的背景图像作为对象背景。

差分提取部5通过比较实际图像与对象背景，提取它们之间的差分。

背景更新部6被设为如下的结构：确定在实际图像中的、在差分提取部 5中未被成为差分的部分作为新的背景图像，从而更新记录部3中的背景图 像的像素的颜色信息。

本实施方式的背景差分提取装置的进一步的具体结构将在后述的动作的 说明中详细进行叙述。

(第一实施方式的动作)

以下，说明本实施方式的背景差分提取装置的动作。作为以下的说明的 前提，根据图3说明安装本实施方式的背景差分提取装置的跟踪系统的整体 结构例。该跟踪系统具有计算机100，通过该计算机100(即，硬件以及软件 的组合)，实现极坐标计算部2、记录部3、对象背景提取部4、差分提取部5 以及背景更新部6的功能。此外，通过从计算机100的控制部(未图示)向 驱动部12发送控制指令，控制平移镜121以及倾斜镜122的斜角度(平移角 度以及倾斜角度)，从而能够将视线对准追踪对象物200(即进行追踪)。进 而，在本装置中，通过传感器(未图示)取得平移镜121以及倾斜镜122的 实际的斜角度而返回给计算机100，并能够用于例如极坐标计算部2。

以下，参照图4的流程图，说明本例的背景差分提取方法。

(图4的步骤SA-1)

在本实施方式的背景差分提取方法中，首先，进行用于注册不包含对象 物的图像即背景图像的处理。参照图5详细说明背景图像注册处理的具体例。

(图5的步骤SB-1)

首先，通过照相机11，取得背景图像。这里，在本实施方式中，取得能 够通过照相机11取得的所有区域的背景的图像(在本说明书中称为“全背景 图像”)。即，在本实施方式中，由于能够通过驱动部12变更照相机11的视 线方向，因此与视线方向的最大可变范围对应地，取得可通过照相机11取得 的全背景图像。其中，无需一次性取得全背景图像，也可以对以预定的角度 拍摄的每个背景图像，进行之后的极坐标计算处理以及注册处理。当然，也 可以在取得了全背景图像后，进行之后的处理。此外，由于全背景图像只要 在预想到会用于以后的背景差分提取处理的角度范围(或者视线方向范围) 内取得即可，因此无需取得与所有的视线方向范围对应的背景图像。所取得 的背景图像的信息(像素信息以及图像上的像素位置信息)被送至坐标变换 部23。

(图5的步骤SB-2)

另一方面，平移镜121以及倾斜镜122的实际的斜角度(取得背景图像 时的斜角度)从驱动部12送至视线方向取得部21以及视点位置取得部22。 在视线方向取得部21以及视点位置取得部22中，利用平移镜121以及倾斜 镜122的斜角度的信息，算出视线方向以及视点位置。另外，在该计算中， 也可以代替平移镜121以及倾斜镜122的实际的斜角度而利用对它们的斜角 度的指示值。其中，通过利用实际的斜角度，能够期待提高跟踪精度。以下， 说明视线方向取得部21以及视点位置取得部22中的、利用了平移镜121以 及倾斜镜122的斜角度的信息的、视线方向以及视点位置的计算方法。

(视线方向以及视点位置的计算)

图6表示对于固定坐标系(又被称为世界坐标)的照相机11、平移镜121 以及倾斜镜122的位置关系。如前所示，通过平移镜121以及倾斜镜122能 够控制照相机11的视线方向。此外，通过瞳孔转移部13，将照相机11的瞳 孔位置以光学方式转移到这些镜子的中间。由此，既确保充分的视角，又能 够实现驱动部12的小型化，而且能够实现高速的视线方向控制。通过瞳孔转 移部13转移到平移镜121以及倾斜镜122之间的瞳孔，若从对象物看去，则 会看做在图6中标号p的位置(即根据平移镜121而成为瞳孔的镜像的位置)。 该位置光学上等价于照相机11的视点位置，因此在以下的说明中作为视点来 进行处理。此外，将以视点作为原点而将朝向对象物的视线方向设为z_c轴的 照相机坐标系定义为(x_c，y_c，z_c)(参照图6)。照相机坐标(x_c，y_c，z_c)与 固定坐标(X，Y，Z)之间的变换能够如以下式(1)表现。

在此，为了便于计算，将两个镜子121以及122的中心之间距离设为l_m， 将基于瞳孔转移部13的照相机11的瞳孔的转移目的地设为距离倾斜镜122 的光轴上距离成为l_m/2的位置(参照图6)。进而，由照相机11和平移/倾斜 镜121/122构成的平面(更具体来说，是经过照相机11的原来的视点位置与 两个镜子的中心点这三点的平面)与照相机坐标系上的z_c轴正交时的照相机 坐标与世界坐标一致。

在视线向平移/倾斜方向分别旋转了θ_c、时(此时的平移/倾斜镜旋转量 分别为θ_c/2、时)的、两个坐标系之间的变换以与所述式(1)同样的形 式表现。在此，R可利用基于平移镜以及倾斜镜的视线的旋转矩阵R_tR_p而记 为

R＝R_tR_p(2)。

在此，各旋转矩阵R_tR_p如以下所示。

$R_p=\left(\begin{array}{ccc}{\mathrm{cos\theta }}_c& 0& -{\mathrm{sin\theta }}_c\\ 0& 1& 0\\ {\mathrm{sin\theta }}_c& 0& {\mathrm{cos\theta }}_c\end{array}\right),R_t=\left(\begin{array}{ccc}1& 0& 0\\ 0& {\mathrm{cos\phi }}_c& -{\mathrm{sin\phi }}_c\\ 0& {\mathrm{sin\phi }}_c& {\mathrm{cos\phi }}_c\end{array}\right)$

此外，所述的视点位置p记为如下。

$p({\theta }_c,{\phi }_c)=\frac{l_m}{2}\left(\begin{array}{c}-\sin {\theta }_c(2-\cos {\phi }_c)\\ -\sin {\phi }_c\\ 1-{\mathrm{cos\theta }}_c(2-{\mathrm{cos\phi }}_c)\end{array}\right)---\left(3\right)$

从而，在视点位置取得部22中，利用该计算，根据平移镜121以及倾斜 镜122的斜角度的信息(即照相机的视线方向θ_c与)，能够算出视点位置。 即，如所述那样，在瞳孔转移部13中被转移的瞳孔的位置(视点位置)随着 平移角度或倾斜角度的变更而变动。另外，视线方向取得部21利用平移/倾 斜镜的旋转角度，能够简单地取得照相机11的视线方向(即，θ_c与)。

(图5的步骤SB-3)

接着，坐标变换部23利用照相机11的视线方向以及视点位置的信息(即 θ_c与)，将背景图像中的像素的位置信息变换为固定坐标系(X,Y,Z)中的 极坐标信息。以下，说明该变换步骤的一例。

(极坐标信息的计算)

作为前提，将照相机11的焦距设为f，将图像平面设为π。此外，如图7 (a)所示，考虑将视点移动中的平移分量假设为0的情况下的、以下的照相 机坐标系(以下称为“虚拟照相机坐标系”)。

将与该虚拟照相机坐标系对应的图像平面(可以称为虚拟照相机上的虚 拟图像)设为π’。将背景上的某一点设为P，将通过点P且与平面π以及π’ 平行的平面设为Π(参照图7(a))。

(图8的步骤SC-1～SC-2)

以下，参照图8的流程图说明极坐标的计算步骤。将点P被投影到平面 π上的点设为(u,v)，被投影到平面π’上的点设为(u’,v’)。其中，(u,v)以 及(u’,v’)的原点分别在z_c以及z’_c上取。若将L设为从视点p至平面Π为 止的距离，则可以想到|z’_c-z_c|相对于L充分小，因此能够根据图像π上的像素 位置(u,v)如下近似导出虚拟图像π’上的像素位置(u’,v’)。

(图8的步骤SC-3)

若利用如此计算出的点(u’,v’)，则XYZ固定坐标系中的点P的极坐标 显示角度可如下表示(图7(b))。

$\theta ={\theta }_c+{\tan }^{-1}\left(\frac{u^{\prime }}{f\cos \phi }\right),\phi ={\phi }_c+{\tan }^{-1}\left(\frac{v^{\prime }}{f}\right)---\left(6\right)$

据此，如果距离L是已知的，则利用式(5)以及(6)，将在任意视线上 获得的照相机图像中的像素位置(u,v)表示为极坐标角度以下，如 果L是已知的则没有问题，但是即使假设不是已知的，在预定条件下也无障 碍。以下，补充说明平移分量的处理。

(平移分量的处理)

在距离L充分大的情况下，在式(5)的右边第二项所示的平移分量小到 可忽略不计。即，在背景处于充分远处时，视点移动不会成为问题。具体来 说，如果距离L满足以下条件，则伴随平移的像素的偏移收敛于子像素单位。

$L>L_{threshold}=\frac{l_m}{4}\max [\frac{w}{\tan ({\gamma }_w/2)}\max ({x^{\prime }}_c-x_c),\frac{h}{\tan ({\gamma }_h/2)}\max ({y^{\prime }}_c-y_c)]---\left(7\right)$

其中，该式中，w、h表示图像的横/纵像素数目，γ_w和γ_h分别表示横/纵 方向的视角。

另一方面，在至背景的距离小到不能忽略平移的程度的情况下，为了设 距离L是已知来进行计算，能够利用弱透视投影(Weakperspectiveprojection) (参考文献：J.Aloimonos:“Perspectiveapproximations”,ImageandVision Computing,vol.8,no.3,pp.179.192(1990).)的假定。在弱透视投影下，所有 的物体被一次正投影到距离L的平面上。换言之，所有的物体被假定为在距 离L^—的平面上。此时，假定引起的误差成为子像素单位，因此实际的距离L 应满足的条件成为如下。

$\begin{array}{c}|\bar{L}-L|<\frac{\bar{L}L}{L_{threshold}}\\ \iff \frac{\bar{L}{L}_{threshold}}{L_{threshold}+\bar{L}}<L<\frac{\bar{L}{L}_{threshold}}{L_{threshold}-\bar{L}}\end{array}---\left(8\right)$

通过以上内容，针对背景图像的各像素，能够取得极坐标信息。能够对 所有的背景图像同样进行所述的处理，因此能够取得针对所有背景图像的极 坐标信息。

(图8的步骤SC-4)

接着，在本实施方式中，量化部24进行对在坐标变换部23获得的极坐 标信息进行量化的处理。这里，量化部24进行量化，使得照相机11的视线 方向从固定坐标系中的基准方向(本例中为Z轴方向)越偏离，就越增大作 为量化单位的角度范围。以下，说明量化处理的具体例。

(量化处理)

实际上，由于背景信息作为离散性的像素值来获得而非连续性的，因此 在极坐标上注册的数据中可产生密度上的偏差。即，即使极坐标上是相同角 度幅度，但根据平移角或倾斜角的大小，应承担的信息量(像素数)不同。 若将与一个像素对应的(u,v)的单位变化量设为Δu以及Δv，则与其相当的 的变化量根据式(6)如下求出。

$\begin{array}{c}\Delta \theta (u^{\prime },\phi )=\{{\tan }^{-1}\left(\frac{u^{\prime }+\Delta u}{f\cos \phi }\right)-{\tan }^{-1}\left(\frac{u^{\prime }}{f\cos \phi }\right)\}\\ \Delta \phi \left(v^{\prime }\right)=\{{\tan }^{-1}\left(\frac{v^{\prime }+\Delta v}{f}\right)-{\tan }^{-1}\left(\frac{v^{\prime }}{f}\right)\}\end{array}---\left(9\right)$

极坐标上的数据的密度分布希望是尽量均匀。若不均匀，则导致每个角 度范围所承担的信息量不同。此外，不均匀也表示在某角度范围无谓地保存 较多的信息量，因此存储器的利用效率变差。因此，能够将Δu以及Δv例如 以下那样定义。

$\begin{array}{c}\Delta \theta \left(\phi \right)\equiv \underset{u^{\prime }}{\max }\{\Delta \theta (u^{\prime },\phi )\mathrm{\}=}{\tan }^{-1}\left(\frac{\Delta u}{f\cos \phi }\right),\\ \Delta \phi \equiv \underset{v^{\prime }}{\max }\{\Delta \phi \left(v^{\prime }\right)\}={\tan }^{-1}\left(\frac{\Delta v}{f}\right)\}\end{array}---\left(10\right)$

基于这些定义，能够决定用于背景信息注册的量化角度(m、n是整数)。

在此，m、n能够认为是从基准方向(在所述的例子中为固定坐标系中的 Z方向)的偏离量。从而，视线从基准方向的偏离越大，量化角度越宽。图9 表示如所述那样量化的情况下的量化单位的示意图。若倾斜角增大，则每个 单位的平移角承担的像素量增多，因此如果将量化单位以一定宽度来描画， 则矩形的像素变换为“桶形”。另外，在所述的式子中，m、n还能够取负值。 此外，根据Δu、Δv的定义，在背景信息注册时，有可能不存在属于特定的 量化角度范围的数据，但此时，优选通过适当地插补数据，防止空数据的参 照。

(图5的步骤SB-4)

接着，记录部3记录背景图像中的像素的颜色信息与该像素的极坐标信 息之间的对应关系。在此，记录部3利用在量化部24中量化后的极坐标信息 作为像素的极坐标信息。

(图4的步骤SA-2)

接着，算出实际图像信息。参照图10的流程图说明实际图像信息计算的 步骤。

(图10的步骤SD-1)

首先，通过拍摄部1取得包含对象物的图像即实际图像。图像的取得方 法本身与背景图像的情况相同。只是在视线追踪对象物的情况下，期望在每 一次取得实际图像时进行以下的差分提取处理。

(图10的步骤SD-2)

另一方面，通过视线方向取得部21以及视点位置取得部22，取得照相 机11的视线方向以及视点位置。对此，也与背景图像的情况相同。

(图10的步骤SD-3)

接着，通过坐标变换部23，利用照相机11的视线方向以及视点位置的 信息，将实际图像中的像素的位置信息变换为固定坐标系中的极坐标信息。 该坐标变换处理也能够与所述的背景图像同样地进行。所获得的极坐标信息 被送至对象背景提取部4。

(图4的步骤SA-3)

接着，对象背景提取部4利用实际图像中的像素的极坐标信息，确定与 实际图像对应的角度区域中的背景图像作为对象背景。更具体来说，对象背 景提取部4基于实际图像的极坐标信息(实际是被量化的)，能够确定与实际 图像所拍摄的区域对应的区域中的背景图像。从而，对象背景提取部4将用 于确定与实际图像对应的范围的极坐标信息送至记录部3，能够指定或者取 得与该极坐标信息对应的对象背景的图像(即像素信息)。

(图4的步骤SA-4)

接着，差分提取部5通过比较实际图像与对象背景，提取它们之间的差 分。实际图像与对象背景成为实际空间(也可称为图7(a)中的平面Π)中 的相同区域的图像，因此通过比较他们的像素之间的信息(颜色信息)，能够 提取背景差分。

在此，在背景差分的提取中，有以图像平面上的像素位置作为基准的方 法(即在图像空间内进行的方法)、以及以极坐标上的像素位置作为基准的方 法(即在极坐标空间内进行的方法)。在以图像平面上的像素位置作为基准的 情况下，使用极坐标与图像平面上的像素位置之间的对应关系(该对应关系 在极坐标计算时算出)，以像素位置作为基准，能够在相同位置的像素之间进 行比较。另一方面，在以极坐标上的像素位置作为基准的情况下，只要在与 相同极坐标对应的像素之间进行比较即可。另外，如所述那样，在本实施方 式中，由于对极坐标信息进行了量化，因此进行每个被量化的极坐标的比较。 此外，在图像空间内进行提取的情况下，极坐标也被量化，因此结果上位置 信息被量化。

另外，在判定是背景还是对象物的情况下，可以想到与以像素单位进行 比较相比，考虑该像素的周边的像素信息而进行判断比较妥当。这基于如下 的理由：

预想由于照明的闪烁或照相机的噪声而导致像素值某种程度会变动；

预想由于实际的视线方向的抖动、量化时的舍入误差、或者各种机械误 差，在从全视野背景提取的背景图像与实际的背景之间产生部分偏差。

因此，例如在以极坐标作为基准进行判定的情况下，可以想到针对以与 对象的像素位置对应的极坐标作为中心的周边、即在(这里，|k|、|l|<2～3左右)注册的所有像素值，比较实际图像与背景图像， 从而判断是否为背景较妥当。在以图像上的坐标作为基准的情况下，算出与 这些极坐标对应的图像坐标，从而能够进行差分提取。另外，在本实施方式 中，除了所述的基于背景差分的对象提取，还能够进行利用了图像特征的对 象提取。即，根据基于背景差分的对象提取、以及利用了图像特征的对象提 取的与条件，能够更高精度地确定对象的位置。

(图4的步骤SA-5)

接着，差分提取部5将所获得的差分信息(即对象物的位置信息)送至 未图示的控制部。在控制部中，控制驱动部12，使得照相机11的视线方向 朝向对象物的位置。由此，能够利用照相机11追踪对象物。如果所述的各处 理充分快速，则能够将移动的对象物配置于照相机图像的大致中心。

(图4的步骤SA-6)

在差分提取部5中提取的差分以外的部分可被用作表示背景的信息(即 背景信息)。因此，本实施方式的差分提取部5将背景信息送至背景更新部6。 背景信息包含相当于背景的部分的位置信息(在本例中为被量化后的极坐标 信息)以及该位置中的像素的颜色信息。背景更新部6利用背景信息，能够 将记录部3中的背景像素信息根据极坐标信息来确定而更新。由此，能够将 背景信息更新为最新的，因此能够提高背景差分的提取精度。另外，无需在 每次提取背景差分时进行背景信息的更新，还能够每隔预定时间间隔来进行。 或者，还能够省略基于背景差分提取的背景信息的更新处理，例如，也可以 在每预定时间再次取得全背景信息而更新。

(图4的步骤SA-7)

接着，在通过照相机11取得了新的实际图像的情况下，返回步骤SA-2， 并重复所述的处理。否则结束处理。

根据本实施方式，在利用了视点移动的照相机的情况下，能够高速且更 高精度地进行背景差分提取。例如，在实时的球类比赛转播中，能够提供始 终追踪球本身的图像。例如，存在能够提供如始终将球置于中心的活动图像 (例如，在乒乓球中，犹如从球的背后始终观看周围那样的活动图像)那样 具有新的附加价值的图像的优点。此外，可以想到本实施方式的装置能够在 医疗或工厂自动化或机器人视觉等各种领域中应用。

(第二实施方式)

接着，主要参照图11，说明本发明的第二实施方式的背景差分提取装置。 在该第二实施方式的说明中，针对与所述的第一实施方式的背景差分提取装 置基本相同的结构要素，赋予相同的标号，从而避免说明的繁杂。

第二实施方式的装置与第一实施方式的装置的不同点在于，追加具有残 影(Blur)生成部7。残影生成部7是沿着视线方向移动的方向确定多张对象 背景，并合成所确定的多张对象背景，从而进行用于生成具有残影的合成对 象背景的处理的功能要素。此外，第二实施方式的差分提取部5被设为，通 过比较实际图像与合成对象背景而提取差分的结构。进而，在该第二实施方 式中，省略了背景更新部6，不进行依次的背景更新。从而，在记录部3中 记录着的背景图像成为在最初取得的全背景的图像(或者此后再次取得的全 背景的图像)。

运动残影(在本说明书中简单称为“残影”)是由于被摄体或者照相机本 身在曝光过程中移动而产生的图像的抖动。如果拍摄为追踪对象始终被拍摄 在图像内的固定位置中，则根据对象的移动速度，有时即使缩短曝光时间， 风景部分中还是会产生较大的抖动(即残影)。另一方面，在记录部3中记录 着的背景像素信息通常以静止状态为前提，因此在背景图像中不存在残影。 从而，存在若产生这样的抖动，则一般来说难以准确地提取背景差分的问题。 因此，可以想到通过图像处理使背景图像中也产生残影。但是，由于从以往 开始提出的利用了模糊核(Blurkernel)的残影去除(参考文献：P.Hansenand J.N.D.Oleary:“DeblurringImages:Matrices,Spectra,andFiltering”,SIAM Press(2006).)需要较大的计算量，因此不适合对实时系统引入。因此在本实 施方式中，利用已知照相机11的视线方向的条件，合成“包含了残影的背景 图像”，并进行背景差分。

以下，详细说明残影生成处理的具体例。

(残影生成处理)

从照相机获得的影像作为在曝光过程中入射到各光接收元件的光的总和 来获得。即，能够通过以下的式子来表现通过时刻t起Δt秒期间的曝光而获 得的图像I(t)。

$I\left(t\right)={\int }_t^{t+\Delta t}i\left({\theta }_c\right(t),{\phi }_c(t\left)\right)dt---\left(11\right)$

在此，i表示视线方向上的静止时的图像。其中，在系 统的实际安装中，i并非是连续性的而是离散地取得，因此将曝光过 程中的采样次数设为n，从而能够获得以下的I^作为估计值。

$\hat{I}\left(t\right)=\frac{1}{n}\underset{k=1}{\overset{n}{\Sigma }}i\left({\theta }_c\right[k],{\phi }_c[k\left]\right)---\left(12\right)$

在此，表示第k次采样时(时刻t+(k/n)Δt)的视线方向。 该处理相当于“沿着视线方向移动的方向确定多张对象背景，并通过合成所确 定的多张对象背景，生成具有残影的合成对象背景I^的处理”。如从以上的说 明可知，只要能够决定曝光过程中的各时刻的视线方向，就能够基于全视野 背景而合成包含了运动残影的背景图像。

若能够在背景图像中生成运动残影，则能够期待提高差分提取的精度。

另外，在所述的残影生成处理中，为了残影生成而合成的图像的张数基 本上能够根据视线的移动速度来决定。即，图像取得的采样间隔与照相机的 曝光时间Δt通常是固定的，但能够根据视线的移动速度来决定在固定的曝光 时间Δt内取得的图像中利用几张进行残影生成。例如，考虑在视线移动速度 低时，并不是利用Δt内的所有取得图像，而是剔除某种程度的图像而进行合 成。如此，能够根据视线移动速度，变更用于残影生成的图像张数。

第二实施方式的装置中的其他的结构以及优点与所述的第一实施方式相 同，因此省略更详细的说明。

另外，本发明的内容并不限定于所述各实施方式。本发明是可在权利要 求书中记载的范围内，对具体的结构实施各种变更的发明。

例如，所述的各结构要素只要作为功能模块存在即可，也可以不作为独 立的硬件来存在。此外，作为实际安装方法，可以利用硬件也可以利用计算 机软件。进而，可以通过多个功能要素的集合来实现本发明中的一个功能要 素，也可以通过一个功能要素来实现本发明中的多个功能要素。

此外，功能要素可以配置在物理上分开的位置。此时，功能要素之间也 可以通过网络来连接。还可以通过网格计算或云计算而实现功能，或者构成 功能要素。

进而，在所述的实施方式中，说明了利用所谓的扫视镜(Saccademirror) 将照相机的视点移动的例子，但并不限定于此，可以想到只要是视点可动的 照相机，都可以应用本发明。