场景变化检测装置以及场景变化检测方法

摘要

本发明提供一种场景变化检测装置以及场景变化检测方法，该场景变化检测装置(1)具有：运动矢量检测部(52)，其在由多个图像构成的图像序列的至少一部分图像内的多个位置上检测与其他图像之间的运动矢量；模式分类部(53)，其根据在图像内检测出的多个运动矢量，通过模式分类将图像分类为预定的动作模式；按分类图像变化检测部(54)，其按照每个模式分类来检测各模式分类内的图像间的图像变化；以及按分类场景变化检测部(55)，其根据各模式分类内的图像间的图像变化，按照每个模式分类来检测各模式分类内的场景变化。

说明书

技术领域

本发明涉及用于从多个图像所构成的图像序列中检测场景变化位置的场景变化检测装置以及场景变化检测方法。

背景技术

此前，曾提出过如下的方法：对连续拍摄的多个静态图像序列或者如动态图像那样连续的图像序列进行处理，从这些连续的图像序列中检测场景(scene)变化位置。例如，普遍公知的方法是：将相邻的图像间(帧间)的特征变化与预定的阈值进行比较，在特征变化超过阈值的情况下检测为场景变化位置(例如，参照日本特开平4-345382号公报)。即，在日本特开平4-345382号公报中，对分割成小块的每一块检测运动矢量，当大小超过阈值的运动矢量被检测出预定数量以上时，检测为场景变化位置。

但是，在日本特开平4-345382号公报的技术中，因为通过仅采用运动矢量大小的统一化处理来检测场景变化位置，所以存在场景变化位置的检测精度低这样的问题。

发明内容

根据本发明一个方式的场景变化检测装置，从由多个图像构成的图像序列中检测场景变化位置，其特征是该场景变化检测装置具有：运动矢量检测部，其在上述图像内的多个位置上检测与其他图像之间的运动矢量；模式分类部，其根据在上述图像内检测出的多个运动矢量，通过模式分类将上述图像分类为预定的运动模式；按分类图像变化检测部，其按照每个上述模式分类来检测各上述模式分类内的上述图像间的图像变化；以及按分类场景变化检测部，其根据各上述模式分类内的图像间的图像变化，按照每个上述模式分类来检测各上述模式分类内的场景变化。

另外，根据本发明另一方式的场景变化检测方法，从由多个图像构成的图像序列中检测场景变化位置，其特征是该方法包含以下的情况：在上述图像内的多个位置上检测与其他图像之间的运动矢量，根据在上述图像内检测出的多个运动矢量，通过模式分类将上述图像分类为预定的运动模式，按照每个上述模式分类来检测各上述模式分类内的上述图像间的图像变化，根据各上述模式分类内的图像间的图像变化，按照每个上述模式分类来检测各上述模式分类内的场景变化。

如果对照附图阅读以下的本发明的详细说明，则能够进一步理解以上所述的情况以及本发明的其他目的、特征、优点和技术上以及产业上的意义。

附图说明

图1是示出实施方式1的场景变化检测装置的功能结构例的框图。

图2是示出实施方式1的场景变化检测装置所进行的处理步骤的流程图。

图3是示出运动模式按模式分类为“平行移动”的图像内的运动矢量组的图。

图4是示出运动模式按模式分类为“远离拍摄对象的动作”的运动矢量组的图。

图5是示出运动模式按模式分类为“接近拍摄对象的动作”的运动矢量组的图。

图6是示出运动模式按模式分类为“平行移动”且拍摄顺序相邻的四张图像的一例的示意图。

图7是示出运动模式按模式分类为“远离拍摄对象的动作”且拍摄顺序相邻的四张图像的一例的示意图。

图8是示出运动模式按模式分类为“接近拍摄对象的动作”且拍摄顺序相邻的四张图像的一例的示意图。

图9是表示检测出场景变化图像的图像序列的一例的示意图。

图10是示出实施方式2的场景变化检测装置所进行的处理步骤的流程图。

图11是示出适用了实施方式的计算机系统的结构的系统结构图。

图12是示出图11的计算机系统中的主体部结构的框图。

图13是示意性地示出具有场景变化检测装置的胶囊型内窥镜系统的结构图。

具体实施方式

以下，参照附图详细说明本发明的优选实施方式。此外，本发明并不被该实施方式限定。另外，在附图的记载中对同一部分标注同一符号。

图1是示出实施方式1的场景变化检测装置1的功能结构例的框图。在实施方式1中，场景变化检测装置1由输入部2、显示部3、存储部4和处理部5构成，该处理部5具有控制装置各部分的控制功能以及进行各种运算处理的运算功能。

输入部2是通过键盘、鼠标、触摸面板及各种开关等各种输入装置来实现的，其向处理部5输出与操作输入对应的输入信号。显示部3是通过LCD、EL显示器及CRT显示器等显示装置来实现的，其根据从处理部5输入的显示信号来显示各种画面。

存储部4是通过能更新存储的闪速存储器等ROM或RAM这样的各种IC存储器、内置或者用数据通信端子连接的硬盘、CD-ROM等信息存储介质以及其读取装置等来实现的。该存储部4存储有程序以及在该程序的执行中使用的数据等，该程序用于使场景变化检测装置1动作，并实现该场景变化检测装置1所具有的各种功能。例如，存储有由连续拍摄的多个图像构成的图像序列的数据(图像信息)。另外，还存储有用于从构成图像序列的图像中检测场景发生变化的场景变化位置的场景变化检测程序41。

处理部5是通过CPU等硬件来实现的。该处理部5根据从输入部2输入的操作信号及存储在存储部4内的数据等，向构成场景变化检测装置1的各部分转发指示和数据等，并统一控制场景变化检测装置1整体的动作。该处理部5包含：图像读入部51、运动矢量检测部52、作为模式分类部的运动矢量分类处理部53、按分类图像变化检测部54、按分类场景变化检测部55和作为场景变化位置检测部的全部场景变化检测部56。

图像读入部51读入存储在存储部4内的图像序列的数据(图像信息)。运动矢量检测部52在构成图像序列的图像之间使各图像中反映的同一区域相对应，并检测表示该位置变化的多个矢量数据(运动矢量)。运动矢量分类处理部53根据检测出的多个运动矢量，对构成图像序列的各图像的动作进行模式分类。按分类图像变化检测部54采用模式分类的结果来检测构成图像序列的各图像间的图像变化。具体地说，对每个基于各运动模式的模式分类预先定义图像变化量的计算处理(按分类的图像变化检测处理)。然后，按分类图像变化检测部54针对作为处理对象的图像，应用与其运动模式相对应的按分类图像变化检测处理，由此例如在与拍摄顺序相邻的其他图像之间计算图像变化量，将计算出的图像变化量作为各模式分类内的图像间的图像变化来进行检测。按分类场景变化检测部55根据各模式分类内的图像间的图像变化，对每个模式分类检测各模式分类内的场景变化。具体地说，对每个基于各运动模式的模式分类预先设定加权信息以及检测条件。并且，按分类场景变化检测部55在各图像的图像变化量中综合了与其运动模式对应的加权信息之后，对每个模式分类进行提取场景变化图像的处理，并作为各模式分类内的场景变化来进行检测，该场景变化图像满足与该运动模式对应的检测条件。全部场景变化检测部56生成由已提取的场景变化图像构成的场景变化图像序列。生成的场景变化图像序列例如在显示部3上按照拍摄顺序进行显示。

图2是实施方式1的场景变化检测装置1所进行的处理步骤的流程图。另外，通过处理部5读出存储在存储部4内的场景变化检测程序41后执行该程序，来实现这里所说明的处理。

首先，图像读入部51取得存储在存储部4内的图像序列的图像信息(步骤a1)。

接着，运动矢量检测部52将构成图像序列的各图像依次作为处理对象来进行运动矢量的检测(步骤a3)。运动矢量的计算可通过应用模板匹配方法或光流计算方法等公知方法来实现，不过，这里仅对例如进行模板匹配来计算运动矢量的情况进行说明。

即，首先，在处理对象图像和拍摄顺序相邻的图像内的预定位置上设定预定数量的搜索对象区域。设定搜索对象区域的设定位置以及数量可适当地进行设定。这里，关于搜索对象区域的设定，例如可将图像分割为格子状且设定成均等。或者，从图像中搜索具有预先确定的预定特征的特征区域，并将搜索到的特征区域作为搜索对象区域。具体地说，可通过搜索像素值的分散大的区域或提取边缘而获得的边缘强度强的区域，来设定搜索对象区域。然后，进行将各搜索对象区域依次作为模板的模板匹配，从处理对象图像中搜索与各模板最匹配的(相关值高)的区域。该模板匹配的结果是，从处理对象图像中搜索与搜索对象区域最相似的区域，并获得其相关值。并且，检测各搜索对象区域和对该搜索对象区域进行了搜索的区域的中心坐标的变化，分别作为运动矢量，并形成为处理对象图像内的运动矢量组。另外，此时，运动矢量检测部52计算所检测到的运动矢量的可靠度。例如，当搜索的结果是没有发现匹配区域时，针对所获得的相关值低的运动矢量，将其可靠度设定得较低，如果所获得的相关值高则将其可靠度设定得较高。

接着，运动矢量分类处理部53将构成图像序列的各图像依次作为处理对象，并根据检测出的运动矢量组对各图像的动作进行模式分类(步骤a5)。具体地说，运动矢量分类处理部53根据检测出的运动矢量组的取向特性来估计视野的动作，由此判定图像的运动模式，并进行模式分类。在本实施方式中，将各图像分类为“平行移动”、“远离拍摄对象的动作”、“接近拍摄对象的动作”这三个运动模式中的任意一个。

图3是示出运动模式按模式分类为“平行移动”的图像内的运动矢量组的图。如图3所示，在处理对象的图像内检测出的各运动矢量V11大致朝着同一方向，在大小也大致相等的情况下，可估计为该图像的视野在与拍摄顺序相邻的其他图像之间横向滑动(平行移动)。在这样的情况下，将图像的运动模式分类为“平行移动”。作为具体的处理步骤，例如判定各运动矢量的方向。然后，在各运动矢量的方向大致朝着相同的方向的情况下，计算运动矢量的方向的分散值。并且，对计算出的分散值进行阈值处理，当小于预先设定的阈值时，将该图像的运动模式分类为“平行移动”。

图4是示出运动模式按模式分类为“远离拍摄对象的动作”的图像内的运动矢量组的图。如图4所示，当在处理对象的图像内所检测出的各运动矢量V13取向为朝着图像内的某一点(中心)汇集时，可估计为该图像的视野以该视野范围内的拍摄对象与拍摄顺序相邻的其他图像之间相远离的方式移动。这里，在视野范围这样运动的情况下，如图4所示，各运动矢量的大小随着接近中心而变小。在这样的情况下，将图像的运动模式分类为“远离拍摄对象的动作”。作为具体的处理步骤，例如在各运动矢量的终点汇集于一点时，将该图像的运动模式分类为“远离拍摄对象的动作”。

图5是示出运动模式按模式分类为“接近拍摄对象的动作”的图像内的运动矢量组的图。如图5所示，当在处理对象的图像内检测出的各运动矢量V15取向为从图像内的某一点(中心)放射状地发散时，可估计为该图像的视野以该视野范围内的拍摄对象与拍摄顺序相邻的其他图像之间相接近的方式移动。这里，在视野范围这样运动的情况下，如图5所示，各运动矢量的大小随着接近中心而变大。在这样的情况下，将图像的运动模式分类为“接近拍摄对象的动作”。作为具体的处理步骤，例如在各运动矢量的起始点汇集于一点的情况下，将该图像的运动模式分类为“接近拍摄对象的动作”。

此外，模式分类的方法不限于此，可进一步进行更细的分类。例如，可将分类为“平行移动”的图像根据其平行移动的方向进一步进行分类。另外，可将分类为“远离拍摄对象的动作”或“接近拍摄对象的动作”的图像根据其中心位置进一步进行分类。此外，还可以分类为除了例示的“平行移动”、“远离拍摄对象的动作”、“接近拍摄对象的动作”以外的运动模式，各运动模式的模式分类条件可预先任意地定义。

接着，如图2所示，将各运动模式的模式分类依次作为处理对象，针对属于各模式分类的每个图像进行循环A的处理(步骤a7～步骤a13)。以下，在循环A内的处理中，将处理对象的模式分类称为“对象分类”。

在循环A中，首先，按分类图像变化检测部54使用与对象分类相应的按分类图像变化检测处理，例如在该图像与拍摄顺序相邻的其他图像之间计算图像变化量，并作为对象分类内的图像间的图像变化而进行检测(步骤a9)。

这里，说明针对每个模式分类进行定义的按分类图像变化检测处理。在能够正确检测出运动矢量的情况下，该运动矢量的大小成为表示图像间的图像变化的指标。另一方面，图像内的各运动矢量大小的倾向根据运动模式而不同。因此，采用各运动矢量的大小，按照对每个模式分类所确定的各运动矢量各自的大小的倾向，对每个模式分类预先定义计算图像变化量的按分类图像变化检测处理。更具体地说，例如采用基于各运动矢量大小的参数值，来定义计算图像变化量的按分类图像变化检测处理。

例如，运动模式为“平行移动”的图像的运动矢量组如上所述，分别朝向大致相同的方向，大小也大致相等。因此，作为“平行移动”的按分类图像变化检测处理而预先定义了这样的处理，即：将该图像内的运动矢量大小的平均值作为图像变化量来计算的处理。

另外，如上所述，对于运动模式为“远离拍摄对象的动作”或“接近拍摄对象的动作”的图像运动矢量组，其大小根据离中心的距离而变化。因此，作为“远离拍摄对象的动作”或“接近拍摄对象的动作”的按分类图像变化检测处理而预先定义了这样的处理，即：将该图像内的运动矢量大小的中间值或最大值、最小值作为图像变化量来计算的处理。此外，还可以预先定义这样的处理，即：将运动矢量大小的平均值作为图像变化量来计算的处理。

此外，对每个模式分类预先定义的按分类图像变化检测处理不限于采用如上所述的基于运动矢量大小的一个参数值的处理。例如，也可以为如下的处理，即：采用基于运动矢量大小的多个参数值，合并这些值来计算图像变化量。此外，不仅采用基于运动矢量大小的参数值，还可以采用基于运动矢量方向的参数值等。例如，可以将如下这样的处理定义成按分类图像变化检测处理，即，该处理为：适当组合各运动矢量大小的平均值或中间值、最大值、最小值、分散值、各运动矢量方向的分散值、各运动矢量的可靠度等各值，合并这些值后计算图像变化量。

或者，可将各运动矢量的可靠度用作基于运动模式的参数值，并加入该值来计算图像变化量，从而能够实现可靠性更高的图像变化的检测。具体地说，针对各运动矢量的大小或方向，进行采用了其可靠度的加权。例如，根据运动矢量的大小来计算带有加权的平均值或带有加权的中间值、带有加权的最大值、带有加权的最小值等值，或者根据运动矢量的方向来计算带有加权的分散值等值，来计算图像变化量。

接着，按分类场景变化检测部55根据所检测的对象分类内的图像间的图像变化，检测对象分类内的场景变化(步骤a11)。具体地说，按分类场景变化检测部55首先在被分类为对象分类的各图像的图像变化量中合并分别针对对象分类而预先设定的加权信息。

这里，加权信息是例如针对各模式分类而分别设定的加权系数，与针对“远离拍摄对象的动作”、“接近拍摄对象的动作”设定的加权系数相比，较大地设定针对“平行移动”设定的加权系数。这是基于如下情况：当比较各运动模式时，“平行移动”与“远离拍摄对象的动作”、“接近拍摄对象的动作”相比，其视野内的拍摄对象脱离视野的速度快，相邻图像间的拍摄对象在视觉上的变化小。

图6是示出运动模式按模式分类为“平行移动”且拍摄顺序相邻的四张图像(a)～(d)的一例的示意图，该图6示出图像中反映的拍摄对象O11在图像间的视觉上的变化。另外，在各图像上示出在该图像内检测出的运动矢量组。并且，图7是运动模式按模式分类为“远离拍摄对象的动作”且拍摄顺序相邻的四张图像(a)～(d)的一例的示意图，该图7示出图像中反映的拍摄对象O13在图像间的视觉上的变化。另外，在各图像中示出在该图像内检测出的运动矢量组。此外，图8示出运动模式按模式分类为“接近拍摄对象的动作”且拍摄顺序相邻的四张图像(a)～(d)的一例的示意图，该图8示出图像中反映的拍摄对象O15在图像间的视觉上的变化。另外，在各图像上示出在该图像内检测出的运动矢量组。

如图6～图8所示，在视野进行“平行移动”动作的情况和进行“远离拍摄对象的动作”或“接近拍摄对象的动作”的情况下，即使在运动矢量大小大致相等时，各图像中反映的拍摄对象的视觉上的变化也不同，拍摄对象从视野中消失的速度也不同。例如，在图6所示的视野进行“平行移动”动作时的拍摄对象O11的视觉上的变化，与图7所示的进行“远离拍摄对象的动作”时的拍摄对象O13的视觉上的变化、或进行图8所示的“接近拍摄对象的动作”时的拍摄对象O15的视觉上的变化相比要快，拍摄对象O11从视野中消失的速度也快。

即，在图6所示的“平行移动”的例子中，在第三张(c)中拍摄对象O11的一部分从视野中消失，在第四张(d)中完全从视野中消失。与此相对，在图7所示的“远离拍摄对象的动作”的例子中，相比于图6的情况，无论运动矢量的大小是否大致相同，拍摄对象O13都反映于第四张(d)的图像中，并没有从视野消失。因此，即使在被分类为“平行移动”的图像的图像变化量和被分类为“远离拍摄对象的动作”或“接近拍摄对象的动作”的图像的图像变化量相同的情况下，“平行移动”一方的拍摄对象的动作也较大。图8的情况也是同样，与“远离拍摄对象的动作”、“接近拍摄对象的动作”相比，“平行移动”的重要度高。

因此，在实施方式1中，相对于“远离拍摄对象的动作”、“接近拍摄对象的动作”的加权系数，将“平行移动”的加权系数设定得较大。并且，将该加权系数与图像变化量合并。由此，能够实现根据每个模式分类的拍摄对象在视觉上的变化量的不同来检测加入了重要度的图像变化。另外，在图像变化量中合并与该图像的模式分类相对应的加权信息，由此各模式分类的顺序不仅依据运动模式来决定，还要根据加权系数来综合性决定，所以能够实现在模式分类之间赋予更适当的顺序。

具体地说，按分类场景变化检测部55根据下式(1)来计算合并加权信息后的图像变化量，并作为图像间的图像变化而进行检测。这里，ImgMov(j)表示针对图像序列的第j个图像计算出的图像变化量，W_ImgMov(k)表示在第k模式分类中作为加权信息而设定的加权系数。

ImgMov(j)′＝W_ImgMov(k)ImgMov(j)            (1)

并且，按分类场景变化检测部55提取出合并加权信息后的图像变化量满足预先针对对象分类设定的场景变化检测条件的图像(场景变化图像)，并作为对象分类内的场景变化来进行检测。这里，检测条件例如针对每个模式分类定义了各个阈值。按分类场景变化检测部55采用针对对象分类而定义的阈值，对分类为对象分类的各图像的图像变化量进行阈值处理，将图像变化量大于该阈值的图像作为场景变化图像来提取。关于阈值，例如根据上述模式分类的重要度，将重要度低的模式分类的阈值设定得比重要度高的模式分类的阈值大。

此外，这里说明了预先定义每个模式分类的阈值来作为检测条件、并采用该阈值对图像变化量进行阈值处理的情况，但不限于此。例如，可定义每个模式分类的场景变化数量来作为检测条件。关于场景变化数量，例如根据模式分类的重要度，将重要度低的模式分类的场景变化数量设定得比重要度高的模式分类的场景变化数量大。并且，按分类场景变化检测部55可在分类为对象分类的图像中，从图像变化量大的图像开始依次提取该场景变化数量的图像作为场景变化图像，并作为场景变化而检测出。

在对全部运动模式的模式分类执行了循环A的处理后，接着全部场景变化检测部56针对每个模式分类，根据在步骤a11中检测出的场景变化图像来生成场景变化图像序列，并检测作为整个图像序列的场景变化位置(步骤a15)。

图9是表示检测出场景变化图像的图像序列的一例的示意图。如以上处理过的图像序列如图9所示，将场景变化图像作为场景变化来分割成多次拍摄。并且，当实际在显示部3上进行显示时，依次显示拍摄最初的场景变化图像。在该显示中，不显示图像间的图像变化小的图像。即，省略对相似度大的图像的显示。因此，能够实现构成图像序列的图像的高效率显示。

另外，根据实施方式1，可对每个模式分类检测图像间的图像变化，该模式分类是预先以运动模式对图像序列的各个图像进行分类的。更具体地说，可对每个模式分类预先定义按分类图像变化检测处理，使用与该模式分类相应的按分类图像变化检测处理，可对每个模式分类检测图像间的图像变化。然后，可根据各模式分类内的图像间的图像变化，将各模式分类内的场景变化按每个模式分类来进行检测。具体地说，在针对各图像计算出的图像变化量中综合了与该模式分类相对应的加权信息的基础上，根据与该模式分类相对应的检测条件来提取场景变化检测图像，由此能够检测各模式分类内的场景变化。因此，能够检测与模式分类对应的图像间的图像变化，此外，还能够检测与模式分类对应的场景变化。由此，无需增加检测场景变化所需的处理时间，就能够对每个模式分类适当地检测图像序列内的场景变化位置，从而起到检测精度得以提高这样的效果。

此外，在“平行移动”和“远离拍摄对象的动作”或“接近拍摄对象的动作”中，即使外观上运动矢量的大小相同，但实际的动作量也很可能不同。根据实施方式1，通过使用在运动矢量的每个模式分类中都不同的加权信息或检测条件，能够检测精度高的场景变化。

此外，在上述说明中，根据在拍摄顺序相邻的图像间检测出的运动矢量来检测图像间的图像变化，但不限于此。例如，可采用当前普遍公知的图像间的相关或SSD(像素差的平方和)、SAD(像素差的绝对值和)等图像特征来检测图像间的图像变化。

另外，运动矢量的检测不特别限定于相邻的两张图像间的处理。例如，可计算出两张以上的图像间的图像特征，采用基于这些的组合的统计运算来检测图像间的图像变化。例如，针对多张相邻的各图像，分别计算与相邻的其他图像之间的运动矢量或标准的相互相关、SSD、SAD等图像特征。并且，可以根据各值的平均值来检测图像间的图像变化。

另外，在连续的图像序列中，有时相似的图像相邻。在这样的情况下，还可以针对相邻的多个图像应用就某一张图像进行的处理结果。作为用于决定适用本方法的图像张数的方法，简易地说，可以是预先决定特定张数的方法。另外，图像间的相似度可通过与预定阈值之间的比较来进行判定，并适当地决定。由此，不需要处理构成图像序列的全部图像，能够实现处理时间的缩短。

接着，对实施方式2进行说明。在实施方式1中，分类为构成图像序列的各图像“平行移动”、“远离拍摄对象的动作”、“接近拍摄对象的动作”各运动模式，并对每个模式分类检测图像间的图像变化及场景变化。但是，实际的图像在图像之间场景完全改变，从而包含无法分类为“平行移动”、“远离拍摄对象的动作”、“接近拍摄对象的动作”等运动模式的图像。在实施方式2中，将这样的图像分类成新的分类(以下，称为“场景改变”。)，并针对这些图像，适用与实施方式1所说明的基于运动矢量的图像间的图像变化的检测处理不同的处理。

图10是表示实施方式2的场景变化检测装置进行的处理步骤的流程图。此外，在图10中，对与实施方式1同样的处理工序标注同一符号。

如图10所示，在执行了循环A的处理之后，运动矢量分类处理部53判断有没有未被分类为“平行移动”、“远离拍摄对象的动作”或“接近拍摄对象的动作”中的任意一类的图像。这里，所谓没有被分类为运动模式的图像例如是这样的图像，即：在计算运动矢量时从该图像内作为与搜索对象区域对应的区域而被搜索出的区域数量少的情况下、或获得的运动矢量的方向没有统一性的情况下等的被认为检测结果的可靠性低的图像。并且，这样的图像可被估计为图像间的图像变化大、场景完全变化的图像。如果不存在未被分类为运动模式的图像(步骤b14：否)，则转移至步骤a15。然后，在步骤a11中，全部场景变化检测部56根据对每个模式分类检测出的场景变化图像来生成场景变化图像序列，并检测整个图像序列的场景变化。

另一方面，运动矢量分类处理部53在具有未被分类为运动模式的图像的情况下(步骤b14：是)，将未被分类为该运动模式的图像分类为场景改变。并且，按分类图像变化检测部54采用与基于运动矢量的图像变化检测方法不同的方法，来检测该场景改变的分类内的图像间的图像变化(步骤b17)。具体地说，采用图像间的相关或SSD、SAD等图像特征来检测图像间的图像变化。

接着，与步骤a11同样地，按分类场景变化检测部55检测场景改变的分类内的场景变化(步骤b19)。具体地说，预先设定关于场景改变的加权信息以及检测条件。并且，按分类场景变化检测部55首先在被分类为场景改变的各图像的图像变化量中分别合并了场景改变的加权信息，然后对每个模式分类进行提取场景变化图像的处理，并作为各模式分类内的场景变化来进行检测，该场景变化图像满足针对场景改变而设定的检测条件。例如，如上所述，因为场景改变的图像是被估计为图像间的图像变化大的图像，所以作为加权信息，预先设定比“平行移动”、“远离拍摄对象的动作”、“接近拍摄对象的动作”大的加权系数。另外，当作为检测条件预先定义了阈值时，将阈值的值预先设定为小于针对“平行移动”、“远离拍摄对象的动作”、“接近拍摄对象的动作”设定的阈值。当作为检测条件预先定义了场景变化数量时，则预先设定比针对“平行移动”、“远离拍摄对象的动作”、“接近拍摄对象的动作”设定的场景变化数量大的值。

然后，全部场景变化检测部56根据对每个模式分类在步骤a11中检测出的场景变化图像和在步骤b19中针对场景改变的分类而检测出的场景变化图像来生成场景变化图像序列，并检测全部图像序列的场景变化(步骤b21)。此时，如上所述，可认为：对于进行了模式分类的图像的图像变化，能正确地检测出运动矢量，且与未进行模式分类的图像相比，图像变化小。因此，还能够调整为进行了模式分类的图像的图像变化的最大值与不能进行模式分类的图像组的图像变化的最小值的边界连续。

该实施方式2能够起到与实施方式1同样的效果，并且针对没有被分类为任意运动模式的场景改变的图像，可采用与使用运动矢量的图像变化检测方法不同的方法来检测图像间的图像变化，并根据所检测出的图像间的图像变化来检测场景变化。由此，即使在图像序列中含有无法进行模式分类的图像的情况下，也能够适当求出该图像间的图像变化。从而，能够进一步适当地检测图像序列内的场景变化位置，能够进一步提高检测精度。

此外，关于上述实施方式1、2的场景变化检测装置，可通过个人计算机或工作站等的计算机系统执行已预先准备的程序来实现。以下，说明具有与各实施方式1、2所说明的场景变化检测装置同样的功能、并执行场景变化检测程序的计算机系统。

图11是示出适用了实施方式的计算机系统20的结构的系统结构图，图12是示出该计算机系统20中的主体部210的结构的框图。如图11所示，计算机系统20具备主体部210和显示器220，该显示器220用于根据来自主体部210的指示，在显示画面221上显示图像等信息。另外，计算机系统20还具备用于向该计算机系统20输入各种信息的键盘230和用于指定显示器220的显示画面221上的任意位置的鼠标240。

另外，该计算机系统20中的主体部210如图12所示，具备：CPU 211、RAM 212、ROM 213、硬盘驱动器(HDD)214、可装入CD-ROM 260的CD-ROM驱动器215、可装卸连接USB存储器270的USB端口216、与显示器220、键盘230以及鼠标240连接的I/O接口217以及用于与局域网或广域网(LAN/WAN)N1连接的LAN接口218。

此外，该计算机系统20连接有用于与互联网等公共线路N3连接的调制解调器250，并且经由LAN接口218以及局域网或广域网N1，连接其他计算机系统即个人计算机(PC)281、服务器282、打印机283等。

另外，该计算机系统20通过读出在预定的存储介质中存储的场景变化检测程序并执行该程序，来实现场景变化检测装置。这里，所谓预定的存储介质，除了CD-ROM 260及USB存储器270之外，还包括MO盘、DVD盘、软盘(FD)、磁盘、包含IC卡等的“可移动物理介质”、计算机系统20的主体内所具备的HDD 214、RAM 212及ROM 213等“固定用物理介质”、经由调制解调器250连接的公共线路N3及连接其他计算机系统(PC)281或服务器282的局域网或广域网N1等那样在程序发送时短期保存程序的“通信介质”等、和存储可通过计算机系统20读取的场景变化检测程序的所谓存储介质。

即，场景变化检测程序以可通过计算机读取的方式存储在“可移动的物理介质”、“固定用的物理介质”、“通信介质”等存储介质中，计算机系统20通过从这样的存储介质中读出场景变化检测程序并执行该程序，来实现场景变化检测装置。此外，场景变化检测程序不仅限于通过计算机系统20来执行。在其他计算机系统(PC)281或服务器282执行场景变化检测程序的情况、或者它们联动地执行场景变化检测程序的情况下，也同样能够适用本发明。

然后，上述实施方式1、2的场景变化检测装置可适合应用于例如胶囊型内窥镜系统。图13是示意性地示出作为工作站及个人计算机等通用计算机具备适用实施方式1或实施方式2的场景变化检测装置39的胶囊型内窥镜系统的结构图。如图13所示，胶囊型内窥镜系统除了场景变化检测装置39之外，还具备对被检体31内部的图像(以下，称为“体腔内图像”。)进行拍摄的胶囊型内窥镜33以及接收从胶囊型内窥镜33无线发送的体腔内图像的接收装置35等。在接收装置35与场景变化检测装置39之间的图像数据的交接中，例如使用可移动的记录介质(可移动型记录介质)37，该记录介质相当于图1的存储部4。

胶囊型内窥镜33具备拍摄功能及无线功能等，其通过从被检体31的口中吞入来导入被检体31内部。并且，胶囊型内窥镜33在排出体外之前的期间，利用蠕动运动等在体腔内移动，并且大致每0.5秒就拍摄约60000张图像，并将所拍摄的体腔内图像无线发送到体外。

接收装置35具备接收用天线A1～An，该接收用天线A1～An分散配置在被检体31内的与胶囊型内窥镜33的通过路径对应的体表位置上。并且，接收装置35经由各接收用天线A1～An接收从胶囊型内窥镜33无线发送的图像数据。该接收装置35构成为能自由拆装可移动型记录介质37，并将所接收的图像数据依次保存在可移动型记录介质37内。这样，胶囊型内窥镜33所拍摄的被检体31内部的体腔内图像通过接收装置35按照拍摄顺序存储在可移动型记录介质37内，并保存为图像序列。

并且，场景变化检测装置39构成为能自由拆装可移动型记录介质37，并处理由接收装置35接收并保存在可移动型记录介质37内的体腔内图像的图像序列，将该图像序列按照拍摄顺序依次显示在LCD及ELD等显示器上。这里，场景变化检测装置39与实施方式1、2的场景变化检测装置同样，从体腔内图像的图像序列中检测场景变化位置，并生成场景变化图像序列。

这里，体腔内的胶囊型内窥镜33的移动速度不是恒定的，所拍摄的图像的时间序列变化是多样的。因此，在处理对象的体腔内图像的图像序列中，可发生相似的图像连续这样的情况。另一方面，当显示全部由胶囊型内窥镜33所拍摄的多张体腔内图像时，医师等观察者为了观察达到约60000张左右的膨大数量的图像，必须花费大量的时间，负担较重。因此，通过处理各体腔内图像来检测图像序列中的场景变化位置并生成场景变化图像序列，由此能够减少显示相似图像这样的冗长度，能够高效地观察图像序列中概略的全部图像。因此，在减轻观察者负担这样的观点上是有效的。

根据该胶囊型内窥镜系统，可以从胶囊型内窥镜33所拍摄的大量张数的体腔内图像的图像序列中适当检测场景变化位置，所以能够提高观察者的观察效率，能够实现高效的诊断辅助。尤其在胶囊型内窥镜33所拍摄的体腔内图像中，含有较多无法分类为运动模式的图像。因此，如实施方式2所说明的那样，针对无法进行模式分类的图像来检测图像间的图像变化是重要的，通过在该胶囊型内窥镜系统中应用实施方式2的场景检测装置，可以更加适当地检测场景变化位置。

此外，除了处理胶囊型内窥镜所拍摄的体腔内图像的图像序列的情况之外，还可以适当应用于从场景变化的某图像序列中检测场景变化位置、并显示场景变化大的图像的情况。

根据本发明，可将各模式分类内的图像间的图像变化按照每个模式分类进行检测，并根据该图像间的图像变化，将各模式分类内的场景变化按照每个模式分类来检测。因此，可根据模式分类来适当地检测图像序列内的场景变化位置，从而达到检测精度提高的效果。