信号检测方法、信号检测系统、信号检测处理程序及记录该程序的记录介质

摘要

本发明的信号检测系统具备：目标信号特征量计算部，由目标信号导出特征量序列；存储信号特征量计算部，由存储信号导出特征量序列；目标信号柱状图计算部，在目标信号的特征量序列中求出特征量的柱状图；存储信号柱状图序列计算部，在存储信号的特征量序列中，通过计算特征量的柱状图得到柱状图序列；存储信号柱状图分组化部，将类似度满足基准的柱状图序列进行分组；存储信号柱状图组选择部，从柱状图组中选择包含输出部分的柱状图组；存储信号核对部，针对柱状图组的柱状图进行核对，得到类似度值；核对结果输出部，根据类似度值，输出核对部分作为检测结果。

说明书

技术领域

本发明涉及从被存储的信号序列中搜寻并检测预定的信号或与其部分类似的信号的信号检测方法，例如可适用于声音信号检测。

本专利申请，基于2004年7月15日申请的特愿2004-209088号，主张优先权，并在此引用其内容。

背景技术

以往，关于信号检测方法已知的是以在存储信号中检测与目标信号类似的部分为目的的信号检索方法(例如、参考专利文献1的《高速信号搜寻方法、装置及其记录介质》)。

但是，在该专利文献1的方法中，因为只是使用了局部的去枝(对应该进行核对部分的候选不是进行核对而是进行排除的方式称为去枝)，所以在以庞大的存储信号为处理对象时，有检索所需时间长的缺点。

此外，关于其他的信号检测方法已知的还有为了对特征向量间的类似度进行检测，使用了L2距离作为欧几里得距离的基于全局性去枝的信号检测方法(例如、参考专利文献2的《信号检测方法、信号检测装置、记录介质及程序》)。

这里，L2距离d2通常通过如下所示的算式(1)等进行定义。在算式(1)中，特征向量设为X、Y时，则X＝(x₁，…，x_N)，Y＝(y₁，…，y_N)。

“算式1”

但是，在该专利文献2的方法中，将L1距离基准用于全局性去枝的方法并非显而易见，因此有与L2距离相比较不能进行仅基于更多高精度场合的L1距离的搜寻的缺点。

这里，后续还将进行详细说明，在本发明中所使用的L1距离d1是在上述特征向量中基于Xi与Yi的差的1次幂的距离，通过以下算式(2)进行定义。

“算式2”

专利文献1：特开2000-312343号公报

专利文献2：专利第3574075号

发明内容

发明所要解决的课题

本发明是鉴于这样的现状，为了解决现有技术的缺点而做出的发明，并以提供保证与上述现有技术的专利文献1的方法具有同等的搜索精度，并且与这些现有技术相比较是更加高速的信号检测的处理方式为目的。

用于解决课题的方法

为了达到上述目的，本发明的信号检测系统从被存储的存储信号中检测与目标信号相类似的信号，其具备：目标信号特征量计算部，由目标信号导出特征量序列；存储信号特征量计算部，由存储信号导出特征量序列；目标信号柱状图计算部，在由上述目标信号特征量计算部导出的特征量序列中，设定预定的观察窗，并计算该观察窗内的特征量的柱状图；存储信号柱状图序列计算部，在由上述存储信号特征量计算部导出的特征量序列中，对与该观察窗对应的大小的各部分顺序设定预定的观察窗，并通过计算该观察窗内的特征量的柱状图得到柱状图序列；存储信号柱状图分组化部，在由上述存储信号柱状图序列计算部得到的柱状图序列中，将以预定的L1距离基准计算的相互类似度满足预定标准的柱状图序列彼此进行分组；存储信号柱状图组选择部，在由上述存储信号柱状图分组化部得到的柱状图组中，对是否包含有应该输出的部分的可能性进行判定，选择具有可能性的柱状图组；存储信号核对部，对属于由上述存储信号柱状图组选择部选择的柱状图组的柱状图，进行基于上述预定的L1距离基准的核对，得到类似度值；核对结果输出部，根据由上述存储信号核对部得到的类似度值，对是否将该核对部分作为检测结果进行判定，并当判定为作为检测结果时，输出核对部分。

基于该结构，本发明可以在保证与专利文献1的方法具有相同检索精度的同时，与专利文献1相比缩短自施加目标信号开始到得到检索结果为止的时间(搜索时间)。

此外，本发明，在全局去枝操作的距离基准上，没有使用专利文献2的L2标准，而是采用了使用新的L1距离的标准，可以保证与专利文献1的方法具有相同的检索精度。

进一步，在本发明的存储信号柱状图分组化部中，作为分组化时的阈值，也可以使用事先设定的L1距离的临界值。由此，可以保证与基于L1距离的全搜索具有相同的精度。

在本发命中，进一步可以具备存储信号柱状图细化部。由此，不会有损精度，可以实现更高速的检索。

发明效果

如以上所做说明那样，基于本发明，根据L1距离，进行全局性的分组化及局部的分组化，有效地缩小搜索空间，由此与已经说明的先前技术(专利文献1及专利文献2)的方法相比较，具有可以在保持搜索精度的同时，实现高速有效的部分信号检测的优点。

附图说明

[图1]图1是表示基于本发明的第1(及第2实施示例)的信号检测系统的结构示例的框图。

[图2]图2是表示基于本发明的第1、第2及第3实施示例的信号检测方法的处理流程的概念图。

[图3]图3是表示基于本发明的第1、第2及第3实施示例的信号检测方法的处理流程的概念图。

[图4]图4是表示基于本发明的第3实施示例的信号检测系统的结构示例的框图。

[图5]图5是根据基于本发明的第1、第2及第3实施示例的信号检测方法的处理得到的检测结果与现有示例的系统的检测结果的对比表。

符号说明

1目标信号特征量计算部

2存储信号特征量计算部

3目标信号柱状图计算部

4存储信号柱状图序列计算部

5存储信号柱状图分组化部

6存储信号柱状图组选择部

7存储信号核对部

8核对结果输出部

9存储信号柱状图细化部

具体实施方式

<第1实施示例>

下面，使用附图对本发明的一实施示例进行说明。

图1是表示适用了本发明方法的信号检测系统的第1实施示例的框图。

另外，虽然下面主要对以影像信号为对象的装置进行了说明，但是在与下述相同的结构中，在目标信号特征量计算部1及存储信号特征量计算部2，由作为目标信号及存储信号的音响信号进行特征抽出，由此也可以进行音响信号的搜索。

该第1实施示例的信号检测系统由目标信号特征量计算部1、存储信号特征量计算部2、目标信号柱状图计算部3、存储信号柱状图序列计算部4、存储信号柱状图分组化部5、存储信号柱状图组选择部6、存储信号核对部7、核对结果输出部8构成。

即，基于上述结构，本发明的信号检测系统输入目标信号即包含表示样品要检索的信号作为其一部分的信号与存储信号即被检索的信号，并将与目标信号的某个部分的类似度超过预先设定的值(将其称为搜索阈值)θ的存储信号的部分输出。

目标信号特征量计算部1由被输入的目标信号导出特征量序列。

并且，存储信号特征量计算部2由被输入的存储信号导出特征量序列。

接下来，目标信号柱状图计算部3在由上述目标信号特征量计算部1导出的特征量序列中设定某个长度的观察窗，并计算该观察窗内的特征量的柱状图。

此外，存储信号柱状图序列计算部4在由上述存储信号特征量计算部2导出的特征量序列中对与该观察窗对应的大小的各部分顺序设定某个长度的观察窗，并通过计算该观察窗内的特征量的柱状图得到柱状图序列。

接下来，存储信号柱状图分组化部5在由上述存储信号柱状图序列计算部4得到的柱状图序列中，将以预定的L1距离基准计算的相互类似度(例如后续将要说明的类似值)满足预定标准的柱状图彼此进行集中实现分组。

接下来，存储信号柱状图组选择部6在由上述存储信号柱状图分组化部5得到的柱状图组中，对是否包含有应该输出的部分的可能性进行判定，选择具有可能性的柱状图组。

存储信号核对部7针对属于在上述存储信号柱状图组选择过程中被选择的柱状图组的柱状图，进行基于上述预定的距离基准的核对，得到类似度值。

核对结果输出部8根据在上述存储信号核对过程中得到的类似度值，对是否应将该核对部分作为检测结果输出进行判定，并在是应该输出的检测结果时将其输出。

下面参照图1对基于第1实施示例的信号检测系统的动作进行说明。

目标信号特征量计算部1读入提供的预定的目标信号。

接下来目标信号特征量计算部1对读入的目标信号进行特征抽出。

在该第1实施示例中，将作为目标信号输入的影像的影像特征用作抽出的特征。

作为该影像特征可以适用于基于离散余弦变换等各种各样的方式，在该第1实施示例中为使用颜色特征。

即，将影像的1帧图像按横向4等分，纵向3等分共计12块分割，将在各个分割块中的RGB值设为共计36维特征向量作为特征。

如果用p表示帧序号，W表示分割数(这里是12)则影像特征x(p)用以下算式(3)表示。

“算式3”

在算式(3)中c表示r(红)，g(绿)，b(蓝)中的任一个，j表示1至分割数W为止的任一整数。此外，x_jc是标准化后的RGB值，由以下算式(4)定义。

“算式4”

在该算式(4)中，Ii(p)是第i个分割画像中所包含像素的集合，i表示1至分割数W为止的任一整数。此外，|·|表示集合中的元素数，|Ii(p)|是第i个分割画像中所包含的像素数，y_qc(p)表示像素q的颜色c的颜色值。

接下来，存储信号特征量计算部2开始读入存储信号。

并且存储信号特征量计算部2对读入的存储信号进行特征抽出。该存储信号特征量计算部2的特征抽出由与已经介绍过的目标信号特征量计算部1的特征抽出同样的处理来进行。

接下来，目标信号柱状图计算部3读入由目标信号特征量计算部1输出的特征向量的序列。

并且，目标信号柱状图计算部3针对输入的特征向量的序列设定观察窗。

在该第1实施示例中上述观察窗的长度为D。

接下来，目标信号柱状图计算部3根据观察窗内的特征向量做成特征向量的柱状图。

即，目标信号柱状图计算部3，如被输入量子化对象的特征向量后(步骤1)，参考事先做成的编码本，检索与哪一个代表向量最接近(步骤2)，将检索到的最接近的代表向量作为将被输入的特征向量量子化后的结果输出(步骤3)。

另外，上述编码本的制作可以通过以下方式，准备学习向量(步骤1)、根据众所周知的分群算法(clustering algorithm)例如LBG(Linde-Buzo-Gray)算法将学习向量进行分类(步骤2)，在各个分类中将重心作为代表向量，并将该代表向量的集合作为编码本。

并且，目标信号柱状图计算部3，如图2的S2所示那样，针对通过上述处理被分类的特征向量，通过对各个分类的特征向量的个数进行计数，由此做成特征向量的柱状图。

在这里，在目标信号柱状图计算部3关于目标信号所得到的柱状图为H^(R)。

但R是角标，表示柱状图是由目标信号的特征向量做成的。

接下来，存储信号柱状图序列计算部4开始读入由存储信号特征量计算部2输出的特征向量的序列。

并且，存储信号柱状图序列计算部4，针对按时间序列读入的特征向量的序列，与目标信号柱状图计算部3相同，设定观察窗。该观察窗的长度与目标信号柱状图计算部3针对目标信号设定的观察窗的长度相同(即为D)。

并且，存储信号柱状图序列计算部4在存储信号的特征向量的序列中，自序列的头部开始，按每个特征向量逐个地将观察窗错开，同时顺序地做成柱状图，得到图2的S2的柱状图的序列。

这里，存储信号柱状图序列计算部4进行的各柱状图的做成处理与上述目标信号柱状图计算部3的柱状图的生成处理相同。

即，存储信号柱状图序列计算部4将顺次输入的特征向量通过与目标信号柱状图计算部3相同的向量量子化的方法进行分类，并通过对各个分类的特征向量的个数进行计数，由此做成特征向量的柱状图。

接下来，存储信号柱状图分组化部5读入由存储信号柱状图序列计算部4输出的存储信号柱状图序列。

并且，存储信号柱状图分组化部5对以预定的距离基准(L1标准)测量的存储信号柱状图序列的各部分，将相互的类似度值为大于等于一定值的部分作为组进行集中。

这通过进行以下将要说明的局部的分组化(该实施示例即第1实施示例)及全局性的分组化(之后将要说明的第2实施示例)的2种种类当中的任一种来实现。

首先，说明局部的分组化，局部的分组化着眼于如影像信号的同一场景内的类似性那样，在声音及影像的信号中经常见到的局部的类似性。

由存储信号柱状图序列计算部4输出，将存储信号柱状图设为H_i^(s)＝(I＝1，…，I)，局部的分组化的柱状图组设为C_j^(L)(j＝1，2，…J)。

初期状态为i＝1、j＝1、J＝1，C₁^(L)为仅有一个成员H₁^(s)的状态。

通过以下所示的步骤，存储信号柱状图分组化部5可以进行分组化。

(A1)使i增加1。

(A2)例如，根据以下所示的算式(5)，计算S_ij^(L)。这就是H_i^(S)与C_j^(L)的代表柱状图特征H_j^(L)的类似度(距离小的情况与类似度值高的情况是等价的)。

“算式5”

上述算式(5)是例如，根据柱状图重叠率，求出柱状图H_i^(S)与H_j^(L)的距离。

在该算式中，柱状图序列H_i^(S)及H_j^(L)通过以下所示的算式(6)定义。

“算式6”

(A3)如果S_ij^(L)＞θ^(L)，则将H_i^(S)加入C_j^(L)的元素中。这里阈值θ^(L)的L表示针对局部的分组化所使用的阈值。该阈值θ^(L)是基于局部的分组化的L1距离的下限值(类似度的上限值)的值。

另一方面，如果S_ij^(L)≤θ^(L)，则做成新的存储信号柱状图特征组，将柱状图序列H_i^(S)作为其代表柱状图特征，并使j及J增加1。

(A4)如i≠I，则返回上述(A1)的处理。

在该步骤中，C_j^(L)的最初的元素H_m(j)^(S)为C_j^(L)的代表柱状图H_j^(L)。即关于各C_j^(L)中包含的所有的H_i^(S)，有下列算式(7)成立。

“算式7”

接下来，存储信号柱状图组选择部6读入由目标信号柱状图计算部3输出的目标信号柱状图。

接下来，存储信号柱状图组选择部6读入由存储信号柱状图分组化部5输出的存储信号柱状图组，参考各个组的代表柱状图特征及预先设定的类似度阈值，仅选择有必要进行核对的柱状图组。

即，存储信号柱状图组选择部6从输入的柱状图组中选择超过预先设定的类似阈值的柱状图组，判断有包含应该输出部分的可能性后，进行输出。

存储信号核对部7仅对由存储信号柱状图组选择部6选择的存储信号柱状图组，计算属于其组的存储信号柱状图特征与目标信号柱状图的类似度值。类似度值基准在使用L1的情况下，通过以下所示算式(8)定义类似度S。

“算式8”

在上述算式(8)中，如图3所示，H^(R)和H^(S)分别是目标信号柱状图与存储信号柱状图，D为观察窗的长度。

并且，存储信号核对部7如检测到类似度S比设定的搜索阈值θ大的部分，则判定在存储信号的该部分检测到目标信号。

接下来，核对结果输出部8输入与由存储信号核对部7输出的目标信号的阈值为大于等于设定的阈值的部分的信息，并整理为与目的相应的输出形式之后作为实际的检索结果输出。

与上述目的相应的输出形式例如可以认为是记录了影像的日期时间及影像上附加的题目等附加信息。

并且，将上述附加信息与存储信号相关联后的信息预先存储在核对结果输出部8内部的存储部等中。

<第2实施示例>

下面，参考图1进行第2实施示例的说明。此外，第2实施示例结构上与第1实施示例相同。第2实施示例与第1实施示例不同之处是存储信号柱状图分组化部5在进行图2的S4所示的局部的分组后，对这些局部的组进一步进行分组，进行全局性的分组。

下面对在存储信号柱状图分组化部5中进行的全局性的分组进行说明。

在全局性的分组中做成组，使组内的所有元素与该组的代表柱状图特征的类似度比阈值θ^(G)大。这里θ^(G)的G表示对全局性的分组化所使用的阈值。该阈值θ^(G)是基于全局性的分组化的L1距离下限值(类似度的上限值)的阈值。

这样的组C_k^(G)例如可以是通过下面的步骤由存储信号柱状图分组化部5进行分组。

设在上述进行的局部的分组化中做成的局部的组为C_j^(L)(j＝1，…，J)。此外设全局性的分组化的初期状态j＝1，设J＝(在局部的分组化中所做成的局部的组的个数)，设全局性的组的索引k＝0，设全局性的组的个数K＝0。

(B1)在还没有发现C_j^(L)的元素不属于任何一个全局性的组之前使j增加1。

并且，如果存在那样的C_j^(L)，则使k增加1，做成新的全局性的组C_k^(G)，并使K增加。

由此，将C_j^(L)的所有元素加入到C_k^(G)的元素中。

(B2)计算C_k^(G)的代表柱状图特征H_k^(G)与C_p^(L)(p＝j+1，…J)的代表柱状图特征H_p^(L)的距离S_pk^(G)＝S(H_p^(L)，H_k^(G))。另外C_p^(L)满足下面的算式(9)

“算式9”

(B3)如果S_pk^(G)＞θ^(G)则将C_p^(L)的所有元素加入到C_k^(G)中。

(B4)如果j≠J，则返回处理(B1)。

接下来，存储信号柱状图分组化部5将得到的存储柱状图组输出到存储信号柱状图组选择部6。

之后的处理与第1实施示例相同。

<第3实施示例>

接下来，参考图4对第3实施示例进行说明。另外，如本发明的图4所示的第3实施示例结构上与图1所示的第1及第2实施示例相同，不同之处是在存储信号柱状图序列计算部4与存储信号柱状图分组化部5之间进一步设有存储信号柱状图细化部9，并以此为特征。

即，第1及第2实施示例中所说明的那样，没有使用图2的S2的所有特征向量，而是如图2的S3所示，将特征向量错开预定的数也就是进行细化，同时做成柱状图序列。

例如当细化数为M＝50时，可以将在将柱状图进行分组化时所使用的柱状图数，由50个压缩为1个。

如此，柱状图序列的存储所需的存储装置的容量可以削减至1/M，此外还有提高检索速度的效果。

存储信号柱状图分组化部5读入由存储信号柱状图细化部9输出的存储信号柱状图序列。

此处，在存储信号柱状图分组化部5的计算中，通过以下所示算式(10)设定比预先设定的搜索阈值θ稍低的第2搜索阈值θ”。

“算式10”

在上述算式(10)中，θ’通过以下的算式(11)定义。

“算式11”

$>\begin{array}{}>>>>>(>)>>·>>>>(>>)>>>>M>D>>>\end{array}>>->->->>(>11>)>>>$>

在上述算式(11)中M为细化数。

如果使用该第2阈值，如对于局部的组C_j^(L)，在目标信号的柱状图H^(R)与C_j^(L)的代表柱状图H_j^(L)的类似度S_Rj^(L)＝S(H^(R)，H_j^(L))中，S_Rj^(L)≤θ成立，则不会损失精度，并可以省略C_j^(L)的剩余元素的核对计算。

接下来，存储信号柱状图分组化部5将得到的存储柱状图组输出到存储信号柱状图组选择部6。

并且，如在第2实施示例中那样，在进行全局性的分组化时，存储信号柱状图分组化部5在进行柱状图序列的细化时导入如下所示的第3阈值。

此时，如导入通过如下所示的算式(12)定义的第3搜索阈值θ^(T)，如对于全局性的组C_k^(G)，在目标信号的柱状图H^(R)与C_k^(G)的代表柱状图H_k^(G)的类似度S_Rk^(G)＝S(H^(R)，H_k^(G)中，S_Rk^(G)≤θ^(T)成立，则即使跳过C_k^(G)的剩余元素的核对，也可保证不发生搜索遗漏。

“算式12”

其他的处理与第1及第2实施示例的处理相同。

如上述那样，在设置了存储信号柱状图细化部9的情况下也可以保证检索结果与不进行存储信号柱状图细化时为严格相同的结果，该点是本发明的第3实施示例的显著特征。

并且，在本发明的第3实施示例中，在进行柱状图细化的情况下，虽然可以保证不发生由于细化导致的搜索遗漏，但这样则有包含多余输出的可能性。

这里，在细化宽度的范围内，在检测出的部分的前后以对柱状图不进行细化的状态再次进行核对。由此可以得到没有搜索遗漏也没有多余检测的输出。

<本发明的应用例>

下面，图5表示基于本发明的信号检测系统的动作实验示例。

为了确认本发明的信号检测系统的效果，将影像信号作为对象进行了信号检测的实验。

这里将作为影像信号的存储信号的长度设为150小时，对将NTSC形式的影像信号通过29.97frames/s的帧频以MPEG-2的压缩形式压缩的影像进行存储，并将其作为存储信号。

此外，上述影像信号的画面尺寸为704×480像素。

并且，从上述存储信号中随机地选择长度7.5秒的影像片断，并将其作为目标信号自上述存储信号中检索出来。

在实验中，设目标信号的搜索中所使用的各阈值为θ＝0.8、θ^L＝0.9、θ^G＝0.6、M/D＝0.1。

图5的表表示的是关于10个目标信号，这些搜索处理所需时间的平均CPU时间。

在上述表中，作为方法被记述为“TAS”(时间序列动态检索法)的方法即为专利文献1的“高速信号搜索方法、装置及其记录介质”的信号检测方法。

如此，既是可以得到与上述“TAS”相同的结果的方法，又可以实现比“TAS”快大于等于10倍的高速检索。

另外，如果不引入柱状图细化部，1个柱状图的存储容量设为512字节时，150分钟长度的柱状图的存储容量会达到大于等于8G，使在个人计算机等上实现变得困难，但通过M/D＝0.1的设定则大约可削减至380MB。

进一步，可以看到局部的分组化的效果较小，但将在全局性的分组化中必须考虑的柱状图特征的数量由在不进行局部的分组化的情况下的808821削减至348546，可知削减了全局性的分组化所需必要的计算量。

另外，也可以将用于实现图1的信号检测系统的功能的程序记录在计算机可以读取的记录介质中，并使计算机系统读取该记录介质中所记录的程序且执行，由此进行信号检测处理。此外，这里所说的“计算机系统”包含OS及周边机器等硬件。另外，“计算机系统”还包含具备主页提供环境(或显示环境)的WWW系统。另外，所谓“计算机可以读取的记录介质”是指软盘、光磁盘、ROM、CD-ROM等可携带介质及计算机系统中内置的硬盘等存储装置。进一步，所谓“计算机可以读取的记录介质”还包含如成为通过互联网等网络及电话线路等通信线路发送程序的情况下的服务器及客户机的计算机系统内部的易失性存储器(RAM)那样，在一定时间内存储有程序的设备。

此外，上述程序也可以由在存储装置等中保存该程序的计算机系统经过传送介质或通过传送介质中的传送波传送到其他计算机系统中。这里，传送程序的“传送介质”是指具有如互联网等网络(通信网)及电话线路等通信线路(通信线)那样传送信息功能的介质。此外，上述程序也可以是用于实现上述功能的一部分的程序。进一步，也可以是通过在计算机系统中已经记录的程序的组合实现上述功能，即所谓的差分文件(差分程序)。

工业适用性

本发明可以应用于，例如以对互联网上的音乐的使用进行恰当管理为目的，根据预先登录的对象乐曲的声音信号，检测包含其一部分的互联网上的声音信号文件的技术。

此外，不仅是上述那样的声音信号，本发明还可应用于以互联网上的影像信息的管理等为目的的影像信号的检测。