模式识别器、模式识别方法以及用于模式识别的程序

摘要

损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示。损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和。识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典。识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化，并且模式分类装置使用校正后的识别字典来对数据的模式进行分类。

说明书

技术领域

本发明涉及模式识别器、模式识别方法以及用于模式识别的程序， 以识别输入数据的模式，以及涉及识别字典创建设备、识别字典创建 方法以及用于识别字典创建的程序，以创建用于模式识别的识别字典。

背景技术

将输入数据分成两组的已知典型方法包括在专利文献(PTL)1 和非专利文献(NPL)1中描述的技术。

PTL1中描述的软空白(margin)分类系统被配置为确定包括训练 集合的每个数据向量中的权重向量和偏差的参数，并且基于多个约束 确定针对每个数据向量的松弛变量的最小非负值。PTL1中描述的软空 白分类系统被配置为确定成本函数的最小值以满足多个约束。

NPL1中描述的方法是当不能线性地分离输入数据时将模式映射 到有限或无限维特征空间中，并且对特征空间执行线性分离。

引用列表

专利文献

专利文献1：日本专利申请特开No.8-087572(1996)(0009段)

非专利文献

NPL1：C.Cortes and V.N.Vapnik，″Support vector Networks，″ Machine Learning，vol.20，pp.273-297，1995.

发明内容

技术问题

以下描述了使用PTL1和NPL1中描述的分类方法的典型模式识别 器。图17示出了典型模式识别器。图17中示出的模式识别器包括数据 输入部201、特征提取部202、识别字典创建部203、分类部206和结果 输出部208。识别字典创建部203包括损失计算部204和空白计算部205。

在被称作学习创建识别字典的阶段，特征提取部202将从数据输 入部201输入的数据转换成d维特征向量，并且识别字典创建部203创建 识别字典207。在识别数据阶段，特征提取部202将从数据输入部201 输入的数据转换成d维特征向量，并且分类部206使用识别字典207对数 据进行分类，并且其后，结果输出部208输出分类结果。

这里，识别字典创建部203创建识别字典207，使得评价函数最小 化，评价函数是通过将损失计算部204所计算的损失与空白计算部205 所计算的空白的倒数相加来获得的。

图18示出了根据可以被线性分离的数据来创建识别字典的处理。 首先，参照图18描述可以被线性分离的数据集合的情况。图18中的黑 点(下文中描述为“●”)指示属于负类别的数据，并且白点(下文中 描述为“○”)指示属于正类别的数据。在典型模式识别器中，找到在 负数据和正数据之间具有最大空白的平行空白边界(即，实线302和实 线303)，并且创建识别字典，使得位于距离平行空白边界相等距离处 的虚线301用作判定边界。

接着，参照图19描述了不能对数据集合进行线性分离的情况。图 19示出了根据不能被线性分离的数据来创建识别字典的处理。类似于 图18，实线402和实线403是平行空白边界，并且虚线401是位于距离平 行空白边界相等距离处的判定边界。然而，与图18的情况不同，方框 所包围的数据406、407包含在数据集合中，并因此可以对数据进行线 性分离。

在如上不能对数据集合进行线性分离的情况下，典型模式识别器 的识别字典创建部203计算与指示为“●”的数据的空白边界(即，实 线402)的偏差量404和与指示为“○”的数据的空白边界(即实线403) 的偏差量405的总和作为损失。然后，识别字典创建部203创建具有空 白边界和判定边界的识别字典，使得该损失可以最小化，并且空白可 以最大化。同时，识别字典创建部203找到判定边界，以使表达式1所 定义的值L最小化。

[数学公式1]

(表达式1)

表达式1中的因子C是确定空白与损失之间的平衡的参数，并且该 因子的值可以使用交叉验证通过试误法来确定。

但是，在使用典型模式识别器将输入数据分成组的方法中，当用 于学习的数据包含噪声或者数据数目较小时，存在针对没有学习的新 数据的分类精度劣化的问题。参照图12和21，以下描述该问题。图20 示出了不能对数据进行线性分离的情况。

图20的数据504是由于噪声而位于远离原始分布位置处的数据， 或者是由于数据数目较少而看起远离分布的数据。在这样的情况下， 典型模式识别器将判定边界(虚线501)设置在与使数据之间的空白最 大化的实线502和实线503等距的位置处。

以下描述了将没有学习的新数据添加至图20的数据集合的情况。 图21示出了将没有学习的新数据添加至图20的数据集合的情况。当在 图21的虚线602的位置处设置判定边界时，指示为“○”的数据的误差 数目变为1，并且指示为“●”的数据的误差数目变为1，并且从而误 差总数变为2。然而，在典型模式识别器所使用的方法中，由于在虚线 601的位置处设置判定边界，因此指示为“○”的数据的误差数目变为 3(即，误差总数变为3)，并因此分类精度不幸地劣化。这样，即使在 用于学习的数据包含噪声或者数据数目较少的情况下，也需要针对没 有学习的新数据的高分类精度。

为了克服上述问题，本发明的示例性目的是提供一种模式识别 器、一种模式识别方法以及一种用于模式识别的程序，即使在用于学 习的数据包含噪声或者数据数目较小的情况下也能够以高分类精度来 执行对没有学习的新数据的模式识别，以及提供一种识别字典创建设 备、一种识别字典创建方法以及一种用于识别字典创建的程序，以创 建用于模式识别的识别字典。

问题的解决方案

根据本发明的模式识别器包括：损失计算装置，针对每个类别计 算特征向量的损失，特征向量对属于该类别的数据的特征加以指示； 损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间 损失差的总和；识别字典创建装置，基于损失计算装置针对类别而计 算的损失总和以及类别之间损失差的总和，来创建识别字典；以及模 式分类装置，使用识别字典对数据的模式进行分类。识别字典创建装 置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而 计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和 最小化，并且模式分类装置使用校正后的识别字典来对数据的模式进 行分类。

根据本发明的识别字典创建设备创建模式识别器所使用的识别 字典，模式识别器被配置为识别数据的模式。识别字典创建设备包括： 损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于 该类别的数据的特征加以指示；损失差计算装置，基于针对每个类别 而计算的损失，来计算类别之间损失差的总和；以及识别字典创建装 置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失 差的总和，来创建识别字典。识别字典创建装置基于输入特征向量来 校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失 差计算装置计算的类别之间损失差的总和之和最小化。

根据本发明的模式识别方法包括以下步骤：针对每个类别计算特 征向量的损失，特征向量对属于该类别的数据的特征加以指示；基于 针对每个类别而计算的损失，来计算类别之间损失差的总和；基于针 对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字 典；基于输入特征向量来校正识别字典，以使针对类别而计算的损失 总和与类别之间损失差的总和之和最小化；以及使用校正后的识别字 典来对数据的模式进行分类。

根据本发明的识别字典创建方法是创建模式识别器所使用的识 别字典，模式识别器被配置为识别数据的模式。该方法包括以下步骤： 针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的 特征加以指示；基于针对每个类别而计算的损失，来计算类别之间损 失差的总和；基于针对类别而计算的损失总和以及类别之间损失差的 总和，来创建识别字典；基于输入特征向量来校正识别字典，以使针 对类别而计算的损失总和与类别之间损失差的总和之和最小化。

根据本发明的模式识别程序使计算机执行以下处理，包括：损失 计算处理，针对每个类别计算特征向量的损失，特征向量对属于该类 别的数据的特征加以指示；损失差计算处理，基于针对每个类别而计 算的损失，来计算类别之间损失差的总和；识别字典创建处理，基于 损失计算处理中针对类别而计算的损失总和以及类别之间损失差的总 和，来创建识别字典；以及模式分类处理，使用识别字典对数据的模 式进行分类。在识别字典创建处理中，基于输入特征向量来校正识别 字典，以使损失计算处理中针对类别而计算的损失总和与损失差计算 处理中计算的类别之间损失差的总和之和最小化，并且在模式分类处 理中，使用校正后的识别字典来对数据的模式进行分类。

根据本发明的识别字典创建程序应用于被配置为创建模式识别 器所使用的识别字典的计算机，模式识别器被配置为识别数据的模式。 该程序使计算机执行以下处理，包括：损失计算处理，针对每个类别 计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示； 损失差计算处理，基于针对每个类别而计算的损失，来计算类别之间 损失差的总和；识别字典创建处理，基于损失计算处理中针对类别而 计算的损失总和以及类别之间损失差的总和，来创建识别字典。在识 别字典创建处理中，基于输入特征向量来校正识别字典，以使损失计 算处理中针对类别而计算的损失总和与损失差计算处理中计算的类别 之间损失差的总和之和最小化。

本发明的有利效果

根据本发明，即使在用于学习的数据包含噪声或者数据数目较少 的情况下，也可以以高分类精度来执行对没有学习的新数据的模式识 别。

附图说明

图1示出了示意根据本发明的模式识别器的一个示例性实施例的 框图。

图2示出了示意创建识别字典的示例性处理的流程图。

图3示出了示意使用识别字典的示例性识别处理的流程图。

图4示出了确定判定边界的示例性操作。

图5示出了确定判定边界的示例性操作。

图6示出了确定判定边界的示例性操作。

图7示出了确定判定边界的示例性操作。

图8示出了确定判定边界的示例性操作。

图9示出了确定判定边界的示例性操作。

图10示出了示意创建识别字典的示例性处理的流程图。

图11示出了计算类别1的连续损失的示例性处理的流程图。

图12示出了计算类别2的连续损失的示例性处理的流程图.

图13示出了示意计算评价值的示例性处理的流程图。

图14示出了示意针对一个输入数据而执行的示例性分类处理的 流程图。

图15示出了根据本发明的模式识别器的示例性最小配置的框图。

图16示出了示意根据本发明的识别字典创建设备的示例性最小 配置的框图。

图17示出了典型模式识别器。

图18示出了根据能够被线性分离的数据来创建识别字典的处理。

图19示出了根据不能被线性分离的数据来创建识别字典的处理。

图20示出了不能被线性分离的数据集合。

图21示出了将没有学习的新数据添加至数据集合的情况。

具体实施方式

以下参照附图描述本发明的示例性实施例。

图1是示出了根据本发明的模式识别器的一个示例性实施例的框 图。本发明的模式识别器包括：数据输入部101；特征提取部102；识 别字典创建部103；分类部106；以及结果输出部108。识别字典创建部 103还包括连续损失计算部104、损失差计算部105和识别字典确定部 109。

数据输入部101向特征提取部102通知输入至识别器的要识别的 数据。要识别的数据的示例包括摄像机拍摄的图像数据。

特征提取部102基于从数据输入部101通知的数据，来提取d个特 征值(下文中可以被描述为d维特征向量)。特征提取部102所执行的一 个示例性提取方法是将图像数据转换成单色灰度图像，并然后将整个 图像划分成10高×10宽的区域，并且找到每个区域中图像亮度值的平 均，从而可以获得100维特征向量。通过特征提取部102提取多维特征 向量的方法不限于上述方法。由于广泛已知从输入数据中提取多维特 征向量的方法，因此省略对其详细描述。

在被称作“学习”以创建识别字典107的阶段，识别字典创建部 103将特征提取部102所提取的d维特征向量输入到连续损失计算部104 和损失差计算部105中，并且基于连续损失计算部104和损失差计算部 105的计算结果来创建识别字典107。

连续损失计算部104基于d维特征向量来计算针对每个类别的损 失。然后，连续损失计算部104计算所计算的类别损失的总和。在以下 描述中，为了与典型方法所计算的损失相区分，连续损失计算部104 所计算的损失被描述为连续损失。

损失差计算部105基于d维特征向量来计算一个类别的损失与另 一类别的损失之间的差。然后损失差计算部105计算类别之间所有差的 总和。

识别字典确定部109确定要基于连续损失计算部104所计算的连 续损失的总和与损失差计算部105所计算的类别之间损失差的总和而 创建的识别字典。

在识别数据的阶段，分类部106使用特征提取部102所提取的d维 特征向量和识别字典107来执行对数据模式的分类处理，并且向结果输 出部108通知分类结果。例如，分类部106可以对输入数据的模式进行 分类，以识别数据所属的类别。由于广泛已知使用d维特征向量和识别 字典的分类方法，因此省略对其详细描述。

结果输出部108输出从分类部106接收到的分类结果。

接着，以下详细描述识别字典创建部103的操作。识别字典创建 部103的连续损失计算部104根据以下示例的表达式2来计算针对第k类 别的连续损失。

[数学公式2]

$L_k\left(\overrightarrow{\alpha }\right)=\frac{P_k}{N_k}\underset{n=1}{\overset{N_k}{\Sigma }}r({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })$(表达式2)

表达式2中的P_k表示针对第k类别的先验概率，N_k表示属于第k类 别的特征向量的数目，向量x_kn表示属于第k类别的第n特征向量，并且 向量α表示用作识别字典107的分类器参数。

这里，先验概率是指与答案已知的数据有关的存在概率或出现频 率。例如，令所有数据的数目为N，数据中包括的类别k数据的比率是 类别k的先验概率。作为先验概率的期望值，例如可以预先设置统计上 已知的值。例如，当所有特征向量的数目是N，并且类别的数目是K 时，可以将类别k的先验概率设置为P_k＝N_k/N。这里，N＝N₁+…N_K。在 这种情况下先验概率P_k是答案属于类别k的学习数据与所有学习数据 之比。

分类器参数是指与针对要使用的分类器而定义的分类有关的参 数。例如，当核函数用作判别函数时，用于对每个核函数进行加权的 因子可以用作表达式2中示例的参数α。

表达式2中示例的函数r(下文中这可以描述为r(·))表示作为自变 量给出的特征向量引起分类误差的风险，并且分类误差的风险越大， 该函数返回的值越大。例如，用于计算第k类别与特征向量x的相似度 的判别函数g_k(下文中这可以描述为g_k(·))可以是以下函数。

[数学公式3]

$g_k({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })$

即，判别函数g_k是随着属于第k类别的程度越大计算的值越大的函 数。此外，令最可能引起针对向量x_kn的识别误差的类别是第j类别，计 算第j类别与特征向量x的相似度的判别函数g_j(下文中这可以描述为g_j(·))可以是以下函数。

[数学公式4]

$g_j({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })$

同时，连续损失计算部104使用以下示例的表达式3至表达式6来 计算特征向量x引起分类误差的风险。

[数学公式5]

$r({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })=f(g_j({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })-g_k({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha }))$(表达式3)

[数学公式6]

$r({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })=f(g_j({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })/g_k({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha }))$(表达式4)

[数学公式7]

$r({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })=f\left(\frac{g_j({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })}{g_j({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })+g_k({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })}\right)$(表达式5)

[数学公式8]

$r({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })=f\left(\frac{g_j({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })-g_k({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })}{g_j({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })+g_k({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })}\right)$(表达式6)

这里，函数f(下文中，这可以描述为f(·))可以是任何单调递增 函数，并且例如可以定义为以下示例的表达式7。

[数学公式9]

$f\left(x\right)=\frac{1}{1+\exp (-\beta (x+\xi ))}$(表达式7)

这里，β和ξ是超参数(hyper parameter)，将期望值设置为超参数。 使用与在典型分类器中设置值的方法类似的方法，可以针对β和ξ来设 置值。这样，连续损失计算部104计算对属于类别k的输入向量x所引起 的误差度加以表示的风险总和，从而计算类别k的连续损失。

以上描述解决了连续损失计算部104使用判别函数g_k来计算第k类 别与特征向量x的相似度，从而计算风险的情况。这里，用于风险计算 的判别函数g_k不限于计算第k类别与特征向量x的相似度的函数。

例如，连续损失计算部104可以使用判别函数来计算第k类别与特 征向量x之间的距离，以计算风险。在这种情况下，使用判别函数计算 的输出值越小(即，它们彼此越靠近)，属于目标类别的程度越大。相 应地，连续损失计算部104可以使用交换了表达式3至表达式6中示例的 g_k(·)和g_j(·)的表达式来计算风险。

接着，连续损失计算部104计算针对类别而计算的连续损失的总 和。即，令类别数目为K，连续损失计算部104使用以下示例的表达式 8来计算连续损失的总和。

[数学公式10]

$\underset{k=1}{\overset{K}{\Sigma }}{L}_k\left(\overrightarrow{\alpha }\right)$(表达式8)

接着，损失差计算部105计算类别之间损失差的总和。例如，损 失差计算部105使用如下所示例的表达式9来计算第j类别与第k类别之 间损失差的总和。

[数学公式11]

$\frac{1}{2}\underset{j=1}{\overset{K}{\Sigma }}\underset{k=1}{\overset{K}{\Sigma }}{(L_j\left(\overrightarrow{\alpha }\right)-L_k\left(\overrightarrow{\alpha }\right))}^2$(表达式9)

接着，识别字典确定部109确定分类器参数α，以使连续损失计算 部104所计算的连续损失的总和与损失差计算部105所计算的类别之间 损失差的总和的加权线性和最小化。例如，识别字典确定部109确定分 类器参数α，以使连续损失计算部104使用表达式8所计算的连续损失 的总和与损失差计算部105使用表达式9所计算的类别之间损失差的总 和的加权线性和最小化。同时，识别字典确定部109可以确定分类器参 数α，以使使用以下示例表达式10计算的值L(α)最小化。

[数学公式12]

$L\left(\overrightarrow{\alpha }\right)=\underset{k=1}{\overset{K}{\Sigma }}{L}_k\left(\overrightarrow{\alpha }\right)+\frac{\lambda }{2}\underset{j=1}{\overset{K}{\Sigma }}\underset{k=1}{\overset{K}{\Sigma }}{(L_j\left(\overrightarrow{\alpha }\right)-L_k\left(\overrightarrow{\alpha }\right))}^2$(表达式10)

这里，λ表示超参数。识别字典确定部109可以确定分类器参数α， 以例如通过交叉验证使L(α)最小化。

分类部106使用确定的分类器参数α来执行对输入数据的分类处 理。相应地，通过识别字典确定部109对分类器参数α的确定意味着创 建要用于对输入数据的分类处理的识别字典。

当输入新数据时，识别字典确定部109基于输入的新数据通过上 述方法校正分类器参数α，以使评价值L(α)最小化。基于这一点，可 以认为识别字典确定部109基于输入数据来校正识别字典，以使评价值 L(α)最小化。

数据输入部101、特征提取部102、识别字典创建部103(更具体 地，连续损失计算部104、损失差计算部105和识别字典确定部109)、 分类部106和结果输出部108可以由根据程序(模式识别程序)操作的 计算机的CPU来实现。例如，当在模式识别器的存储部(未示出)中 存储该程序时，CPU读取该程序并且作为数据输入部101、特征提取部 102、识别字典创建部103(更具体地，连续损失计算部104、损失差计 算部105和识别字典确定部109)、分类部106和结果输出部108进行操 作。备选地，数据输入部101、特征提取部102、识别字典创建部103 (更具体地，连续损失计算部104、损失差计算部105和识别字典确定 部109)、分类部106和结果输出部108可以使用它们专用硬件来实现。

备选地，识别字典创建部103(更具体地，连续损失计算部104、 损失差计算部105和识别字典确定部109)可以作为一个设备(识别字 典创建设备)进行操作。

接着，以下描述该操作。首先，描述创建识别字典阶段处的处理。 图2是示出了创建识别字典的示例性处理的流程图。在以下描述中，表 达式10用作评价函数。在以下描述中，创建识别字典可以被称作学习。

首先，使用用于学习的数据集合(即，用于创建识别字典的数据 集合)来初始化识别字典(步骤S701)。更具体地，识别字典创建部 103设置分类器参数α的初始值，使得模式识别器变得准备用于学习。 此外，识别字典创建部103为要作为后续处理中的比较目标的变量L设 置足够大的值。

接着，数据输入部101读取输入数据(步骤S702)，并且向特征提 取部102通知该数据。特征提取部102执行从输入数据中的特征提取， 因此将输入数据转换成d维特征向量(步骤S703)。识别字典确定部109 将分类器参数α校正为识别字典，以减小表达式10所定义的评价函数 L(α)(步骤S704和步骤S705)。更具体地，识别字典确定部109校正分 类器参数α，以使连续损失计算部104所计算的连续损失的总和与损 失差计算部105所计算的类别之间损失差的总和的加权线性和最小化。

识别字典确定部109将评价函数L(α)的值与变量L的值相比较。然 后，当评价函数L(α)的值与变量L的值之间的差足够小(即，收敛至 恒定值)时(步骤S706处的是)，识别字典确定部109将此时的α确定 为分类器参数，以结束处理。另一方面，当不能认为评价函数L(α)的 值与变量L的值之间的差足够小(即，不收敛与恒定值)(步骤S706处 的否)时，识别字典确定部109将此时L(α)的值替换成变量L，并然后 重复步骤S704或后续步骤的处理。

接着，以下描述识别数据阶段处的处理。图3是示出了使用识别 字典的示例性识别处理的流程图。首先，分类部106对识别字典进行初 始化(步骤S801)。更具体地，分类部106将识别字典创建部103所创 建的识别字典设置为可用状态。接着，数据输入部101读取输入数据(步 骤S802)，并且向特征提取部102通知该数据。特征提取部102执行从 输入数据中提取特征，因此将输入数据转换成d维特征向量(步骤 S803)。分类部106使用识别字典来执行对转换后的特征向量的分类处 理(步骤S804)，并且向结果输出部108通知分类结果。然后，结果输 出部108输出从分类部106接收到的分类结果(步骤S805)。

分类部106确定对输入数据的读取是否结束(步骤S806)。当对输 入数据的读取没有结束(步骤S806处的否)时，则重复步骤S802或后 续步骤的处理。另一方面，当对输入数据的读取结束(步骤S806处的 是)时，分类部106结束处理。

如上所述，根据本发明示例性实施例，连续损失计算部104针对 每个类别计算特征向量的连续损失，特征向量对属于该类别的数据的 特征加以指示。此外，损失差计算部105基于针对每个类别而计算的损 失来计算类别之间损失差的总和。然后识别字典确定部109基于针对类 别而计算的损失总和以及类别之间损失差的总和，来创建识别字典。 识别字典确定部109还基于输入特征向量来校正识别字典，以使针对类 别而计算的损失总和与类别之间损失差的总和之和最小化。然后，分 类部106使用校正后的识别字典来分类数据模式。因此，即使在用于学 习的数据包含噪声或者数据数目较少的情况下，也可以以高分类精度 来执行对没有学习的新数据的模式识别。

即，在本示例性实施例中，确定识别字典以减小连续损失，并且 减小类别之间的损失差，并且因此即使在用于学习的数据包含噪声或 者数据数目较少的情况下，也可以为没有学习的新数据实现高分类精 度。以下通过具体示例详细描述这样的效果。在以下特定示例中，为 了便于说明，示例了两个类别的情况。当类别的数目是2时，上述表达 式10可以定义为以下表达式11。

[数学公式13]

$L\left(\overrightarrow{\alpha }\right)=L_1\left(\overrightarrow{\alpha }\right)+L_2\left(\overrightarrow{\alpha }\right)+\lambda {(L_1\left(\overrightarrow{\alpha }\right)-L_2\left(\overrightarrow{\alpha }\right))}^2$(表达式11)

图4和图5示出了为图18所示的状态下的数据确定判定边界的示 例性操作。在以下描述中，附图中的黑点(下文中描述为“●”)指示 属于类别1的数据，白点(下文中中描述为“○”)指示属于类别2的数 据。图4的虚线901表示分类器所设置的判定边界。实线902表示在与更 靠近类别1的虚线901相距特定恒定距离ξ的位置处设置的空白边界。图 4中阴影所指示的区域中包含的“●”数据的连续损失的总和变为类别 1的连续损失L₁(α)。

类似地，图5的虚线1001表示在与图4的虚线901的位置相同的位 置处设置的判定边界。实线1002表示类似地在与靠近类别2的虚线1001 相距特定恒定距离ξ的位置处设置的空白边界。图5中阴影所指示的区 域中包含的“○”数据的连续损失的总和变成类别2的连续损失L₂(α)。

如图4和图5所示，判定边界变得越远离指示为“●”的类别1数据， 类别1的连续损失L₁(α)越小。判定边界变得越远离指示为“○”的类别 2数据，类别2的连续损失L₂(α)变得越小。

为了便于说明，以下描述了使用表达式2、表达式3、表达式7和 表达式11的情况。这里，表达式2中先验概率的值是P_k＝N_k，并且针对 表达式7中β的值，设置足够大值。在这种情况下，类别1的连续损失 L₁(α)近似等于图4阴影区域中包含的“●”的数目。类别2的连续损失 L₂(α)近似等于图5阴影区域中包含的“○”的数目。

这里，为了找到α以使表达式11的右侧的第一项和第二项最小化 意味着找到判定边界以使第一项和第二项的总和(即，连续损失)最 小化。此外，为了找到α以使表达式11的右侧的第三项最小化意味着 找到其中图4阴影区域中包含的“●”的数目等于图5阴影区域中包含 的“○”的数目的判定边界。相应地，当表达式11中的λ值足够大时， 在“●”的数目和“○”的数目变得彼此相等的情况下，找到判定边界 以使图4阴影区域中包含的“●”的数目与图5阴影区域中包含的“○” 的数目的总和最小化。

图6和图7示出了为图20所示状态下的数据确定判定边界的示例 操作。在图6和7所示的示例中，将用“●”指示的类别1数据添加至用 “○”指示的类别2数据的附近。同样在这种情况下，在“●”的数目 和“○”的数目变得彼此相等的情况下，确定判定边界以使图6阴影区 域中包含的“●”的数目与图7阴影区域中包含的“○”的数目的总和 最小化。即，在图6的虚线1101或图7的虚线1201的位置处设置该判定 边界。

相应地，即使在如图21所示例地输入新数据时，例如，可以以比 典型模式识别器所找到的分类精度更高的分类精度来确定判定边界。 即，可以实现更高分类精度。

此外，根据本示例性实施例，使判定边界与空白边界之间的距离 ξ较小，从而可以获得与典型模式识别器所确定的判定边界类似的判定 边界。如下参照图8和图9描述这一点。图8和图9示出了为图20所示状 态下的数据确定判定边界的另一示例性操作。

当使距离ξ的值较小时，相应地，使图8阴影区域中包含的“●” 的数目和图9阴影区域中包含的“○”的数目较少。因此，在强烈依赖 于判定边界附近存在的数据的位置处设置判定边界(图8的虚线1301 或图9的虚线1401)，并且从而可以获得与典型模式识别器所确定的判 定边界(例如，图21的虚线601)类似的结果。

以下通过特定示例描述本发明。本发明的范围不限于以下描述。 在以下描述中，假定类别的数目是2，并且核判别函数用作针对每个类 别的判别函数。即，类别k的判别函数定义为以下示例的表达式12。

[数学公式14]

$g_k({\overrightarrow{x}}_{\mathrm{kn}};\overrightarrow{\alpha })=\underset{i=1}{\overset{N_k}{\Sigma }}{\alpha }_{\mathrm{ki}}K({\overrightarrow{x}}_{\mathrm{kn}},{\overrightarrow{x}}_{\mathrm{ki}})$(表达式12)

这里，向量x_ki是属于类别k的学习数据，并且α_ki是分类器参数。K 是核函数(在下文中，这可以描述为K(·))，并且可以使用以下示例的 表达式13中定义的高斯核函数或类似函数。

[数学公式15]

$K(\overrightarrow{x},\overrightarrow{y})=\exp (-\gamma {\left|\right|\overrightarrow{x}-\overrightarrow{y}\left|\right|}^2)$(表达式13)

这里，γ(γ＞0)是指定高斯核的幅度的参数，并且可以预先为γ设置 期望值。在本示例中，表达式2和表达式6用作计算第k类别的连续损失 的表达式。表达式11用作评价函数。

在本示例中，首先，描述在创建识别字典阶段处的处理。首先， 准备多个输入数据用于学习，并且将每个输入数据转换成d维特征向量 (在下文中，描述为输入向量)。在下文中，为了便于说明，将属于类 别1的输入向量表示为(x[1]，x[2]，…，x[N1])，，并且将属于类别2的输入 向量表示为(x[N1+1]，x[N1+2]，…，x[N1+N2])。

将期望值设置为表达式2的先验概率P_k。例如，将类别1的先验概 率P₁设置为P₁＝N1/N，并且将类别2的先验概率P₂设置为P₂＝N2/N。这 里，N表示输入向量的总数，并且N＝N1+N2成立。

此外，准备(α[1]，α[2]，…α[N1])用于与类别1有关的识别字典，并 且准备(α[N1+1]，α2[N1+2]，…α2[N1+N2])用于与类别2有关的识别字 典，并且为所有值设置1。此外，准备最小值ε以指示参数值的变化量， 并且例如可以设置0.01作为该ε的值。

图10是示出了本示例中用于创建识别字典的示例性处理的流程 图。首先，为变量L_new和L_old设置足够大的值(步骤S1501)，并且另外 为变量i设置1(步骤S1502)。识别字典创建部103存储第i参数α[i]的值 作为变量α’，并且将α[i]减小ε。其后，识别字典创建部103计算表达式 11的评价值L(α)，并且存储该评价值作为变量L’(步骤S1503)。当变 量L’的值不小于变量L_new时(步骤S1504处的否)，过程前进至步骤 S1506。另一方面，当变量L’的值小于变量L_new时(步骤S1504处的是)， 过程前进至步骤S1505。在步骤S1505，识别字典创建部103存储变量L’ 的值作为L_new，并且存储变量i的值作为变量j(步骤S1505)。

接着，识别字典创建部103将作为变量α’存储的值返回至α[i](步 骤S1506)。当变量i的值小于总数N1+N2(步骤S1507处的是)时，识 别字典创建部103将i的值增加1(步骤S1508)，其后过程返回至步骤 S1503以重复以下处理。另一方面，当在步骤S1507处变量i的值不小于 总数N1+N2(步骤S1507处的否)时，过程前进至S1509。

当变量L_new的值不小于L_old(步骤S1509处的否)时，处理结束。 另一方面，当变量L_new的值小于L_old(步骤S1509处的是)时，处理前 进至步骤S1510。在步骤S1510处，识别字典创建部103存储L_new的值作 为L_old，并且改变第j参数α[j]的值，以减小ε(步骤S1510)。然后过程 返回至步骤S1502，并且重复以下处理。

这里，以下描述步骤S1503处计算评价值L(α)的处理。如在表达 式11中示例的，评价值L(α)的值可以通过分别计算类别1和类别2的连 续损失L₁(α)和L₂(α)来获得。

首先，参照流程图描述找到类别1的连续损失L₁(α)的处理。图11 是示出了计算类别1的连续损失的示例性处理的流程图。

首先，识别字典创建部103将变量L1的值设置为0，并且将变量n 的值设置为1(步骤S1601)。此外，识别字典创建部103将变量i的值设 置为1，并且将变量G1的值设置为0(步骤S1602)。接着，识别字典创 建部103使用输入向量x[n]和x[i]来计算表达式13中示例的核函数的 值，并且将通过使计算结果与第i参数α[i]相乘所获得的值与变量G1相 加(步骤S1603)。

这里当变量i的值小于N1(步骤S1604处的是)时，识别字典创建 部103将变量i的值增加1(步骤S1605)，并且过程返回至步骤S1603， 以重复以下处理。另一方面，当变量i的值不小于N1(步骤S1604处的 否)时，过程前进至步骤S1606。在步骤S1606，识别字典创建部103 将i的值设置为N1+1，并且将G2的值设置为0(步骤S1606)。

接着，识别字典创建部103使用输入向量x[n]和x[i]来计算表达式 13中示例的核函数的值，并且将通过使计算结果与第i参数α[i]相乘所 获得的值与变量G2相加(步骤S1607)。这里当变量i的值小于N1+N2 (步骤S1608处的是)时，识别字典创建部103将变量i的值增加1(步 骤S1609)，并且过程返回至步骤S1607，以重复以下处理。另一方面， 当变量i的值不小于N1+N2(步骤S1608处的否)时，过程前进至步骤 S1610。

为变量G1设置的值是类别1的判别函数的值，为变量G2设置的值 是类别2的判别函数的值。然后，识别字典创建部103根据表达式6找到 与属于类别1的输入向量x[n]有关的连续损失(步骤S1610)。当变量n 的值小于N1(步骤S1611处的是)时，识别字典创建部103将变量n的 值增加1(步骤S1612)，并且过程返回至步骤S1602，以重复以下处理。 另一方面，当变量n的值不小于N1(步骤S1611处的否)时，过程前进 至步骤S1613。

识别字典创建部103根据表达式2通过将变量L1与设置为期望值 的先验概率P₁相乘来计算值，并且还将通过用计算结果除以类别1的输 入向量的数目N1而获得的值设置为变量L1(S1613)。其后过程结束。

接着参照流程图描述找到类别2的连续损失L₂(α)的处理。图12是 示出了计算类别2的连续损失的示例性处理的流程图。

首先，识别字典创建部103将变量L2的值设置为0，并且将变量n 的值设置为N1+1(步骤S1701)。此外，识别字典创建部103将变量i的值 设置为1，并且将变量G1的值设置为0(步骤S1702)。接着，识别字典创 建部103使用输入向量x[n]和x[i]来计算表达式13中示例的核函数的 值，并且将通过使计算结果与第i参数α[i]相乘所获得的值与变量G1相 加(步骤S1703)。

这里当变量i的值小于N1(步骤S1704处的是)时，识别字典创建 部103将变量i的值增加1(步骤S1705)，并且过程返回至步骤S1703， 以重复以下处理。另一方面，当变量i的值不小于N1(步骤S1704处的 否)时，过程前进至步骤S1706。在步骤S1706，识别字典创建部103 将i的值设置为N1+1，并且将G2的值设置为0(步骤S1706)。

接着，识别字典创建部103使用输入向量x[n]和x[i]来计算表达式 13中示例的核函数的值，并且将通过使计算结果与第i参数α[i]相乘所 获得的值与变量G2相加(步骤S1707)。这里当变量i的值小于N1+N2 (步骤S1708处的是)时，识别字典创建部103将变量i的值增加1(步 骤S1709)，并且过程返回至步骤S1707，以重复以下处理。另一方面， 当变量i的值不小于N1+N2(步骤S1708处的否)时，过程前进至步骤 S1710。

类似于类别1的情况，为变量G1设置的值是类别1的判别函数的 值，为变量G2设置的值是类别2的判别函数的值。然后，识别字典创 建部103根据表达式6找到与属于类别2的输入向量x[n]有关的连续损 失(步骤S1710)。当变量n的值小于N1+N2(步骤S1711处的是)时， 识别字典创建部103将变量n的值增加1(步骤S1712)，并且过程返回 至步骤S1702，以重复以下处理。另一方面，当变量n的值不小于N1+N2 (步骤S1711处的否)时，过程前进至步骤S1713。

识别字典创建部103根据表达式2通过将变量L2与设置为期望值 的先验概率P₂相乘来计算值，并且还将通过用计算结果除以类别2的输 入向量的数目N2而获得的值设置为变量L2(S1713)。其后过程结束。

接着参照流程图描述找到评价值L(α)的处理。图13是示出了计算 评价值的示例性处理的流程图。以下描述根据表达式11找到评价值 L(α)的情况。

首先，识别字典创建部103将通过使上述处理中计算的变量L1和 变量L2相加而获得的值设置为变量L(步骤S1801)。此外，识别字典创 建部103将通过使上述处理中计算的变量L1和L2之差的平方与期望值 λ相乘而获得值设置为变量L’(步骤S1802)。接着，识别字典创建部103 将通过使步骤S1801处设置为变量L的值与步骤S1802处设置为变量L’ 的值相加而获得的值设置为变量L(步骤S1803)，并且过程结束。因 此获得L值用作图10中步骤S1503处的评价值L(α)。

这是描述创建识别字典的阶段处的处理。接着，以下描述使用识 别字典来识别数据的阶段处的处理。这里假定通过预定特征提取将输 入数据转换成d维特征向量x。因此下文中将转换后的特征向量描述为 输入向量。

图14是示出了针对一个输入数据而执行的示例性分类处理的流 程图。首先，分类部106将变量i的值设置为1，并且将变量G1的值设置 为0(步骤S1901)。此外，分类部106使用输入向量x[n]和x[i]来计算表 达式13中示例的核函数的值，并且将通过使计算结果与第i参数α[i]相 乘所获得的值与变量G1相加(步骤S1903)。

这里当变量i的值小于N1(步骤S1903处的是)时，分类部106将 变量i的值增加1(步骤S194)，并且过程返回至步骤S1902，以重复以 下处理。另一方面，当变量i的值不小于N1(步骤S1903处的否)时， 过程前进至步骤S1905。在步骤S1905，分类部106将i的值设置为N1+1， 并且将G2的值设置为0(步骤S1905)。

接着，分类部106使用输入向量x和x[i]来计算表达式13中示例的 核函数的值，并且将通过使计算结果与第i参数α[i]相乘所获得的值与 变量G2相加(步骤S1906)。这里当变量i的值小于N1+N2(步骤S1907 处的是)时，分类部106将变量i的值增加1(步骤S1908)，并且过程返 回至步骤S1906，以重复以下处理。另一方面，当变量i的值不小于 N1+N2(步骤S1907处的否)时，过程前进至步骤S1909。

最后，分类部106输出通过从变量G1的值减去变量G2的值所获得 的值(即，G1-G2的值)，并且识别输入向量所属的类别，以结束处理 (步骤S1909)。这里，当输出值为正时，输入向量x被分类为属于类 别1。另一方面，当输出值不为正时，输入向量x被分类为属于类别2。

本示例描述了类别的数目是2的情况。类别的数目不限于2，并且 可以是3或更大。本示例描述分类器使用表达式13所定义的核函数的情 况。分类器所使用的函数不限于核函数。

以下描述了根据本发明的模式识别器的最小配置的示例。图15是 示出了根据本发明的模式识别器的示例性最小配置的框图。根据本发 明的模式识别器包括：损失计算装置81(例如，连续损失计算部104)， 为每个类别计算(例如，使用表达式8计算)特征向量的损失(例如， 连续损失)，特征向量对属于该类别的数据的特征加以指示；损失差计 算装置82(例如，损失差计算部105)，基于针对每个类别而计算的损 失，来计算(例如，使用表达式9计算)类别之间损失差的总和；识别 字典创建装置83(例如，识别字典确定部109)，基于损失计算装置81 针对类别而计算的损失总和(例如，使用表达式8计算的连续损失总和) 以及类别之间损失差的总和(例如，使用表达式9所计算的类别之间损 失差的总和)，来创建识别字典(例如，确定分类器参数α)；以及模 式分类装置84(例如，分类部106)，使用识别字典对数据的模式进行 分类。

识别字典创建装置83基于输入特征向量来校正识别字典，以使损 失计算装置81针对类别而计算的损失总和与损失差计算装置82计算的 类别之间损失差的总和之和(例如，表达式10所定义的评价函数的评 价值L(α))最小化，并且模式分类装置84使用校正后的识别字典来对 数据的模式进行分类。

利用这种配置，即使在用于学习的数据包含噪声或者数据数目较 少的情况下，也可以以高分类精度来执行对没有学习的新数据的模式 识别。

以下描述根据本发明的识别字典创建设备的最小配置的示例。图 16是示出了根据本发明的识别字典创建设备的示例最小配置的框图。 根据本发明的识别字典创建设备创建模式识别器所使用的识别字典， 模式识别器被配置为识别数据的模式。识别字典创建设备包括：损失 计算装置91(例如，连续损失计算部104)，针对每个类别计算(例如， 使用表达式8计算)特征向量的损失(例如，连续损失)，特征向量对 属于该类别的数据的特征加以指示；损失差计算装置92(例如，损失 差计算部105)，基于针对每个类别而计算的损失，来计算(例如，使 用表达式9计算)类别之间损失差的总和；以及识别字典创建装置93 (例如，识别字典确定部109)，基于损失计算装置91针对类别而计算 的损失总和(例如使用表达式8计算的连续损失总和)以及类别之间损 失差的总和(例如，使用表达式9所计算的类别之间损失差的总和)， 来创建识别字典(例如，确定分类器参数α)。

识别字典创建装置93基于输入特征向量来校正识别字典，以使损 失计算装置91针对类别而计算的损失总和与损失差计算装置92计算的 类别之间损失差的总和之和(例如，表达式10所定义的评价函数的评 价值L(α))最小化。

由于使用这样创建的识别字典来执行模式识别，因此即使在用于 学习的数据包含噪声或者数据数目较少的情况下，也可以以高分类精 度来执行对没有学习的新数据的模式识别。

这里应注意，在任一上述示例性实施例中还公开了以下描述的模 式识别器和识别字典创建设备。

(1)模式识别器包括：损失计算装置(例如，连续损失计算部 104)，为每个类别计算(例如，使用表达式8计算)特征向量的损失(例 如，连续损失)，特征向量对属于该类别的数据的特征加以指示；损失 差计算装置(例如，损失差计算部105)，基于针对每个类别而计算的 损失，来计算(例如，使用表达式9计算)类别之间损失差的总和；识 别字典创建装置(例如，识别字典确定部109)，基于损失计算装置针 对类别而计算的损失总和(例如使用表达式8计算的连续损失总和)以 及类别之间损失差的总和(例如，使用表达式9所计算的类别之间损失 差的总和)，来创建识别字典(例如，确定分类器参数α)；以及模式 分类装置(例如，分类部106)，使用识别字典对数据的模式进行分类。 识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算 装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损 失差的总和之和(例如，表达式10所定义的评价函数的评价值L(α)) 最小化，并且模式分类装置使用校正后的识别字典来对数据的模式进 行分类。

(2)在模式识别器中，损失计算装置基于风险(例如，表达式3 至表达式6和表达式7所计算的风险)的总和(例如，表达式2所计算的 风险总和)来计算每个类别的损失，所述风险的总和对特征向量所属 类别的分类误差度加以指示。

(3)在模式识别器中，损失计算装置使用核函数来计算(例如， 使用表达式12和表达式13计算)每个类别的损失，并且模式分类装置 使用基于核函数而创建的识别字典来对数据的模式进行分类。

(4)模式识别器还包括：特征向量提取装置(例如，特征提取 部102)，从作为要识别数据输入的数据中提取特征向量。损失计算装 置计算为每个类别计算特征向量提取装置所提取的特征向量的损失， 并且模式分类装置使用识别字典对特征向量提取装置所提取的特征向 量的模式进行分类。

(5)识别字典创建设备创建模式识别器所使用的识别字典，模 式识别器被配置为识别数据的模式。识别字典创建设备包括：损失计 算装置(例如，连续损失计算部104)，针对每个类别计算(例如，使 用表达式8计算)特征向量的损失(例如，连续损失)，特征向量对属 于该类别的数据的特征加以指示；损失差计算装置(例如，损失差计 算部105)，基于针对每个类别而计算的损失，来计算(例如，使用表 达式9计算)类别之间损失差的总和；以及识别字典创建装置(例如， 识别字典确定部109)，基于损失计算装置针对类别而计算的损失总和 (例如使用表达式8计算的连续损失总和)以及类别之间损失差的总和 (例如，使用表达式9所计算的类别之间损失差的总和)，来创建识别 字典(例如，确定分类器参数α)。识别字典创建装置基于输入特征向 量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与 损失差计算装置计算的类别之间损失差的总和之和(例如，表达式10 所定义的评价函数的评价值L(α))最小化。

(6)在识别字典创建设备中，损失计算装置基于风险(例如， 表达式3至表达式6和表达式7所计算的风险)总和(例如，表达式2所 计算的风险总和)来计算每个类别的损失，所述风险总和对特征向量 所属类别的分类误差度加以指示。

尽管参照示例性实施例及其示例具体示出和描述了本发明，但是 本发明不限于这些示例性实施例和示例。本领域技术人员应当理解， 可以在不背离权利要求所限定的本发明的精神和范围的前提下在形式 和细节方面进行各种改变。

本申请基于并要求2010年1月14日递交的日本专利申请 No.2010-5447的优先权的权益，其全部公开通过引用合并于此。

(补充注释1)模式识别方法包括以下步骤：从作为要识别数据 输入的数据中提取特征向量，针对每个类别计算提取的特征向量的损 失，并且使用识别字典对提取的特征向量的模式进行分类。

(补充注释2)模式识别程序使计算机执行以下处理，包括：特 征向量提取处理，从作为要识别数据输入的数据中提取特征向量。在 损失计算处理中，针对每个类别计算特征向量提取处理中提取的特征 向量的损失。在模式分类处理中，使用识别字典对特征向量提取处理 中提取的特征向量的模式进行分类。

工业适用性

本发明优选地用于对输入数据的模式进行识别的模式识别器。例 如，本发明的模式识别器优选地用于图像识别。

附图标记列表

101 数据输入部

102 特征提取部

103 识别字典创建部

104 连续损失计算部

105 损失差计算部

106 分类部

107 识别字典

108 结果输出部

109 识别字典确定部