行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质

摘要

本发明提供一种行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质。行动识别装置具有：检测单元，根据拍摄车辆内而得到的车内图像检测所述车内图像中的车辆内的人物的、人体的多个部位的位置；特征量抽取单元，抽取位次特征量，该位次特征量是基于由所述检测单元得到的部位间的距离大小的位次的特征量；以及辨别单元，使用预先学习到的辨别器和所述特征量抽取单元抽取的位次特征量来辨别车辆内乘客的行为。辨别单元优选作为输入受理动态图像，根据各帧的辨别器的辨别结果来辨别行为。

说明书

技术领域

本发明涉及车辆内乘客的行为识别技术。

背景技术

作为识别车辆内乘客的行为的手法，例如提出有如Wang等人的文献[1]所述的方法，该文献公开有以下内容：根据输入图像制作分辨率不同的多个图像(金字塔图像)，从该金字塔图像高密度地检测着眼点。针对通过沿时间方向追踪多个着眼点而得到的多个轨迹的每一个轨迹抽取HOG、HOF、MBH这样的多个种类的图像特征量。将这些图像特征量在维度方向上连结，使用特征包(Bag-of-Feature)表现而变换为描述能力更高的图像特征量。最终，针对作为辨别对象的每个行为使用将所得到的图像特征量作为输入的非线性SVM(Support Vector Machine，支持向量机)生成(学习)辨别器。

另外，作为识别车辆内乘客的行为的手法，例如提出有如Goutsu等人的文献[2]所述的方法，该文献公开有以下内容：使用深度传感器检测人体部位的各时刻的位置，使用将检测位置作为输入的隐马尔科夫模型(HMM，Hidden Markov Model)抽取第一特征量。另外，通过对该第一特征量应用费舍尔核(Fisher Kernel)，将第一特征量变换为描述能力更高的第二特征量(Fisher Vector，费舍尔向量)。最终，使用非线性SVM生成(学习)辨别器，该非线性SVM将针对作为辨别对象的每个行为抽取出的第二特征量作为输入。

但是，Wang等人的文献[1]存在得到的特征量庞大的缺点。原因在于从图像空间上高密度地抽取着眼点，并针对所得到的每个轨迹抽取多个种类的图像特征量的缘故。Wang等人的文献[1]存在不仅辨别器的学习处理需要长时间，而且使用该辨别器的辨别处理也需要长时间的问题。

另外，Goutsu等人的文献[2]存在如下问题：对于如姿势识别那样的识别动态图像中的人物有意的行为是有效的，另一方面，难以识别动态图像中的人物无意的危险行为等。

(1)H.Wang，A.Klaser，C.Schmid.“Dense Trajectories and Motion BoundaryDescriptors for Action Recognition”，International Journal of Computer Vision(IJCV)，103，pp.60-79，2013.

(2)Y.Goutsu et al.，“Gesture recognition using hybrid generativediscriminative approach with Fisher Vector”，IEEE International Conference onRobotics and Automation(ICRA)，2015.

(3)M.Schwarz et al.，RGB-D Object Recognition and Pose EstimationBased on Pre-Trained Convolutional Neural Network Features ICRA2015

(4)A.Toshev et al.，DeepPose：Human Pose Estimation via Deep NeuralNetworks，CVPr2014

(5)L.Breiman.“Random F0rests”，Machine Learning，vol.45，no.1，pp.5-32，2001.

(6)J.Weston，C.Watkins.Multi-class Support Vector Machines，TechnicalReport CSD-TR-98-04，1998.

(7)Sugiyama，M.Superfast-trainable multi-class probabilisticclassifier by least-squares posterior fitting.IEICE Transactions onInformation and Systems，vol.E93-D，no.10，pp.2690-2701，2010.

发明内容

本发明的一个方案是用于能够精度良好地识别车辆内乘客的行为的新颖和创新的方法。

本发明的第一实施方案为一种行为识别装置(behavior recognitionapparatus)，其特征在于，具有：

检测单元(detection unit)，根据拍摄车辆内而得到的车内图像检测所述车内图像中的车辆内的人物的、多个人体的部位(人体的部位＝body part)的位置；

特征量抽取单元(feature extraction unit)，抽取位次特征量，该位次特征量是基于由所述检测单元得到的部位间的距离大小的位次的特征量(feature)；以及

辨别单元(discrimination unit)，使用预先学习到的辨别器和所述特征量抽取单元抽取出的位次特征量来辨别车辆内乘客的行为。

车辆内的人物的部位的位置也可以还考虑与所述车内图像对应的距离图像(进深信息)来求出。另外，部位间的距离既可以是车内图像内的距离(二维距离)，也可以是还考虑了进深信息的三维的距离。

本实施方案因为使用了基于人体的部位间的距离大小的位次的特征量(位次特征量)，所以相对于输入图像中的人体的比例尺变动、旋转或平行移动是稳健的。因此，本实施方案能够实现抑制了座椅位置的水平移动、乘客的体格差异以及摄像机的位置或朝向等的影响的精度良好的识别。

上述辨别器也可以通过决策树学习生成。例如，能够依照随机森林算法来生成。此时，作为判定决策树的各节点处的分支的条件，也可以采用基于人体的第1部位配对间的距离大小的位次与第2部位配对间的距离大小的位次的大小关系的判定条件。上述辨别器既可以是确定输入信息是否与预先决定的多个行为的某个行为相符的辨别器，也可以是计算针对这多个行为的各个行为的似然度(概率)的辨别器。

另外，上述辨别器也可以通过除了决策树学习以外的任意的统计性的机器学习例如SVM(Support Vector Machine：支持向量机)、最小二乘概率的分类法、贝叶斯推测、神经网络等方法来生成。

车辆内乘客的行为也可以仅根据1张图像来判断，但优选根据多张图像、更详细而言根据包括多帧的动态图像来识别。在该情况下，行为识别装置能够对构成动态图像的多帧图像检测人体的部位位置、抽取位次特征量以及计算针对所述多个行为的各个行为的似然度，将所述似然度的平方和最大的行为判断为是所述车辆内乘客的行为。在此，使用似然度的平方和进行了评价，但也可以简单地使用和或积等。

本发明的第二实施方案是一种学习装置，用于学习在上述行为识别装置中使用的辨别器，所述学习装置的特征在于，具有：

输入单元，获取拍摄车辆内而得到的车内图像中的车辆内的人物的人体的多个部位的位置以及车辆内的人物所采取的正确行为；

特征量抽取单元，抽取位次特征量，该位次特征量是基于人体的部位间的距离大小的位次的特征量；以及

学习单元，根据所述特征量抽取单元抽取出的位次特征量和所述正确行为，生成用于辨别车辆内乘客的行为的辨别器。

与第一实施方案同样地，部位间的距离既可以是车内图像内的距离(二维距离)，也可以是还考虑了进深信息的三维的距离。在采用三维的距离的情况下，还需要利用进深信息。此外，人体的部位的位置的检测既可以由学习装置进行，也可以是人进行。

在本实施方案中，还优选将对人体的多个部位的位置施加微小变动而得到的输入数据也用作表示同一正确行为的学习数据来学习辨别器。通过这样准备施加有噪声的学习数据，能够生成相对于人体部位的位置的推测误差稳健的辨别器。

此外，本发明能够实现为具备上述单元的至少一部分的行为识别装置或者学习装置。另外，本发明还能够实现为执行上述处理的至少一部分的行为识别方法或者学习方法。另外，本发明还能够实现为用于使计算机执行这些方法的计算机程序或者非临时地存储有该计算机程序的计算机可读存储介质。上述单元以及处理的各个能够尽可能地相互组合而构成本发明。

根据本发明，能够提高车辆内乘客的行为识别的精度。特别是能够抑制车辆内的环境的主要原因所致的变动、例如座椅位置的水平移动、乘客的体格差异、摄像机的位置或朝向、人体部位的位置的推测误差等所致的影响。

本发明的其它特征将从示例性实施例的以下描述并参考附图而进一步明确。

附图说明

图1A以及1B示出实施方式的行为识别装置1以及学习装置2的功能结构图。

图2示出学习装置2进行的学习处理的流程图。

图3示出输入到红外图像输入部11的红外图像的例子。

图4示出由人体部位检测部13检测到的检测结果的例子。

图5示出由微小变动施加部151施加的微小变动施加结果的例子。

图6A以及6B说明基于部位间的距离大小的位次的位次特征量。

图7说明决策树模型。

图8示出行为识别装置1进行的行为识别处理的流程图。

具体实施方式

[结构概要]

关于本发明的实施方式，参照附图进行说明。图1A是示出本实施方式的行为识别装置1的结构概要的框图。行为识别装置1能够用半导体集成电路(LSI)实现。在此，如图1A所示，行为识别装置1具有红外图像输入部11、进深信息输入部12、人体部位检测部13、特征量抽取部14、辨别部16。辨别部16包括：概率计算部161，从1张图像求出各个辨别对象行为的概率(似然度)；以及概率累计部162，用于从多帧图像确定车辆内乘客的行为。这些结构要素分别对应于行为识别装置1所实现的功能。

图1B是示出用于生成辨别部16的概率计算部161(辨别器)的、学习装置2的结构概要的框图。学习装置2能够用半导体集成电路(LSI)实现。在此，如图1B所示，学习装置2具有红外图像输入部11、进深信息输入部12、人体部位检测部13、学习部15、正确行为输入部17。学习部15包括微小振动施加部151、特征量抽取部152、判定条件设定部153。在此，关于学习装置2所具有的功能块中的、与行为识别装置1所具有的功能块相同的功能块，附加有同一参照编号。

关于这些各功能部，在以下的学习处理以及行为识别处理的说明中一并进行说明。

[学习处理]

首先，说明学习装置2进行的学习处理。图2是示出学习处理的流程的流程图。

在步骤S10中，学习装置2获取关于正确行为已知的行为的红外图像以及进深信息(距离图像)的动态图像。从红外图像输入部11输入红外图像，从进深信息输入部12输入进深信息，从正确行为输入部17输入正确行为。

如图3所示，红外图像输入部11获取从行为识别装置1的外部输入的车辆内的红外图像(以下，称为“红外图像”)，并将时刻t(t＝1，2，...，T)的红外图像I(t)输出到人体部位检测部13。从设置于车辆内的红外线摄像机获取红外图像即可。此外，在本实施方式中使用了红外图像，但也可以使用可见光图像。

进深信息输入部12获取从行为识别装置1的外部输入的车辆内的进深信息(以下，称为“进深信息”)，将所得到的时刻t(t＝1，2，...，T)的进深信息D(t)输出到人体部位检测部13。在此，将已市售流通的立体摄像机或TOF(Time-of-Flight，飞行时间)传感器等设置于车辆内来获取进深信息D(t)即可。

对正确行为输入部17输入当前输入的红外图像以及进深信息的正确行为(正确范畴)。作为正确行为的例子，能够例举方向盘操作、后视镜的调整、控制面板的调整、座椅安全带的系上和解开、智能手机操作、饮食等。

以所输入的动态图像的各帧为对象进行包括步骤S11-S13的循环L1的处理。

在步骤S11中，人体部位检测部13根据红外图像I(t)以及进深信息D(t)检测人体的部位。

如图4那样，人体部位检测部13根据由红外图像输入部11得到的红外图像I(t)和由进深信息输入部12得到的进深信息D(t)检测车辆内乘客的M个部位的二维坐标(x_m(t)，y_m(t))(m＝1，2，...，M)，输出到学习部15。

在此，x_m(t)表示时刻t的第m个部位的红外图像I(t)中的水平方向坐标。另外，y_m(t)表示时刻t的第m个部位的红外图像I(t)中的垂直方向坐标。另一方面，z_m(t)表示时刻t的第m个部位的深度方向坐标，通过进深信息D(t)中的二维坐标(x_m(t)，y_m(t))上的值提供。

具体而言，关于车辆内乘客的M个部位的二维坐标(x_m(t)，y_m(t))(m＝1，2，...，M)，例如，如Schwarz等人的文献[3]所述，使用预先生成的、用于检测车辆内乘客的M个部位的二维坐标(x_m(t)，y_m(t))(m＝1，2，...，M)的辨别器C₁来检测车辆内乘客的M个部位的二维坐标(x_m(t)，y_m(t))(m＝1，2，...，M)即可。能够使用被赋予有车辆内乘客的M个部位的二维坐标(x_m(t)，y_m(t))(m＝1，2，...，M)和深度方向坐标z_m(t)(m＝1，2，...，M)的大量的学习用数据来生成辨别器C₁。

或者，关于车辆内乘客的M个部位的二维坐标(x_m(t)，y_m(t))(m＝1，2，...，M)，也可以如Toshev等人的文献[4]那样，使用预先生成的、用于检测车辆内乘客的M个部位的二维坐标(x_m(t)，y_m(t))(m＝1，2，...，M)的辨别器C₂来检测车辆内乘客的M个部位的二维坐标(x_m(t)，y_m(t))(m＝1，2，...，M)。能够使用被赋予有车辆内乘客的M个部位的二维坐标(x_m(t)，y_m(t))(m＝1，2，...，M)的大量的学习用数据来生成辨别器C₂。

在步骤S12中，学习部15的微小变动施加部151对通过人体部位检测部13得到的车辆内乘客的M个部位的二维坐标(x_m(t)，y_m(t))(m＝1，2，...，M)施加微小变动，制作相似(similar)的K个学习用数据D_k(t)(k＝1，2，...，K)。在施加微小变动之后，正确行为也与输入到正确行为输入部17的正确行为相同。

如图5那样，微小变动施加部151对由人体部位检测部13得到的车辆内乘客的M个部位的二维坐标(x_m(t)，y_m(t))(m＝1，2，...，M)施加微小的变动(Δx_m，k(t)，Δy_m，k(t))(m＝1，2，...，M，k＝1，2，...，K)，从而制作相似的K个学习用数据D_k(t)(k＝1，2，...，K)，并输出到特征量抽取部152。

在此，Δx_m，k(t)表示第m个部位的水平方向的微小的变动，其大小通过预先决定的最大值Δx_max以下的随机值来提供，针对每个k(＝1，2，...，K)而值不同。另外，Δy_m，k(t)表示第m个部位的垂直方向的微小的变动，其大小通过预先决定的最大值Δy_max以下的随机值来提供，针对k(＝1，2，...，K)而值不同。进而，最大值Δx_max和Δy_max是分别通过反复试验而确定的。

在步骤S13中，特征量抽取部152根据K个学习用数据D_k(t)(k＝1，2，...，K)抽取K个位次特征量F_k(t)(k＝1，2，...，K)。具体而言，使用下式(1)来抽取位次特征量F(t)。

F(t)＝(R(D(1，2))，R(D(1，3))，…，R(D(8，9))，R(D(9,10)))…(1)

在此，在式(1)中，D(m，n)表示第m个部位与第n个部位的红外图像空间上的欧式距离，R(D(m，n))表示按照降序对D(1，2)、D(1，3)、…、D(8，9)、D(9，10)排序时的D(m，n)的位次。例如，如图6(a)所示，为方便起见考虑4个部位，设为全部部位的对间的距离D(t)通过D(t)＝(D(1，2)，D(1，3)，D(1，4)，D(2，3)，D(2，4)，D(3，4))＝(5.5，2.6，2.8，3.5，4.3，4.0)来提供。于是，时刻t的位次特征量F(t)能够抽取为F(t)＝(1，5，6，4，3，2)。

位次特征量F(t)具有相对于图6B所示的人体部位的位置的比例尺变动而位次特征量F(t)不变、并且相对于微小变动稳健的特性。也就是说，因为位次特征量F(t)仅依赖于人体部位间的距离的位次，所以即使发生扩大或缩小这样的比例尺变动，位次特征量F(t)也不变。另外，即使人体部位的位置发生微小变动，只要该变动不影响它们的位次，则位次特征量F(t)也不变。根据这样的特性，能够抑制在推测车辆内乘客的行为时发生的各种各样的变动例如座椅位置的水平移动、乘客的体格差异、摄像机的位置或朝向、基于深度学习的人体部位的位置的推测误差等所致的影响。

通过以上的步骤S11-S13的处理，关于1帧量的图像制作多个学习数据D_k(t)，关于各个学习数据D_k(t)确定位次特征量F(t)。然后，通过重复进行循环L1而对所输入的动态图像的各帧执行该处理。

在步骤S14中，学习部15的判定条件设定部153使用通过特征量抽取部152得到的K×T个位次特征量F_k(t)(k＝1，2，...，K，t＝1，2，...，T)以及针对各个位次特征量F_k(t)的正确范畴，生成针对辨别对象范畴c(＝1，...，C)的辨别器C₃。在本实施方式中，使用决策树学习、特别是如Breiman的文献[5]所述的随机森林来生成辨别器C₃。

随机森林是指如图7所示的、将决策树作为弱辨别器的组学习算法(GroupLearning Algorithms)的一种，包括多个节点r(＝1，...，R)和连接节点间的链路。将处于最上位层的节点称为根节点，将处于最下位层的节点称为叶节点，将除此以外的节点简称为节点。在各节点通过学习来保存用于将节点内的位次特征量分配到左右节点的判定条件φ_r(r＝1，...，R)和针对辨别对象范畴c(＝1，...，C)的概率P_r(c)(r＝1，...，R)。

在此，辨别对象范畴c(＝1，...，C)是被输入到正确行为输入部17的正确行为。根据车辆内乘客的行为识别的前后的关联性适当地设定辨别对象范畴即可。例如，可以设定为“c＝1：方向盘操作”、“c＝2：后视镜的调整”、“c＝3：控制面板的操作”、“c＝4：座椅安全带的系上和解开”、“c＝5：智能手机操作”、“c＝6：饮食”。

另外，使用位次特征量F(t)的第i个要素I、第j个要素J以及用于要素I与要素J的大小比较的阈值τ来设定随机森林的学习所需的判定条件的候补φ_m(m＝1，...，M)。具体的判定条件也就是φ_m中的i、k、τ的值是随机(random)确定的。

判定条件用于确定从构成决策树的各节点迁移到哪个子节点。具体而言，进行位次特征量F(t)的第i个要素I与第j个要素J的大小比较，在I-J＞τ成立的情况下向右侧的节点迁移，在不成立的情况下向左侧的节点迁移。例如，在对位次特征量F(t)＝(1，5，6，4，3，2)应用判定条件(i，j，τ)＝(1，5，1)的情况下，根据第i(＝1)个要素I＝5和第j(＝5)个要素J＝2，I-J＝5-2＝3＞1＝τ成立，所以向右侧的节点迁移。同样地，在应用了判定条件(i，j，τ)＝(1，0，7)的情况下，根据第i(＝1)个要素I＝5和第j(＝0)个要素J＝1，I-J＝5-1＝4＜7＝τ成立，所以向左侧的节点迁移。

如果如以上所述得到了判定条件的候补φ_m(m＝1，...，M)，则之后依照通过Breiman的文献[5]决定的流程进行学习即可。在此所说的学习是指对各节点r(＝1，...，R)设定合适的判定条件φ_r(r＝1，...，R)和针对辨别对象范畴c(＝1，...，C)的概率P_r(c)(r＝1，...，R)。具体而言，关于第r个节点的判定条件φ_r(r＝1，...，R)，设定判定条件的候补φ_m(m＝1，...，M)中的、使由式(2)定义的可靠度G(φ)最大的候补即可。

【式2】

在此，Q_l(φ)表示在判定条件φ下向左侧节点迁移的采样的个数，Q_r(φ)表示在判定条件φ下向右侧节点迁移的采样的个数，H(Q(φ))表示预定节点的针对辨别对象范畴的信息熵，H(Q_l(φ))表示在判定条件φ下向左侧节点迁移的采样的针对辨别对象范畴的信息熵，H(Q_r(φ))表示在判定条件φ下向右侧的节点迁移的采样的针对辨别对象范畴的信息熵。

最终，确定随机森林的各节点r(＝1，...，R)的判定条件φ_r(r＝1，...，R)和针对辨别对象范畴c(＝1，...，C)的概率P_r(c)(r＝1，...，R)。使学习所使用的学习数据的部分集合以及判定条件的候补φ_m不同而多次进行上述处理，制作多个决策树。辨别器(相当于辨别部16的概率计算部161)的辨别结果是合并由各决策树求出的针对辨别对象范畴c的概率P_r(c)而得到的。

[行为识别处理]

接下来，说明行为识别装置1进行的行为识别处理。图8是示出行为识别处理的流程的流程图。

在步骤S20中，行为识别装置1获取关于识别对象的行为的红外图像以及进深信息(距离图像)的动态图像。红外图像和进深信息的获取基本上与学习处理时相同。

以所输入的动态图像的各帧为对象进行包括步骤S21-S23的循环L2的处理。

在步骤S21中，人体部位检测部13检测人体部位的二维位置。在步骤S22中，特征量抽取部14抽取基于人体的部位间距离的位次的位次特征量。步骤S21以及S22中的处理与学习处理中的步骤S11以及S12的处理相同。

在步骤S23中，通过学习装置2学习的概率计算部161求出与由特征量抽取部14抽取出的位次特征量的识别对象范畴c(＝1，...，C)分别对应的概率。将由特征量抽取部14新输入的位次特征量表示为F(t’)。位次特征量F(t’)的识别对象范畴是未知的。概率计算部161根据由学习部15得到的随机森林的各节点r(＝1，...，R)的判定条件φ_r(r＝1，...，R)和针对识别对象范畴c(＝1，...，C)的概率P_r(c)(r＝1，...，R)，计算针对位次特征量F(t’)(t’＝1，...，T’)的识别对象范畴c(＝1，...，C)的概率P(t’，c)。计算出的概率P(t’，c)被输出到概率累计部162。

具体而言，依照由学习部15得到的随机森林的各节点r(＝1，...，R)的判定条件φ_r(r＝1，...，R)，从根节点依次追溯节点，通过最终到达的叶节点r’(r’是1至R中的任意叶节点)的概率P_r’(c)提供概率P(t，，c)。

在步骤S24中，概率累计部162根据最近的L帧的辨别结果(每个范畴的概率)，确定所输入的动态图像中的车辆内乘客的行为。具体而言，概率累计部162通过将由概率计算部161得到的时刻t’的针对识别对象范畴c(＝1，...，C)的概率P(t’，c)沿时间方向累计L帧，从而判定位次特征量F(t’)属于识别对象范畴c(＝1，...，C)中的哪个识别对象范畴。具体而言，使用式(3)来判定位次特征量F(t’)所属的识别对象范畴c(F(t’))(1至C中的任意识别对象范畴)即可。

【式3】

在此，在式(3)中，不是求针对概率P(t’，c)的简单的和而是求平方和是为了在存在相似的2个识别对象范畴的情况下强调它们的区别。另外，L的值，通过反复试验确定即可。

这样得到的车辆内乘客的行为识别结果c(F(t’))被传递到实际使用行为识别装置1的更上位的装置，被应用到将车辆内乘客的行为作为输入的各种各样的应用。例如，应用到如下情况等：识别出由车辆内乘客进行的智能手机操作或饮食这样的危险行为，与车辆的行驶状态进行对照，从而适当地提醒注意。此外，上述单元相当于行为识别装置1的一个例子。

在本实施方式中，因为将部位间的距离大小的位次用作特征量，所以能够进行精度良好的行为识别。其原因是即使发生扩大或缩小这样的比例尺变换、旋转或平行移动，距离大小的位次也不变，而且相对于部位的微小变动也稳健。通过这样的特性，能够抑制在推测车辆内乘客的行为时发生的各种各样的变动例如座椅位置的水平移动、乘客的体格差异、摄像机的位置或朝向、基于深度学习的人体部位的位置的推测误差等所致的影响。

[变形例]

在上述说明中，求出二维位置(x_m(t)，y_m(t))来作为人体的部位的位置，因此，部位间的距离也使用xy面内的距离。但是，以三维方式求出人体部位的位置、使用三维空间内的距离来作为部位间的距离也是优选的。在该情况下，当在学习处理中对部位的位置施加微小变动时，既可以对x，y，z的各分量施加随机值，也可以对x，y的分量施加随机值并将z分量设为进深信息D(t)中的(x_m(t)+Δx_m，k(t)，y_m(t)+Δy_m，k(t))的值。

另外，学习处理或行为识别处理所使用的人体部位的位置可以以任意的方式求出。这不仅意味着部位检测的算法不限于特定的算法，而且还意味着也可以人工地进行部位检测。关于行为识别处理，为了实时地进行处理，最好通过机器进行人体的部位检测。

另外，概率累计部162根据各帧中的概率P(t’，c)的平方和确定了最终的行为范畴的识别结果，但也可以简单地根据和或积(或者，算术平均或几何平均)来确定。

另外，在上述说明中，说明了采用随机森林作为决策树学习的例子的情况，但也可以使用如ID3或CART这样的其它决策树学习算法。

另外，能够采用的学习处理不限于决策树学习，也可以是其它任意的统计性的机器学习。统计性的机器学习是指从学习数据根据统计性的方法生成进行输入数据的类别判别的模型的学习处理。例如，能够使用如Weston的文献[6]所述的多类别支持向量机(Support Vector Machine)。或者，能够使用如Sugiyama的文献[7]所述的最小二乘概率的分类法。除此之外，还能够使用贝叶斯推测或神经网络等。

本发明的行为识别装置1和学习装置2不限于基于半导体集成电路(LSI)的安装，也可以通过具有通用的微处理器和存储器的计算机执行程序来实现。另外，在上述说明中，将行为识别装置1和学习装置2作为不同的装置进行了说明，但也可以构成为在1台装置中切换学习模式和识别模式。