一种基于表情识别的无感情绪异常检测方法

摘要

本发明公开了一种基于表情识别的无感情绪异常检测方法，属于计算机软件技术领域，包括采集待预测个体在某时间段T内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项；将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级。本发明为每个个体建立不同的个体情绪异常等级预测模型，判断个体相对于自身在一个时期内的情绪异常情况，可根据得到的异常等级有效的监听个体的心理状态并做出针对性的跟踪和治疗。

说明书

技术领域

本发明涉及计算机软件技术领域，特别涉及一种基于表情识别的无感情绪异常检测方法。

背景技术

情绪异常检测是监听个体的心理状态并做出针对性的跟踪和治疗的有效方式，目前已有采用基于深度神经网络的情绪异常检测方案被提出，但这种方式存在的缺陷在于：(1)利用情绪识别模型的全连接层输出特征作为人群情绪异常检测模型的输入，未做到异常等级的判定；(2)只做到了个体相较于群体是否异常的判定，并没有针对个体建立个体情绪常模用于判断个体当次检测基于自身的情绪常模是否稳定；(3)基于深度学习的异常检测框架不具有可解释性。

发明内容

本发明的目的在克服现有技术存在的缺陷，以检测出个体情绪相较于自身情绪的异常等级。

为实现以上目的，本发明采用一种基于表情识别的无感情绪异常检测方法，包括：

采集待预测个体在某时间段T内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项；

将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级。采集待预测个体在某时间段T内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项；

将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级。

进一步地，所述采集待预测个体在某时间T段内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项，包括：

采集所述待预测个体在某时间段T内的面部图像帧数据；

采用N分类-表情识别模型对所述图像帧进行处理，得到每一图像帧对应的N维表情概率分布；

将所述待预测个体身份ID对应的全部表情概率分布按照每一表情维度求平均值，得到所述待预测个体身份ID对应的N维表情概率分布；

将所述待预测个体身份ID、时间段T以及对应的N维表情概率分布构建为所述待测数据项。

进一步地，所述个体情绪异常等级预测模型包括第一多维高斯模型、孤立森林模型和PCA模型中的至少一个。

进一步地，还包括：

将所述待预测数据项作为预先构建的群体情绪异常等级预测模型的输入，预测所述待预测个体的群体情绪异常等级，所述群体情绪异常等级预测模型包括第二多维高斯模型。

进一步地，在所述个体情绪异常等级预测模型包括第一多维高斯模型、孤立森林模型和PCA模型中的至少两个时，所述将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级，包括：

将所述待预测数据项分别作为所述第一多维高斯模型、孤立森林模型和PCA模型中的至少两个模型的输入，将各模型输出的情绪异常等级预测结果进行叠加，得到所述待预测个体的个体情绪异常等级。

进一步地，所述第一多维高斯模型对所述待预测数据项进行处理过程包括：

对于所述待预测数据项，通过以下公式计算得到概率密度函数值ρ(x)：

其中，x为待预测数据项，Σ

将所述概率密度函数值ρ(x)与阈值ε

所述孤立森林模型对所述待预测数据项进行处理的过程包括：

根据所述待预测数据项，综合所述孤立森林模型每棵树的计算结果，计算异常得分s

其中，x为所述待预测数据项，h(x)为x在每棵树的高度，c(n)为所述孤立森林模型构建时给定样本数n路径的平均长度值；

将异常得分s

进一步地，利用所述PCA模型对所述待预测数据项进行处理的过程包括：

基于重构方式的所述PCA模型对所述待预测数据项进行处理，判断所述待预测数据项的情绪异常等级

基于偏离方式的所述PCA模型对所述待预测数据项进行处理，判断所述待预测数据项的情绪异常等级

根据所述待预测数据项的情绪异常等级

进一步地，还包括：

对于已录入系统的样本对象，采集多个时间段内个体身份ID对应的面部图像帧；

对样本对象身份ID对应的面部图像帧进行情感分布预测，构建每个样本对象对应的训练数据项，并存入数据表；

根据每一样本对象在数据表中的全部训练数据项，构建所述个体情绪异常等级预测模型和所述群体情绪异常等级预测模型。

进一步地，所述根据每一样本对象在数据表中的全部训练数据项，构建所述个体情绪异常等级预测模型和所述群体情绪异常等级预测模型，包括：

将所述每一样本对象在数据表中的全部训练数据项进行数学变换，使其满足近似符合正态分布；

计算所有所述样本对象在数据表中的全部训练数据项的N维度均值μ以及协方差矩阵Σ

基于所述每一样本对象对应的N维度均值μ以及协方差矩阵Σ

基于所有所述样本对象的N维度均值μ以及协方差矩阵Σ

根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的孤立森林模型；

根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的PCA模型。

进一步地，所述根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的孤立森林模型，包括：

对所述每一样本对象在数据表中的全部训练数据项进行预处理，作为所述孤立森林模型的训练数据；

从所述训练数据中随机选择v个点作为子样本，放入一颗孤立树的根节点，随机指定一个维度在其最大值与最小值之间产生一个切割点p；

切割点p将当前节点数据空间划分为两个子空间，当前维度下小于p的点放在当前节点的左分支，大于p的点放在当前节点的右分支；

在节点的左右分支节点递归进行2-3，直到无法再继续划分为止；

不断进行2-4，直到获得t个孤立树，在获得t个孤立树后，结束单棵树的训练，构建得到所述孤立森林模型；

根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的PCA模型，包括：

对所述每一样本对象在数据表中的全部训练数据项进行预处理,并计算X的协方差矩阵Σ

求出协方差矩阵Σ

计算所述每一样本对象在数据表中的全部训练数据项经过降维后的新数据集

与现有技术相比，本发明存在以下技术效果：本发明以表情识别模型为基础，为每个个体建立不同的个体情绪异常等级预测模型，用于判断个体相对于自身在一个时期内的情绪异常情况，可根据得到的异常等级有效的监听个体的心理状态并做出针对性的跟踪和治疗，可有效预防因个体情绪异常而诸如暴力事件等情况的出现。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种基于表情识别的无感情绪异常检测方法的流程图；

图2是另一种基于表情识别的无感情绪异常检测方法的流程图；

图3一种基于表情识别的无感情绪异常检测方法的整体流程图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种基于表情识别的无感情绪异常检测方法，包括如下步骤S1至S2：

S1、采集待预测个体在某时间段T内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项；

S2、将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级。

需要说明的是，本实施例针对个体建立个体情绪异常检测模型用于判断个体当次检测基于自身的情绪常模是否稳定，并根据得到的异常等级有效的监听个体的心理状态并做出针对性的跟踪和治疗。

作为进一步优选的技术方案，上述步骤S1：采集待预测个体在某时间T段内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项，包括如下细分步骤S11至S14：

S11、采集所述待预测个体在某时间段T内的面部图像帧数据；

S12、采用N分类-表情识别模型对所述图像帧进行处理，得到每一图像帧对应的N维表情概率分布；

需要说明的是，本实施例利用公共数据集对N分类-表情识别模型进行训练，利用训练好的N分类-表情识别模型对采集到的面部图像帧进行表情识别，得到每一帧的N维表情分布概率分布。

S13、将所述待预测个体身份ID对应的全部表情概率分布按照每一表情维度求平均值，得到所述待预测个体身份ID对应的N维表情概率分布；

S14、将所述待预测个体身份ID、时间段T以及对应的N维表情概率分布构建为所述待测数据项。

作为进一步优选的技术方案，所述个体情绪异常等级预测模型包括第一多维高斯模型、孤立森林模型和PCA模型中的至少一个。

需要说明的是，多元高斯分布模型能够自动的捕获特征之间的相关性；孤立森林隔离数据点中的异常值，而不是分析正常的数据点，和其他正常的数据点相比，异常数据点的树路径更短，因此在孤立森林中的树不需要太大的深度，所以可以用更小的最大深度，从而降低内存需求。本实施例通过综合采用多种模型来识别对象的个体情绪异常等级，识别结果准确。

作为进一步优选的技术方案，如图3所示，在步骤S2：将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级之前，还包括：构建所述个体情绪异常等级预测模型，具体包括：

对于已录入系统的样本对象，采集多个时间段内个体身份ID对应的面部图像帧；

对样本对象身份ID对应的面部图像帧进行情感分布预测，构建每个样本对象对应的训练数据项，并存入数据表；

根据每一样本对象在数据表中的全部训练数据项，构建所述个体情绪异常等级预测模型。

需要说明的是，本实施例通过监控摄像头采集每个时间段已录入系统内的身份id个体的面部图片帧，并进行人脸关键点对齐以及人脸裁剪，并对每个时间段采集到的不同id个体的面部图片帧进行分组处理；利用在公共数据集上进行训练后的N分类表情识别模型对采集到的所有图片帧进行表情识别，得到每一帧的表情分布概率分布；将每个个体身份下对应的全部表情概率按照每一个表情维度求取均值，得到每个个体在对应时间段的一个N维表情概率分布；将个体id、相应的时间段以及该个体当前时间段的N维表情概率分布作为一个数据项，存入对应的数据表。根据每个个体在表中的全部数据项，构建第一多维高斯模型、孤立森林模型和PCA模型。

具体来说，个体情绪异常等级预测模型的构建过程包括：

(1)构建第一多维高斯模型：

将所述每一样本对象在数据表中的全部训练数据项进行数学变换，使其满足近似符合正态分布；

计算所有所述样本对象在数据表中的全部训练数据项的N维度均值μ以及协方差矩阵Σ

其中，

基于所述每一样本对象对应的N维度均值μ以及协方差矩阵Σ

其中，x为待预测数据项，Σ

需要说明的是，使用多维高斯分布模型对采集到的所有表情概率分布数据进行群体常模构建，基于整体的情绪分布划分每个情绪异常等级的阈值ε

(2)构建孤立森林模型：

对所述每一样本对象在数据表中的全部训练数据项进行平均化和方差归一化等预处理操作，作为所述孤立森林模型的训练数据；

从所述训练数据中随机选择v个点作为子样本，放入一颗孤立树的根节点，随机指定一个维度在其最大值与最小值之间产生一个切割点p；

切割点p将当前节点数据空间划分为两个子空间，当前维度下小于p的点放在当前节点的左分支，大于p的点放在当前节点的右分支；

在节点的左右分支节点递归进行2-3，直到无法再继续划分为止；

不断进行2-4，直到获得t个孤立树，在获得t个孤立树后，结束单棵树的训练，构建得到所述孤立森林模型。

(3)构建PCA模型：

对所述每一样本对象在数据表中的全部训练数据项进行平均化和方差归一化等预处理操作；

将X去均值化、方差归一化，并计算X的协方差矩阵Σ

其中，m为用于构建PCA模型的样本数量，X

求出协方差矩阵Σ

需要说明的是，本实施例具体可采用N分类表情识别模型，N分类表情具体为愤怒，快乐，悲伤，厌恶，惊讶，平静和害怕。

计算所述每一样本对象在数据表中的全部训练数据项经过降维后的新数据集

作为进一步优选的技术方案，本实施例还包括：

根据个体ID，遍历每一个体的所有N维表情概率分布；

判断当前个体对应的N维表情概率分布数目是否符合建模要求；

若是，则进行模型构建；

若否，不进行该个体的模型构建。

作为进一步优选的技术方案，在所述个体情绪异常等级预测模型包括第一多维高斯模型、孤立森林模型和PCA模型中的至少两个时，上述步骤S2：将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级，包括：

将所述待预测数据项分别作为所述第一多维高斯模型、孤立森林模型和PCA模型中的至少两个模型的输入，将各模型输出的情绪异常等级预测结果进行叠加，得到所述待预测个体的个体情绪异常等级。

比如，对于第一多维高斯分布异常检测模型，输出为该模型预测的异常等级u

需要说明的是，本实施例通过将多个有效的情绪异常检测模型的输出结果进行相加，最终确定个体的情绪异常等级，提高了个体情绪异常等级判断的准确性。

作为进一步优选的技术方案，所述第一多维高斯模型对所述待预测数据项进行处理过程包括：

对于所述待预测数据项，通过以下公式计算得到概率密度函数值ρ(x)：

其中，x为所述待预测数据项；

将所述概率密度函数值ρ(x)与阈值ε

所述孤立森林模型对所述待预测数据项进行处理的过程包括：

根据所述待预测数据项，综合所述孤立森林模型每棵树的计算结果，计算异常得分s

其中，x为所述待预测数据项，h(x)为x在每棵树的高度，c(n)为所述孤立森林模型构建时给定样本数n路径的平均长度值；

将异常得分s

需要说明的是，将所有样本计算异常得分s

作为进一步优选的技术方案，利用所述PCA模型对所述待预测数据项进行处理的过程包括：

当需要预测的新数据在残差子空间的投影长度很长，大于设置的阈值后则判断该数据为异常数据，即基于重构方式的所述PCA模型对所述待预测数据项进行处理，判断所述待预测数据项的情绪异常等级

基于所述待预测数据项，计算其残差子空间上的投影长度为||x

将投影长度与设置的阈值ε

需要说明的是，将所有样本计算的投影长度按照从小到大进行排列，取在百分之1.5位置的得分为异常阈值ε

因PCA提取了数据的主要特征成分，当待测数据项无法被重构，则说明这个数据主要特征与大部分数据不一致，就是异常数据，即基于偏离方式的所述PCA模型对所述待预测数据项进行处理，判断所述待预测数据项的情绪异常等级

基于所述待预测数据，利用如下公式计算其异常得分s

其中，X'＝(P

将异常得分s

将所述待预测数据项的情绪异常等级

需要说明的是，将所有样本计算异常得分s

作为进一步优选的技术方案，如图3所示，在上述步骤S2：将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级之后，还包括步骤S3：

S3、将所述待预测数据项作为预先构建的群体情绪异常等级预测模型的输入，预测所述待预测个体的群体情绪异常等级，所述群体情绪异常等级预测模型包括第二多维高斯模型。

具体为：将数据项送入已构建的群体多维高斯模型，通过群体多维高斯模型的概率密度函数值进行异常等级划分，得到该个体的群体情绪异常等级

需要说明的是，本实施例为每个个体建立不同的模型用于判断个体相对于自身在一个时期内的情绪异常情况；同时利用群体中所有数据建立群体情绪异常等级预测模型用于判断个体相对于群体情绪在一个时期内的情绪异常情况，并且可以根据出现异常的等级和次数给予监控着对应的心理干预方案，可有效预防因个体情绪异常而诸如暴力事件等情况的出现。

作为进一步优选的技术方案，群体情绪异常等级预测模型的构建过程具体为：

基于所有所述样本对象的N维度均值μ以及协方差矩阵Σ

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。