训练跨域人脸表情识别模型、人脸表情识别的方法及系统

摘要

本发明公开了一种训练跨域人脸表情识别模型、人脸表情识别的方法及系统，其中训练方法包括：首先构建人脸全局‑局部特征图，利用源域的表情标签及特征图对特征提取器及分类器进行预训练；基于源域和目标域的图像及源域表情标签利用预设目标函数约束，将预训练好的特征提取器与判别器进行对抗式迁移学习，预训练好的分类器自适应微调，得到进行训练好的特征提取器、分类器及判别器；将训练好的特征提取器、分类器、判别器及人特征图组成跨域人脸表情识别模型，该方法将图传播机制与对抗学习相集成，实现跨领域人脸表情识别的整体特征与局部特征的相适应，利用对抗式领域自适应图表征以及人脸特征全局‑局部图提高跨场景人脸表情识别准确率。

说明书

技术领域

本发明涉及人脸表情领域，具体涉及一种训练跨域人脸表情识别模型、人脸表情识别的方法及系统。

背景技术

人脸表情识别属于计算机视觉中的一个方向，用于判断人的情绪状态，通常应用于人机交互或安保监控中。人们构建了许多人脸表情识别数据集(包括受控环境与非受控环境)，并在此基础上提出了许多人脸表情识别算法，取得了不错的成绩。但是由于文化环境以及个体差异，人们对于人脸表情的理解并不完全统一，这使得各个数据集的标注数据存在偏差，导致大部分人脸表情识别算法无法很好的进行跨数据集/跨领域识别，从而导致大部分人脸表情识别算法在工业界落地时需要各个场景下的大量标注数据。有的跨场景/跨领域的人脸表情识别算法，引入领域迁移程度超参，对于不同目标域数据集需将该超参设置不同数值，需大量实验进行探究，无法做到较好的通用设置，且仅使用人脸全局特征，并未考虑人脸局部特征以及人脸全局特征与局部特征间的关联，识别效果不佳。

发明内容

因此，本发明提供的一种训练跨域人脸表情识别模型、人脸表情识别的方法及系统，克服了现有技术中进行跨数据集/跨领域的人脸识别时效果差缺陷。

第一方面，本发明实施例提供一种训练跨域人脸表情识别模型的方法，包括如下步骤：根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图；利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练；基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时所述预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器；将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。

在一实施例中，所述人脸特征全局-局部关联图G通过以下数学表达式进行表示：

G＝(V,A)，

其中，V＝{v

v

在一实施例中，所述利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练的步骤，包括：利用源域特征数据集的表情标签对特征提取器和分类器进行预训练；利用预训练好的特征提取器源域和目标域人脸特征，统计源域和目标域的全局及局部特征，得到特征分布模型；将源域特征数据集图像输入预训练好的特征提取器，得到源域的人脸特征；基于特征分布模型得到目标域的人脸统计特征，将源域的人脸特征及目标域的人脸统计特征输入到到人脸全局-局部特征图进行关联学习，得到优化后全局及局部特征，将优化后全局及局部特征输入分类器的人脸识别结果，其过程基于预设的损失函数约束，对特征提取器、全局-局部特征图及分类器进行训练。

在一实施例中，预设目标函数约束包括:特征提取器与分类器的损失函数约束及判别器的损失函数约束，通过以下公式计算：

L1＝MIN

L2＝MIN

其中，F表示特征提取器，G表示分类器，D表示判别器，L1为判别器的损失函数约束，L2为特征提取器与分类器的损失函数约束；

L(F,G)＝E

其中，E表示交叉熵函数，x_s表示源域的图像，y_s表示源域的表情便签；

L(F,G,D)＝-E

其中，x_t表示目标域的图像。

第二方面，本发明实施例提供一种人脸表情识别的方法，包括：获取待识别的人脸图像；将待识别的人脸图像输入根据本发明实施例第一方面所述的训练跨域人脸表情识别模型的方法得到跨域人脸表情识别模型中，得到人脸表情及其所属域。

在一实施例中，将所述将待识别的人脸图像输入特征提取器获取人脸特征，将所述人脸特征输入人脸全局-局部特征图得到人脸全局和局部特征后，分别输入分类器及判别器，所述分类器识别待识别的人脸图像的人脸表情，所述判别器识别待识别的人脸图像的所属域。

第三方面，本发明实施例提供一种训练跨域人脸表情识别模型的系统，包括：人脸全局-局部特征图构建模块，根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图；特征提取器及分类器预训练模块，用于利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练；特征提取器、分类器及判别器训练模块，用于基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时所述预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器；跨域人脸表情识别模型形成模块，用于将将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。

第四方面，本发明实施例提供一种人脸表情识别的系统，包括：待识别的人脸图像获取模块，用于获取待识别的人脸图像；人脸表情及其所属域识别模块，用于将待识别的人脸图像输入根据本发明实施例第一方面所述的训练跨域人脸表情识别模型的方法得到跨域人脸表情识别模型中，得到人脸表情及其所属域。

第五方面，本发明实施例提供一种计算机设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例第一方面所述的训练跨域人脸表情识别模型的方法，以及本发明实施例第二方面所述的人脸表情识别的方法。

第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，以使所述至少一个处理器执行本发明实施例第一方面所述的训练跨域人脸表情识别模型的方法，以及本发明实施例第二方面所述的人脸表情识别的方法。

本发明技术方案，具有如下优点：

本发明实施例提供一种训练跨域人脸表情识别模型首先构建人脸全局-局部特征图，利用源域的表情标签及特征图对特征提取器及分类器进行预训练；基于源域和目标域的图像及源域表情标签利用预设目标函数约束，将预训练好的特征提取器与判别器进行对抗式迁移学习，预训练好的分类器自适应微调，得到进行训练好的特征提取器、分类器及判别器；将训练好的特征提取器、分类器、判别器及人特征图组成跨域人脸表情识别模型，该方法对数据标注的需求远小于其他跨场景人脸表情识别算法，将图传播机制与对抗学习相集成，以此实现跨领域人脸表情识别的整体特征与局部特征的相适应，提高了跨场景人脸表情识别准确率。

2、本发明实施例提供一种人脸表情识别的方法及系统，利用基于对抗式领域自适应图表征以及人脸特征全局-局部图的人脸识别模型进行人脸识别，在相同数据集上与其他跨场景人脸表情识别方法相比，具有明显的优势。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的训练跨域人脸表情识别模型的方法一个具体示例的流程图；

图2为本发明实施例提供的人脸特征全局-局部关联图的链接关系的示意图；

图3为本发明实施例提供的跨域人脸表情识别模型的一个具体示例的示意图；

图4为本发明实施例提供的人脸表情识别方法的一个具体示例的流程图；

图5为本发明实施例提供的训练跨域人脸表情识别模型的系统的一个具体示例的模块组成图；

图6为本发明实施例提供的人脸表情识别的系统的一个具体示例的模块组成图；

图7为本发明实施例提供的计算机设备一个具体示例的组成图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本发明实施例提供的一种训练跨域人脸表情识别模型的方法，通过构建人脸特征全局-局部关联图以及统计源域/目标域的分布，将源域中的全局/局部人脸表情特征与目标域中的全局/局部人脸表情特征进行关联，从而提出了基于对抗式领域自适应图表征的跨场景人脸表情识别模型对人脸进行识别，如图1所示，该模型的训练方法，包括如下步骤：

步骤S1：根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图。

本发明实施例中，人脸特征全局-局部关联图G通过以下数学表达式进行表示：

G＝(V,A)，

其中，V＝{v

人脸特征全局-局部关联图的邻接矩阵，如图2所示，共有两大类链接：同域链接和跨域链接,同域链接分为全局-局部链接和局部-局部链接，跨域链接分为对应点链接、全局-局部链接和局部-局部链接。

步骤S2:利用源域特征数据集的表情标签及人脸全局-局部特征图对特征提取器及分类器进行预训练。

本发明实施例利用源域特征数据集的表情标签对特征提取器和分类器进行预训练；利用预训练好的特征提取器源域和目标域人脸特征，统计源域和目标域的全局及局部特征，得到特征分布模型；将源域特征数据集图像输入预训练好的特征提取器，得到源域的人脸特征；基于特征分布模型得到目标域的人脸统计特征，将源域的人脸特征及目标域的人脸统计特征输入到到人脸全局-局部特征图进行关联学习，得到优化后全局及局部特征，将优化后全局及局部特征输入分类器的人脸识别结果，其过程基于预设的损失函数约束，对特征提取器、全局-局部特征图及分类器进行训练。

在一实施例中，在源域和目标域上统计数据的特征分布，即统计源域和目标域中全局/局部特征的均值分布，以此进行各域特征分布统计器的初始化，学习源域与目标域的统计分布，以便于学习具有域不变性的特征。

在一实施例中，将大小为112x112的源域人脸图像的输入预训练好的特征提取器，特征提取器为残差网络，包括RGB三个通道，根据分辨率的不同，残差网络的输出特征可以分为四组，分辨率分别：A组特征56x56，B组特征28x28，C组特征14x14，D组特征7x7。全局特征由D组特征所得，局部特征由B组特征通过人脸关键点所得，并将全局/局部特征输入到人脸全局-局部特征图中进行关联学习，从而得到全局/局部特征。

本发明实施例在训练方式上，使用源域数据集的表情标签作为监督，交叉熵函数作为损失函数，随机梯度下降作为优化器进行训练，损失函数和优化器仅作为举例说明，不以此为限。

步骤S3:基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器。

本实施例中，预设目标函数约束包括:特征提取器与分类器的损失函数约束及判别器的损失函数约束，使用源域数据集的表情标签作为监督，交叉熵函数作为特征提取器及分类器的损失函数，二分类交叉熵函数作为判别器的损失函数，随机梯度下降作为优化器进行训练。目标函数通过以下公式计算：

L1＝MIN

L2＝MIN

其中，F表示特征提取器，G表示分类器，D表示判别器，L1为判别器的损失函数约束，L2为特征提取器与分类器的损失函数约束；

L(F,G)＝E

其中，E表示交叉熵函数，x_s表示源域的图像，y_s表示源域的表情便签；

L(F,G,D)＝-E

其中，x_t表示目标域的图像。

步骤S4:将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。

本发明实施例训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型，如图3所示，对数据标注的需求远小于其他跨场景人脸表情识别算法，将图传播机制与对抗学习相集成，以此实现跨领域人脸表情识别的整体特征与局部特征的相适应，利用对抗式领域自适应图表征以及人脸特征全局-局部图提高跨场景人脸表情识别准确率。

实施例2

本发明实施例提供一种人脸表情识别的方法，如图4所示，包括如下步骤：

步骤S21:获取待识别的人脸图像。

在实际应用中，待识别的人脸图像可以为通过图像采集设备直接获取的图像，也可以为在图像数据库中获取的人脸图像，根据实际需求进行合理选取，在此不做限制。

步骤S22:将待识别的人脸图像输入根据实施例1中训练跨域人脸表情识别模型的方法得到跨域人脸表情识别模型中，得到人脸表情及其所属域。

本发明实施例为与该领域普遍采取的评测指标一致，以表情识别的准确率作为评测指标进行测评，分别在CK+(The Extended Cohn-Kanade Dataset，用于动作单元与特定表情识别的人脸表情数据集)/SFEW(Static Facial Expressions in the Wild，自然环境下的静态人脸表情数据集)/FER2013(Facial Expression Recognition 2013Dataset,2013年ICML人脸表情识别竞赛的官方数据集)数据集上达到世界领先水平。

在CK+数据集上，对比方法有：CNN-CRF(Convolutional Neural Networks andConditional Random Fields，卷积神经网络-条件随机场)，ECNN(Ensemble of DeepNeural Networks with Probability-Based Fusion，深度神经网络与基于概率的融合的集成)，FDCN(Fine-Tuned Deep Convolutional Network，微调深度卷积网络)，DETN(DeepEmotion transfer Network，深度表情迁移网络)，表1展示了本发明和上述方法在CK+上的跨领域表情识别的准确率的对比。

表1

在SFEW数据集上，对比方法有：RFC(Random Forest Classifiers，随机森林分类器)，AUDN(Au-inspired deep networks，受到Action Unit启发的深度网络)，DNN(DeepNeutral Network，深度神经网络)，DETN(Deep Emotion transfer Network，深度表情迁移网络)，表2展示了本发明和上述方法在SFEW上的跨领域表情识别的准确率的对比。

表2

在FER2013数据集上，对比方法有：DNN(Deep Neutral Network，深度神经网络)，DETN(Deep Emotion transfer Network，深度表情迁移网络)，表3展示了本发明和上述方法在FER2013上的跨领域表情识别的准确率的对比。

表3

通过上述比对结果可以看出，与其他方法相比，本发明实施例提供的方法得到人脸识别的准确率具有明显的优势。

实施例3

本发明实施例提供一种训练跨域人脸表情识别模型的系统，如图5所示，包括：

人脸全局-局部特征图构建模块1，根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。

特征提取器及分类器预训练模块2，用于利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练；此模块执行实施例1中的步骤S2所描述的方法，在此不再赘述。

特征提取器、分类器及判别器训练模块3，用于基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时所述预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器；此模块执行实施例1中的步骤S3所描述的方法，在此不再赘述。

跨域人脸表情识别模型形成模块4，用于将将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。此模块执行实施例1中的步骤S4所描述的方法，在此不再赘述。

本发明实施例提供的训练跨域人脸表情识别模型的系统，对数据标注的需求远小于其他跨场景人脸表情识别算法，将图传播机制与对抗学习相集成，以此实现跨领域人脸表情识别的整体特征与局部特征的相适应，利用对抗式领域自适应图表征以及人脸特征全局-局部图，提高了跨场景人脸表情识别准确率。

实施例4

本发明实施例提供一种人脸表情识别的系统，如图6所示，包括：

待识别的人脸图像获取模块21，用于获取待识别的人脸图像；此模块执行实施例2中的步骤S21所描述的方法，在此不再赘述。

人脸表情及其所属域识别模块22，用于将待识别的人脸图像输入根据实施例1所述的训练跨域人脸表情识别模型的方法得到跨域人脸表情识别模型中，得到人脸表情及其所属域。此模块执行实施例2中的步骤S22所描述的方法，在此不再赘述。

本发明实施例将将待识别的人脸图像输入特征提取器获取人脸特征，将人脸特征输入人脸全局-局部特征图得到人脸全局和局部特征后，分别输入分类器及判别器，分类器识别待识别的人脸图像的人脸表情，判别器识别待识别的人脸图像的所属域。

本发明实施例提供的一种人脸表情识别的系统，利用基于对抗式领域自适应图表征以及人脸特征全局-局部图的人脸识别模型进行人脸识别，在相同数据集上与其他跨场景人脸表情识别方法相比，在识别准确率上具有明显的优势。

实施例5

本发明实施例提供一种计算机设备，如图7所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1中的训练跨域人脸表情识别模型的方法或实施例2中所述的人脸表情识别的方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1中的训练跨域人脸表情识别模型的方法或实施例2中所述的人脸表情识别的方法。其中，通信总线402可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。

其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的训练跨域人脸表情识别模型的方法或实施例2中所述的人脸表情识别的方法。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1中的训练跨域人脸表情识别模型的方法或实施例2中所述的人脸表情识别的方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。