一种基于深度学习的面部视频情感识别方法

摘要

情绪的变化往往直接体现在脸部,针对大多数面部视频情感识别方法只考虑面部的表情特征,而忽略面部蕴藏的生理特征的问题,提出一种融合面部表情与面部生理信号的情感识别方法。首先,对包含人脸的视频进行欧拉颜色放大,放大面部视频中微弱的生理信号;其次,采用经过微调的三维卷积神经网络,分别提取面部表情特征和面部生理特征,再送入到Softmax分类器进行分类,得到不同模态各类别的分类概率;最后,提出一种自动权重寻优策略进行决策融合,为不同模态分配相应的权重,得到融合后的分类结果。在RAVDESS数据集和eNTERFACE'05数据集上进行实验评估,结果证明该方法是有效的。