基于深度学习的微表情特征提取算法设计与实现

摘要

国内外的个人极端行为、危及公共安全的事件呈上升态势，如网络谣言、公交纵火和驾车冲撞敏感区域等。为了对危险行为预警，相关组织和人员开始研究自动预警技术。表情是人类表达情感的重要非言语行为，可作为危险行为预警过程的重要线索。目前针对表情的研究虽已取得了一些成果，但关注的多是普通表情。除了普通表情，还存在难以被觉察的微表情，其持续时间非常短，与潜在意图关系密切，这种表情即为微表情。
　　针对微表情特征提取是一项交叉性的研究课题，涉及计算机、信号与信息处理和临床心理学等多个学科，具有重要的理论研究和实际应用意义，有助于促进各研究领域的相互交流和推进相关技术的发展。本文重点研究了基于深度学习的微表情特征提取算法，对微表情的激活度(Arousal，情绪是觉醒还是昏睡的程度)、效价（Valence，情绪表现积极还是消极）、期望度（Expectation，情绪是惊奇的程度）、强度（Power，受外界影响时控制自己情感的程度）四个情感属性进行了预测分类。最后，将预测值经过一个一维中值滤波进行规整。论文的主要工作包括:
　　(1)提出了一种基于卷积神经网络（CNN）的微表情特征提取算法。与传统的特征提取方法(基于梯度的特征提取算法(HOG)、基于局部纹理的特征提取算法(LBP))相比，本文算法所采用的卷积神经网络架构对人脸表情表现比较集中的地方，如眼角、嘴角等部位激活了更多节点，这样一方面能够从原始数据中学习到具有较高表现力的微表情描述特征，另外可使算法性能不依赖于精确的面部检测和定位过程。
　　(2)提出了一种基于深度学习的微表情情感因素预测及分类算法。所提算法使用多层感知机(MLP)代替CNN中的全连接层，即将CNN所提取到的全局特征连接到MLP进行训练和识别，从而对微表情的激活度、效价、期望度和强度四个情感属性的预测和分类。在AVEC2012微表情库上的实验结果表明，激活度、效价、期望度和强度这四个属性的Top1平均识别率分别为71.51％、73.14％、66.43％、69.05％。

目录

声明

致谢

摘要

1 引言

1．1 微表情识别的意义

1．2 国内外研究现状

1．2．1 微表情识别的心理学研究

1．2．2 微表情识别的应用研究

1．2．3 微表情自动识别的研究

1．3 微表情识别的主要问题

1．4 论文研究内容及结构安排

2 微表情自动识别技术

2．1 微表情自动识别的基本步骤

2．2 典型的微表情特征提取方法

2．3 典型的微表情分类识别方法

2．4 微表情数据库

2．4．1 AVEC微表情数据库

2．4．2 SMIC微表情数据库

2．4．3 CASME微表情数据库

2．4．4 本文所采用数据集

2．5 本章小结

3 基于卷积神经网络的微表情特征提取

3．1 传统微表情特征提取算法

3．1．1 基于梯度的特征提取算法

3．1．2 基于局部纹理的特征提取算法

3．2 基于卷积神经网络的特征提取算法

3．2．1 CNN的网络结构

3．2．2 CNN的训练过程

3．3 特征可视化结果

3．3．1 传统特征可视化结果

3．3．2 CNN卷积层可视化结果

3．4 本章小结

4 基于深度学习的微表情情感因素预测与分类

4．1 多层感知机

4．1．1 MLP的网络结构

4．1．2 MLP算法实现

4．2 基于深度学习的微表情情感因素预测实现过程

4．2．1 基于深度学习的微表情特征提取以及情感预测

4．2．2 新算法的实现过程

4．3 中值滤波

4．4 实验结果分析

4．4．1 微表情识别效果对比分析

4．4．2 微表情属性变化曲线对比分析

4．5 本章小结

5．1 工作总结

5．2 工作展望

参考文献

作者简历及攻读硕士／博士学位期间取得的研究成果

学位论文数据集