基于面部特征点分析的人脸表情识别研究

摘要

表情是人内心情感最直接的体现，使机器能够识别表情、具备情绪感知功能已经成为人机交互领域一个重要的研究内容。近年来，基于视频的人脸表情识别由于具有非接触式、使用简单、成本低等优点，已经得到越来越多研究者的关注。现阶段，按照信息获取方式来划分，人脸表情识别的研究对象可分为静态图像与动态图像序列两大类。由于情绪的产生与消失是一个渐变的过程，因此，相比较静态图像，基于动态图像序列的特征参数能更好的反映每类表情之间的运动相关性。本文首先分析了不同情绪下基于动态图像序列的特征点位置所呈现的变化规律，并根据这一规律设计了一种基于主动形状模型(Active Shape Model，ASM)的人脸表情识别算法;在此基础上，考虑到被试者不自觉的面部偏转及光照环境不均衡等因素，本文在传统尺度不变特征变换(Scale Invariant Feature Transform，SIFT)方法的基础上结合ASM算法的优点，进一步研究了一种改进的尺度不变特征变换方法(Improved Scale Invariant Feature Transform，ISIFT)来进行人脸表情识别，以提高算法的鲁棒性。论文的主要研究内容包括: (1)对现有的情感识别研究方法进行了调研，介绍了两大类情感识别研究方法:非接触式方法和接触式方法。其中非接触式方法又分别阐述了基于视频的情感识别方法和基于语音的情感识别方法。而接触式方法则具体介绍了基于分析生理信号的情感识别方法。最后介绍了JAFFE和CK+两种通用的情感研究数据库。 (2)设计了一种基于ASM的人脸表情识别算法，主要是提取动态情感序列中的表情特征来进行表情识别。首先详细介绍了ASM算法的理论基础，然后利用ASM方法定位人脸特征点，在人脸表情变化显著区域选取20个特征点，再从20个特征点的位置信息提取几何特征，以此来表明表情产生过程的关联性。最后将提取到的表情特征送入支持向量机(Support Vector Machine，SVM)中进行分类识别。结果表明基于ASM的人脸表情识别方法具有良好的分类效果。 (3)研究了一种基于ISIFT的人脸表情识别算法。首先通过Viola-Jones算法对人脸进行检测，在检测后的人脸区域利用局部约束模型(Constraint Local Model，CLM)算法进行特征点定位，从人脸表情变化显著区域中挑选42个特征点并提取SIFT特征。将提取到的表情特征需要用主成分分析法(Principal Component Analysis，PCA)降维，最后将结果送入SVM中进行分类识别。在正面人脸数据库上，表情识别率达到了98.59％。而且ISIFT算法能够应对人脸在一定角度范围内(0-10°)的偏转，在人脸偏转方向向左和向右时平均表情识别率分别为95.18％和94.34％，同时设计了四种不同的光照环境（无灯、左灯、右灯和两灯），其表情识别率分别为94.76％，95.59％，95.31％和95.36％，这说明ISIFT算法对不同的光照强度具有鲁棒性。 (4)使用所研究的ISIFT人脸表情识别算法，设计并实现了一个基于视频的人脸表情识别系统，该系统主要分为离线模块和在线模块，离线模块能够从数据库中选取单帧图片判定情感状态，在线模块能够实时识别受试者的情感状态，两个模块均具有人脸检测、特征点定位和表情识别功能。