基于动态贝叶斯网络的人面部运动识别方法研究

摘要

使计算机按人类自然形成的沟通认知习惯和形式理解人们的情感是人机交互的发展方向。人面部运动承载着丰富的情感信息。人面部运动分析包括人脸特征点检测、面部运动单元（AU）识别和人脸表情识别等，是计算机理解人类情感的前提，得到了广泛关注并积累了大量研究成果。但大量测试实践经验表明：非理性条件下人面部运动分析技术还远未成熟。特别是真实场景中尺度、表观和光照的变化造成的图像观测值不确定性、自然人之间的差别以及训练数据的稀缺给人面部运动分析研究带来了极大挑战。本文针对上述问题进行了深入研究，包括自然人AU强度识别、不同层面部运动间相互作用关系分析、建模和知识驱动模型训练方法。本文主要研究工作包括：
　　研究了基于动态贝叶斯网络（DBN）的AU之间及AU强度之间动静态依存关系建模方法。针对当前人面部运动识别领域大部分研究只识别二值AU，极少数识别AU强度的工作也忽略了AU强度之间相互作用关系和时序关系的问题，本文提出了基于DBN的自然人AU强度识别统一概率模型。该方法主要包含AU强度观测值提取和DBN推理两步骤，即采用Gabor特征和HOG特征与支持向量机（SVM）的组合来提取AU强度观测值，在此基础上，采用DBN系统地建模、表示AU之间及AU强度之间的动静态依存关系，并和图像观测值相结合，通过DBN概率推理识别AU强度。实验表明，所提出的方法能提高AU强度识别精度。
　　提出了基于DBN的人脸特征点追踪和表情识别模型。人面部运动分析自下而上包括面部特征点追踪、AU识别和六种典型表情识别。现有研究通常只集中于人面部运动的一或两层，信息流自下而上，忽略了不同层人面部运动之间的相互作用关系及自上而下的信息流。针对这一问题，本文采用DBN系统地、统一地建模、表示不同层面部运动的演变过程及相互作用关系。采用组合节点来建模AU组合相关性，大大降低了模型计算复杂度。根据镶嵌于DBN模型中的条件独立性，局部地训练DBN模型以减少训练数据数量。得到图像观测值，通过DBN概率推理同时识别三层人面部运动。和其他方法相比，所提出的模型中信息流不仅自下而上，而且自上而下，即不仅面部特征点追踪结果作用于AU识别和表情识别，AU识别和表情识别结果也帮助提高特征点追踪表现。
　　提出了一种领域知识驱动模型训练方法。基于先验模型的人面部运动识别方法可以很好地处理图像观测值不确定性等问题，但其应用瓶颈为训练过程需要大量有代表性的训练数据，并且泛化能力差。为解决这一问题，本文研究了基于领域知识的先验模型训练方法。通过研究面部动作编码系统及面部解剖学中面部肌肉运动相互作用关系，提取人面部运动领域的先验知识，并进一步归纳为单个AU的约束、AU组的约束和AU时序的约束。采用快速、有效的拒绝采用算法将所提取的先验知识镶嵌于DBN模型训练过程。实验结果表明，所提出的知识驱动模型训练算法泛化性能显著优于数据驱动模型。

目录

封面

中文摘要

英文摘要

目录

主要缩写和符号

第1章 绪论

1.1 课题研究的背景意义

1.2 人面部运动识别综述

1.3 人面部运动识别研究现状

1.4 本文主要研究内容

第2章 基于DBN的自然人AU强度识别统一概率模型

2.1 引言

2.2 当前研究的不足

2.3 基于DBN的AU强度识别算法框架

2.4 AU强度观测值提取

2.5 基于DBN的AU强度识别模型

2.6 实验及结果分析

2.7 本章小结

第3章 基于DBN的人脸特征点追踪和表情识别模型

3.1 引言

3.2 当前研究的不足

3.3 人面部运动建模

3.4 建模时序关系

3.5 图像观测值提取

3.6 实验及结果分析

3.7 本章小结

第4章 领域知识驱动DBN模型训练算法

4.1 引言

4.2 当前研究的不足

4.3 知识驱动DBN训练算法框架

4.4 人面部运动领域先验知识

4.5 基于知识的模型训练方法

4.6 实验及结果分析

4.7 本章小结

结论

参考文献

攻读博士学位期间发表的论文及其他成果

声明

致谢

个人简历