基于半监督学习和决策融合的人脸表情识别方法研究

摘要

所谓人脸表情识别，就是指通过分析特定人的脸部表情及变化，进而确定其内心情绪或思想活动，实现人机间更自然更智能化的交互。传统的表情模型的训练都是监督学习，然而在现实中，获得大量有标记的样本的代价是昂贵的，因此，如何利用仅有的少量已标记样本结合大量未标记样本来训练表情模型，使表情模型更具有代表性和普遍性，将具有重要的理论意义和实用价值。
　　 本文首先综述课题的研究背景，并分析目前国内外已提出的主流人脸表情识别方法。在综合分析了以往的表情训练方法和识别方法的基础上，本文设计实现了图像预处理和特征提取方法，提出了具有噪声过滤功能的协同训练半监督学习算法和基于对象模糊密度赋值的决策层融合人脸表情识别算法，主要内容如下：
　　 (1)设计实现了符合实际应用的人脸检测、人脸图像尺度归一化及人脸图像灰度均衡化算法和基于Gabor小波变换的人脸表情特征提取算法。将检测到的人脸设计成矩形，将人脸图像归一化为长宽都是5的倍数，用灰度均衡化减小光照对图像质量的影响。采用像素的矩形网格对预处理后的人脸图像网格化，将用Gabor小波变换变换每个网格后得到的特征矢量的模做为人脸表情的特征。
　　 (2)提出了具有噪声过滤功能的协同训练半监督主动学习算法。针对基于半监督学习的分类器利用未标记样本训练会引入噪声而使得分类性能下降的情形，提出了一种具有噪声过滤功能的协同训练半监督主动学习算法，该算法以三个模糊深隐马尔科夫模型进行协同半监督学习，在适当的时候主动引入一些人机交互来补充类别标记，来避免判决类别不相同时的拒判和初始时判决一致即认为正确的误判情形，同时加入噪声过滤机制，用以过滤由机器自动标记的可能是噪声的样本。图像序列人脸表情识别实验表明，该算法能有效提高未标记样本的利用率并降低半监督学习而引入的噪声，提高了表情识别的准确率。
　　 (3)提出了基于对象模糊密度赋值的决策融合算法。针对模糊积分在进行决策层融合识别时，其模糊密度是根据已知类别样本的先验静态信息赋值的，并不能根据具体对象的识别结果进行动态调整使之更接近现实的情形，提出了一种基于对象模糊密度赋值的决策层融合算法，该算法是利用各分类器识别具体对象时给出的客观信息计算出其所属类别的区分度，再结合先验静态信息对模糊密度进行动态赋值的。采用NF-CT-SSAL算法进行半监督训练和基于对象模糊密度赋值的决策层融合算法进行表情识别的实验结果表明，该算法可提高表情识别的准确率。
　　 (4)采用面向对象的设计方法，并应用所提出的算法，设计实现了基于图像序列的人脸表情识别原型系统，从而从实验角度验证了上述方法的有效性。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 课题背景

1.2 人脸表情识别涉及的研究领域及应用

1.3 人脸表情识别技术的发展及研究现状

1.3.1 人脸检测与定位

1.3.2 脸部表情特征提取

1.3.3 现有表情分类算法

1.3.4 人脸表情识别方法的比较和总结

1.4 论文的研究内容及主要工作

1.5 论文的结构

第二章 半监督学习和决策融合方法的研究现状

2.1 半监督学习

2.1.1 半监督学习的理论依据

2.1.2 半监督学习的两大假设

2.1.3 半监督学习算法分类

2.1.4 半监督学习的研究趋势

2.2 决策层融合

2.2.1 决策层融合的定义及优点

2.2.2 决策层融合常用的方法

2.2.3 决策融合方法的研究新动向

2.3 小结

第三章 人脸图像预处理和特征提取

3.1 问题的提出

3.2 人脸图像预处理

3.2.1 人脸检测

3.2.2 人脸表情图像的尺度归一化

3.2.3 人脸表情图像的灰度均衡化

3.3 人脸表情图像的GABOR小波特征提取

3.3.1 Gabor小波变换的基本原理

3.3.2 人脸表情图像的网格化

3.3.3 Gabor小波函数的选择

3.4 小结

第四章 具有噪声过滤功能的协同训练半监督主动学习算法

4.1 问题的提出

4.2 具有噪声过滤功能的协同训练半监督主动学习算法

4.2.1 NF—CT—SSAL算法框架

4.2.2 主动学习样本选择标准的确定方法

4.2.3 噪声过滤机制

4.2.4 算法描述

4.3 NF—CT—SSAL在人脸表情识别中的应用

4.3.1 模糊深隐马尔可夫分类器

4.3.2 基于NF—CT—SSAL训练算法的人脸表情识别

4.4 实验结果与分析

4.5 小结

第五章 基于对象模糊密度赋值的决策层融合的表情识别

5.1 问题的提出

5.2 基于对象模糊密度赋值的决策层融合识别算法

5.2.1 模糊测度、模糊密度和模糊积分定义

5.2.2 类模糊密度估计法

5.2.3 对象模糊密度及其估计方法

5.2.4 算法描述

5.3 结合NF—CT—SSAL分类器训练的决策层融合的表情识别

5.4 实验结果及分析

5.5 小结

第六章 表情识别原型系统的设计与实现

6.1 系统的功能分析

6.2 系统的静态结构

6.2.1 系统的类图

6.2.2 图像处理基本类CDIB的设计

6.2.3 Gabor小波变换类的设计

6.2.4 模糊深隐马尔可夫模型类的设计

6.2.5 NF—CT—SSAL算法类的设计

6.2.6 基于对象模糊密度赋值的决策层融合算法类的设计

6.3 系统的动态结构

6.4 人脸表情识别原型系统实现简介

6.5 小结

第七章 总结与展望

7.1 工作总结

7.2 下一步展望

致谢

参考文献

发表文章