人脸识别中的深度特征学习方法研究

摘要

人脸识别是根据人的脸部特征信息进行身份确认的过程。伴随着人工智能技术的发展，人脸识别技术越来越受到学术界和产业界的广泛关注。人脸识别的关键就在于怎样学习区分性和鲁棒性的人脸特征表达。目前，基于卷积神经网络(Convolutional Neural Networks，CNN)的人脸表达学习是人脸识别领域的主流方法，该方法利用CNN的深度结构通过逐层非线性映射的方式学习有效的人脸表达，在条件受控的人脸识别任务(LFW)中已经达到甚至超过了人工识别的结果，然而在复杂环境下的人脸识别任务(IJB-A)中仍然面临着严峻的挑战，仍需进一步研究新的技术和方法来学习区分性和鲁棒性更强的人脸特征表达，以提升复杂环境下的人脸识别性能。
　　本文针对复杂环境下的人脸识别问题，借助于CNN卷积层输出高效地提取人脸局部深度特征(Local Deep Features，LDF)集合，在此基础上从统计建模的角度出发有效聚合人脸LDF，从而得到有效的人脸表达并应用于人脸识别系统中。主要研究内容包含如下:
　　首先，本文有效利用CNN网络的局部感知特性，卷积层输出特征映射图的每个空间单元都对应人脸图像中特定的局部感受域，每个空间单元上提取的特征向量可以表征原始图像中某个局部区域的特性。借助于CNN的卷积层激活输出能够高效地提取人脸LDF集合，不仅有效地克服人脸全局深度特征缺乏几何不变性的问题，并且缓解了局部特征学习过程中对脸部特征点精确定位算法的依赖。
　　其次，本文提出了结合CNN不同卷积层信息的概率视觉码本建模的FisherVector(FV)编码方法实现对LDF的有效聚合，其中一个卷积层用作人脸LDF提取，紧接着一个卷积层用作LDF的指示变量，指导LDF按照不同的视觉单元进行聚类，每个聚类中的特征分布采用单高斯建模，得到基于CNN的混合高斯模型(Gaussain Mixture Model，GMM)视觉码本(CNN-GMM)，有效改善了传统GMM模型对高维LDF分布的建模能力，显著提升人脸识别系统的性能。鉴于CNN-GMM模型没有对人脸LDF的维间相关性信息进行有效建模，本文还提出了基于混合因子分析(Mixtures Factor Analyzers，MFA)模型的FV编码方法，利用具有全协方差矩阵的GMM模型对人脸LDF分布进行建模，并推导得到MFA模型，将其作为概率视觉码本提取人脸FV表达，进一步提升识别系统的性能。
　　再者，为了有效聚合人脸LDF的同时降低人脸表达的维度，本文提出了基于全变量建模(Total Variability Modelling，TVM)的人脸低维子空间特征表达学习方法。采用不同的通用背景模型分别构建TVM系统，将人脸高斯超矢量表达转换成低维子空间中的全变量因子表示(iVector)，维持性能优势的同时极大降低特征表达的维数。
　　最后，本文提出一种交叉双线性网络结构有效结合CNN不同层信息，将前端LDF提取和后端人脸表达学习集成到统一的CNN中，并通过BP算法有监督地对两个模块进行同步优化，优势互补，较人脸全局深度特征表达，该方法学习得到的人脸表达性能优势明显。

目录

声明

摘要

1．1 人脸识别简介

1．1．1 人脸识别算法流程

1．1．2 人脸识别的难点

1．2 人脸识别研究概况

1．3 本文研究背景

1．4 实验数据集及性能评测指标

1．4．1 实验数据集

1．4．2 性能评价指标

1．5 本文组织结构

第2章 基于CNN的人脸全局深度特征提取

2．1 人脸深度特征提取网络

2．1．1 人脸图像预处理

2．1．2 深度卷积网络初始化

2．1．3 模型参数精细调整

2．1．4 人脸全局深度特征提取

2．2 人脸特征相似性度量方法

2．2．1 余弦距离度量

2．2．2 线性判别分析

2．2．3 联合贝叶斯方法

2．3 实验验证

2．3．1 模型复杂度对特征的影响

2．3．2 特征相似性度量方法的性能对比

2．3．3 不同人脸测试集上的性能比较分析

2．4 本章小结

第3章 基于Fisher Vector编码的人脸特征表示方法

3．1 局部深度特征提取

3．2 基于GMM的Fisher Vector编码

3．3 基于CNN-GMM的Fisher Vector编码

3．3．1 网络结构描述

3．3．2 基于CNN的GMM模型参数估计

3．3．3 CNN-GMM定义下的人脸FV表达

3．4 基于CNN-MFA的Fisher Vector编码

3．4．1 混合因子分析模型

3．4．2 由全协方差矩阵GMM到MFA模型的推导

3．4．3 CNN-MFA定义下的人脸FV表达

3．5 实验验证

3．5．1 LDF聚合方法的性能对比

3．5．2 GNN-GMM-FV性能对比与分析

3．5．3 CNN-MFA-FV与CNN-GMM-FV的性能对比

3．6 本章小结

第4章 基于TVM的人脸低维特征表示方法

4．1 全变量建模方法

4．1．1 统计量计算

4．1．2 目标函数优化

4．1．3 iVector计算

4．2 基于CNN的TVM方法在人脸识别中的应用

4．2．1 基于CNN-GMM的人脸iVector表达

4．2．2 基于CNN-MFA的人脸iVector表达

4．3 实验验证

4．3．2 iVector表达维数确定

4．3．3 CNN-GMM-iVector实验分析

4．3．4 CNN-MFA-iVector实验分析

4．4 本章小结

第5章 基于CL-BCNN的人脸特征表示方法

5．1 交叉双线性卷积网络

5．1．1 网络结构描述

5．1．2 双线性卷积

5．1．3 能量归一化

5．1．4 L2归一化

5．2 实验验证

5．2．1 降维方法的确定

5．2．3 基于CL-BCNN的人脸表达性能对比

5．3 本章小结

第6章 总结与展望

6．1 论文工作总结

6．2 后续研究展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果