基于残差反投影神经网络对齐人脸图像的超分辨率方法

摘要

本发明涉及基于残差反投影神经网络对齐人脸图像的超分辨率方法，属于图像处理技术领域。采用迭代反投影与深度学习神经网络相结合的方式，通过三个步骤将超低分辨率人脸图像放大8倍。(1)将超低分辨率人脸图像输入到神经网络中，提取深度特征，同时采用反卷积网络将低分辨率特征图放大到128x128大小。(2)将步骤(1)得到的128*128大小的特征图输入到神经网络的残差反投影单元中，通过不断的迭代，得到补偿后的128*128高分辨率特征图(3)将步骤(2)得到的高分辨率特征图经过卷积层生成最终的128*128高分辨率图像。本方法模块清晰、步骤简单，超分辨率的效果和效率满足实际低分辨率人脸图像的超分辨率要求。

说明书

技术领域

本发明涉及基于残差反投影神经网络对齐人脸图像的超分辨率方法，属于图像处理技术领域。

技术背景

在计算机视觉的研究领域中，人脸图像超分辨率一直是一个重要的子课题，不仅其自身有许多的现实应用场景，同时也是其他研究课题的基础。

从现实意义角度出发，许多智能化的应用都离不开人脸图像超分辨率技术的支撑，最主要的应用莫过于城市监控系统：随着经济高速发展，我们身边的视频监控摄像头越来越多，这些摄像头主要用来建设城市视频监控系统，在公安机关刑事侦查业务中发挥着重要作用。然而在实际的摄像头采集人脸过程中，人脸信息常常难以直接辨识，主要原因是：一方面摄像头和人脸距离通常较远，低分辨率的目标图像难以提供足够的可供识别的细节信息；另一方面视频监控系统中光学器件模糊，现场环境、传输压缩噪声等干扰，使目标对象的细节信息出现误差，难以提供人脸辨识所需要的特征信息。因此，对实际的低分辨率人脸图像进行分辨率提升处理，进而提升目标图像的可辨识度是视频监控业务的核心技术需求。

从科学研究角度出发，随着人工智能技术的快速发展，计算机视觉任务作为其核心之一，也在不断向前发展。经典的视觉任务研究如图像分类、目标检测、人脸识别日渐成熟，其前提都是需要提供高分辨率的图像，人脸图像属于其中的子集。因此人脸图像的超分辨率研究可以看做以上等高级视觉任务的基础，提供更高清的图像，能够使图像分类的结果更准确，目标检测的检测准确率更高，人脸识别的识别率更高。在进行真实图像的其他视觉任务之前，通过超分辨率方法提高图像的质量。

人脸图像超分辨率技术(Face Super-Resolution，FSR)，属于特定类别的单图像超分辨率技术(Single Image Super Resolution，SISR)。其目标是利用算法处理低分辨率人脸图像(Low Resolution，LR)，提高图像分辨率，从而得到清晰地高分辨率人脸图像(High Resolution，HR)。超分辨率是从低分辨率图像向高分辨率图像反向求解的算法，由于图像降质过程中高频信息的丢失导致图像先验信息的不足，造成超分辨率求解是一个多解得病态问题，而对病态问题的求解，也是众多研究领域中一直所关注的难点与热点问题，具有很高的学术研究价值。

发明内容

本发明的目的是针对现有对齐的低分辨率人脸图像视觉效果差，难以应用到存在的人脸分析系统中，为了放大超低分辨率人脸图像，提出基于残差反投影神经网络对齐人脸图像的超分辨率方法。

本发明是通过以下技术方案实现的。

所述基于残差反投影神经网络对齐人脸图像的超分辨率方法，包括如下步骤：

步骤1、对低分辨率人脸图像进行裁剪，得到裁剪出人脸区域的人脸图像；

其中，人脸图像中的人脸区域大小为16像素；

步骤2、对步骤1裁剪出人脸区域的人脸图像进行高度对齐处理，使得人脸图像的眼睛在一条水平直线上，得到高度对齐后的人脸图像；

步骤3、使用sober算子提取步骤2得到的“高度对齐后的人脸图像”的边缘图；

步骤4、将步骤3提取的边缘图与“高度对齐后的人脸图像”进行通道合并，得到通道合并后的图像；

步骤5、提取步骤4通道合并后的图像的深度特征，并使用迭代反投影的方式将低分辨率图像的特征图放大到128*128大小，得到128*128特征图，具体包括如下子步骤：

步骤5.1使用神经网络的3*3卷积层提取“步骤4通道合并后的图像”的256维深度特征；

步骤5.2使用1*1卷积层将步骤5.1提取的256维深度特征映射为64维特征；

步骤5.3使用卷积核大小为12*12、步长为8以及填充为2*2的反卷积层将64维特征放大到128*128大小，得到128*128特征图；

步骤6、使用卷积核大小为12*12，步长为8，填充为2*2的卷积层将128*128大小的特征图下采样回16*16大小，与步骤5.2提取的64维特征相减得到残差特征图；

步骤7、使用卷积核大小为12*12、步长为8以及填充为2*2的反卷积层将残差特征图放大到128*128大小，与步骤5得到的128*128特征图相加得到补偿之后的特征图，并称该特征图为残差迭代反投影；

步骤8、提取步骤7得到的残差迭代反投影的边缘图，并将其加到超分辨率的重建，具体为：使用3*3的卷积核提取残差迭代反投影的边缘图，使用边缘图的标签图像监督边缘图的生成；

步骤9、将步骤8生成的边缘图与步骤7生成的残差迭代反投影合并，并使用卷积层生成最终的高分辨率人脸图像，使用高分辨率人脸标签图像进行有监督的训练；

至此，从步骤1到步骤9，完成了基于残差反投影神经网络对齐人脸图像的超分辨率方法。

有益效果

本发明所述的基于残差反投影神经网络对齐人脸图像的超分辨率方法，与现有对齐人脸图像的超分辨率方法相比，具有如下有益效果：

1.使用本发明产生的高分辨率人脸图像峰值信噪比更高(PSNR)；

2.使用本发明产生的高分辨率人脸图像结构相似度更高(SSIM)；

3.使用本发明产生的高分辨率人脸图像可视化效果更好。

附图说明

图1是本发明基于残差反投影神经网络对齐人脸图像的超分辨率方法具体实施时的流程图；

图2是人脸图像超分辨率可视化结果。

具体实施方式

下面结合附图及具体实施例，对本发明所述的基于残差反投影神经网络对齐人脸图像的超分辨率方法进行详细阐述。

实施例1

本实例阐述了本发明所述的基于残差反投影神经网络对齐人脸图像的超分辨率方法具体实施。

本发明对齐人脸图像的超分辨率方法具体实施时，使用开源的人脸图像数据集celebA数据集进行试验，该数据集共包含20万张正面人脸图像。我们随机采样了5000张人脸图像作为验证集，1000张人脸图像作为测试集，其余人脸图像作为验证集。除使用的数据集不同之外，对于神经网络的训练，验证以及测试步骤都是一致的。本发明所采取的实验环境：硬件系统为TiTan X独立显卡，显存为12G，软件系统为ubuntu14.04，使用pythonpytorch框架。使用峰值信噪比(PSNR)，与结构相似性度量(SSIM)作为超分辨率评价指标

本发明所述对齐人脸图像的超分辨率方法，具体实施步骤如图1所示。

从图1中可以看出，所述超分辨率方法包括如下步骤：

步骤1)我们对人脸图像数据集做统一的预处理，裁剪出人脸部分的128*128大小的人脸区域图像

步骤2)对步骤1裁剪出人脸区域的人脸图像进行高度对齐处理，使得人脸图像的眼睛在一条水平直线上，得到高度对齐后的人脸图像；

步骤3)使用sober算子提取步骤2得到的“高度对齐后的人脸图像”的边缘图；

步骤4)将步骤3)提取的边缘图与“高度对齐后的人脸图像”同时使用双三次差值下采样的方式下采样到16*16大小；

步骤5)将步骤4)下采样得到的边缘图与“高度对齐的人脸图像”进行通道上的合并。

步骤6)提取步骤5通道合并后的图像的深度特征，并使用迭代反投影的方式将低分辨率图像的特征图放大到128*128大小。具体的使用神经网络的3*3卷积层提取输入图像的256维深度特征，使用1*1卷积层将256特征映射为64维特征。随后使用卷积核大小为12*12，步长为8，填充为2*2的反卷积层放大特征到128*128大小。

步骤7)使用同样参数的卷积层将128*128大小的特征图下采样回16*16大小，与输入的特征图相减得到残差特征图；

步骤8)使用反卷积层将残差特征图放大到128*128大小，与上一步得到的128*128特征图相加得到补偿之后的特征图。如此便称为残差迭代反投影。同样的迭代过程一共进行7次；

步骤9)提取步骤8得到的高分辨率特征图的边缘图，并将其加到超分辨率的重建过程中。具体的我们使用3*3的卷积核提取128*128特征图的边缘图，使用边缘图的标签图像监督边缘图的生成；

步骤10)将步骤9生成的边缘图与步骤8生成的特征图合并，并使用卷积层生成最终的高分辨率人脸图像。

具体超分辨率结果展示：

我们在1000张低分辨率人脸图像测试集上做了测试，并与当前做最好的超分辨率方法LapSRN，DBPN，URDGN，CBN做了比较，结果如下表1所示。

表1人脸图像超分辨率测试结果

由表1的定量指标可以看出，我们的基于残差反投影神经网络对齐人脸图像的超分辨率方法在峰值信噪比(PSNR)和结构相似度(SSIM)两个评价指标上，均高于当前最好的超分辨率方法，其中在PSNR上比传统的双三次差值(bicubic)的方法高了2.03dB，比当前最好方法DBPN高了0.22dB，同时在SSIM评价指标上，比双三次差值的方法高了0.13，比当前最好方法DBPN高了0.011。

除定量评价之外，我们与当前最好的超分辨率方法LapSRN，DBPN，URDGN，CBN做了定性的可视化比较，如图2“人脸图像超分辨率可视化”所示，我们的基于残差反投影神经网络对齐人脸图像的超分辨率方法生成的高分辨率人脸图像，结构与原图更加一致，同时细节信息更丰富。

以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。