一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法

摘要

本发明公开了一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法，包括：(1)获取数据集，并将模糊图像和清晰图像组成图像对作为样本，构建样本集；(2)构建去运动模糊的生成对抗网络，包括三部分，第一部分为用于生成重建图像的生成器；第二部分为用于将清晰图像与重建图像做对比来挑选与清晰图像质量相同的重建图像的判别器，第三部分为用于构建感知损失函数正则项的VGG19网络；(3)利用样本集训练生成对抗网络，训练结束时，提取参数确定的生成器作为去运动模糊模型；(4)应用时，将待去运动模糊的模糊图像输入去运动模糊模型中，经计算输出清晰图像，以实现对单图像的盲去运动模糊。

说明书

技术领域

本发明属于卷积神经网络和图像盲去模糊技术领域，具体涉及一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法。

背景技术

随着科技高速发展，智能手机、数码相机等摄影设备开始广泛普及，使得图像的获取以及传播变得十分简便。而在拍摄照片过程中，由于拍摄者手部的抖动造成相机在曝光过程中运动或者相机曝光过程中拍摄物体运动从而造成的图像具有运动模糊，最终影响图像在图像语义分割，检测等各个领域的应用。因此作为图像复原技术的一种，去除图像中的运动模糊这一课题也十分具有应用研究价值。

动态模糊在摄影中无处不在，尤其是使用手机和车载摄像头等轻型移动设备时，消除像素级的非均匀运动模糊是一项艰巨的任务。传统的图像复原方法主要有：逆滤波法、维纳滤波法、露西-理查德森算法。它们都需要使用图像退化模型、模糊核估计来迭代更新中间图像和模糊核，但许多真实的图像并不符合特定模型的假设。随着深度学习的稳步发展，利用卷积神经网络进行图像去模糊的方法受到研究者们的追捧，同时也克服了传统去模糊方法在模糊核估计方面的难题，采用了一种端到端的盲去模糊方法，在图像盲去模糊领域取得了重大突破。

近年来，基于卷积神经网络的图像去模糊方法主要分为通过卷积神经网络估计模糊核的方法和端到端直接输出去模糊后图片的形式，估计模糊核的方法主要有如Sun等人的工作，根据神经网络估计出的模糊核再对模糊图像进行重建；Gong等人使用全卷积网络(Fully Convolutional Network，简称FCN)估计出图像的运动流(Motion Flow)，并据此重建图像；端到端直接输出去模糊后图片的方法有如：Nah等人提出使用多尺度卷积神经网络直接对图像进行去模糊，让网络直接输出重建后的图像。同时近年来也有人将生成对抗网络GAN(Generative Adversarial Network)运用到去模糊领域。

发明内容

为解决真实场景出现的图像运动模糊问题，本发明提供了一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法，该方法为图像去模糊后的后续操作提供了重要的技术支持，可应用于车辆驾驶监控，车牌号识别，视频监控等领域。

本发明采用的技术方案为：

一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法，其特征在于，包括以下步骤：

(1)获取数据集，并将模糊图像和清晰图像组成图像对作为样本，构建样本集；

(2)构建去运动模糊的生成对抗网络，包括三部分，第一部分为用于生成重建图像的生成器；第二部分为用于将清晰图像与重建图像做对比来挑选与清晰图像质量相同的重建图像的判别器，第三部分为用于构建感知损失函数正则项的VGG19网络；

(3)利用样本集训练生成对抗网络，训练结束时，提取参数确定的生成器作为去运动模糊模型；

(4)应用时，将待去运动模糊的模糊图像输入去运动模糊模型中，经计算输出清晰图像，以实现对单图像的盲去运动模糊。

优选地，所述模糊图像和清晰图像被输入生成对抗网络前，还需要将图像裁剪成生成对抗网络的输入尺寸。

优选地，所述生成器包括三个部分，第一个部分是特征提取模块，包括空洞卷积层、实例归一化层以及激活层，用于抓取模糊图像的纹理浅层特征，输出浅层纹理特征；第二部分由多个ResNeXt残差网络块组成，用于提取图像深层特征纹理，其中ResNeXt残差网络由卷积层和激活函数组成；第三部分为上采样模块，用于放大特征图像，从而可以显示在更高分辨率的显示设备上，其中，上采样模块由卷积层，转置卷积层以及激活函数组成。

优选地，所述判别器用于对生成器中生成的重建图像与清晰图像进行对抗，直至判别器分辨不出重建图像和清晰图像的真假，判别器由卷积层，激活层和批量归一化层组成。

优选地，所述VGG19网络通过将生成器中生成的重建图像与清晰图像一起输入预训练好的VGG19网络，通过分别提取重建图像与清晰图像的特征进行对比，作为正则项来惩罚对抗网络的损失函数。

优选地，生成器与判别器中的激活函数为PRelu函数。PRelu公式为：

PRelu(x)＝MAX(ax,0)

其中ax指输出层的权重；Max(ax,0)通过比较0和输入ax取大值。

优选地，训练生成对抗网络时，需计算生成对抗网络的重建图像与对应标签清晰图像的峰值信噪比和结构相似性以及损失优化，采用损失函数L包括对抗损失L

L＝L

其中，λ为权重，I

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的基于聚集残差生成对抗网络的单图像盲去运动模糊方法，基于卷积神经网络中的生成对抗网络，采用空洞卷积代替普通的卷积层并且采用ResNeXt残差模块做生成器中的骨干网络，减少超参数提高模型的准确率，进而提升去模糊后图像的主观视觉效果以及客观评价指标，同时为了保证在生成对抗训练中能够完美的得到去模糊后的图像，采用了对抗损失结合内容损失的方式来确保去模糊后的内容准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于聚集残差生成对抗网络的单图像盲去运动模糊方法中训练过程图；

图2为本发明实施例提供的生成器网络结构示意图；

图3为本发明实施例提供的特征提取模块结构示意图；

图4为本发明实施例提供的上采样模块结构示意图；

图5为本发明实施例提供的ResNeXt残差模块结构示意图；

图6为本发明实施例提供的所采用GoPRo数据集去模糊前后对比图，其中a-d为清晰图像，e-h为模糊图像，i-l为去模糊后图像。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

实施例提供了一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法，包括以下步骤：

步骤1，获取GoPRo成对数据集将其连接为模糊图像—清晰图像的图像对，并将图像对随机裁剪成256×256大小的图像块作为生成对抗网络的输入。

步骤2，构建去运动模糊的生成对抗网络，该生成对抗网络主要包含3部分，其一为用于生成重建图像的生成器；其二为用于将清晰图片与生成的重建图像(也就是虚假图像记为Fake)做对比，进而挑选出与真实图片质量相同的判别器，其三为用于构建感知损失函数正则项的VGG19网络。

如图1～5所示，生成器包括三个部分，分别为：

第一是特征提取模块，包括一个(7×7)卷积层，实例归一化，以及一个PRelu激活层，之后在经过两个(3×3)空洞卷积层，实例归一化，PRelu激活层，最终将图片提取出得到特征图，其中(3×3)空洞卷积层的dilation rate＝2，卷积后的感受野为5，等效于(5×5)卷积层效果，利用空洞卷积提取更多特征图信息，最终将图片提取出成256个通道的特征图。特征提取模块如图3所示。空洞卷积可以增大感受野,但是可以不改变图像输出特征图的尺寸。

第二是提取图像深层特征纹理去模糊的模块，该模块由9个依次连接的ResNeXt残差模块组成，ResNeXt残差模块由两个部分组成，是两个依次连接的ResNeXt模块组成。ResNeXt模块改变了原来ResNet的三层卷积的block，采用了32个并联的平行堆叠相同拓扑结构的blocks，减少超参数提高模型的准确率。ResNeXt模块由32个并联的三层卷积块组成，三层卷积块是一个(1×1)卷积层，输入通道数为256，输出通道数为4；一个(3×3)卷积层输入通道数为4，输出通道数为4；一个(1×1)卷积层，输入通道数为4，输出通道数为256。两个ResNeXt依次连接获取更多的图像信息，更好地拟合通道间复杂的相关性，减少参数量和计算量。最后将每一个ResNeXt残差模块的输出加上前一个模块的输出。ResNeXt残差模块如图5所示。ResNeXt网络模块极大的减少了网络结构的参数量，提高了网络结构的准确性。

第三是上采样部分模块，将ResNeXt残差模块输出的结果进行上采样，首先通过两次转置卷积将残差特征图上采样到64通道，其中转置卷积的卷积核为(3×3)，再经过一个(7×7)卷积层将残差特征图恢复为三通道图像，其中卷积层都为dilation rate＝2的空洞卷积，卷积最后通过全局连接与输入图片做叠加，去除残差信息，得到去模糊后的图片。上采样模块如图4所示。

判别器是马尔科夫判别器由5层卷积层叠加构成，其中第一个卷积块由一个(4×4)卷积层以及LeakyRelu函数组成，最后一个卷积块只有一个(4×4)卷积层组成，其余卷积块内部分别由卷积层，批次归一化层以及LeakyRelu函数组成。将清晰图片以及重建图片输入判别器经过卷积层得出感受域进行综合评分分辨图片是清晰图片还是重建图片。

VGG19网路的输入同为生成的虚假图片(Fake)与数据集中的清晰真实图片，用于构建感知损失函数。

步骤3，将步骤1中模糊图像作为输入，对构建的生成对抗网络进行训练，在训练过程中生成器不断生成Fake图像块，并将Fake图像块和清晰图像块不断在判别器中进行对抗，最终直至网络模型收敛且判别器分辨不出Fake图片和清晰图像块的真假，得到训练完成后的单图像去运动模糊的生成对抗网络模型。

训练时，通过生成器对模糊图像进行去模糊，输出去模糊后的峰值信噪比与结构相似性，之后再向判别器中输入去模糊后图片或清晰图像，让判别器判别输入图像是去模糊后的图像还是清晰图像，并对损失进行更新，在训练判别器阶段时，固定生成器不动。二者交替训练。如图1所示。

训练时具体的超参数设置为：对于生成器和判别器依旧采用Adam作为优化算法，学习率设置为1×10

训练优化的损失主要由两部分组成：对抗损失以及内容损失；其中为了提高训练稳定性对抗损失选用Wassertein GAN的Wassertein-1距离记为L

L＝L

其中L

其中I

训练结束时，通过PSNR，SSIM等图像指标来测试训练后的生成器的图片质量，挑选出其中指标评价最好的训练参数，其中将参数加载到生成器中即可得到直接得到去运动模糊模型。

选择验证集图像测试已训练的去运动模糊模型的去模糊性能，即通过峰值信噪比与结构相似性的指标数值来确定去模糊效果，并结合主观视觉效果进行观测评估。

步骤4，应用时，输入现实中的具有运动模糊场景的图片至去运动模糊模型中，经计算输出去运动模糊的清晰图像。

实施例中，利用去运动模糊模型进行模糊图像进行去模糊，结果如图6所示，其中a-d为清晰图像，e-h为模糊图像，i-l为去模糊后图像。由图6可以看到，本实施例提供的去运动模糊模型去模糊效果非常好。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。