一种基于卷积神经网络的无参考图像质量评价方法

摘要

本发明公开了一种基于卷积神经网络的无参考图像质量评价方法。首先对失真图和自然图进行预处理，得到相似图，然后根据失真图和相似图构建神经网络；基于GAN框架的对抗生成理念，在生成网络部分，融入U‑net框架的跳跃连接特点和densenet的框架的denseblock结构特性；在判别网络部分，采用简单的分类网络；最后训练构建的神经网络。本方法分别吸取并结合了GAN网络，U‑net网络和densenet网络的特点，构建了一个更有效的神经网络，更有效的实现了图到图的转换和迁移，不仅在图到图的实现中有较好的结果，而且模拟到的质量分数和真实的质量分数有强烈的相关性和较小的误差。

说明书

技术领域

本发明属于图像处理领域，设计图像质量评价方法，而且涉及到深度学习中的生成对抗网络在图像质量评价中的应用。

背景技术

现如今，随着互联网技术以及通信技术的快速发展，数字图像已经成为人们日常生活中信息传递的重要方式。据统计，2011年以来，世界产生的数字照片总量达到上百亿张，而且这个数量还在逐年增长。然而，图像在采集、存储、压缩和传输等过程中容易受到不同种类的失真干扰，从而造成图像质量的降低。所以，如何准确、可靠地评价图像的质量成为当前及未来研究中一个重要的研究热点。通常，大多数图像是由人来观看，所以最可靠的图像质量评价方式是主观质量评价，即组织观看人员根据他们的经验来对图像的质量进行主观评分，然而，随着图像数量的增多，主观质量评价的实施变得困难，而且也无法应用于实时的图像处理系统中。所以，研究者们提出客观质量评价方法，通过设计客观算法来对图像的质量做出评价。

根据是否参考原始图像，现有的客观质量评价方法被分为三个类别，分别是全参考，部分参考和无参考质量评价方法。尽管目前针对这三类客观图像质量评价分别提出了大量的方法，但是客观质量评价的研究仍然不够成熟，主要表现在以下几个方面，第一，由于目前对人类视觉感知机制的理解不够深入，现有的基于度量信号失真的客观质量评价方法不能准确地模拟主观质量评价；第二，在无参考质量评价方法设计中，大多数方法仍然需要利用主观质量分数来训练质量评价模型；第三，在评价真实场景中的失真图像时，现有的客观算法的表现仍然不够理想。因此，建立一套可以准确反映人眼主观感受的立体图像质量客观评价机制具有深远意义。近年来，相关研究机构对平面图像质量评价算法进行了深入研究，如峰值信噪比(PSNR)、均方误差(MSE)、结构相似度(SSIM)等评价指标。然而平面图像中包含更多的因素，如深度图等。

近年来，深度学习成为机器学习和神经网络相关领域的研究热点，深度学习能够模拟人脑深层次处理数据的方式对原始数据内部结构和关系得到层次化的特征表示，因而经该预处理后的网络参数符合人脑的处理结果，训练后得到的网络稳定性和泛化能力也有一定的提高。

现有的无参考质量评价方法大多数属于主观质量分数已知的评价方法，此类方法通常需要大量的训练样本图像以及对应的主观分数来训练质量预测模型，相比之下，主观质量分数未知的无参考评价方法仍然较少而且已有方法的性能仍然不能与主观质量分数已知的方法相比。

发明内容

本发明的目的是针对现有技术的不足，提出了一种基于卷积神经网络的无参考图像质量评价方法。

本发明方法基于GAN框架的对抗生成理念。在生成网络部分，融入了U-net框架的跳跃连接特点和densenet的框架的denseblock结构特性，从而大大提高了原框架对于图像特征的提取性能。在判别网络部分，采用分块判别网络。损失函数部分，采用交叉熵加L1范数损失的方式。最后迭代训练出一个好的生成网络模型和判别网络模型。最终通过训练好的生成网络模块，对其输入一张失真图片，就可以得到高质量的目标图片质量相似图。

一种基于卷积神经网络的无参考图像质量评价方法，步骤如下：

步骤1：对失真图和自然图进行预处理，得到相似图；

步骤2：根据已有失真图：X和相似图：Z，即SSIM_MAP。构建神经网络。

基于GAN框架的对抗生成理念，在生成网络部分，融入U-net 框架的跳跃连接特点和densenet的框架的denseblock结构特性，提高了原框架对于图像特征的提取性能。在判别网络部分，采用简单的分类网络。

步骤3：训练构建的神经网络；

本发明有益效果：

首先，本方法属于无参考质量评价范畴。通过使用训练好的神经网络框架，可以在没有自然图像(原图)的条件下对失真图像进行质量评价。

在无参考质量评价方法通常基于SVR(支持向量机)进行图像特征提取的情况下，本方法采用更有效的混合神经网络进行特征提取。

在判别器通常针对整副图进行判别的情况下，本方法采用更有效的块判别方法，使得训练速度更快，实验效果更好。

本方法分别吸取并结合了GAN网络，U-net网络和densenet网络的特点，构建了一个更有效的神经网络。从结果来看，其确实更有效的实现了图到图的转换和迁移。实验结果不仅在图到图的实现中有较好的结果，而且模拟到的质量分数和真实的质量分数有强烈的相关性和较小的误差。

附图说明

图1为本发明网络结构示意图。

具体实施方式

下面对本发明作进一步说明。

一种基于卷积神经网络的无参考图像质量评价方法，具体实现步骤如下：

步骤1：对失真图和自然图进行预处理，得到相似图；

1-1.计算亮度对比：

对于失真图：X，自然图：Y，采用

其中，x

则失真图X和自然图Y的亮度对比就可以表示为：

其中C

1-2.计算对比度对比：C(x,y)

采用σ

则失真图X和自然图Y的对比度对比表示为：

其中C

1-3.计算结构性对比：S(x,y)

引入相关性：σ

则失真图X和自然图Y的结构性对比就可以表示为：

其中C

1-4.通过获得的亮度对比、对比度对比和结构性对比计算相似图；

其中a、b、c为亮度、对比度和结构性的权重。

失真图X的质量分数MSSIM可以由SSIM_MAP求得：

MSSIM＝mean(SSIM_MAP)

其中mean()为取平均值操作。

步骤2：根据已有失真图：X和相似图：Z，即SSIM_MAP。构建神经网络。

具体操作如下：

2-1.生成网络：

(1)使用失真图X作为输入，失真图X的大小为256×256，通道数为3。

(2)通过denseblock结构加卷积层的方式，对失真图X进行特征提取过程。得到一张大小为1×1，通道数为512的特征图。

a、先通过一层卷积层从失真图中提取出大小为128×128，通道数为64的低级特征图。

b、再通过7个denseblock加卷积层的结构进一步提取低级特征图的特征，其中每个denseblock结构后设置有一个卷积层用于缩小特征图大小以达到精炼特征信息的作用。每个denseblock由4层卷积层组成，每个denseblock只用于对特征做进一步提取，不会改变特征图的大小和通道数。特征图的大小和通道数只会在卷积层改变。具体数据如图1所示。

(3).由8层反卷积层恢复出假相似图：Z'，Z'的大小为256×256，通道数为3。每一层的特征图大小如说明书附图展示。

c、每个卷积层都有与之对应的反卷积层，每个卷积层与对应的反卷积层跳跃相连，将中间特征图作为输入信息传送到反卷积层用于恢复目标图片。所以一共有7个跳跃连接，7层反卷积层将输出一张大小为128×128，通道数为128的信息图。

d、最后通过一层卷积层把信息图变为大小为256×256，通道数为3的目标图片，也即是假相似图Z'。

2-2.判别网络

(1)拼接失真图X和真相似图Z为新图片：X-Z；拼接失真图X 和假相似图Z'为新图片：X-Z'。X-Z和X-Z'大小均为256×256，通道数均为6。将得到的X-Z和X-Z'作为判别网络的输入。

(2)输入图像首先通过6层卷积层，256×256×6的输入图片变为了4×4×1的小块图片，图片上的每一个像素值都代表输入图片中64×64大小的图像块。

(3)4×4×1小块上的每个像素值都是输出预测标签。整体的预测标签由16个像素值的平均值决定。

步骤3：训练构建的神经网络。

G(·)代表生成器，D(·)代表判别器。

3-1.判别器训练过程。

在训练判别器参数时，固定生成器参数不变，只有判别器参数参与迭代更新。定义判别器损失函数

因为是训练判别器，D(x

3-2.生成器训练过程。

在训练生成器参数时，固定判别器参数不变，只有生成器参数参与迭代更新。定义生成器损失函数

其中

3-3.结果预测

生成器和判别器通过最大化或者最小化各自的目标损失函数，迭代训练处最优的生成器G(·)

将失真图片输入在训练好的最优的生成器G(·)