一种基于双边上采样网络的任意倍数图像超分辨率重建方法

摘要

本发明涉及一种基于双边上采样网络的任意倍数图像超分辨率重建方法，输入待处理的低分辨率图像和放大倍数，待处理的输入图像称为低分辨率图像，使用超分辨率重建方法放大的图像称为高分辨率图像；首先使用位置图构造模块构造位置图，然后使用空域权重预测模块预测双边上采样卷积核的空域权重；通过卷积神经网络特征提取模块提取低分辨率图像特征作为双边上采样卷积核的值域权重；预测得到的空域权重和值域权重，通过双边上采样参数计算模块，计算双边上采卷积核参数；进行上采样处理，得到超分辨率特征图；将超分辨率特征图的通道数转换到输入图像的通道大小，输出重建的超分辨率图像。本发明可以应用于任意倍数低分辨率图像超分辨率重建，可以有效提高低分辨率图像超分辨率重建准确度。

说明书

技术领域

本发明涉及图像重建方法领域，具体涉及一种基于双边上采样网络的任意倍数图像超分辨率重建方法。

背景技术

随着智能移动设备的普及，人们越来越倾向于从图像中获取信息。图像分辨率是衡量图像信息量的一个关键指标。图像分辨率越高，所包含的信息量也就越丰富，越能够更加真实详细的描述客观场景。但是现实生活中受到网络传输速度以及传感器水平等硬件条件的制约，呈现出的图像分辨率一般较低，很难满足人们的实际使用需求，因此需要使用基于软件的图像超分辨率重建方法来有效的解决这一问题。

单张图像超分辨率重建方法旨在使用低分辨率图像恢复重建尽可能真实的高分辨率图像。它在安防、监控成像、医学成像以及卫星和遥感成像中具有非常广泛的应用。目前，大多数基于卷积神经网络的单张图像超分辨率重建方法仅仅使用固定放大倍数(2倍、3倍、4倍或者8倍)对低分辨率图像进行超分辨率重建。但是现实生活中人们往往需要对图像进行任意倍数的放大以查看图像的局部细节。因此，解决任意放大倍数的图像超分辨率重建问题对于图像超分辨率重建投入实际使用有非常重大的意义。

现有的图像超分辨率重建方法可以分为三种类型：基于插值的方法，基于统计的方法和基于学习的方法。在早期，前两类方法因其计算效率优势而得到广泛的关注。但是，这两类方法总是局限于较小的超分辨率倍数(2倍超分辨)，超分辨率倍数增大时(4倍或者8倍超分辨)效果较差。基于学习的方法【1】使用大量的低分辨率-高分辨率图像对来训练图像超分辨率重建模型，使得训练好的模型可以根据输入数据来推断出低分辨率图片所缺失的高频信息，并且在较大放大倍数时也可以得到较好的超分辨率重建效果。基于深度学习的方法具有从大规模数据库中学习知识的强大能力，因而被引入到图像超分辨率重建问题。但是这些基于卷积神经网络的方法仅仅使用固定的整数放大倍数【2】来学习低分辨率图像到高分辨率图像之间的映射关系，当需要任意放大倍数或者非整数放大倍数时这些方法并不适用。

目前图像超分辨率重建领域主要有三种方法来应对任意放大倍数问题。第一种是使用双线性插值方法对低分辨率特征图进行上采样。董等人【3】初次提出使用卷积神经网络学习端到端的单张图像超分辨率重建任务，并使用双线性插值方法将低分辨特征图上采样到高分辨率特征图，但是使用双线性插值的方法无法自适应的学习上采样参数，因此超分辨率重建效果较差。赖等人【4】使用拉普拉斯金字塔网络对低分辨率特征图进行逐级上采样以此改善超分辨率重建效果，但是这种在高分辨率图像上进行特征提取的方法计算量较大。第二种方法是针对不同的上采样倍数学习不同的上采样模块。施等人【5】提出使用使用子像素卷积的方法对低分辨率特征图进行上采样处理，以此加快上采样网络的运行速度，但是子像素卷积只适用于整数倍的放大倍数，无法处理非整数倍的放大倍数。林等人【6】使用共享特征提取模块训练不同的上采样模块的方法学习不同的放大倍数，但是这种方法同样只适用于整数倍放大倍数。第三中方法是根据不同的放大倍数自适应的学习上采样模块的参数。胡等人【7】引入元学习的思想构造上采样模块，首次实现低分辨率图像通过单模型进行任意尺度的上采样，通过动态预测上采样卷积参数，在应用上达成类似在图片查看器中滚动滑轮查看图片的效果。但是这种方法只使用放大倍数估计上采样卷积参数，没有用到图像的内容信息【8】，使得超分辨率重建结果比较模糊，因此需要针对这一问题加以改进。

【1】Ledig C,Theis L,Huszár F,et al.Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2017:4681-4690.

【2】Kim J,Kwon Lee J,Mu Lee K.Accurate image super-resolution usingvery deep convolutional networks[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2016:1646-1654.

【3】Dong C,Loy C C,He K,et al.Image super-resolution using deepconvolutional networks[J].IEEE transactions on pattern analysis and machineintelligence,2015,

38(2):295-307.

【4】Lai W S,Huang J B,Ahuja N,et al.Fast and accurate image super-resolution with deep laplacian pyramid networks[J].IEEE transactions onpattern analysis and machine intelligence,2018,41(11):2599-2613.

【5】Shi W,Caballero J,Huszár F,et al.Real-time single image and videosuper-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2016:1874-1883.

【6】Lim B,Son S,Kim H,et al.Enhanced deep residual networks for singleimage super-resolution[C]//Proceedings of the IEEE conference on computervision and pattern recognition workshops.2017:136-144.

【7】Hu X,Mu H,Zhang X,et al.Meta-SR:A magnification-arbitrary networkfor super-resolution[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.2019:1575-1584.

【8】Tomasi C,Manduchi R.Bilateral filtering for gray and color images[C]//Sixth international conference on computer vision(IEEECat.No.98CH36271).IEEE,1998:839-846.

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于双边上采样网络的任意倍数图像超分辨率重建方法，能够使用单一模型对低分辨率图像进行任意倍数的超分辨率重建，使用双边滤波上采样网络提高任意倍数低分辨率图像超分辨率重建精度。

本发明的技术方案：一种基于双边上采样网络的任意倍数图像超分辨率重建方法，包括以下步骤：

步骤1：输入待处理的低分辨率图像和放大倍数，待处理的输入图像称为低分辨率图像，使用超分辨率重建方法放大的图像称为高分辨率图像；

步骤2：使用步骤1中输入的放大倍数通过位置图构造模块构造位置图，然后使用空域权重预测模块预测双边上采样卷积核的空域权重；

步骤3：使用步骤1中输入的低分辨率图像通过卷积神经网络特征提取模块提取低分辨率图像特征作为双边上采样卷积核的值域权重；

步骤4：使用步骤3中提取的低分辨率特征图作为值域权重和步骤2中位置图预测得到的空域权重，通过双边上采样参数计算模块，计算双边上采卷积核参数；

步骤5：使用步骤4计算得到的双边上采样卷积核参数对低分辨率特征图进行上采样处理，得到超分辨率特征图；

步骤6：将步骤5得到的超分辨率特征图的通道数转换到输入图像的通道大小，输出重建的超分辨率图像。

所述步骤2：使用步骤1中输入的放大倍数通过位置图构造模块构造位置图，然后使用空域权重预测模块预测双边上采样卷积核的空域权重，具体实现如下：

(1)将高分辨率图像的每个像素映射到低分辨率图像空间，然后得到每个高分辨率像素在低分辨率图像空间中所对应的2×2邻域像素，超分辨率图像上每个位置的像素值就由低分辨率图像上的2×2邻域像素值和超分辨率像素与低分辨率像素之间的位置关系决定；

(2)根据超分辨率图像坐标和放大倍数构造位置图，

其中P为构造的位置图，r为放大倍数，(i,j)为位置图对应的超分辨率像素坐标，P

(3)构造得到位置图之后，采用全连接层+ReLU层+全连接层结构作为空域权重预测模块，隐藏层特征通道数设为256，利用构造的位置图自适应预测双边上采样卷积核的空域权重。

所述步骤3：使用步骤1输入的低分辨率图像通过卷积神经网络特征提取模块提取低分辨率图像特征作为双边上采样卷积核的值域权重，具体实现如下：

(1)使用步骤1输入的低分辨率图像通过卷积神经网络特征提取模块提取低分辨率图像特征；

F

其中x

(2)使用提取的低分辨率图像特征作为双边上采样卷积核的值域权重，用于后续双边上采样卷积核构造。

所述步骤4中，使用步骤3中提取的低分辨率特征图作为值域权重和步骤2中位置图预测得到的空域权重，通过双边上采样参数计算模块，计算双边上采卷积核参数，具体实现如下：

(1)使用双边上采样参数计算模块合并步骤2中得到的空域权重和步骤3中得到的值域权重计算双边上采样参数，

其中：(i，j)为高分辨率像素坐标，(i′，j′)为映射到低分辨率图像中的最近邻像素坐标，k为上采样卷积核大小，(k

(2)使用计算得到的双边上采样参数作为双边上采样卷积核权重，用于双边上采样卷积操作。

所述步骤5中，使用步骤4计算得到的双边上采样卷积核参数对低分辨率特征图进行上采样处理，得到超分辨率特征图，具体实现如下：

(1)使用步骤4预测得到的双边上采样参数构造双边上采样卷积核

(2)使用双边上采样卷积核对低分辨率特征图进行逐通道上采样卷积操作，得到超分辨率特征图，

其中F

本发明与现有技术相比的优点在于：

(1)能够使用单一模型对低分辨率图像进行任意倍数的超分辨率重建

传统的基于反卷积和子像素卷积的图像超分辨率重建方法仅仅适用于整数倍的图像超分辨率重建任务，且单一模型只能应对单个或者有限个放大倍数。本发明针对不同放大倍数自适应的学习不同的上采样模块参数，可以使用单一模型将低分辨率图像进行任意倍数的超分辨率重建，提高了超分辨率方法的实用性。

(2)能够有效提高低分辨率图像超分辨率重建准确度

传统的基于双线性插值和元学习的图像超分辨率重建方法仅仅使用放大倍数计算上采样模块的参数，无法根据不同的图像内容自适应的学习，因此超分辨率重建效果并不理想。本发明使用双边上采样网络，使上采样模块参数可以根据不同的图像内容和不同的放大倍数自适应的学习，最大程度利用低分辨率图像信息，更加有利于提高低分辨率图像超分辨率重建准确度。

附图说明

图1为本发明的任意倍数图像超分辨率重建流程图；

图2为本发明的使用单一模型对低分辨率图像进行任意倍数超分辨率重建的双边上采样网络整体结构；

图3为本发明的双边上采样卷积层结构，双边上采样卷积层使用逐通道卷积将低分辨率特征图逐通道的上采样得到超分辨率特征图；

图4为本发明的单一模型对低分辨率图像进行任意倍数超分辨率重建结果，包含整数倍和非整数倍的超分辨率重建结果；

图5为不同方法超分辨率重建结果与细节放大比较(a).原始高分辨率图像，(b).高分辨率图像的局部细节(c).双三次插值上采样(d).元学习方法上采样(d).本发明提出的基于双边上采样网络的任意倍数图像超分辨率方法。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明首先输入待处理的低分辨率图像和放大倍数；然后使用输入的放大倍数计算双边上采样卷积核的空域权重；接着使用卷积神经网络特征提取模块提取低分辨率图像特征作为低分辨率特征图；接着使用低分辨率特征图和空域权重计算双边上采样卷积核参数；接着使用计算得到的双边上采样卷积核参数对低分辨率特征图进行上采样处理，得到超分辨率特征图；最后使用1x1卷积将超分辨率特征图的通道数转换到输入图像的通道大小，输出重建的超分辨率图像。

本发明方法具体实现如下：

Step 1)：输入待处理的低分辨率图像和放大倍数；

Step 2)：使用输入的放大倍数通过位置图构造模块构造位置图，然后使用空域权重预测模块预测双边上采样卷积核的空域权重；

Step 3)：使用卷积神经网络特征提取模块提取低分辨率图像特征作为低分辨率特征图核双边上采样卷积核的值域权重；

Step 4)：使用低分辨率特征图作为值域参数和位置图预测得到的空域权重，通过双边上采样参数计算模块，计算双边上采卷积核参数；

Step 5)：使用计算得到的双边上采样卷积核参数对低分辨率特征图进行上采样处理，得到超分辨率特征图；

Step 6)；使用1x1卷积将超分辨率特征图的通道数转换到输入图像的通道大小；

Step 7)：输出重建的超分辨率图像。

下面再进行详细说明。

1.空域权重预测模块

本发明提出的使用单一模型对低分辨率图像进行任意倍数超分辨率重建的双边上采样网络整体结构如图2所示。针对任意倍数图像超分辨率重建任务，首先将高分辨率图像的每个像素映射到低分辨率图像空间，然后找到每个高分辨率像素在低分辨率图像空间中所对应的2×2邻域像素，超分辨率图像上每个位置的像素值就可以由低分辨率图像上的2×2邻域像素值和超分辨率像素与低分辨率像素之间的位置关系决定。为此设计一个空域权重预测模块，根据高分辨率像素与低分辨率像素之间的位置关系自适应的预测双边上采样卷积层的空域权重值。为了使不同的位置关系对应不同的空域参数，以此计算不同的超分辨率像素值，本发明根据位置关系和上采样倍数构造位置图用于预测上采样卷积核的空域权重。这样设计可以使不同的位置关系和不同的放大倍数都对应不同的空域权重，使得预测的空域权重能够根据不同的位置关系和不同的放大倍数自适应的调节。首先我们根据超分辨率图像坐标和放大倍数构造位置图，

其中P为构造的位置图，r为放大倍数，(i,j)为位置图对应的超分辨率像素坐标，P

构造得到位置图之后，则使用构造的位置图预测双边上采样卷积核的空域权重。本发明使用全连接层+ReLU层+全连接层结构作为空域权重预测模块。为了尽可能的减少计算量，隐藏层特征通道数设为256。由于神经网络的强大拟合能力，两层全连接层就足够拟合非常复杂的函数。可以根据构造的位置图，自适应的预测双边上采样卷积参数的空域权重。

2、双边上采样参数计算模块

仅仅使用空域上采样权重对低分辨率特征图进行上采样操作无法充分利用低分辨率输入图像的内容信息，容易重建得到模糊的高分辨率图像。为了解决这一问题，本发明将双边滤波器引入到任意放大倍数图像超分辨率重建任务，使用双边滤波公式计算双边上采样卷积核参数。传统的双边滤波器合并空域滤波器和值域滤波器，可以在对图像进行滤波的同时保留图像的纹理细节等结构信息。为了将双边滤波器引入到任意倍数图像超分辨率重建任务，首先使用构造的位置图预测空域滤波器权重。然后使用特征提取模块提取低分辨率图像特征，将低分辨率图像特征作为值域滤波器权重，合并空域滤波器权重和值域滤波器权重就可以计算得到双边上采样参数权重，

其中：(i，j)为高分辨率像素坐标，(i′，j′)为映射到低分辨率图像中的最近邻像素坐标，k为上采样卷积核大小，(k

双边上采样卷积核参数由空域权重和值域权重计算得到。由公式可以看出，在卷积核中，距离中心像素越远的位置参数权重越低，对高分辨率像素计算的贡献越小。同时，与中心像素值相差越大的位置权重也越低。通过合并值域权重与空域权重，双边上采样卷积可以保存图像的边缘信息，同时重建尽可能准确的高分辨率图像。计算得到双边上采样参数之后，就可以使用双边上采样参数将低分辨率特征图上采样到高分辨率特征图。

3、双边上采样卷积层

计算得到双边上采样卷积核参数之后，使用双边上采样卷积将低分辨率特征图上采样得到高分辨率特征图。为了减少双边上采样卷积核参数预测所需要的计算量，本发明使用逐通道卷积代替普通卷积。逐通道卷积可以只使用每个通道的信息，逐通道的将低分辨率特征图上采样到高分辨率特征图。通过逐通道的上采样，可以大大减小双边上采样卷积层的参数量核计算量。

基于逐通道卷积的双边上采样卷积层结构如图3所示。首先使用预测得到的双边上采样参数构造双边上采样卷积核，然后使用双边上采样卷积核对低分辨率特征图进行逐通道上采样卷积操作，得到超分辨率特征图，

其中F

计算得到低分辨率特征图之后，本发明使用1×1的逐像素卷积将超分辨率特征图的通道数转换到输入图像大小，如图2所示。1×1卷积的使用可以大大减少在高分辨率特征图上进行卷积计算所需要的计算量，保证本发明的实用性。图4展示了本发明提出的单一模型对低分辨率图像进行任意倍数超分辨率重建结果，可以看出本发明的方法可以应用于任意放大倍数，包括整数倍和非整数倍的放大倍数。图5展示了本发明提出的基于双边上采样网络的任意倍数图像超分辨率重建方法与传统方法比较结果，可以看出本发明的方法可以在恢复更多纹理信息的同时保证超分辨结果的准确性。