一种缩放尺度补偿的非局部性图像超分辨率方法及系统

摘要

本发明涉及一种缩放尺度补偿的非局部性图像超分辨率方法及系统，属于数字图像超分辨率技术领域。本发明首先将视频序列中的相邻数帧上插到设定的高分辨率图像；然后计算相邻帧间的尺度差异；最后对于待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P超分辨率后的像素值。本发明所述方法更有效地捕捉到各图像间更多的互补信息，进一步提升了非局部超分辨率重建的性能。

说明书

技术领域

本发明属于数字图像超分辨率技术领域，具体涉及一种缩放尺度补偿的 非局部性图像超分辨率方法及系统。

背景技术

超分辨率图像处理技术是利用多帧关于同一场景的有相互位移的低分辨 率降质图像来重建高分辨率高质量图像的技术。基于多帧图像的超分辨率重 建的目标是把一系列的低分辨率图像融合成一幅高分辨率图像。其有效性基 于假设——多个相邻帧的低分辨率图像中包含相互补充的信息。利用这些信 息，可以生成一副较高分辨率的图像。这项技术广泛应用在图像增强，监视 器等领域中。

多帧融合技术的关键在于从邻域内得到的互补信息的精确度与质量。传 统的多帧融合算法往往追求更精确的运动估计以提高获取信息的位置精确 度。但存在一些不可避免区域的无法进行精确估计（如因遮挡而使得部分区 域在某一帧中不存在），这将会大大损害复原图像的质量。为了避免运动估 计，Potter等人把非局部方法从一种去噪算法扩展成不需要运动估计的超分 辨率方法。该算法通过度量块之间的相似度，加权计算出中心像素的值。 Potter等人提出的非局部超分辨率方法仅仅是一个基础框架，可以在这个框 架上进行多种多样的扩展或修改以达到提升性能的目的。

其中一类提升是自适应的参数选择，即通过研究块的大小以及搜索窗口 的大小与非局部方法性能间的关系，自适应地选择这些参数。Zeng等人将 图像分成多个区域在不同区域应用不同的参数进行非局部超分辨率以达到比 统一参数更好的效果。Cheng等人提出的对搜索窗口和块大小进行自适应的 选取。还有学者对非局部超分辨率算法中块匹配进行了修改提高。如Gao等 人提出了用Zernike Moment替代简单的块匹配进而提升匹配块的质量。 Zhuo等人则采用了具有旋转不变性的算子来替代朴素块匹配。而Zheng等 人则将非局部的思想扩展到频域上进行使用，提出了小波非局部超分辨率算 法Wavelet Non-Local Means（WNLM）。

以上的各个方法都或多或少的提升了非局部超分辨率算法的性能。但是 他们都使得非局部超分辨率算法对旋转、对称、平移等变换更加鲁棒。迄今 为止，仍没有人考虑到基于尺度缩放鲁棒性的改进方法。

发明内容

针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种效 果好的缩放尺度补偿的非局部性图像超分辨率方法及系统。

为解决上述技术问题，本发明采用的技术方案如下：

一种缩放尺度补偿的非局部性图像超分辨率方法，包括以下步骤：

将视频序列中的相邻数帧上插到设定的高分辨率图像；

计算相邻帧间的尺度差异；

对于待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据 相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点 P超分辨率后的像素值。

一种缩放尺度补偿的非局部性图像超分辨率系统，包括用于将视频序列 中的相邻数帧上插到设定的高分辨率图像的上插装置；

用于计算相邻帧间的尺度差异的第一计算装置；

用于对待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根 据所述相邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到 像素点P超分辨率后像素值的第二计算装置。

本发明所述方法及系统，考虑到现有非局部超分辨率方法中相关帧间因 缩放而无法进行简单的信息匹配，在计算相邻帧尺度差异时，采用SIFT算 子来提取特征点并加以利用以提取尺度信息，在度量块相似度时，根据尺度 信息先对块进行下采上插的插值调整，从而进一步提升了相似度计算的准确 性，更有效地捕捉到各图像间更多的互补信息，进一步提升了非局部超分辨 率重建的性能。

附图说明

图1是具体实施方式中缩放尺度补偿的非局部性图像超分辨率系统的结 构框图；

图2是具体实施方式中缩放尺度补偿的非局部性图像超分辨率方法的流 程图；

图3是具体实施方式中像素点P超分辨率后像素值计算方法的流程图；

图4是具体实施方式中原始块与参考块选择示意图。

具体实施方式

本发明总结出现有非局部超分辨率方法不能找到足够多相似块的其中一 个重要原因是由于镜头缩放后图像尺度发生了变化而导致相似信息不能很好 地匹配，因此，本发明提出了一种计算图像尺度差异的方法及系统，并提出 一种新的可以补偿尺度差异的度量方式，最终提升基于多帧融合的超分辨率 方法的性能。下面以视频序列中某一帧进行3倍放大的超分辨率重建问题为 例，结合附图对本发明的具体实施方式进行详细描述。

如图1所示，本实施方式中缩放尺度补偿的非局部性图像超分辨率系统 包括上插装置11、第一计算装置12和第二计算装置13。其中，第二计算装 置13包括原始块确定单元131、参考块确定单元132、下采单元133、相似 度计算单元134和像素值计算单元135。

上插装置11用于将视频序列中的相邻数帧上插到设定的高分辨率图 像。第一计算装置12用于计算相邻帧间的尺度差异。第二计算装置13用于 对待超分辨率的原始图像中除边缘像素点外的每一个像素点P，根据所述相 邻帧中与像素点P相对应像素点在同一尺度上的相似度，计算得到像素点P 超分辨率后的像素值。其中，原始块确定单元131用于在所述高分辨率图像 中选择一幅图像A，在图像A中确定与所述像素点P对应的像素点P′为中 心的局部块，作为原始块。参考块确定单元132用于在所述图像A中和其相 邻帧中的参考区域内选择与所述原始块相对应的参考块。下采单元133用于 根据所述尺度差异将所述参考块下采至与所述原始块相同的尺度。相似度计 算单元134用于计算所述原始块与所述参考块的相似度。像素值计算单元 135用于根据所述相似度，计算所有参考块中心点对于原始块中心点的权 重，将所述权重与所述像素点P的像素值进行加权平均，得到像素点P超分 辨率后的像素值。

如图2所示，采用图1所示系统实现缩放尺度补偿的非局部性图像超分 辨率方法包括以下步骤：

（1）上插装置11将视频序列中的相邻数帧上插到设定的高分辨率图 像。

本实施方式中，采用空域插值方法中的双线性插值，将每一帧的两个方 向分别上插到原来的三倍大小。所述相邻数帧的取值范围为3~7帧，优选的 为3帧、5帧和7帧。本实施方式中，相邻帧为3帧，设原始帧（低分辨率 图像）分别为y₁、y₂和y₃，对应的上插后的高分辨率图像分别为Y₁、Y₂和 Y₃。

（2）第一计算装置12计算高分辨率图像相邻帧间的尺度差异。

本实施方式中，分别计算图像Y₁和Y₂、Y₂和Y₃的尺度差异。采用如下方 法计算：用SIFT（Scale-Invariant Feature Transform）计算其特征点并进行匹 配，根据如下公式计算：

$s_t=\frac{1}{N_M}·\left({\Sigma }_{i\in M}\frac{s_r\left(i\right)}{s_c\left(i\right)}\right),$

其中，N_M表示相邻两帧中匹配上的特征像素点的数量，M表示两帧图 像匹配上的像素点对集合，s_r，s_c分别表示相邻两帧中特征像素点的尺度信 息，S_t表示所有匹配上的像素点在相邻两帧中尺度差异的平均值，作为两帧 5图像的尺度差异值。

SIFT是现有的成熟算法，此处不再展开说明，可参考文献D.G. Lowe，“Distinctive image features from scale-invariant keypoints”， International Journal of Computer Vision,vol.60,no.2,pp.91-110,2004。

（3）第二计算装置13对于待超分辨率的原始图像中除边缘像素点外的 每一个像素点P，如图3所示，进行如下操作：

所述待超分辨率的原始图像可以是相邻数帧中的任意一帧。本实施方式 中，选择y₁、y₂、y₃帧中的y₂帧作为待超分辨率的原始图像。

①原始块确定单元131在所述高分辨率图像中选择一幅图像Y_x，在图像 Y_x中确定与所述像素点P对应的像素点P′为中心的局部块，作为原始块。 所述Y_x为图像Y₁、Y₂和Y₃中的一幅，本实施方式中选择图像Y₂。所述原始 块大小的取值范围在11×11像素点至17×17像素点之间。

②参考块确定单元132确定与所述原始块相对应的参考块。

所述参考块可以从图像Y₂中选择，也可以从相邻帧Y₁、Y₃中选择。优 选即从图像Y₂中选择，又从相邻帧Y₁、Y₃中选择。选择的具体过程如下：

1）在图像Y₂中以像素点P′为中心的参考区域内，选择每个原始像素 点作为每个参考块的中心点，参考块的数量与所述参考区域内中原始像素点 的数量相同。所述原始像素点是指在上插后的图像中的原始图像中存在的像 素点。所述参考区域大小的取值范围在21×21像素点至35×35像素点之间。

如图4所示，整个区域为参考区域，黑色方格表示原始块中心点，黑色 框内区域表示原始块。灰色方格表示某一参考块中心点，灰色框内区域表示 对应的参考块。浅灰色方格表示参考块的中心点，这些像素点都是在原始图 像中存在的像素点。

2）在相邻帧Y₁和Y₃中，以与像素点P′相对应的像素点P″为中心的参 考区域内，采用与1）中相似的方式选取参考块，差别在于从相邻帧图像中 选取的参考块大小与所述原始块的大小比例和两块所属相邻帧间的尺度差异 比例相同。例如，假设Y₁和Y₂的尺度差异为2:1，则参考块大小与原始块大 小的比例也为2:1。

③下采单元133根据所述尺度差异将所述参考块下采至与所述原始块相 同的尺度，相似度计算单元134计算所述原始块与所述参考块的相似度。

所述将参考块下采至与所述原始块相同尺度的方法为现有技术，此处不 再展开说明，仅给出如下计算公式：

MP(i,j,t)=I(s_t)R(s_t,i,j)y_t,

其中，y_t表示第t个参考块，R（S_t，i，j）表示对其进行的以（i，j）为 中心像素点的取尺度为S_t的参考块，I（S_t）是指对参考块进行双线性差值操 作使其尺度与原始块的尺度相同，MP（i，j，t）表示经过下采后的参考块。

对于原始块和参考块的像素值矩阵，计算其二范数的值，作为两块之间 的相似度权值，公式如下：

$w(k,l,i,j,t)=\exp \{-\frac{{\left|\right|R(1,k,l)Y_t-\mathrm{MP}(i,j,t)\left|\right|}_2^2}{2{\sigma }^2}\},$

其中，w（k，l，i，j，t）表示原始块与参考块的相似度权值，Y_r表示原 始块，R（1，k，l）表示对其进行的以（k，l）为中心像素点、取尺度比为1 （即没有尺度差异）的原始块。（k，l）为原始块中心点坐标，（i，j，t）表 示第t帧的（i，j）点坐标，即参考块的中心点坐标。σ为常数，本实施方式 中取1。

④像素值计算单元135根据所述相似度，计算所有参考块中心点对于原 始块中心点的权重；将所述权重与所述像素点P的像素值进行加权平均，得 到像素点P超分辨率后的像素值。

对于上述任意两个块的匹配所对应的相似度值与对应参考块的中心像素 值，将这些中心像素值按相似度值加权平均便得到了原始块中心点的修正 值。设待超分辨率的原始图像中的任意像素点（k，l），采用如下公式计算 超分辨率后的像素值（修正值）：

$\mathrm{Res}(k,l)=\frac{{\Sigma }_{t\in [1,...,T]}{\Sigma }_{(i,j)\in N(k,l)}w(k,l,i,j,t)y_t(i,j)}{{\Sigma }_{t\in [1,...T]}{\Sigma }_{(i,j)\in N(k,l)}w(k,l,i,j,t)},$

其中，Res（k,l）为该像素点最终超分辨率后的像素值，通过对所有处 在待超分辨率帧（k，l）点邻域的点y_t（i，j）进行加权平均得到的。y_t（i， j）表示像素点P的像素值。T取值范围为上述定义的相邻帧范围，如3帧，则 为t-1，t，t+1。N的取值范围为上述参考区域的范围大小，如21×21的参考块。

根据上述方法便可以得到待超分辨率图像中除边缘像素点外的任意一像 素点超分辨率后的像素值。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本 发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要 求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。