一种基于DCT域本征变换的人脸图像超分辨率重建方法

摘要

一种基于DCT域本征变换的人脸图像超分辨率重建方法涉及图像处理领域。利用了DCT变换的能量集中特性，低频部分采用DCT域插值放大方法，高频部分利用基于PCA的方法，预测高频信息。针对输入的LR图像在DCT域操作，处理结束后采用DCT域基于双边滤波的方法，自适应去除块效应。我们对压缩图像部分解压就可得到图像的分块DCT系数，将DCT系数直接应用到提出的算法中，减少了图像处理算法的运行时间。对于压缩图像，DCT系数的粗糙量化导致图像压缩失真，在DCT域进行超分辨率复原，是从失真产生的根源出发进行算法处理，有助于更好地解决压缩失真问题。与传统的算法相比，本发明将来能够直接应用到压缩图像中，所重建的图像具有更高的主客观质量。

说明书

技术领域

本发明涉及图像处理方法，特别涉及一种基于DCT域本征变换的人脸图 像超分辨率重建方法。

背景技术

高质量的图像和视频因其具有更丰富的信息和更真实的视觉感受，越来 越成为一种主流的需求。受到成像环境和成像系统性能的限制，成像系统获 得的图像通常是清晰度较低的低质量图像。例如，很多安全部门、敏感公共 场所、交通要道、居民小区等都配备了全天候实时视频监控系统。然而，由 于受到监控摄像头分辨率性能、监控环境光照条件、监控距离以及噪声等因 素的影响，监控系统所获取的视频图像可能是模糊不清的低质量图像，人脸 图像的分辨率通常较低，人脸面部细节丢失严重，难以达到进一步自动分析 和识别的要求。因此，针对低质人脸图像，研究超分辨率复原技术，提高图 像的质量，具有重要的理论意义和实际应用价值。

传统的简单的信号处理技术，直接采用最近邻、双向线性内插方法，虽 然提高了图像的分辨率，但是并没有添加图像的高频信息，图像质量难以提 高。随后，研究者提出了基于重建的方法和基于学习的方法预测高分辨率图 像的高频信息。

从早期的频域混迭开始，到各种基于正则化重建的空域方法。基于重建 的技术得到了广泛的研究，期间涌现了一批有效的算法。但是，当放大因子 增大时，重建约束所能提供的有效信息越来越少，因此这种方法的超分辨率 复原能力受到了很大的限制。

基于学习或基于示例的超分辨率复原则利用了不同图像在高频细节上的 相似性，通过学习低分辨率图像和对应高分辨率图像之间的关系来指导图像 的超分辨率复原过程。基于学习的方法对于人脸图像，在低分辨率图像质量 较差、放大倍数较高时能取得很好的效果。

DCT(DiscreteCosineTransform)具有很好的能量集中性能，经过变换大 部分能量集中在低频区域，能够很好的将图像块的中高频信息和低频信息进 行分离。基于分块的DCT变换，广泛应用于JPEG等压缩处理中。DC(Direct Current)系数表示子块图像的平均亮度，AC(AlternatingCurrent)系数代表子块 图像的边缘、纹理信息。眼睛、鼻子、嘴唇等高频信息丰富的区域，往往需 要通过学习补偿得到。

主成分分析算法(PCA，PrincipalComponentAnalysis)在人脸超分辨率复原 算法中得到了广泛应用。PCA是一种多元统计数据分析方法，它是采用很少 的线性无关的变量来表征多维空间的大部分时刻变化的信息，因此，它是目 标统计特性的最佳正交变换。

利用PCA算法和DCT变换的优势，我们提出了基于DCT域本征变换的 人脸图像超分辨率重建方法。

发明内容

本发明的目的在于，面向低分辨率人脸图像，采用一种基于DCT域本征 变换的人脸图像超分辨率重建方法，提高人脸图像的质量。

本发明是通过以下技术手段来实现的：

一种基于DCT域本征变换的人脸图像超分辨率重建方法，整体流程图如 附图1所示；算法分为离线部分和在线部分；其流程图分别如附图2和附图3 所示；离线部分，根据高分辨率(HR，HighResolution)人脸图像和下采样得到 的低分辨率(LR，LowResolution)人脸图像，分别确定在DCT域基于PCA的 特征向量矩阵和首先将HR图像库中的每幅图像进行下采样得到LR 图像库；然后将LR图像进行DCT域插值放大，得到初始放大的图像样本库 (LR_Prim)；接着分别将LR_Prim样本库中的图像和HR图像库中的图像进 行DCT域基于PCA的本征变换，分别得到LR_Prim图像和HR图像的特征 向量矩阵和在线部分，将输入的LR人脸图像进行DCT域插值放大， 得到的DCT系数矩阵，经过归一化，列向量化，得到的结果记为x₁。将x₁ 去中心化，映射到LR_Prim图像对应的特征向量矩阵确定x₁的PCA系 数w₁。将HR图像进行分块DCT变换，归一化，列向量化，得到的结果记为 x₀。将x₀去中心化映射到HR图像库的特征向量矩阵确定x₀的PCA系数 w₀。对于同一幅HR图像，和下采样得到的LR图像，由于图像内容相同，我 们假定权重系数w₀和w₁相等；超分辨率复原过程，LR图像已知，因此我们 能够确定x₁，w₁,又因为和可以通过样本库训练得到。通过矩阵运算， 可以得到最终重建后的DCT系数。具体运算过程，我们将会在下文具体阐述。 由于分块DCT处理会导致块效应的存在，我们采用基于DCT域的双边滤波 的方法，自适应去除块效应。

所述离线部分分为以下几个步骤：

(1)将HR人脸图像样本库中的图像，经过下采样得到LR人脸图像样 本库，通过DCT域高频系数补零的方式进行插值放大获得LR图像的初始放 大图像库LR_Prim。

(2)对(1)中得到的LR_Prim图像库和HR图像库，进行分块DCT变 换，并将每幅图像的DCT系数矩阵，归一化，列向量化，从而得到了人脸图 像DCT域训练集，LR_Prim图像库对应的训练样本矩阵L¹和HR图像库对应 的训练样本矩阵L⁰。

(3)对训练样本矩阵L¹，L⁰进行主成分量分析(PCA)，得到对应的特 征向量矩阵和

所述在线部分分为5个步骤：

(1)输入一幅LR图像，分块DCT变换，得到DCT系数矩阵；

(2)对(1)中得到的DCT系数矩阵，进行DCT域插值放大，归一化， 列向量化，得到的结果记为x₁。将x₁去中心化的结果映射到样本矩阵L¹对应 的特征向量矩阵得到权重系数w₁；

(3)将权重系数w₁与HR图像样本矩阵L⁰对应的特征向量矩阵乘积， 得到重建HR图像的DCT域的列向量，去中心化，归一化，并将该列向量矩 阵转化成图像大小，获得每个子块的高频系数；

(4)将LR_Prim的低频部分作为重建目标图像的低频系数，(3)中得到的 每个子块的高频系数作为重建图像的高频系数；

(5)将重建图像进行基于DCT域的双边滤波处理，去除块效应，然后 进行分块DCT逆变换，得到重建高分辨率图像。

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明首先提出了一种新的DCT域人脸图像超分辨率复原算法，利用了 DCT变换的能量集中特性，低频部分采用DCT域插值放大方法，高频部分利 用基于PCA的方法，预测高频信息。DCT域插值放大的得到的重建图像比双 线性内插方法的得到的重建图像具有更好主客观质量。相比其他算法，本发 明的方法能针对输入的LR图像在DCT域操作，处理结束后采用DCT域基于 双边滤波的方法，自适应去除块效应。DCT变换被广泛应用于图像视频压缩 中，在DCT域进行图像超分辨率复原具有一定的应用基础。我们对压缩图像 部分解压就可得到图像的分块DCT系数，将DCT系数直接应用到提出的算 法中，减少了图像处理算法的运行时间。对于压缩图像，DCT系数的粗糙量 化导致图像压缩失真，在DCT域进行超分辨率复原，是从失真产生的根源出 发进行算法处理，有助于更好地解决压缩失真问题。与传统的超分辨率复原 算法相比，本发明方法将来能够直接应用到压缩图像中，所重建的图像具有 更高的主客观质量。

本发明的特点：

1.提出一种新的基于DCT域的人脸图像超分辨率重建算法，利用DCT 域插值放大得到的初始放大的图像，初始放大图像的分块DCT变换的低频 系数作为重建图像的低频系数；

2.利用训练样本库，确定下采样插值放大LR图像和HR图像在DCT域 基于PCA的特征向量矩阵，假设同一幅高分辨率图像和下采样插值放大的 低分辨率图像在对应特征向量矩阵映射的PCA系数相同，来预测高频信息；

3.在DCT域进行双边滤波处理，有效解决了图像超分辨率重建的块效 应失真问题，并且最大程度的保留了图像的高频信息；

4.本方法在DCT域对图像进行超分辨率复原，将来能够更好的应用到 压缩图像中。

下面结合实例参照附图进行详细说明，以求对本发明的目的、特征和优 点得到更深入的理解。

附图说明：

图1、发明方法总体流程图；

图2、发明方法离线部分流程图；

图3、发明方法在线部分流程图；

图4、DCT域内插方法说明；

图5、DCT域基于本征变换的重建模型；

图6、目标块和平移块的定义；

图7、本发明方法实验结果。

其中(a)LR图像

(b)插值放大后的结果

(c)重建后的高分辨图像

(d)滤波后的结果

(e)原始高分辨率图像

具体实施方式：

以下结合说明书附图，对本发明的实施实例加以详细说明：

本发明算法分为离线和在线两部分。离线部分，利用人脸图像样本库， 在DCT域确定基于PCA的LR图像和HR图像的特征向量矩阵；首先将HR 样本库图像下采样，得到下采样后的LR图像；然后对高分辨率图像进行分块 DCT变换，对LR图像进行DCT域插值放大；接着分别将分块DCT变换后 的HR图像和DCT域插值放大的LR图像进行PCA，得到相应的特征向量矩 阵；在线部分，对输入LR图像进行DCT域插值放大和高频信息预测完成人 脸图像超分辨率复原；首先对输入的低比特率图像进行分块DCT变换，采用 高频信息补零的方法，进行DCT域插值放大，利用插值放大的图像在LR_Prim 图像特征向量矩阵的映射，补偿高频信息。

(一)离线部分

(1)对人脸样本库图像进行下采样

选择一个HR图像样本库中的300幅HR人脸图像，然后对这些图像直接 进行下采样，生成300幅LR图像样本库。假设采样因子为fact，原始HR图 像的大小为136×160，下采样后LR图像组成的样本库中图像大小为 136/fact×160/fact。以下阐述中，我们令fact为4，那么LR图像的分块DCT 变换的大小为4×4，HR图像的分块DCT变换的大小为16×16.

(2)对HR图像进行DCT变换，对LR图像进行DCT域插值放大

首先，我们对HR图像进行分块DCT变换，每个块的大小为16×16。对 4倍下采样得到的LR图像也进行分块DCT变换，分块的大小为4×4。我们以 4倍下采样为例，对LR图像DCT域内插方法进行说明。如图4DCT域内插 算法所示，将图像在DCT域进行插值放大。LR图像的大小为34×40，HR图 像的大小为136×160。因此，如果LR图像的DCT分块大小为4×4，为重建 HR图像，HR图像的DCT分块矩阵大小应该为16×16。

由于LR图像是HR图像下采样后得到的，LR图像具有HR图像的低频 信息，而缺乏对相应的高频信息。即LR图像的4×4DCT系数对应，HR图像 的16×16DCT系数块中的左上角的4×4个DCT系数，其他高频系数我们先采 用补零的方法。

通过上述操作，我们将会得到300幅HR图像的DCT系数矩阵，和300 幅LR_Prim图像的DCT系数矩阵。

(3)对DCT系数矩阵进行PCA分析

将PCA算法应用到人脸超分辨率复原中，通过对特征向量矩阵的加权线 性组合实现超分辨率复原，我们的算法是在DCT域操作。

为了更准确对DCT系数矩阵进行PCA分析，我们需要分别将300幅HR 图像的DCT系数矩阵和300幅LR_Prim图像的DCT系数矩阵转化为列向量， 得到300个HR图像的DCT系数列向量l⁰_i(i＝1,2,…,M)，M＝300，和300幅 LR_Prim图像的DCT系数矩阵转化为列向量l¹_i(i＝1,2,…,M)，M＝300。矩阵转 化为列向量的方法是按列进行依次排列，以HR图像为例，将矩阵136×160 转化为21760维列向量。将矩阵的第一列的160个数据，作为列向量的前160 个数据，第二列列向量的161到320个数据，依次排列。

然后求得HR图像DCT系数的最大值HR_Max，并将HR图像DCT系数 向量归一化。由300个HR图像的DCT系数列向量l⁰_i(i＝1,2,…,M)，M＝300， 构成HR图像的训练样本集矩阵L⁰：

L⁰＝[l₁⁰-u⁰,…,l_M⁰-u⁰]

(1)

其中，$u^0=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}{l}_i^0.$

同理，我们可以利用300幅LR_Prim图像的DCT系数的列向量 l¹_i(i＝1,2,…,M)，M＝300，求得LR_Prim图像的训练样本集矩阵L¹：

L¹＝[l₁¹-u₁⁰,…,l_M¹-u₁⁰]

(2)

其中，$u_1^0=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}{l}_i^1.$

如果知道HR图像的训练样本集矩阵L⁰,可以计算得到该样本矩阵L⁰对应 的正交的特征向量同理，我们可以得到LR_Prim图像的训练样本集矩阵 L¹的特征向量

任意给定一幅图像I₁，进行分块DCT变换，并转化为列向量x₀，可以得 到得到权重向量w₀：

$w_0={\left(E_l^0\right)}^T(x_0-u^0)---\left(3\right)$

已知权重向量w₀，利用特征向量的线性组合来求得重建图像的DCT系 数。重建图像的DCT系数r⁰：

$r^0=E_1^0{w}_0+u^0---\left(4\right)$

最后，将重建图像的DCT系数r⁰转化为与HR图像大小相同的矩阵，并 进行分块DCT逆变换得到重建图像。

(二)在线部分

(1)对输入LR图像进行预处理

我们以4倍下采样后的LR图像为例，对在线部分进行阐述。输入图像为 一幅待处理的LR图像，大小为34×40。首先对LR图像进行4×4大小的分块 DCT变换，然后进行DCT域插值放大，得到136×160大小的DCT系数矩阵。 接着进行归一化，即将DCT系数矩阵的数据与系数矩阵中的最大值相除，矩 阵中的数据全部转化为0到1范围的数据，最后将归一化后的矩阵转换为列 向量x¹。

(2)获取重建高分辨率图像的高频信息

首先，将列向量x₁去中心化，映射到LR_Prim图像的特征向量矩阵即利用公式(5)，得到权重系数w₁。

$w_1={\left(E_l^1\right)}^T(x_1-u_1^0)---\left(5\right)$

LR图像超分辨率重建，根据公式(5)我们可以确定w₁。HR图像进行大 小为16×16的分块DCT变换并对得到的系数归一化，列向量化，中心化，在 特征向量矩阵E⁰映射得到权重系数，记为w₀。对于一幅特定的HR图像和下 采样的LR图像进行基于DCT域的插值放大图像LR_Prim，我们假设w₀和 w₁相等。因此，我们可以根据公式(6)得到HR图像的DCT系数。

$r^0=E_l^0{w}_1+u^0---\left(6\right)$

将重建HR图像的DCT系数r⁰转化为HR图像大小的矩阵，去归一化, 去中心化。重建HR图像的DCT系数的高频部分，作为预测得到高频信息。

(3)获取重建图像的DCT系数

由于对LR图像进行基于DCT域插值放大的方法，高频系数采用简单的 补零方法，并没有添加任何高频信息。我们将步骤(2)预测得到的高频系数， 替换原来的简单补零的高频系数。

以4×4大小的DCT系数块为例，加以说明。4×4大小的DCT系数块基于 DCT域插值放大的方法，得到了16×16大小的DCT系数的左上角的4×4大小 的低频DCT系数，而其余高频系数只是进行简单的补零。步骤(2)得到的 是大小为16×16的DCT系数，我们将对应位置的高频系数替换DCT域插值 放大的补零部分对应位置的系数。图像的每一个4×4块都采用同样的处理方 法，即可得到重建的DCT系数。

由于DCT变换是分块操作的，将会导致相邻块之间的相关性减弱，在人 眼视觉上的反映是呈现块效应。我们采用DCT域基于双边滤波的方法，恢复 相邻块的相关性，去除块效应。

对目标块进行基于DCT域的双边滤波，是以目标块为中心，水平和垂直 方向最大平移距离为L个像素点的平移块的DCT系数的加权平均。平移块 DCT系数的权重选择是关键。根据双边滤波思想，权值不仅和空间距离有关， 还与平移块DCT系数的相似性有关。与目标块距离较近的并且内容较为相似 的平移块应给予较大的权值。我们采用目标块与平移块DCT系数差值的L₂范数确定它们之间的相似性。L₂值越小，表示平移块与目标块越相似，反之， 相似性越差。基于以上理论，我们采用DCT域基于双边滤波思想的平移块的 加权平均去块效应。具体处理过程如下所示。

如图6所示，假设灰色块表示目标块b_m,n，虚线框图区域表示平移块 b_m+k,n+l，水平方向左平移k个像素，垂直方向上平移l个像素，其中图中 k＝-2,l＝-2。N(B_m,n)表示目标块b_m,n的DCT系数B_m,n和平移块b_m+k,n+l的DCT 系数B_m+k,n+l的集合。N(B_m,n)中每个平移块的权重w_k,l的确定方法如下公式 (7)(8)所示：

$w_{k,l}=\frac{1}{Z}\exp \{-\frac{\left|\right|B_{m+k,n+l}-B_{m,n}\left|\right|}{h_0}\}·\exp \{-\frac{\left|\right|k^2+l^2\left|\right|}{h_1}\}---\left(7\right)$

$Z=\underset{B_{m+k,n+i}\in N\left(B\right)}{\Sigma }\exp \{-\frac{\left|\right|B_{m+k,n+l}-B_{m,n}\left|\right|}{h_0}\}·\exp \{-\frac{\left|\right|k^2+l^2\left|\right|}{h_1}\}---\left(8\right)$

其中，w_k,l表示平移块b_m+k,n+l的DCT系数B_m+k,n+l在加权平均过程中赋予 的权重大小，k,l表示重叠相邻块相对于目标块b_m,n垂直方向平移k个元素， 水平方向平移l个元素。Z是归一化常数，可通过公式(8)计算得到。h₀是 基于平移块与目标块内容相似性的平滑约束因子，h₁是基于空间距离的平滑 约束因子。h₀和h₁是测试选择的最优化参数，参数和图像内容有关，图像内 容是人脸图像时，h₀＝15000和h₁＝300。重建目标块为平移块和目标块的加权 平均，计算过程如公式(9)所示。

${\hat{B}}_{m,n}=\underset{k=-L}{\overset{L}{\Sigma }}\underset{l=-L}{\overset{L}{\Sigma }}{w}_{k,l}{B}_{m+k,n+1}---\left(9\right)$

目标块重建后的DCT系数如公式(9)所示，L表示平移块相对于 目标块水平方向或者垂直方向平移的最大位移。

通过上述操作，在一定程度上能够去除分块DCT变换操作引起的块效应。 最后将重建的DCT系数进行分块DCT逆变换，得到重建超分辨率人脸图像。 实验结果如图7所示。