一种分布式视频压缩感知中帧内最佳匹配插值重构方法

摘要

本发明公开了一种分布式视频压缩感知中帧内最佳匹配插值重构方法，在多假设预测模型的基础上，根据自然像素连续特性，基于传统帧内多假设预测，采用测量域块结构相似性作为失真标准在待重构帧中选取出最佳匹配块，在以最佳匹配块为中心的搜索窗口内采用插值法构成MH最佳匹配插值字典。关键帧采用帧内最佳匹配插值法生成边信息，非关键帧中的运动剧烈块分别采用帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决，联合残差补偿重构出对应帧。本发明能够充分考虑运动剧烈的视频场景中帧间空时运动造成的像素不对齐特性，且插值法使残差信号更稀疏，解决现有MH预测重构过程在运动剧烈场景中重构视频帧不够清晰的问题。

说明书

技术领域

本发明涉及一种分布式视频压缩感知中帧内最佳匹配插值重构方法，属于视频图像处理技术领域。

背景技术

目前，信息社会正朝着数字化、网络化和智能化方向快速发展，采用视频传感构建的无线传感器网络来实现现场实时视频感知的应用需求日益增加。由于视频信号复杂，信号传输过程流量大，并且通信资源有限，所以使得视频图像通信面临较大的挑战。当下，引起较多关注的是分布式视频压缩感知(DistributedCompressive VideoSensing，DCVS)编码方式，它结合了分布式视频编码(Distributed Video Coding，DVC)与压缩感知(Compressive Sensing，CS)，充分利用了两者的优点，非常适用于资源受限制的通信传输场合。

在DCVS系统中，现有大多数重构算法的主要思想是以前一帧图像作为参考图像，通过挖掘并利用当前图像与参考图像间的相关性信息，对当前图像进行CS重建。目前的CS视频重构策略可分为3类：逐帧独立重构、立体重构和预测—残差重构。逐帧独立重构独立地复原单帧，并未利用时间相关性，导致率失真性能较差；立体重构利用3维(3—Dimensional,3D)变换域稀疏性或视频低秩性作为先验知识，可获得较高的率失真性能，但需要巨大的计算复杂度；预测-残差重构首先利用时间相关性对当前帧作出预测，然后利用图像CS重构算法重构出预测帧与原始帧之间的残差。相比于逐帧独立重建和立体重构策略，预测-残差重构权衡了他们之间的优缺点，能够以适中的复杂度得到良好的率失真性能，因而获得广泛关注。在预测-残差重构方法中，边信息预估精度对于重建质量的影响不可忽视，所以提高预估质量是确保视频重构质量的关键。Mun和Fowler借鉴分布式视频编码框架中边信息的生成方法，基于运动估计/运动补偿的残差重建方案。Do等人基于系数稀疏性假设，提出基于帧间相关性的预测模型，利用已重建帧中的时域相邻块线性表示当前重建帧中的图像块，该方法仅考虑了采用相邻关键帧对当前图像组中的非关键帧进行双向预测的重建结构，当GOP增大时，重建质量会有明显下降。在此基础上，Tramel和Fowler提出基于多重假设(MH)预估模型。其中，基于多假设的边信息预估算法假设待预估的宏块可以利用已经重构好的若干参考帧对应领域内的多个宏块进行稀疏表示，但现有MH预测模型没有充分考虑视频帧间空时运动信息稀疏相关性的问题，对于运动剧烈的视频场景，无法提供非常好的视频重构效果。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种分布式视频压缩感知中帧内最佳匹配插值重构方法，解决现有MH预测重构过程在运动剧烈场景中重构视频帧不够清晰的问题。

为了实现上述目标，本发明采用如下的技术方案：

一种分布式视频压缩感知中帧内最佳匹配插值重构方法，其特征是，包括如下步骤：

步骤1)采集原始视频，该视频的序列帧x_t有N＝I_c×I_r个像素，分成n个大小为B×B的块，第i个块的列向量形式记为x_t,i，i＝1,...,n,n＝N/B²；分块尺寸：B×B，采用分块测量矩阵为结构化随机测量矩阵Φ_B；

将原始视频流拆分为关键帧和非关键帧，奇数帧为关键帧，偶数帧为非关键帧；或者偶数帧为关键帧，奇数帧为非关键帧；

步骤2)在采集端对关键帧和非关键帧进行以块为单位的测量，得到对应的块测量值；

步骤3)根据接收到的关键帧的块测量值y_k采用MH-BCS-SPL(基于离散小波变换域的BCS-SPL)重构算法重构出关键帧的初始重构帧得到帧内自适应初始字典；

步骤4)将已重构的关键帧作为参考帧D₁，MH预测模型首先寻找待重构块x_t,i在参考帧D₁内的最佳匹配块x_t,ibest，即

步骤5)由步骤4)在搜索窗口D₁内得到最佳匹配块x_t,ibest，再以x_t,ibest为中心，生成半径为D^k的搜索窗口，k表示当前帧在参考帧中对应的第k个最佳匹配块的序号，此时参考帧就是当前待重构帧，选取以最佳匹配块x_t,ibest为中心的搜索窗，D^k作为搜索窗的尺寸参数，控制窗的大小，采用滑动取块的方式选择搜索窗D^k中的参考块集合B^k，即其中表示搜索窗中的第j块，J＝(D^k×2+1)²为搜索窗中提取视频参考块的总个数；

步骤6)对搜索窗中的参考块进行帧内插值，来获得帧内最佳匹配插值字典，形成BM插值字典，即在原始像素点的后右方、后下方和后右下方进行像素点插值，插值后的参考块大小是原参考块大小的4倍，提取插值后相同半像素点(0,0)、(0,1/2)、(1/2,0)、(1/2,1/2)按顺序重组，即将原始像素点、插值后右方像素点、插值后下方像素点和插值后右下方像素点按顺序重组，得到4个重组参考块和将其分别向量化得到和将其作为帧内最佳匹配插值字典的列向量，重复步骤5)和步骤6)生成当前待重构块的最佳匹配插值字典，即

其中，表示当前第t帧第i个待重构块的帧内最佳匹配插值字典；

步骤7)利用多假设预测模型中的如下公式计算待重构块的帧内多假设预测值作为边信息：其中即H_t,i为帧内基于多假设预测的最佳匹配插值字典，记为帧内MH-BM插值字典，w是H_t,i中各列的线性组合的列向量，为代表H_t,i中各列的最佳线性组合的列向量，Γ为正则化矩阵，h_t,i是H_t,i的列，i＝1,...,K，K＝J×4，λ为正则化控制因子，Φ是由结构化随机测量矩阵Φ_B作为对角元素的分块测量矩阵；

步骤8)对于非关键帧，通过块分类后，运动剧烈块分别采用步骤4)-7)的帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决，选择两者中的最优边信息作为非关键帧的预测值，相对静止块采用帧间双向最佳匹配法生成边信息；

步骤9)获得关键帧和非关键帧的边信息后，用预测值的测量值减去其边信息的测量值，计算出当前帧残差r的各块压缩感知CS观测向量y_r,i，即：

步骤10)重构出残差值r_t；

步骤11)将边信息和残差值相加，得到重构的视频帧，即

前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法，其特征是，所述步骤2)的测量过程具体如下：在步骤1)的基础上，对x_t,i应用M_B×B²的结构化随机测量矩阵Φ_B进行测量，得到视频帧的测量值向量y_t,i，其长度为M_B，其中M_B＜＜B²，记为y_t,i＝Φ_Bx_t,i,i＝1,2,…,n。

前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法，其特征是，所述步骤2)、4)、7)、9)中分块测量矩阵Φ与结构化随机测量矩阵Φ_B的关系为：其中Φ_B为结构化随机测量矩阵(SRM)，使用该矩阵生成测量值只需要少量的计算和内存开销，且不需要存储庞大的测量矩阵。

前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法，其特征是，所述步骤4)和5)中分块尺寸为B＝32，搜索窗口半径D₁＝D^k＝B。

前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法，其特征是，所述步骤4)中用MH预测模型在初始重构帧内寻找最佳匹配块时，在测量域采用像素块结构相似性SSIM作为失真标准进行迭代寻找，以整个初始重构帧作为搜索区，根据关键帧测量率的不同进行自适应阈值τ_s迭代，测量率为0.1-0.2时，迭代阈值即SSIM值，τ_s＝0.99995；测量率为0.3时，τ_s＝0.999995；测量率为0.4和0.5时，τ_s＝0.9999995，最大迭代次数为100次，通过对视频帧测量率自适应调节阈值，降低算法迭代次数，减少耗时，满足视频实时传输的要求，最终在参考帧中选取出最佳匹配块作为当前块的临时最佳预测值；

SSIM定义如下：SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ，x，y分别为当前帧和参考帧中对应的视频帧块测量值，即x＝Φx_t,i，y＝Φy_t,i，x_t,i和y_t,i是视频序列中第t待重构帧的相邻块，其中Φ是由结构化随机测量矩阵Φ_B作为对角元素的分块测量矩阵，由上式计算测量域的SSIM，根据像素块在测量域结构相似性约束最佳匹配策略，迭代计算得最终最佳匹配块，即有

其中l(x,y)，c(x,y)，s(x,y)分别代表亮度、对比度、结构比较函数；μ_x，μ_y，μ_xy分别表示参考图像的亮度均值、标准差以及协方差，σ_x，σ_y，σ_xy分别表示失真图像的亮度均值、标准差以及协方差；C₁，C₂，C₃为常数，取值为10^-5～10^-8。

前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法，其特征是，所述步骤5)中是以步骤4)生成的最佳匹配块为中心，生成最佳匹配搜索窗口，然后在此最佳匹配搜索窗口中对各块进行帧内插值。

前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法，其特征是，所述步骤7)中采用正则化矩阵时使用的先验知识为：与目标块越接近的候选块，其所对应的权重越大；相反，其所对应的权重越小。

前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法，其特征是，所述步骤7)中利用帧内MH-BM插值字典生成边信息时，采用MH预测模型搜索分块尺寸为B，每个分块中的子块尺寸为b，根据子块尺寸和搜索窗口范围逐渐增加进行帧内多假设预测，每次迭代后子块尺寸和搜索窗口范围增加一倍。当子块尺寸小于块尺寸时，MH预测重构算法采用DDWT(Dual—tree DWT)作为稀疏基；当子块尺寸等于块尺寸时，MH预测重构算法采用RDWT(Redundant DWT)作为稀疏基；

前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法，其特征是，所述步骤8)对非关键帧运动剧烈块采用帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决，选择两者中的最优边信息作为非关键帧的预测值，相对静止块采用帧间双向最佳匹配法生成边信息；

前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法，其特征是，所述步骤8)中，非关键帧中相对静止块采用MH双向最佳匹配方法时，测量率为0.1-0.3时，迭代阈值即SSIM值，τ_s＝0.99995；测量率为0.4和0.5时，τ_s＝0.999995，最大迭代次数为200次。

前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法，其特征是，所述步骤10)采用基于离散小波变换域的BCS-SPL方法对残差值进行重构。

本发明所达到的有益效果：

第一，本发明在多假设预测模型的基础上，提出帧内最佳匹配插值法生成最佳匹配插值字典(帧内MH-BM插值字典)，基于传统帧内多假设预测，采用测量域块结构相似性作为失真标准在参考帧中选取出最佳匹配块，在以最佳匹配块为中心的搜索窗口内采用插值法构成MH最佳匹配插值字典。与现有基于多假设预测的视频重构方案相比，本发明得到的帧内稀疏字典更加稀疏，满足提高运动剧烈场景下视频传输重构质量的要求。

第二，关键帧采用帧内最佳匹配插值法生成边信息，非关键帧中的运动剧烈块分别采用帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决，选择两者中的最优边信息作为非关键帧的预测值，相对静止块采用帧间双向最佳匹配法生成边信息，联合残差补偿重构出对应帧。与现有基于多假设预测的视频重构方案相比，本发明能够充分考虑帧间空时运动信息稀疏相关性，在相同的采样率下，能够提高重构视频序列帧质量。满足提高运动剧烈场景下视频传输重构质量的要求。

第三，本发明在测量域计算像素块结构相似性，充分考虑稀疏性，根据视频帧测量率自适应调节阈值，降低算法迭代次数，减少耗时，满足视频实时的要求。

附图说明

图1为本发明一种分布式视频压缩感知中帧内最佳匹配插值重构方法的框架图；

图2为本发明方法与现有技术在测量率为0.2时重构出的Foreman第2帧的主观视觉对比图；其中，图2(a)是原始图像，图2(b)是BCS算法重构视频帧的示意图，图2(c)是MS算法重构视频帧的示意图，图2(d)是MH-MS算法重构视频帧的示意图，图2(e)是本发明重构后的示意图；

图3为本发明方法与现有技术在测量率为0.2时重构出的Football第59帧的主观视觉对比图；其中，图3(a)是原始图像，图3(b)是BCS算法重构视频帧的示意图，图3(c)是MS算法重构视频帧的示意图，图3(d)是MH-MS算法重构视频帧的示意图，图3(e)是本发明重构后的示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明目的在于提出了一种分布式视频压缩感知中帧内最佳匹配插值重构方法，本发明能够充分考虑运动剧烈的视频场景中帧间空时运动造成的像素不对齐特性，且插值法使残差信号更稀疏。本发明解决现有MH预测重构过程在运动剧烈场景中重构视频帧不够清晰的问题。

本发明在多假设(Multiple Hypotheses，MH)预测模型的基础上，根据自然像素连续特性，基于传统帧内多假设预测，采用测量域块结构相似性作为失真标准在参考帧中选取出最佳匹配块，在以最佳匹配块为中心的搜索窗口内采用插值法构成MH最佳匹配插值字典。关键帧采用帧内最佳匹配插值法生成边信息，非关键帧中的运动剧烈块分别采用帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决，联合残差补偿重构出对应帧。在相同的采样率下，能够提高重构视频序列帧质量，并且重构时间没有大幅度增加。为运动剧烈场景下应用分布式视频压缩进一步提高视频重构质量、满足实时要求提供了可能。

此外，在本发明中所提及的帧间双向最佳匹配法所相关的内容采用的是申请人之前的专利，其申请号：201710010302.0，已经公开。

如图1所示，该方法具体步骤如下：

输入：视频序列帧x_t有N＝I_c×I_r个像素，分成n个大小为B×B的块，第i个块的列向量形式记为x_t,i，i＝1,...,n,n＝N/B²；

分块尺寸：B×B，B＝32,分块测量矩阵为Φ_B；

(1)将原始视频流拆分为关键帧和非关键帧，奇数帧为关键帧，偶数帧为非关键帧；或者偶数帧为关键帧，奇数帧为非关键帧；

(2)在采集端，对关键帧和非关键帧进行基于块的测量。测量过程具体如下：在步骤1)的基础上，对x_t,i应用M_B×B²的结构化随机测量矩阵Φ_B进行测量，得到视频帧的测量值向量y_t,i，其长度为M_B，其中M_B＜＜B²，记为y_t,i＝Φ_Bx_t,i,i＝1,2,…,n。

之后在重构端，分别重构关键帧和非关键帧，具体的内容如下面的步骤：

步骤3)根据接收到的关键帧的块测量值y_k采用MH-BCS-SPL重构算法重构出关键帧的初始重构帧得到帧内自适应初始字典；

步骤4)将已重构的关键帧作为参考帧D₁，MH预测模型首先寻找待重构块x_t,i在参考帧D₁内的最佳匹配块x_t,ibest，即用MH预测模型在初始重构帧内寻找最佳匹配块时，在测量域采用像素块结构相似性SSIM作为失真标准进行迭代寻找，以整个初始重构帧作为搜索区，根据关键帧测量率的不同进行自适应阈值τ_s迭代，测量率为0.1-0.2时，迭代阈值即SSIM值，τ_s＝0.99995；测量率为0.3时，τ_s＝0.999995；测量率为0.4和0.5时，τ_s＝0.9999995，最大迭代次数为100次，通过对视频帧测量率自适应调节阈值，降低算法迭代次数，减少耗时，满足视频实时传输的要求，最终在参考帧中选取出最佳匹配块作为当前块的临时最佳预测值；

SSIM定义如下：SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ，x，y分别为当前帧和参考帧中对应的视频帧块测量值，即x＝Φx_t,i，y＝Φy_t,i，x_t,i和y_t,i是视频序列中第t待重构帧的相邻块，其中Φ是由结构化随机测量矩阵Φ_B作为对角元素的分块测量矩阵，由上式计算测量域的SSIM，根据像素块在测量域结构相似性约束最佳匹配策略，迭代计算得最终最佳匹配块，即有

其中l(x,y)，c(x,y)，s(x,y)分别代表亮度、对比度、结构比较函数；μ_x，μ_y，μ_xy分别表示参考图像的亮度均值、标准差以及协方差，σ_x，σ_y，σ_xy分别表示失真图像的亮度均值、标准差以及协方差；C₁，C₂，C₃为常数，取值为10^-5～10^-8。

步骤5)由步骤4)在搜索窗口D₁内得到最佳匹配块x_t,ibest，再以x_t,ibest为中心，生成半径为D^k的搜索窗口，k表示当前帧在参考帧中对应的第k个最佳匹配块的序号，此时参考帧就是当前待重构帧，选取以最佳匹配块x_t,ibest为中心的搜索窗，D^k作为搜索窗的尺寸参数，控制窗的大小，采用滑动取块的方式选择搜索窗D^k中的参考块集合B^k，即其中表示搜索窗中的第j块，J＝(D^k×2+1)²为搜索窗中提取视频参考块的总个数；

步骤6)对搜索窗中的参考块进行帧内插值，来获得帧内最佳匹配插值字典，形成BM插值字典，即在原始像素点的后右方、后下方和后右下方进行像素点插值，插值后的参考块大小是原参考块大小的4倍，提取插值后相同半像素点(0,0)、(0,1/2)、(1/2,0)、(1/2,1/2)按顺序重组，即将原始像素点、插值后右方像素点、插值后下方像素点和插值后右下方像素点按顺序重组，得到4个重组参考块和将其分别向量化得到和将其作为帧内最佳匹配插值字典的列向量，重复步骤6)和步骤7)生成当前待重构块的最佳匹配插值字典，即

其中，表示当前第t帧第i个待重构块的帧内最佳匹配插值字典；

步骤7)利用多假设预测模型中的如下公式计算待重构块的帧内多假设预测值作为边信息：其中即H_t,i为帧内基于多假设预测的最佳匹配插值字典，记为帧内MH-BM插值字典，w是H_t,i中各列的线性组合的列向量，为代表H_t,i中各列的最佳线性组合的列向量，Γ为正则化矩阵，h_t,i是H_t,i的列，i＝1,...,K，K＝J×4，λ为正则化控制因子，Φ是由结构化随机测量矩阵Φ_B作为对角元素的分块测量矩阵。

本步骤中采用正则化矩阵时使用的先验知识为：与目标块越接近的候选块，其所对应的权重越大；相反，其所对应的权重越小。

利用帧内MH-BM插值字典生成边信息时，采用MH预测模型搜索分块尺寸为B，每个分块中的子块尺寸为b，根据子块尺寸和搜索窗口范围逐渐增加进行帧内多假设预测，每次迭代后子块尺寸和搜索窗口范围增加一倍。当子块尺寸小于块尺寸时，MH预测重构算法采用DDWT(Dual—tree DWT)作为稀疏基；当子块尺寸等于块尺寸时，MH预测重构算法采用RDWT(Redundant DWT)作为稀疏基；

步骤8)对于非关键帧，通过块分类后，运动剧烈块分别采用步骤4)-8)的帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决，选择两者中的最优边信息作为非关键帧的预测值，相对静止块采用帧间双向最佳匹配法生成边信息。

非关键帧中相对静止块采用MH双向最佳匹配方法时，测量率为0.1-0.3时，迭代阈值即SSIM值，τ_s＝0.99995；测量率为0.4和0.5时，τ_s＝0.999995，最大迭代次数为200次。

步骤9)获得关键帧和非关键帧的边信息后，用预测值的测量值减去其边信息的测量值，计算出当前帧残差r的各块压缩感知CS观测向量y_r,i，即：

步骤10)采用用基于离散小波变换域的BCS-SPL方法对残差值进行重构出残差值r_t；

步骤11)将边信息和残差值相加，得到重构的视频帧，即

在实施例中，

步骤2)、4)、7)、9)中分块测量矩阵Φ与结构化随机测量矩阵Φ_B的关系为：其中Φ_B为结构化随机测量矩阵(SRM)，使用该矩阵生成测量值只需要少量的计算和内存开销，且不需要存储庞大的测量矩阵。

步骤4)和5)中分块尺寸为B＝32，搜索窗口半径D₁＝D^k＝B。

下面结合附图对本发明方法的效果做进一步说明：

以CIF格式(352×288)的标准测式序列Foreman、Susie、Football的前100帧作为测试序列帧，Foreman、Susie序列偶数帧为非关键帧，Football序列奇数帧为非关键帧，块测量矩阵为SAM，分块尺寸B＝32，搜索窗口半径D₁＝D₂＝B，正则化参数λ＝0.15，最大迭代次数为200次。由两个连续残差重构图像之间的SSIM值作为图像重构时的阈值，测量率为0.1-0.3时，τ_s＝0.99995，测量率为0.4和0.5时，τ_s＝0.999995。采用BCS-SPL-DDWT进行帧内初始重构，采用MS-BCS-SPL-DWT对非关键帧残差值进行重构。对比方法为基于分块压缩的BCS-SPL和MS-BCS-SPL，基于MH预测模型的MH-MS-BCS算法。

图2为本发明方法与现有技术在测量率为0.2时重构出的Foreman第2帧的主观视觉对比图。本发明方法重构PSNR值为36.5dB，其他方法重构PSNR值最高为33.8dB，本发明方法提高了2.7dB，观察各重构视频帧，明显本方法具有最好的主观视觉质量。

图3为本发明方法与现有技术在测量率为0.2时重构出的Football第59帧的主观视觉对比图。本发明方法重构PSNR值为30.0dB，其他方法重构PSNR值最高为27.6dB，本发明方法提高了2.4dB，观察各重构视频帧，明显本方法具有最好的主观视觉质量。

本发明方法通过在帧内采用测量域块结构相似性作为失真标准在参考帧中选取出最佳匹配块，在以最佳匹配块为中心的搜索窗口内采用插值法构成MH最佳匹配插值字典，使得利用MH预测模型进行帧内重构时能够充分考虑视频帧间空时运动信息相关性，重构出的视频帧质量更高，可以获得更好的主观视觉效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。