针对3D‑HEVC深度图编码的深度建模模式判决方法

摘要

本发明公开了一种针对3D‑HEVC深度图编码的深度建模模式判决方法，对深度图宏块进行分类跳过判定，根据预测单元尺寸判定轮廓模式是否提前终止，进行深度建模模式的率失真优化得到最优的深度建模模式，其步骤是：开始深度图宏块的深度建模模式判决过程；把当前深度块分类为近区域、中区域和远区域；进行不必要深度块跳过；根据当前预测单元的尺寸进行轮廓模式的提前终止；进行深度建模模式决策的率失真最优化过程；判定深度图的最优深度建模模式。本发明采用了块的分类跳过及轮廓模式的提前终止，编码性能较好，码率只有小幅上涨，峰值信噪比降低可忽略，比原始3D‑HEVC编码方法平均节约了31.33%的编码时间，可应用于实时编码。

说明书

技术领域

本发明属于视频编码的技术领域，具体涉及的是一种视频编码中帧内编码的深度建模模式判决方法，特别是一种面向高效率视频编码标准3D视频扩展中深度图编码的深度建模模式判决方法。

背景技术

近几年来，随着高清视频以及各种网络视频的普及，视频压缩技术迎来了不小的挑战。ISO/IEC的运动图像专家组(Motion Picture Experts Group，MPEG)和ITU-T的视频编码专家组(Video Coding Expert Group，VCEG)组成视频编码联合组(Joint Collaborative Team on Video Coding，JCT-VC)，并联合制定了高效率视频编码标准H.265/HEVC(High Efficiency Video Coding)。新一代视频编码标准H.265/HEVC中增加了许多新的编码工具，与上一代视频编码标准H.264/AVC相比，H.265/HEVC的编码性能有了大幅度的提升。而且，基于高效率视频编码标准的扩展3D-HEVC(high efficiency video coding based 3D video coding)也成了近年来的研究热点，3D-HEVC能够实现立体和多视点的成像，它采用纹理视频加深度格式来合成虚拟视点，从而降低了大量的编码码率。而深度图的保存对合成高质量的虚拟视点纹理视频至关重要，因此，一些新的深度图编码工具被引入3D-HEVC，例如深度建模模式(DMM)决策。然而，众多的DMM候选模式导致了巨大的计算量，这也阻碍了3D-HEVC在现实中的应用。

目前，针对3D-HEVC中深度图编码已经有许多成熟的技术，如：Ding H等人提出了一种有效的深度图编码算法，利用了基于可察觉深度差异建模理论中人们对深度的感知灵敏度特点来跳过一些不必要的深度块。Zhang H B等人提出了一种基于内容的参考像素空间分类方法的快速深度图帧内模式决策算法。但是，这些技术虽然减少了DMM决策的计算复杂度，但编码效率依然较低，所以其深度图预测的编码性能并未提高。因此，如何在深度图编码中有效地加快DMM决策方法过程，实现出色的编码效率是目前视频编码技术面临的难题之一。

深度图编码中的深度建模模式(DMM)决策，就其实质来说是为了在压缩深度图像平坦区域的同时更好的保护边缘部分。无论是传统视频编解码框架—HEVC，还是3D视频编解码框架—3D-HEVC编码框架，它们的预测过程均涉及块划分(block partitioning)技术，即将一个图像块划分成多于一个的区域(partition)，然后再以所述区域为单位进行预测。而HEVC中传统的块划分方式是将一个方形图像块沿水平或垂直方向划分成两个或四个矩形区域(rectangular partition)。而DMM模式引入了一种新型的块划分方式，即根据特定的信息将一个深度图像块划分成两个非矩形的区域(non-rectangular partition)，同一区域内的像素用相同的常数值来表示，不同的区域值分开编码，进而较好的保留深度图像的边缘部分。但DMM决策的模式选择需要遍历所有的候选模式，这导致了巨大的计算量，计算时间较长，这就必须要消耗大量的编码时间，不利于进行实时编码。所以该方法计算复杂度偏高，难以进行实时应用。

发明内容

鉴于以上现有技术存在的问题和不足，本发明的目的在于提供一种针对3D-HEVC深度图编码的深度建模模式判决方法，与原始编码器和最新的SRPS编码方式相比，不仅保持了几乎相同的编码效率，还能有效降低编码时间。

为了达到上述目的，本发明的技术方案是：一种针对3D-HEVC深度图编码的深度建模模式判决方法，首先对深度块进行分类跳过判定，然后根据预测单元尺寸判定轮廓模式是否提前终止，最后进行深度建模模式的率失真优化得到最优的深度建模模式，其具体步骤是：

(1)、开始深度图宏块的深度建模模式判决过程；

(2)、根据确定的近区域和远区域的阈值，把当前深度块分类为近区域、中区域和远区域；

(3)、进行不必要深度块跳过：如果深度块属于近区域或中区域，进入步骤(4)；否则，在远区域中深度块深度建模模式跳过率失真最优化过程，进入步骤(6)；

(4)、根据当前预测单元的尺寸进行轮廓模式的提前终止：如果当前的预测单元尺寸比32×32小，轮廓模式被提前终止，并且进入步骤(5)；

(5)、进行深度建模模式决策的率失真最优化过程；

(6)、判定深度图的最优深度建模模式，进入步骤(1)继续进行下一个深度块判决。

所述步骤(2)中把当前深度块分类为近区域、中区域和远区域的方法是：

(2-1)、根据以下方程确定近区域的阈值D_n和远区域的阈值D_f的值：

$\left(\begin{array}{c}{D}_n=\frac{2}{3}(D_{max}-D_{min})\\ D_f=\frac{1}{3}(D_{max}-D_{min})\end{array}\right);$

其中，D_max和D_min分别表示当前图像最大和最小的深度图值；

(2-2)、通过比较深度图值将深度块分成三个区域，表达式为：

其中，D_block表示当前预测单元PU的深度图值。

所述步骤(3)中进行不必要深度块跳过的方法是：

根据边缘区域深度块block_edge和平坦区域深度块block_homo在整个深度块数量的占比以及在不同区域的运动活动性情况来跳过一些不必要的深度块。

所述步骤(5)进行深度建模模式决策的率失真最优化过程的方法是：根据率失真代价函数的拉格朗日乘子及拥有最小率失真成本的模式是最佳的预测模式的判定方法，利用率失真成本函数J＝Diff+λ·Bit判定率失真情况；其中，Diff是当前模式和预测模式的平均差异，λ是拉格朗日乘子，Bit是比特率。

与现有技术相比，本发明仅仅减少了可忽略的PSNR值，只增加了少量码率，节省了大量编码时间；由于采用了综合深度块跳过方法和轮廓模式提前终止方法，在得到极好编码性能的同时，节省了大量的编码时间，具有实际操作性，便于进行实时应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的流程图。

图2是本发明与原始3D-HEVC编码器相比的实验数据的RD曲线，其中，(a)为“Dancer”，(b)为“GT_Fly”，(c)为“Shark”，(d)为“Poznan_Street”，(e)为“Poznan_Hall2”，(f)为“Newspaper”，(g)为“Kendo”和(h)为“Balloons”。

具体实施方式

以下结合附图对本发明的实施例作进一步的详细说明。本实施例以本发明的技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例。

如图1所示，一种针对深度图快速深度建模模式判决方法，对深度块进行分类跳过判定，然后根据预测单元尺寸判定轮廓模式是否提前终止，最后进行深度建模模式的率失真优化得到最优的深度建模模式。具体是，首先把当前深度块分类为近区域、中区域和远区域，然后对深度块进行判定，若属于近区域或中区域则根据当前预测单元PU尺寸小于32×32时，跳过不必要的深度块，轮廓模式被提前终止，最后进行深度建模模式决策的率失真最优化过程，决定深度图的最优深度建模模式，判决过程结束，其步骤是：

(1)、开始深度图宏块的深度建模模式判决过程。

(2)、把当前深度块分类为近区域、中区域和远区域。

根据人类的视觉系统特点，对近处目标运动的敏感度通常要高于远处目标，目标的运动活动性可以根据深度图值被分成三个区域：近区域、中区域和远区域。而3D-HEVC中的深度建模模式决策高度依赖深度图的边缘分布，我们可以建立深度块类型和深度图值的相关性：

且

其中，D_block表明当前预测单元PU的深度图值，D_n和D_f分别表示近区域和远区域的阈值。D_max和D_min分别表示当前图像最大和最小的深度图值。根据所确定的阈值D_n和D_f将深度块分类为近区域、中区域和远区域。

(3)、进行不必要深度块跳过：如果深度块属于近区域或中区域，进入步骤(4)；否则，在远区域中深度块深度建模模式跳过率失真最优化过程，进入步骤(6)。

跳过不必要深度块：根据block_edge和block_homo在整个深度块数量的占比以及在不同区域的运动活动性情况来跳过一些不必要的深度块。因在远区域中带边缘信息的深度块的数量很少，DMM决策过程可以在这些深度块中被跳过，所以3D-HEVC深度图编码中运行时间可以被显著降低。block_edge和block_homo分别表示边缘和平坦区域的深度块。表1为深度块类型在不同区域的分布，block_edge和block_homo的作用是表明了三种区域中两种类型深度块的占比情况。不同于深度图值，以深度块类型为基础，利用运动活动性由人眼视觉系统敏感度决定的特性，人们对远区域运动物体的敏感度较低即物体运动活动性较低，这意味着远区域中block_edge的占比较低。可根据深度块类型占比情况判决是否跳过当前区域中边缘区域深度块block_edge的编码过程。由表1可知,远区域中平均仅仅3％的block_edge深度块，根据实验结果，跳过这些深度块对编码效果影响可忽略，可判决跳过编码。

表1深度块类型在不同区域的分布

(4)、根据当前预测单元的尺寸进行轮廓模式的提前终止：如果当前的预测单元尺寸比32×32小，轮廓模式被提前终止。

因在3D-HEVC中通常都选用楔形模式，而且楔形模式的百分比随着预测单元PU尺寸的减少会增加。如果我们可以提前判定预测单元PU，不管最佳深度建模模式是否是楔形模式，复杂的率失真最优化过程都可以被跳过，可以节约大量的编码时间。当预测单元PU的尺寸比32×32小时，轮廓模式很难被选为最佳的深度建模模式。因此，当预测单元PU的尺寸是8×8和16×16时，率失真最优化过程可以被提前结束。表2为不同预测单元PU尺寸和DMM决策的关系，由表2可知：当PU的尺寸小于32×32时，可以直接确定DMM决策的模式为楔形模式。

表2不同PU尺寸和DMM决策的关系

(5)、进行深度建模模式决策的率失真最优化过程。

根据率失真(RD)代价函数的拉格朗日乘子及拥有最小率失真成本的模式是最佳的预测模式的判定方法，利用方程J＝Diff+λ·Bit判定率失真情况。其中Diff是当前模式和预测模式的平均差异，λ是拉格朗日乘子，Bit是比特率，J为RD成本函数。

(6)、判定深度图的最优深度建模模式，进入步骤(1)继续进行下一个深度块判决。

根据计算结果确定深度建模模式最佳的建模模式。得到RD成本函数J的结果越低说明此种模式最优，即选择此最优模式编码。

为了验证本发明的效果，下面对几个标准测试视频序列进行测试实验，在JCT-VC提供的高效率视频编码系统平台上，以HTM分别采用固定量化参数。表3给出测试数据参数，表4给出测试条件，表5给出本发明的结果。

标准测试序列：

表3测试数据参数

实验配置：

表4实验配置

中央处理器2×Intel Xeon E5-2640 v2 2.0GHz随机存取存储器2×16GB DDR3操作系统Microsoft Windows 10(64-bit)实验平台Microsoft Visual C++2010

测试结果：

表5本发明和原始3D-HEVC编码器的对比实验结果

测试序列ΔPSNR(dB)ΔBR(％)ΔTime(％)Dancer-0.010.4733.21GT_Fly0.000.3434.74Shark0.000.4034.17Poznan_Street-0.030.8925.16Poznan_Hall2-0.020.7827.75Newspaper-0.020.5531.55Kendo-0.020.6732.41Balloons-0.010.6931.62Average-0.010.6031.33

图2中(a)“Dancer”、(b)“GT_Fly”、(c)“Shark”、(d)“Poznan_Street”、(e)“Poznan_Hall2”、(f)“Newspaper”、(g)“Kendo”和(h)“Balloons”在量化参数QP对(25,34),(30,39),(35,42)和(40,45)下的RD曲线。由表5以及图2可知：本发明与原始3D-HEVC编码方式相比，分别节省了平均31.33％左右的编码时间，如图2显示，虽然码率有小幅度上涨，PSNR有小幅度下降，但节省了大量的编码时间。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。