一种基于Merge技术运动矢量的帧间模式快速选择方法及装置

摘要

本发明公开了一种基于Merge技术运动矢量的帧间模式快速选择方法及装置，该方法通过当前编码单元CU的运动矢量MV投影到参考帧，从而找到参考帧中对应当前CU的投影块，利用两者者在预测模式上的相关性，利用投影块的特征决定是否跳过当前CU是否跳过运动估计和运动补偿的帧间模式；相较于现有技术，通过已知的投影块的信息，来对当前编码单元进行预测，降低了视频编码器的帧间预测计算复杂度，减少了编码时间，提高了编码效率；且本发明算法简单，计算量小，可方便地投入实际应用。

说明书

技术领域

本发明属于视频编码领域，特别涉及一种基于Merge技术运动矢量的帧间模式快速选择方法及装置。

背景技术

在编码框架中，预测编码是视频编码的核心技术之一，预测编码又分为帧内预测和帧间预测。帧内预测是根据视频图像的空间相关性，利用图像内已编码的邻近像素预测当前像素。帧间编码是根据视频图像的时间相关性，利用已编码图像预测待编码图像。经过帧内和帧间预测，编码器可以消除视频的时空相关性，对预测后的残差而不是原始像素值进行变换、量化、熵编码，由此大幅提高编码效率。

目前主要的视频编码标准帧间预测部分都采用了基于块的运动补偿技术。其主要原理是为当前图像的每个像素块在之前已编码图像中寻找一个最佳匹配块，该过程称为运动估计。其中用于预测的图像称为参考图像，参考块到当前像素块的位移称为运动矢量，当前块与参考块的差值称为预测残差。由于视频图像序列的连续性，通常运动矢量在空间和时间上也存在一定的相关性，同理，利用空间或时间上相邻的运动矢量对当前块运动矢量进行预测，仅对预测残差进行编码，也能大幅节省运动矢量的编码比特数。这种预测运动矢量的技术称为Merge。

2013年，ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(动态图像专家组)联合推出了HEVC(高效视频编码)视频压缩方案。自2016年始，VCEG和MPEG开始研究新一代视频编码器，并成立了一个专家小组——JVET(联合视频研究小组)，旨在进一步提升HEVC的压缩率。新一代视频编码标准是在HEVC的基础上发展而来，二者在帧间预测过程中都采用了Merge技术，不同的是，新一代视频的Merge模式有三种：基于仿射变换的AffineMerge模式、基于模板匹配的FRUC Merge模式以及基于时空相关性的2Nx2N Merge模式。这些模式的应用提高了编码器的压缩性能，也大大增加了编码时间，影响了标准的研发速度和应用价值。在关于新一代视频编码标准的第三次会议上就有提案指出这种弊端，并请求对其复杂度采取行动。

新一代视频编码标准在做帧间预测时步骤如下：

步骤一：先做Affine Merge模式，即仿射运动补偿预测，保存其率失真代价以及预测信息，并将当前最佳模式置为Affine Merge模式，；

步骤二：再做2Nx2N Merge模式，即普通运动补偿预测，若该模式的率失真代价小于Affine Merge模式的率失真代价，则将最佳模式置为2Nx2N Merge模式并保存其率失真代价以及预测信息；

步骤三：然后做FRUC Merge模式，即基于模板匹配的运动矢量生成，若该模式的率失真代价小于当前最佳模式的率失真代价，则将最佳模式置为FRUC Merge模式并保存其率失真代价以及预测信息。以上三种模式均属于Merge模式；

步骤四：接着做运动估计和运动补偿的帧间预测模式，该模式通过运动搜索找出参考帧中的匹配块得出运动矢量和预测残差，因此耗时较多。

若该模式的率失真代价小于当前最佳模式的率失真代价，则将最佳模式置为运动估计和运动补偿的帧间预测模式并保存其率失真代价以及预测信息。

其中，运动估计和运动补偿的帧间模式的编码时间占总编码时间的41％，因此，如果能在运动估计和运动补偿之前就预测出最佳帧间模式是三种Merge模式中的一种从而跳过运动估计和运动补偿则将减少大量编码时间。

虽然目前有许多针对HM视频编码器的帧间快速算法，如T.Mallikarachchi学者在2014年IEEE图像处理国际会议上提出根据运动匀质性跳过特定尺寸CU的预测编码，S.Ahn在2015年的Circuits and System for Video Technology，IEEE Transactions上提出用同位CU的像素自适应补偿参数评估当前CU的纹理复杂度，根据纹理复杂度跳过某些帧间预测模式。但是由于新一代视频编码标准采用了QTBT(四叉二叉划分)的编码结构并取消了预测单元PU的概念，所以以上算法并不适用于新一代视频编码标准。另外一些，例如基于方差的、基于贝叶斯的方法，由于计算复杂度太高并不适用于实际应用。

2016年五月的日内瓦会议提出了新一代视频编码标准的测试模型JEM2.0，此时JEM编码器在随机配置下的平均编码时间是HEVC编码器的5.3倍。其中，帧间预测在总的编码时间中占据约68％的时间，同样地，在以往的编码标准中，帧间预测也占据了大量编码时间，因此帧间预测是减少编码时间的重要模块，具有很大的改进空间，如果能将帧间预测的时间减少将大大提高编码器的效率。

发明内容

本发明的目的是针对帧间预测编码时间过长的缺陷以及现有技术的不足，提出一种基于Merge技术运动矢量的帧间模式快速选择方法，缩短其编码时间，提高其实际应用性，同时也为其进一步的研究开发提供了便利。

一种基于Merge技术运动矢量的帧间模式快速选择方法，包括以下步骤：

步骤一：获取当前编码单元在最佳帧间预测模式下，对应于参考帧上的投影块；

在当前编码单元CU做完Affine Merge、2Nx2N Merge和FRUC Merge模式后，根据率失真代价决策出当前编码单元CU的最佳帧间预测模式；

基于最佳帧间预测模式获取当前编码单元CU的运动矢量MV，将当前编码单元CU中的每个像素点平移MV后得到与当前编码单元CU大小相同的平移块，最后将该平移块投影到参考帧中，得到参考帧中对应当前编码单元CU的投影块；

步骤二：计算步骤一得到的投影块中帧间模式为Merge的面积：

S_M＝∑f(Mode(x,y))(1)

其中，S_M为投影块中帧间模式为Merge的面积，(x,y)为投影块中像素点的坐标，Mode(x,y)为坐标为(x,y)的像素点的最佳帧间预测模式；当坐标为(x,y)的像素点的最佳模式为Merge时，Mode(x,y)取1，否则取0；

步骤三：计算当前编码单元CU的总面积：

S_C＝∑g(x1,y1)(3)

其中，S_C为当前编码单元CU的总面积，Cur_CU表示当前编码单元CU的像素坐标范围；(x1,y1)为当前帧图像中像素点的坐标，当像素点(x1,y1)的坐标在当前编码单元CU范围内时，g(x1,y1)取1，否则取0；

步骤四：由步骤二的投影块的Merge面积和步骤三中的当前编码单元CU总面积计算投影块中Merge模式的面积占总面积的比例γ：

步骤五：当步骤四的比例γ大于设定阈值λ时，跳过步骤六，结束当前编码单元CU的预测编码；否则，进入步骤六；

其中，λ可取[0,1]中的任意实数；

步骤六：对当前编码单元CU进行运动估计和运动补偿的帧间预测。

进一步地，所述λ取值为0.85。

一种基于Merge技术运动矢量的帧间模式快速选择装置，包括：

投影块获取单元：获取当前编码单元在最佳帧间预测模式下，对应于参考帧上的投影块；

在当前编码单元CU做完Affine Merge、2Nx2N Merge和FRUC Merge模式后，根据率失真代价决策出当前编码单元CU的最佳帧间预测模式；

基于最佳帧间预测模式获取当前编码单元CU的运动矢量MV，将当前编码单元CU中的每个像素点平移MV后得到与当前编码单元CU大小相同的平移块，最后将该平移块投影到参考帧中，得到参考帧中对应当前编码单元CU的投影块；

帧间模式Merge的面积计算单元：依据投影块中各像素点的帧间模式，计算帧间模式为Merge的面积：

S_M＝∑f(Mode(x,y))

其中，S_M为投影块中帧间模式为Merge的面积，(x,y)为投影块中像素点的坐标，Mode(x,y)为坐标为(x,y)的像素点的最佳帧间预测模式；当坐标为(x,y)的像素点的最佳模式为Merge时，Mode(x,y)取1，否则取0；

当前编码单元CU的总面积计算单元：依据当前帧图像中各像素点是否属于当前编码单元CU，计算当前编码单元CU的总面积：

S_C＝∑g(x1,y1)

其中，S_C为当前编码单元CU的总面积，Cur_CU表示当前编码单元CU的像素坐标范围；(x1,y1)为当前帧图像中像素点的坐标，当像素点(x1,y1)的坐标在当前编码单元CU范围内时，g(x1,y1)取1，否则取0；

投影块Merge模式比例计算单元：由投影块的Merge面积和当前编码单元CU总面积计算投影块中Merge模式的面积占总面积的比例γ：

跳过单元：当比例γ大于设定阈值λ时，跳过对当前编码单元CU进行运动估计和运动补偿的帧间预测，结束当前编码单元CU的预测编码；

其中，λ可取[0,1]中的任意实数。

进一步地，所述跳过单元中的阈值λ取值为0.85。

有益效果

本发明提供了一种基于Merge技术运动矢量的帧间模式快速选择方法及装置，该方法通过当前编码单元CU的运动矢量MV投影到参考帧，从而找到参考帧中对应当前CU的投影块，利用两者者在预测模式上的相关性，利用投影块的特征决定是否跳过当前CU是否跳过运动估计和运动补偿的帧间模式；相较于现有技术，通过已知的投影块的信息，来对当前编码单元进行预测，降低了视频编码器的帧间预测计算复杂度，减少了编码时间，提高了编码效率；且本发明算法简单，计算量小，可方便地投入实际应用。

附图说明

图1为当前编码单元及其投影块对应关系和运动矢量示意图，其中，(a)为对应关系，(b)为运动矢量示意图；

图2为CU的信息存储方式；

图3为本发明所述方法的流程图。

具体实施方式

下面结合附图以一个优选实施例来对本发明的技术方案进行详细说明。所选实施例所用的编码器为下一代视频编码标准专家组发布的测试模型——JEM4.0，具体编码参数的配置选用JEM标准配置文件：encoder_randomaccess_jvet10.cfg，以及对应测试序列的标准配置文件。

为减少编码时间，提高工作效率，本发明具体采用的技术方案为：通过当前CU(编码块)的运动矢量MV投影到参考帧，从而找到参考帧中对应当前CU的投影块，理论上可近似认为该投影块经过运动矢量MV的位移运动到了当前帧的当前编码CU的位置(见图一左)。因此该投影块的一些性质与当前编码CU的一些性质应该是吻合的，例如像素分布情况、帧间预测模式等。本发明就根据二者在预测模式上的相似度，设定一个阈值(以下记为skip阈值)，根据该阈值决定是否跳过运动估计和运动补偿的帧间模式。

如图3所示，本发明的具体方法如下：

步骤一：JEM编码器在当前CU做完Affine Merge、2Nx2N Merge和FRUC Merge模式后，此时会根据率失真代价决策出一个最佳模式。首先根据最佳模式中的运动矢量MV将当前CU进行平移(见图一右)。其中，运动矢量包含水平位移分量MVx和垂直位移分量MVy，平移的方法是先记录当前CU的顶点坐标、CU的宽和高，分别记为(x,y)、width和height，则平移块顶点在参考帧的坐标为(x+MVx,y+MVy),平移块的大小与当前编码CU一致，然后再将平移块投影到参考帧中(如图1a所示)。

步骤二：统计在步骤一中所得的投影块中帧间模式最终为Merge的面积。由于新一代视频编码标准的模式信息存储方式是以像素4x4大小的块为单位存储而不是以像素点为单位(见图2)，所以统计方式是遍历投影块的各个小块，面积可以用下式计算。

S_M＝∑f(Mode(x,y))

其中，S_M为投影块中帧间模式最终为Merge的面积，(x,y)为投影块中像素点的坐标。Mode(x,y)为投影块中坐标为(x,y)的像素点的最佳帧间预测模式。当投影块中像素点坐标(x,y)的最佳模式为Merge时，Mode(x,y)取1，否则取0。

步骤三：计算当前编码单元CU的总面积。同步骤二，CU总面积的统计方式也是遍历当前编码单元CU的各个小块，获得当前编码单元CU内像素点的数量。具体计算方式如下：

S_C＝∑g(x1,y1)

其中，S_C为当前编码单元CU的总面积，Cur_CU为当前编码单元CU的坐标范围，(x1,y1)为图像中像素点的坐标，当像素点的坐标在当前编码单元CU范围内时，g(x1,y1)取1，否则取0。

步骤四：由步骤二的投影块的Merge面积和步骤三中的当前编码单元CU总面积计算投影块中Merge模式的面积占总面积的比例γ。

任意一个投影块的Merge模式的面积占总面积的比例可以由下式得到：

步骤五：当步骤四的比例γ大于阈值λ时，说明当前编码单元CU的最佳帧间模式也极有可能为Merge，因此跳过步骤六，结束当前CU的预测编码。其中，γ可取[0,1]中的任意实数，当对视频质量要求较高，编码时间要求不严格时，λ可取范围内较大的值，反之可取较小的值。经过大量实验统计，当λ取0.85时能在视频质量和编码时间之间取得较好的平衡。

步骤六：进行运动估计和运动补偿的帧间预测。

一种基于Merge技术运动矢量的帧间模式快速选择装置，包括：

投影块获取单元：获取当前编码单元在最佳帧间预测模式下，对应于参考帧上的投影块；

在当前编码单元CU做完Affine Merge、2Nx2N Merge和FRUC Merge模式后，根据率失真代价决策出当前编码单元CU的最佳帧间预测模式；

基于最佳帧间预测模式获取当前编码单元CU的运动矢量MV，将当前编码单元CU中的每个像素点平移MV后得到与当前编码单元CU大小相同的平移块，最后将该平移块投影到参考帧中，得到参考帧中对应当前编码单元CU的投影块；

帧间模式Merge的面积计算单元：依据投影块中各像素点的帧间模式，计算帧间模式为Merge的面积：

S_M＝∑f(Mode(x,y))

其中，S_M为投影块中帧间模式为Merge的面积，(x,y)为投影块中像素点的坐标，Mode(x,y)为坐标为(x,y)的像素点的最佳帧间预测模式；当坐标为(x,y)的像素点的最佳模式为Merge时，Mode(x,y)取1，否则取0；

当前编码单元CU的总面积计算单元：依据当前帧图像中各像素点是否属于当前编码单元CU，计算当前编码单元CU的总面积：

S_C＝∑g(x1,y1)

其中，S_C为当前编码单元CU的总面积，Cur_CU表示当前编码单元CU的像素坐标范围；(x1,y1)为当前帧图像中像素点的坐标，当像素点(x1,y1)的坐标在当前编码单元CU范围内时，g(x1,y1)取1，否则取0；

投影块Merge模式比例计算单元：由投影块的Merge面积和当前编码单元CU总面积计算投影块中Merge模式的面积占总面积的比例γ：

跳过单元：当比例γ大于设定阈值λ时，跳过对当前编码单元CU进行运动估计和运动补偿的帧间预测，结束当前编码单元CU的预测编码；

其中，λ可取[0,1]中的任意实数。

所述跳过单元中的阈值λ取值为0.85。

为了验证所提出的帧间快速算法的可行性以及有效性，基于新一代视频编码标准测试模型JEM4.0实现了上文提到的快速算法。并且最后的数据都是在学校的高性能平台中运行得到，保证实验数据的真实和准确。所有实验的具体编码参数的配置选用JEM标准配置文件：encoder_randomaccess_jvet10.cfg，以及对应测试序列的标准配置文件。

实验结果如表1所示。其中，QP为量化参数，ΔBits％为与传统的编码器相比比特率变化百分比，ΔPSNR/dB为与传统的编码器相比峰值信噪比变化，TS/％为与传统的编码器相比所节省的时间百分比。ΔBDBR表示了在同样的客观质量下，传统编码器和改进的编码器的码率节省情况。ΔBDBR越小说明算法效果越好。

表1实验结果

通过在实验仿真，本发明中所提出的快速帧间算法的实验结果如表1所示。由表1可知，该算法达到了在保证视频的质量的前提下，提高了编码的效率的目的。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。