基于AVS3纹理信息的CU块划分方法、装置及介质

摘要

本发明公开了一种基于AVS3纹理信息的CU块划分方法、计算机装置和存储介质，包括获取待划分CU块的方差、水平梯度和垂直梯度，根据方差、水平梯度和垂直梯度与第一阈值等的关系，选择跳过某些划分模式，获得候选划分模式，从候选划分模式中选择出最优划分模式，以最优划分模式对待划分CU块进行划分等步骤。本发明基于方差和Scharr算子提取纹理信息将CU块分成不同的类别，既使用复杂度低的方差分析出平坦块和复杂块的划分模式剪枝策略，实现了CU块快速划分，提高了AVS3编码器速度，又使用Scharr算子兼顾到细纹理和纹理方向，算法在编码速度和编码质量之间取得了平衡；本发明广泛应用于视频编码技术领域。

说明书

技术领域

本发明涉及视频编码技术领域，尤其是一种基于AVS3纹理信息的CU块划分方法、计算机装置和存储介质。

背景技术

随着网络技术的发展，通过视频传播信息的途径越来越广泛，对视频编码技术的要求也在提高。例如，AVS3相比AVS2虽然具有更高的编码质量，但是时间复杂度增加了一倍左右，在其他条件不变的情况下将导致编码速度下降，不利于视频编码新技术的应用。

术语解释：

视频编码：视频编码是压缩技术的一种，通过编码方法在尽量保留质量的前提下，将视频源文件压缩成比特流文件，可以节省视频的存储空间和传输带宽。

视频解码：视频解码是视频编码相对应的解压缩过程，对比特流文件进行解码可以得到视频。

AVS3：第三代音视频编解码技术标准(The Third Generation of Audio Videocoding Standard)是国内最新的视频编解码标准，仍采用了基于块的混合编码框架，相比上一代AVS2有了30％的性能提升。

块划分：编码过程中，AVS3以块为单位完成预测、变换、量化、熵编码等模块，包括编码单元(Coding Unit，CU)、预测单元(Prediction Unit，PU)、变换单元(TransformUnit，TU)。视频中的每一帧图像分为若干个128*128的LCU(Largest Coding Unit)，向更小的CU递归遍历所有可能的划分模式，选择率失真(Rate Distoration，RD)代价最小的模式为最优划分模式。

划分模式：AVS3共有6种划分模式，分别是不划分(No Split)、垂直二叉树划分(Vertical Binary Tree，BV)、水平二叉树划分(Horizontal Binary Tree，BH)、垂直增强四叉树划分(Vertical Extended Quad Tree，EQTV)、水平增强四叉树划分(HorizontaExtended Quad Tree，EQTH)、四叉树划分(Quad Tree，QT)。图1为四叉树划分(QT)、增强四叉树划分(EQT)和二叉树划分(BT)的示例。

帧内预测：利用像素的空域相关性，将上方和左侧相邻的像素(图二的A-E区域)作为参考像素对当前像素进行预测，预测值和原始值的差值即残差和编码参数信息一起完成编码、传输、解码等过程。预测的准确度大大关系到压缩性能。AVS3共有66种帧内预测模式，包络非角度模式(0-2)和角度模式(3-65)，多样的角度模式细化了预测方向，提高了对视频方向性纹理的敏感度，对纹理丰富区域的处理更加有利。

帧内衍生树：(Intra Derived Tree，Intra DT)：为了提高预测精度，在进行预测时，会将CU划分成2个或者4个PU进行预测，选择最优的PU划分方式。国外最新视频编解码标准(Versatile Video Coding，VVC)中的帧内子块划分(Intra Subpartition，ISP)与AVS3中的Intra DT类似。图2为帧内预测的参考像素分布示意图，图3为帧内预测模式示意图。

发明内容

针对目前的AVS3视频编码技术存在的编码算法复杂等至少一个技术问题，本发明的目的在于提供一种基于AVS3纹理信息的CU块划分方法、计算机装置和存储介质。

一方面，本发明实施例包括一种基于AVS3纹理信息的CU块划分方法，包括：

获取待划分CU块的方差、水平梯度和垂直梯度；

根据所述水平梯度和所述垂直梯度，确定第一梯度比值和第二梯度比值；所述第一梯度比值为所述水平梯度与所述垂直梯度之比，所述第二梯度比值为所述垂直梯度与所述水平梯度之比；

当所述方差小于第一阈值，或者所述水平梯度和所述垂直梯度均小于第二阈值，选择不划分模式作为最优划分模式；反之，则将所述方差与第三阈值进行比较；

当所述方差大于所述第三阈值，则跳过不划分模式；反之，则将所述第一梯度比值与第四阈值进行比较；

当所述第一梯度比值大于所述第四阈值，则跳过水平划分模式；反之，则将所述第二梯度比值与第四阈值进行比较；

当所述第二梯度比值大于所述第四阈值，则跳过垂直划分模式；

从候选划分模式中选择出最优划分模式；所述候选划分模式包括被跳过的划分模式之外的其他划分模式；

以所述最优划分模式对所述待划分CU块进行划分。

进一步地，所述从候选划分模式中选择出最优划分模式，包括：

对所述候选划分模式中的各种划分模式分别计算率失真代价；

以对应所述率失真代价最小的划分模式为所述最优划分模式。

进一步地，所述基于AVS3纹理信息的CU块划分方法还包括：

设定量化步长QP；

设置系数值α、γ、μ和β；

通过公式Th1＝α×QP计算所述第一阈值Th1；

通过公式Th2＝γ×QP计算所述第二阈值Th2；

通过公式Th3＝μ×QP计算所述第三阈值Th3；

通过公式Th4＝QP/β计算所述第四阈值Th4。

进一步地，所述基于AVS3纹理信息的CU块划分方法还包括：

在所述从候选划分模式中选择出最优划分模式之后，还调整所述第一阈值。

进一步地，所述调整所述第一阈值，包括：

当所述方差小于第一阈值，或者所述水平梯度和所述垂直梯度均小于第二阈值，则调增系数值α；反之，则调减系数值α。

进一步地，所述获取待划分CU块的方差、水平梯度和垂直梯度，包括：

通过公式

进一步地，所述获取待划分CU块的方差、水平梯度和垂直梯度，包括：

通过公式

进一步地，所述获取待划分CU块的方差、水平梯度和垂直梯度，包括：

通过公式

另一方面，本发明实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例中的基于AVS3纹理信息的CU块划分方法。

另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的基于AVS3纹理信息的CU块划分方法。

本发明的有益效果是：实施例中的基于AVS3纹理信息的CU块划分方法，基于方差和Scharr算子提取纹理信息将CU块分成不同的类别，既使用复杂度低的方差分析出平坦块和复杂块的划分模式剪枝策略，实现了CU块快速划分，提高了AVS3编码器速度，又使用Scharr算子兼顾到细纹理和纹理方向，算法在编码速度和编码质量之间取得了平衡；

附图说明

图1为四叉树划分(QT)、增强四叉树划分(EQT)和二叉树划分(BT)的示例；

图2为帧内预测的参考像素分布示意图；

图3为帧内预测模式示意图；

图4为实施例中基于AVS3纹理信息的CU块划分方法流程图；

图5为实施例中对Basketball序列进行划分的效果示意图；

图6为实施例中以量化步长QP＝45对City序列进行划分的效果示意图；

图7为实施例中以量化步长QP＝27对City序列进行划分的效果示意图；

图8为实施例中对Crew序列的第一帧划分的效果示意图。

具体实施方式

本实施例中，参照图4，基于AVS3纹理信息的CU块划分方法包括以下步骤：

S1.获取待划分CU块的方差Var、水平梯度G

S2.根据水平梯度G

S3.当方差Var小于第一阈值Th1，或者水平梯度G

S4.当方差Var大于第三阈值Th3，则跳过不划分模式；反之，则将第一梯度比值G

S5.当第一梯度比值G

S6.当第二梯度比值G

S7.从候选划分模式中选择出最优划分模式；候选划分模式包括被跳过的划分模式之外的其他划分模式；

S8.以最优划分模式对待划分CU块进行划分。

步骤S1中，通过公式

步骤S1中，通过公式

步骤S1中，通过公式

步骤S1中，是通过Scharr算子计算待划分CU块的水平梯度G

步骤S1中，计算出的水平梯度G

步骤S2中，通过求水平梯度G

参照图4，步骤S3中，判断“方差Var小于第一阈值Th1或者G

参照图4，步骤S3中，如果“方差Var小于第一阈值Th1或者G

参照图4，步骤S4中，将方差Var与第三阈值Th3进行比较，如果方差Var＞第三阈值Th3，说明待划分CU块拥有一个大数量级的方差，而方差很大的CU块的纹理具有高度差异性，基本上会选择复杂的划分边界来将丰富的纹理分割开，划分深度较深，因此，方差很大的CU可以直接跳过对不划分模式的尝试。如果方差Var≤第三阈值Th3，则执行步骤S5。

参照图4，步骤S5中，将第一梯度比值G

参照图4，步骤S6中，将第二梯度比值G

除了步骤S3和步骤S6中直接选择不划分模式作为最优划分模式这种情况外，其他情况下都是跳过了某些划分模式，那么未被跳过的划分模式将成为候选划分模式的一部分，也就是所得到的候选划分模式是一些未被跳过的划分模式的集合。步骤S7中，计算候选划分模式中的各种划分模式分别计算率失真代价RDO，选择计算率失真代价最小的那个划分模式作为最优划分模式。

步骤S8中，以步骤S7选择出的最优划分模式对待划分CU块进行划分。如果是步骤S3和步骤S6中直接选择不划分模式作为最优划分模式，那么步骤S8中则可以不对待划分CU块进行划分。

本实施例中，结合图5所示的Basketball序列说明步骤S1-S8的原理。

根据对图5的研究，可以总结出以下特点：

(1)根据CU块的纹理特性和分布特点，可以将CU块根据平坦性、方向性和差异性分为三类；

(2)从平坦性的角度出发，观察发现，越是平坦的CU块越倾向不划分，如图5中的区域A、区域B和区域C，方差都比较小，数值在1000以下，对CU块倾向于选择不划分或者简单的二叉树划分，且划分深度非常小。可以说，平坦CU块无需精细划分，就能实现简易编码的同时仍保持图像细节。

(3)从方向性的角度出发，可以使用边缘检测的方法从CU块中提取出纹理信息，如果有明显的水平或者垂直方向的纹理，最适合当前CU块的划分模式大概率是与纹理方向一致的划分模式。图5中的区域D和区域E处于墙体的交界处，具有接近水平方向的纹理，因此子CU块选择水平划分模式较多，相应的方差值也更大。

(4)从差异性的角度出发，如果CU块既不是平坦的，也不具有明显的方向，说明CU块含有比较丰富的纹理信息，这种情况下一般都会选择划分，以使得最终的划分结果更精细，更适合CU块的纹理分布情况，直接选择不划分不利于保留图像细节。图5中的区域F和区域G，分别包含运动员头部和运动衣上背部的复杂纹理，CU块最终划分深度较大，方差直接高了一个数量级，大数量级的方差为编码指明方向——选择不划分这种简单的处理方式是不明智的。

以上分析体现了不同类型的CU块选择划分模式时具有的不同特点。因此，步骤S1-S8使用Scharr算子提取CU的平坦度和边缘信息，可以从平坦性、方向性和差异性三个角度设计了不同的划分模式决策算法，对划分模式进行了有效剪枝。

除此之外，通过分析CU块划分和CU块的尺寸、量化步长(QuantizationParameter，QP)和纹理复杂度的关联，发现大尺寸的CU数量较少，更多倾向于划分，以此来保留大部分纹理细节，如果对大尺寸的CU避免尝试太多划分模式会带来较大失真；小尺寸的CU数量可观，但是更多倾向于不划分，小尺寸CU的深度一般比较大，AVS3本身对深度的限制会使得它待尝试的划分模式数量较少，如果对它们多次使用块划分快速算法，会对复杂度有消极影响。因此，CU块划分快速算法应考虑到CU尺寸大小对剪枝效率的影响，折中选择算法参数。

本实施例中，执行步骤S1-S8，设定量化步长QP＝45对City序列进行划分，其结果如图6所示；执行步骤S1-S8，设定量化步长QP＝27对City序列进行划分，其结果如图7所示，由此可以看出量化步长QP是最终划分结果的重要影响因子。具体地，量化步长QP越小，划分结果越精细，同时划分所得的CU块数量急增，如果对不同的量化步长QP使用相同的策略，会大大影响剪枝算法的准确性。

本实施例中，在执行步骤S1-S8时考虑量化步长QP的影响。具体地，可以在执行步骤S3之前，先设定量化步长QP和系数值α、γ、μ和β。通过公式Th1＝α×QP计算第一阈值Th1，通过公式Th2＝γ×QP计算第二阈值Th2，通过公式Th3＝μ×QP计算第三阈值Th3，通过公式Th4＝QP/β计算第四阈值Th4。

经过实验，α设为7、γ设为25、μ设为700、β设为25能够取得良好的划分效果。

通过量化步长QP计算出第一阈值Th1、第二阈值Th2、第三阈值Th3和第四阈值Th4之后，可以执行步骤S3以及其他步骤。

本实施例中，还可以根据剪枝效果，自适应调整第一阈值Th1。具体地，可以在执行完步骤S7，从候选划分模式中选择出最优划分模式之后，调整系数α的值，这样在进行下一次CU块划分时，能够根据调整后的α的值计算出调整后的第一阈值Th1。

具体地，可以在执行完步骤S7后，判断“方差Var小于第一阈值Th1，或者水平梯度G

具体地，每次调增系数值α可将α加上0.1，每次调减系数值α可将α减去0.05，将系数值α的调整范围限定为[6.75,7.25]。

对第一阈值Th1进行自适应调整的原理是：平坦块往往是相邻的，如果当前CU块已经是平坦块了，下一个编码的CU块很有可能也是平坦块，则调大阈值以增加跳过划分的可能性。如果当前CU块是复杂块，下一编码的CU块很有可能也是复杂块，则调小阈值以增加跳过不划分的可能性。

本实施例中，通过调整第一阈值Th1，可以实现根据剪枝效果自适应进行调整，避免了线上训练过程，在离线执行本实施例中的基于AVS3纹理信息的CU块划分方法的情况下，也能实现自学习过程。

本发明可以在AVS3的参考软件HPM10.0上实现，以HPM10.0作为算法的参照组。本发明按照AVS3发布的通用测试条件进行了配置，在All Intra(AI)模式下对通用测试序列进行了测试，包括通甲类、通乙类和通丙类，以27、32、38、45为量化参数QP。视频压缩常使用的客观度量为BD-PSNR和BD-Rate，前者表征视频图像质量，后者表征码率水平。BD-Rate为负值时，说明相同PSNR条件下，码率减少，性能提高；正值则说明码率增加，性能下降。本发明主要面向CU块划分快速算法，因此以时间节省率(Time Saving，TS)和BD-Rate来衡量优劣。其中，时间节省率TS可以通过以下公式计算，Time

本发明的实验结果如表1所示。可以看到，本发明在仅带来0.47％的BD-Rate上升的情况下，节约了26.07％的时间，归一化编码时间节省率超过了66，这意味着如果BD-Rate上升了1％，可以整体平均节省66％的编码时间，基于AVS3纹理信息的CU块划分快速算法使得AVS3的编码器获得了明显的性能提升。从实验数据可知，不同序列之间存在一定的效果差异，归一化时间节省率分布在31和140之间，BD-Rate上升少的序列一般节省的编码时间也较少，总体而言都在平均值附近波动，Crew的归一化时间节省率最低，低至31。这一现象的主要原因是不同视频序列的纹理存在差异，Crew序列本身存在大片的纯色背景，选择不划分的CU块数量多，本发明中的算法对这些CU块同样进行了评估，但是因为本身可被跳过的划分模式有限，最后只能空增了BD-Rate，引入了一小部分可以接受的误差。

表1基于AVS3纹理信息的CU块划分快速算法结果

表1中，对Crew序列的第一帧划分结果如图8所示。

综上所述，可以总结出本实施例中的基于AVS3纹理信息的CU块划分方法具有以下特点：

1、在AVS3的基础上，通过纹理检测加速AVS3编码器；

2、基于方差和Scharr算子提取纹理信息将CU按照平坦性、方向性和差异性分为三类，既使用复杂度低的方差分析出平坦块和复杂块的划分模式剪枝策略，实现了CU块快速划分，提高了AVS3编码器速度，又使用Scharr算子兼顾到细纹理和纹理方向，算法在编码速度和编码质量之间取得了平衡；

3、避免采取线上训练剪枝算法所要用到的阈值，而是采取了可以根据剪枝算法自行调整阈值的方法，没有多余的耗时，避免另外占用训练时间，而且能自适应调整；

4、不需要使用复杂的纹理检测算法，复杂度很低，实现方法合理，不合适的划分模式直接被剔除，避免了对选择可能性较低的划分模式进行率失真代价计算的过程，剪枝算法的准确度高，提前判断要跳过的划分模式基本上都是最终不太可能会被选择为最优的划分模式，避免了BD-Rate飙升。

可以通过编写执行本实施例中的基于AVS3纹理信息的CU块划分方法的计算机程序，将该计算机程序写入至计算机装置或者存储介质中，当计算机程序被读取出来运行时，执行本实施例中的基于AVS3纹理信息的CU块划分方法，从而实现与实施例中的基于AVS3纹理信息的CU块划分方法相同的技术效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。