一种将时域与纹理相结合的快速帧间预测模式选择算法

摘要

本发明提供了一种将时域与纹理相结合的快速帧间预测模式选择算法，是判断当前宏块是否属于一帧图像中的宏块，如果属于直接选择帧内模式作为最佳预测模式，如果不属于则计算当前宏块在跳过模式下的率失真代价，如果此率失真代价小于最低门限值，选择跳过模式作为最佳模式，如果大于最高门限值，选择帧内模式作为最佳模式，如果处于最低门限值和最高门限值之间，则根据前一帧的相应宏块的最佳模式进行散转，并且用各自的模式选择流程，以前一帧相应宏块在最佳模式下的率失真代价作为参考量，寻找最佳预测模式，记录相应的最佳模式和在此模式下的最小率失真代价，作为下一帧相应宏块模式预测时的参考量。本发明的运算时间大约节约了20％-30％。

说明书

技术领域

本发明涉及一种将时域与纹理相结合的快速帧间预测模式选择算法，属于视频编码中的模式选择技术领域。

背景技术

进入21世纪以来，国内外的多媒体视频技术取得了迅速的发展，其对于视觉信息本身的确切性、直观性、高效性、多种业务的适应性都体现出了巨大的优势。但是，视频信息在数据量上的处理难度也受到了很大的限制，现有的通信和储存设备一般不足以承受几十甚至上百兆的码率。因此，如何压缩视频数据量成为多媒体技术发展的关键问题。随着视频压缩技术成为一个重要的课题，由此产生的各种视频压缩标准为视频数据的传输和储存提供了解决方案。

AVS标准是“Audio and Video Coding Standard”的简称，是我国具备自主知识产权的第二代信源编码标准，包括系统，视频，音频的三个主要标准和一致性测试等支撑标准，这是基于我国创新技术和公开技术制定的开放标准，旨在为中国日渐强大的音视频产业提供完整的信源编码技术方案。AVS对我国数字化音视频产业的发展具有重大意义，大力发展音视频编解码技术并将其标准化，不仅标志着我国在多媒体处理等领域的研究处于国际领先地位，还将创造可观的经济效益和社会效益。目前，国外最为通用的视频编码标准时H.264标准，它H.264是由ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(活动图像编码专家组)联合组建的联合视频组(JVT：joint video team)提出的一个新的数字视频编码标准。AVS与H.264相比，主要具有以下优点：性能高，与H.264的编码效率处于同一水平；复杂度低，算法复杂度比H.264明显简约，而且软硬件实现的成本都要低于H.264；我国自主掌握主要只是产权，授权模式简单，费用低廉。

帧间预测技术是AVS标准中的关键算法。帧间预测用于降低图像的时域相关性，通过采用多参考帧和更小运动预测区域等方法，对下一帧进行精准预测，从而减少需要传输的数据量，提高压缩效率。帧间运动补偿编码技术是混合编码框架中最重要的部分之一。AVS采用多模式的帧问预测，目的是为了更好的刻画物体的运动，提高运动搜索的准确性。AVS帧间预测中的核心技术主要包括多参考帧预测、变块大小运动补偿和高效的B帧编码模式。

近年来，国内外针对采用多种预测模式的快速模式选择算法展开了大量的研究。宏块模式预划分算法根据一些信息，包括宏块自身特性，相邻宏块间的相关性，模式本身的特性等，对所有的候选模式进行分析，预先判断出各模式被选中的概率高低，先判断概率高的模式，再判断概率低的模式。在遍历过程中，采用早期中止机制来减少不必要的计算。简化率失真模型算法寻找一种最接近率失真优化模型的简化模型，通过简化率失真代价的计算过程来减少模式选择的时间。但是，这种算法在实际应用中很难找出速度和质量的令人满意的结合点。跳过宏块提前判定算法通过全零块预判或者根据其他一些信息提前判定某个宏块为跳过宏块，无需在遍历其他候选模式，从而节约编码的时间。然而，此种算法某种程度上忽视了跳过模式之外的其他模式，在质量上难以达到预期的效果。

发明内容

本发明针对现有快速帧间模式选择算法存在的不足，提供一种编码速度和质量效果都更好的将时域与纹理相结合的快速帧间预测模式选择算法。

本发明的将时域与纹理相结合的快速帧间预测模式选择算法是：

在进入快速帧间模式选择模块时，判断当前宏块是否属于一帧图像中的宏块，如果属于，直接选择帧内模式作为最佳预测模式，如果不属于，则计算当前宏块在跳过模式下的率失真代价，如果此率失真代价小于最低门限值，选择跳过模式作为最佳模式；如果此率失真代价大于最高门限值，选择帧内模式作为最佳模式，如果此率失真代价处于最低门限值和最高门限值之间，则根据前一帧的相应宏块的最佳模式进行散转，并且用各自的模式选择流程，以前一帧相应宏块在最佳模式下的率失真代价作为参考量，寻找最佳预测模式，得到最佳预测模式后，记录相应的最佳模式和在此模式下的最小率失真代价，作为下一帧相应宏块模式预测时的参考量。

由于视频序列中两个相邻图像之间存在很强的相关性，特别是对于运动不太剧烈的序列，当前宏块最佳编码模式必然与其在前一相邻图像上对应位置宏块，即对应宏块的最佳编码模式有很大的关系。利用时域相关性作为模式选择的依据，将前一帧相应宏块的最佳模式和相应率失真代价记录下来并且用作后一帧相应宏块模式判断的依据，如果当前宏块在其相应宏块的最佳模式下所得到的最小率失真代价小于相应宏块在最佳此模式下的率失真代价，说明此宏块随着时间的变化运动趋缓；反之，如果当前宏块在其相应宏块的最佳模式下所得到的最效率失真代价大于相应宏块在最佳模式下的率失真代价，说明次宏块随着时间的变化运动加剧。而这种变化趋势，将会影响相应的模式选择算法。

根据宏块模式划分的原理，对于一个大小为16*16的宏块而言，如果待编码宏块水平方向和垂直方向纹理都比较平滑，则适合用模式16*16编码；反之，如果水平方向和垂直方向纹理都比较复杂，则适用8*8模式编码。同样的道理，如果宏块水平方向纹理平滑，而垂直方向纹理比较复杂，则使用模式16*8编码更为合理，反之，如果待编码宏块的水平方向纹理比较复杂，而垂直方向上纹理比较平滑，则宜使用模式8*16编码。因此，可以通过分析宏块的纹理信息来对候选模式进行预判。而用来描述水平或者垂直方向纹理复杂度的算法成为问题的关键。本发明采用宏块水平和垂直方向的平均绝对差值来分别反映宏块水平和垂直方向的纹理复杂度。

进一步的实验表明，图像宏块的运动剧烈程度与宏块的率失真代价是紧密相关的，跳过模式适用于运动程度相对较剧烈的宏块，而帧内模式适用于运动程度相对较缓慢的宏块，这种相关性可以作为模式选择算法的依据之一。本发明用率失真代价来描述运动的剧烈程度，率先判断出适合用跳过模式或者帧内模式的宏块。如果在跳过模式下所计算得到的宏块的率失真代价小于一个最低门限，那么，认为当前的宏块运动非常缓慢。此时，选择跳过模式作为最佳的预测模式，相应的对于当前宏块的模式选择过程结束并开始下一个宏块的模式选择。实际上，这是快速终止算法的一种实现。另一方面，如果在跳过模式下，所计算出的率失真代价大于一个最高门限，说明当前宏块的运动非常的剧烈，甚至可能是场景的切换。因此，本发明选择帧内模式作为最佳的预测模式。其中，最低门限和最高门限都是与量化参数有关的参量。

本发明将纹理趋势与时域相关性进行融合，取长补短，利用了各自的优势。用常用的视频序列进行试验，在峰值信噪比和码率可以接受的情况下，运算时间大约节约了20％-30％。

附图说明

图1是本发明将时域与纹理相结合的快速帧间预测模式选择算法总体框图。

图2是以跳过模式和16*16模式为例的流程图。

具体实施方式

下面结合附图和我国音视频编解码技术标准AVS对本发明的方法进行说明，如图1中所示：

步骤1：在进入快速帧间模式选择模块时，判断当前宏块是否属于I帧图像中的宏块，如果属于，直接选择帧内模式作为最佳预测模式；如果不属于，进行下一步运算；

步骤2：计算当前宏块在跳过模式下的率失真代价。如果此率失真代价小于最低门限值TLOW，选择跳过模式作为最佳模式；如果此率失真代价大于最高门限值THIGH，选择帧内模式作为最佳模式；如果此率失真代价处于最低门限值TLOW和最高门限值THIGH之间，进行下一步运算；

步骤3：根据前一帧的相应宏块的最佳模式进行散转，并且用各自的模式选择流程，以前一帧相应宏块在最佳模式下的率失真代价作为参考量，寻找最佳预测模式；

步骤4：得到最佳预测模式后，记录相应的最佳模式和在此模式下的最小率失真代价。作为下一帧相应宏块模式预测时的参考量。

以跳过模式和16*16模式为例介绍具体模式下的模式选择算法流程，如图2所示：

步骤1：通过之前的判断，进入到跳过模式或者16*16模式流程分支中。并且求16*16模式下的率失真代价。如果率失真代价小于或者等于相应宏块的此模式下的率失真代价，选择16*16模式作为最佳预测模式；如果率失真代价大于相应宏块的此模式下的率失真代价，进行下一步运算；

步骤2：计算宏块的纹理信息。其中MADH和MADV分别是水平和垂直方向的平均绝对差值，可分别表示水平和垂直方向上的纹理复杂度。如果宏块水平方向和垂直方向的纹理复杂度都很高，而且相差不大，即MADH＞T2&&MADV＞T2&&|MADH-MADV|＜T3(T2与T3是相应阈值)，直接采用8*8作为最佳预测模式；否则，进行下一步运算；

步骤3：如果垂直方向的复杂度远远大于水平方向的复杂度，MADV-MADH＞T2，选择16*8作为最佳预测模式；如果垂直方向的复杂度大于水平方向复杂度，并且两者之差处于界值(T4，T2)之间，计算16*8和8*8两种模式下的率失真代价，并且选择率失真代价较小的那种模式作为最佳模式；

步骤4：如果水平方向的复杂度远远大于垂直方向的复杂度，MADH-MADV＞T2，选择8*16作为最佳预测模式；如果水平方向的复杂度大于垂直方向复杂度，并且两者之差处于界值(T4，T2)之间，计算8*16和8*8两种模式下的率失真代价，并且选择率失真代价较小的那种模式作为最佳模式；

步骤5：如果水平方向的复杂度与垂直方向的复杂度相差不多，即|MADH-MADV|＜T4，计算8*16，16*8，8*8三种模式下的率失真代价，并且选择率失真代价较小的那种模式作为最佳模式。

将该发明应用于编码各种视频序列的实验结果表明，对于运动程度不同的各种视频序列，编码时间较先前大约节约了20％-30％，比特率基本保持不变，峰值信噪比仅仅下降0.01-0.04db。本发明可应用到很多的硬件平台，都可以显著降低编码运算复杂度，节约编码时间，提高编码性能。