基于块的重要性图及重要性图群组旗标上下文选择的方法及装置

摘要

本发明揭示了一种用于重要性图上下文选择的方法和装置。依据本发明，变换单元被分割成子块，且至少两个上下文集合被使用。基于相同的上下文、上下文集合或者上下文形成，每一子块中的非DC变换系数被编码。上述用于每一子块的上下文、上下文集合或者上下文形成可基于扫描顺序中的子块索引、水平子块索引、垂直子块索引、视频分量类型、变换单元宽度、变换单元高度、或者上述的任意组合来决定。在一个实施例中，水平及垂直子块索引的总和可用于将每一子块分类至一个类别中，之后可依据此类别来决定上述上下文、上下文集合或者上下文形成。

说明书

相关申请的交叉引用

本申请要求如下优先权：2012年1月3日递交的、申请号为61/582,725、 标题为“Block-based Significance Map and Significance Group Flag Context  Selection Method”的美国临时申请。在此合并参考该申请的全部内容。

技术领域

本发明有关于视频编码或视频处理。更具体地，本发明有关于重要性图 (significance map)编码以及重要性群组旗标(significance group flag)编码。

背景技术

算术编码(arithmetic coding)作为一种有效的数据压缩方法为人们所熟知， 并广泛应用于各种编码标准中，例如JBIG、JPEG2000、H.264/AVC以及高效率 视频编码(High-Efficiency Video Coding，HEVC)。在H.264/AVC JVT测试模型 (JVT Test Model，JM)和HEVC测试模型(HEVC Test Model，HM)中，采 用了基于上下文的自适应二进制算术编码(Context-Based Adaptive Binary  Arithmetic Coding，CABAC)来作为熵编码(entropy coding)工具，以用于视 频编码系统中的各种语法元素(syntax elements)。

图1是CABAC编码器100的范例的示意图，其中CABAC编码器100包含 三个部分：二值化(Binarization)110、上下文建模(Context Modeling)120以 及二进制算术编码(Binary Arithmetic Coding，BAC)130。在二值化的步骤中， 每个语法元素被唯一地映射至二进制串(binary string)(在本文中也称为二元符 号(bin或bins))。在上下文建模步骤中，为每个二元符号选择概率模型 (probability model)。对应的概率模型可取决于先前已编码语法元素、二元符号 索引(bin index)、边信息(side information)或上述的任意组合。在二值化和上 下文模型分配之后，则向二进制算术编码引擎(engine)(即图1中的BAC模块 130)提供二元符号值(bin value)及其相关的上下文模型。取决于语法元素和 二元符号索引，可以两种编码模式对二元符号值进行编码，其中一种为常规编 码模式(regular coding mode)，另一种为旁路模式(bypass mode)。在本文中， 对应于常规编码模式的二元符号被称为常规二元符号，而对应于旁路编码模式 的二元符号则被称为旁路二元符号。在常规编码模式中，用于BAC的最大可能 符号(Most Probable Symbol，MPS)的概率和最小可能符号(Least Probable  Symbol，LPS)的概率可以从相关的上下文模型中推导出来。在旁路编码模式中， MPS和LPS的概率是相等的。在CABAC中，旁路模式的引入是为了加速编码 处理。

HEVC是一种新的国际视频编码标准，它是由视频编码联合组(Joint  Collaborative Team on Video Coding，JCT-VC)开发的。HEVC采用基于块的运 动补偿的类离散余弦变换(DCT-like)的混合变换编码架构。用于压缩的基本单 元被称为编码单元(Coding Unit，CU))，其是一个2N×2N的正方形块，且每个 CU都可被递归式分割为4个更小的CU直至达到预定义的最小尺寸。每个CU 可包含一个或多个块尺寸可变的(variable-block-sized)预测单元(Prediction Unit， PU)和变换单元(Transform Unit，TU)。对于每个PU来说，都可选择帧内图 像(intra-picture)预测或者帧间图像(inter-picture)预测。每个TU都可借由空 间块变换来处理，之后用于TU的变换系数被量化。允许用于HEVC的最小TU 尺寸为4×4。

在HEVC测试模型版本5.0(HM-5.0)中，逐个TU对变换系数进行编码。 对于每个TU来说，根据选择的扫描顺序，语法元素last_significant_coeff_x和 last_significant_coeff_y被传送以分别指示最后的非零系数的水平和垂直位置。对 于尺寸大于4×4的TU来说，TU可被分割成多个子集。如图2所示，对于8×8TU 来说，依据穿过(through)整个8×8TU的对角线扫描顺序，64个系数可被划 分为4个子集。通过变换系数的扫描可将二维数据转化为一维数据。每个子集 包含对角线扫描的系数中的16个连续系数。而对于尺寸大于8×8(例如16×16、 32×32)的TU和非正方形TU(例如16×4、4×16、32×8、8×32)来说，TU可 被划分为4×4的子块。每个子块对应于一个系数子集。对于每个子块(即每个 子集)来说，由重要性系数旗标significant_coeff_flag[x,y]表示的重要性图首先被 编码。变量x为子块中系数的水平位置，且x的值从0至子块宽度减1(sub-block  width-1)。变量y为子块中系数的垂直位置，且y的值从0至子块高度减1 (sub-block height-1)。旗标significant_coeff_flag[x,y]指示TU的对应系数为零 或非零。为了简便起见，下文省略significant_coeff_flag[x,y]中的索引[x,y]。对于 significant_coeff_flag指示的每个非零系数来说，非零系数的级别(level)以及 正负号(sign)可由coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、 coeff_abs_level_minus3以及coeff_sign_flag来表示。

在HM-5.0中，如果TU尺寸等于16×16、32×32、16×4、4×16、32×8或8×32， 则在对子块的级别和正负号(例如significant_coeff_flag、 coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、 coeff_abs_level_minus3以及coeff_sign_flag)编码之前，先对用于每个子块的 significant_coeffgroup_flag进行编码。如果significant_coeffgroup_flag等于0，则 表示整个4×4子块为零。因此，无需任何附加信息来表示此子块。相应地，对 此子块的级别和正负号的编码可被跳过。如果significant_coeffgroup_flag等于1， 则表示4×4子块中至少一个系数为非零。在significant_coeffgroup_flag之后，将 对子块中的每个非零系数的级别和正负号进行编码。对于包含DC项(DC term) 的子块(即具有最低空间频率的变换系数)，significant_coeffgroup_flag的值可被 推断为1。

在HM-5.0中，significant_coeff_flag是以具有上下文建模的常规CABAC模 式来进行编码。不同的上下文选择方法可被用于不同的TU尺寸。对于具有4×4 或8×8尺寸的TU来说，上下文选择是基于TU中系数的位置。图3所示为HM-5.0 中采用的、用于4×4TU的基于位置的上下文选择图，而图4所示为HM-5.0中 采用的、用于8×8的基于位置的上下文选择图。在图3中，重要性图310用于 亮度分量(luma component)，而重要性图320用于色度分量(chroma component)， 其中，每个数字对应一个上下文选择。在图4中，亮度和色度8×8TU共享相同 的重要性图。

对于其他TU尺寸来说，相邻信息决定型(neighboring-information-dependent) 的上下文选择被采用。图5A和图5B所示分别为用于亮度和色度分量的相邻信 息决定型的上下文选择的范例。一个上下文被用于DC系数。而对于非DC系数 (即AC系数)来说，上下文选择取决于相邻系数。举例来说，当前系数X周 围的相邻非零系数群组(包含I、H、F、E和B)被用于上下文选择。如果没有 相邻像素为非零，则上下文#0被用于系数X。如果相邻像素中的一或两个为非 零，则上下文#1被用于系数X。否则，上下文#2被用于系数X。

在上述的相邻信息决定型的上下文选择中，对于亮度分量，整个TU的非 DC系数被划分为两个区域(即区域1(region-1)和区域2(region-1))，而对于 色度分量，则只有一个区域(区域2)。不同的区域将使用不同的上下文集合。 每个上下文集合都包含三个上下文(即上下文#0、#1及#2)。用于亮度分量的区 域1的面积可由TU内部的系数X的x坐标和y坐标而从数学上规定。如图5A 所示，如果系数X的x坐标和y坐标的总和小于阈值且大于0，则选择区域1 的上下文集合用于系数X。否则，选择区域2的上下文集合。上述阈值可根据 TU的宽度和高度来决定。举例来说，可将阈值设置为TU宽度和TU高度的最 大值的四分之一。相应地，在TU尺寸为32×32、32×8或8×32的情形中，可将 阈值设置为8。

在HM-5.0中，当TU的尺寸并非为4×4或8×8时，TU被划分为4×4的子 块以进行系数图编码。然而，上述区域1/区域2的上下文选择标准取决于变换 系数的x坐标和y坐标。因此，某些子块可能跨过区域1和区域2之间的边界， 这些子块将会需要两个上下文集合。图6A所示为16×16的TU621、16×4的TU 622以及4×16的TU623中的4×4子块610(子块的中心以圆点表示)将使用两 个上下文集合以进行significant_coeff_flag编码的范例。图6B所示为32×32的 TU641、32×8的TU642以及8×32的TU643中的三个4×4子块631-633将使 用两个上下文集合以进行significant_coeff_flag编码的范例。对于子块632以及 633来说，需要计算系数X的x坐标和y坐标的总和以决定系数X是在区域1 还是区域2。对于包含DC项的子块(即，子块631)来说，DC项的位置是已 知的，且在上述子块中的其他系数都属于区域1。因此，significant_coeff_flag 可被推导出来，而无需计算x坐标和y坐标的总和。对于其他子块来说，由于 其他子块的所有系数都在区域2中，因此，也无需计算系数X的x坐标和y坐 标的总和，其仅使用一个上下文集合以用于significant_coeff_flag编码。

因此，需要简化上下文选择程序，例如消除计算系数的x坐标和y坐标的 总和的需求，或者取消其他操作。

发明内容

本发明揭示了一种重要性图上下文选择方法和装置。依据本发明的一个实 施例，变换单元被分割成一或多个子块，且至少两个上下文集合被用于上述变 换单元。基于相同的上下文、上下文集合或者上下文形成，每一子块中的非DC 变换系数被编码。上述用于每一子块的上下文、上下文集合或者上下文形成可 基于扫描顺序中的子块索引、水平子块索引、垂直子块索引、视频分量类型、 变换单元宽度、变换单元高度、或者上述的任意组合来决定。举例来说，上述 扫描顺序中的子块索引、水平子块索引、垂直子块索、或者其组合可与阈值来 比较，以决定用于每一子块的上下文、上下文集合或者上下文形成。上述阈值 与变换单元宽度、变换单元高度、或者二者的组合有关。举例来说，上述阈值 可被设置为变换单元宽度和变换单元高度的最大值除以16。在依据本发明的另 一实施例中，水平子块索引与垂直子块索引的和可用于将每一子块分类至一个 类别中，之后可依据此类别来决定上述上下文、上下文集合或者上下文形成。 举例来说，上述总和可与阈值比较以将每一子块分类，且上述阈值可由变换单 元的宽度和变换单元的高度的最大值除以16得出。上述子块的尺寸可以是4×4、 4×8、8×4、8×8、16×16、或者32×32。

本发明揭示一种重要性群组旗标编码方法和装置。依据本发明的一个实施 例，变换单元可被分割成一或多个子块，且重要性群组旗标可基于扫描顺序中 的子块索引、水平子块索引、垂直子块索引、视频分量类型、变换单元宽度、 变换单元高度、上下文选择、上下文集合选择、上下文形成选择、或者上述的 任意组合来编码。上述上下文选择、上下文集合选择以及上下文形成选择与子 块的重要性图编码有关。当两个子块使用相同的上下文选择、上下文集合选择、 或者上下文形成选择来进行重要性图编码时，重要性群组旗标编码也将共享相 同的上下文选择、上下文集合选择、或者上下文形成选择。

附图说明

图1为具有旁路模式的CABAC编码系统架构的范例的示意图。

图2为用于8×8TU的变换系数的对角线扫描顺序的范例的示意图。

图3为HEVC测试版本5.0使用的、用于亮度和色度分量4×4TU的上下文 选择图的范例的示意图。

图4为HEVC测试版本5.0使用的、用于亮度和色度分量8×8TU的上下文 选择图的范例的示意图。

图5A为HEVC测试版本5.0使用的、用于亮度分量16×16TU的相邻信息 决定型上下文选择的范例的示意图。

图5B为HEVC测试版本5.0使用的、用于色度分量16×16TU的相邻信息 决定型上下文选择的范例的示意图。

图6A为HEVC测试版本5.0使用的、用于亮度分量16×16TU的上下文选 择的范例的示意图。

图6B为HEVC测试版本5.0使用的、用于亮度分量32×32TU的上下文选 择的范例的示意图。

图7A为根据本发明一个实施例的、用于亮度分量16×16TU的、基于块的 上下文选择的范例的示意图。

图7B为根据本发明一个实施例的、用于亮度分量32×32TU的、基于块的 上下文选择的范例的示意图。

具体实施方式

为了消除计算系数的x坐标和y坐标的总和的需求，本发明的实施例使用 基于块的上下文选择以简化和一体化(unify)用于significant_coeff_flag的上下 文集合、上下文选择以及上下文形成。

对于并非为4×4或8×8的TU尺寸来说，依据本发明一个实施例的区域1/ 区域2上下文选择取决于子块的x块索引和y块索引，而并非系数X的x坐标 和y坐标。上述x块索引和y块索引是分别指水平子块索引和垂直子块索引。x 块索引的值是从0到水平子块数减1(number of horizontal sub-blocks-1)。y块 索引的值从0到垂直子块数减1(number of vertical sub-blocks-1)。在结合了本 发明实施例的系统中，并不存在跨过区域1和区域2之间边界的子块。因此， 不需要使用两个上下文集合来进行significant_coeff_flag编码，也不需要计算每 一系数的x坐标和y坐标的总和。区域1/区域2的决定可基于每一子块的x块 索引和y块索引的总和来进行。上述总和可与一个阈值做比较。上述阈值可以 取决于TU宽度及/或TU高度，或者是一个固定值。

图7A和图7B为根据本发明实施例的基于块的上下文选择的范例的示意图。 在此范例中，上述阈值被设置为变换单元宽度和变换单元高度的最大值除以16。 因此，对于16×16的TU721、16×4的TU722以及4×16的TU723来说，上述 阈值为1，而对于32×32的TU741、32×8的TU742以及8×32的TU743来说， 上述阈值为2。对于亮度分量来说，若子块的x块索引和y块索引的总和小于阈 值，则区域1的上下文集合被用于此子块。否则，区域2的上下文集合被用于 此子块。相应地，图7A中的一个子块710以及图7B中的三个子块731-733使 用区域1的上下文，而其他子块则使用区域2的上下文。更进一步，区域1的 子块的significant_coeffgroup_flag可被推导为1以进行一体化。

虽然此处是以4×4的子块作为基于块的上下文选择的范例，然而，其他子 块尺寸也可被使用。举例来说，除了4×4的子块外，诸如4×8、8×4、8×8、16×16 以及32×32的其他子块也可被使用。虽然上述基于块的重要性图编码是用于上 下文选择，然而，上述基于块的重要性图编码也可用于上下文集合选择或者上 下文形成选择。虽然上述基于块的重要性图编码范例是基于扫描顺序中的子块 索引、水平子块索引(即x块索引)及/或垂直子块索引(即y块索引)来选择 上下文、上下文集合或者上下文形成，然而，上述选择也可基于视频分量类型 及/或变换单元宽度/高度进行。上述视频分量类型可对应于亮度分量(Y)或者 色度分量(Cr或Cb)。上述视频分量类型也可对应于其他视频规格。进一步来 说，上述选择可取决于扫描顺序中的子块索引、水平子块索引、垂直子块索引、 视频分量类型、以及变换单元宽度/高度的组合。

上述基于块的重要性群组旗标编码可基于扫描顺序中的子块索引、水平子 块索引(即x块索引)及/或垂直子块索引(即y块索引)来进行。然而，上述 基于块的重要性群组旗标编码也可基于视频分量类型及/或变换单元宽度/高度 进行。进一步来说，上述基于块的重要性群组旗标编码也可基于与重要性图编 码相关的上下文选择、上下文集合选择、或上下文形成选择来进行。上述视频 分量类型可对应于亮度分量(Y)或者色度分量(Cr或Cb)。上述基于块的重要 性群组旗标编码也可取决于扫描顺序中的子块索引、水平子块索引、垂直子块 索引、视频分量类型、变换单元宽度/高度、上下文选择、上下文集合选择、以 及上下文形成选择的组合。

以上所述描述是为了使本领域技术人员能够以上文所提供的特定应用及其 要求来实施本发明。本领域技术人员可明了上述实施例的多种变形，且此处所 定义的一般原则也可应用于其他实施例。因此，本发明并非以上述特定实施例 及描述为限，而应包含记载了符合与此处所揭露的原则及显著特征相一致的最 广的范围。在以上所述的详细描述中，阐述各种具体细节是为了便于对本发明 有全面的了解。然而，本领域的技术人员应可理解本发明如何实施。

上述根据本发明的实施例可以不同硬件、软件代码、或两者的结合来实施。 举例来说，依据本发明的一个实施例，其可以是用来实施上述方法的、整合至 视频压缩芯片中的电路，或是整合至视频压缩软件中的程序代码。依据本发明 的另一个实施例，其也可以是数字信号处理器(Digital Signal Processor，DSP) 上执行的、用来实施上述方法的程序代码。本发明亦可包含由计算机处理器、 DSP、微处理器、或现场可编程门阵列(Field Programmable Gate Array，FPGA) 执行的一系列功能。通过执行定义了本发明实施例特定方法的机器可读软件代 码或固件代码，这些处理器可被设置为执行依据本发明的特定任务。上述软件 代码或固件代码可通过不同的编程语言及不同格式/样式来开发。上述软件代码 亦可符合不同的目标平台。然而，执行与本发明相应的任务的、具有不同代码 格式、样式及语言的软件代码，以及其他方式形成的代码都应包含在本发明的 范围内。

在不脱离本发明的精神及基本特征的前提下，本发明亦可用其他特定形式 来实施。以上所述的实施例仅仅是为了说明本发明，并非本发明的限制。本发 明的范围当以所附的权利要求为准，凡依本发明权利要求所做的均等变化与修 饰，皆应属本发明的涵盖范围。