图像编码装置、图像解码装置、图像编码方法、图像解码方法、图像编码程序、图像解码程序、以及记录了图像编码程序的计算机可读记录介质、记录了图像解码程序的计算机可读记录介质

摘要

本发明的图像编码装置具备：与表示预测图像生成方法的多个预测模式对应地生成预测图像的预测图像生成部件；对从该预测图像生成部件输出的预测图像的预测效率进行评价，而判断规定的预测模式的预测模式判断部件；对该预测模式判断部件的输出进行可变长编码的编码部件，其中，该预测模式判断部件根据规定的控制信号，对构成上述输入图像信号的各颜色成分，判断是使用共通的预测模式、还是对每个颜色成分使用个别的预测模式，将该控制信号的信息多路复用到比特流中，并且在使用共通的预测模式的情况下，将共通的预测模式信息多路复用到比特流中，在不使用共通的预测模式的情况下，将每个颜色成分的预测模式信息多路复用到比特流中。

说明书

技术领域

本发明涉及用于图像压缩编码技术、压缩图像数据传送技术等的数字图像信号编码装置、数字图像信号解码装置、数字图像信号编码方法、以及数字图像信号解码方法。

背景技术

现在，在MPEG、ITU-T H.26x等国际标准影像编码方式中，主要是以使用被称为4:2:0格式的标准化了的输入信号格式为前提的。4:2:0是指将RGB等彩色动画图像信号变换为亮度成分(Y)和2个色差差分(Cb，Cr)，水平、垂直都将色差成分的采样数削减为亮度成分的一半的格式。色差成分由于与亮度成分相比识别性降低，所以在现有的国际标准影像编码方式中，是以在这样进行编码之前通过色差成分的欠采样(down sample)来削减编码对象的原始信息量为前提的。另一方面，伴随着近年来的视频显示器的高分辨率化、高灰度等级化，也研究了不对色差成分进行欠采样而通过与亮度成分一样的采样进行编码的方式。将亮度成分和色差成分完全相同的采样数的格式称为4:4:4格式。在MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264规格(以下称为AVC)中，作为以4:4:4格式为输入的编码方式，制订了“高4:4:4配置规格(profile)”。如图10所示，相对于由于现有的4:2:0格式以色差成分的欠采样为前提所以只限定于Y、Cb、Cr这样的颜色空间定义，在4:4:4格式中，由于颜色成分之间没有采样比的区别，所以除了Y、Cb、Cr以外，还可以直接使用R、G、B，或者利用其他多个颜色空间定义。在使用了4:2:0格式的影像编码方式中，成为以下这样的方式，即其颜色空间被定为Y、Cb、Cr，因此不需要在编码处理中考虑颜色空间的种类，但在上述AVC高4:4:4配置规格中，颜色空间定义对编码处理自身产生影响。另一方面，现在的高4:4:4配置规格由于考虑到与将在Y、Cb、Cr空间中定义的4:2:0格式作为编码对象的其他配置规格的互换性，所以不能说是4:4:4格式的压缩效率最优的设计。

非专利文献1：MPEG-4 AVC(ISO/IEC 14496-10)/ITU-TH.264规格

例如，在以AVC的4:2:0格式为编码对象的高4:2:0配置规格中，在由亮度成分16×16像素构成的宏块(macro block)区域中，对应的色差成分对于Cb、Cr都是8×8像素块。在高4:2:0配置规格的内宏块(intro-macro block)编码中，采用使用了同一画像中的周围采样值的空间预测(内(intro)预测)，亮度成分和色差成分使用不同的内预测模式。亮度成分从图3的9种中将预测效率最高的选择为内预测模式，色差成分对于Cb、Cr共通地从图9所示的4种中将预测效率最高的选择为内预测模式(Cb和Cr不能使用不同的预测模式)。另外，在高4:2:0配置规格的动态补偿预测中，只针对亮度成分对作为动态补偿预测的单位的块大小信息、用于预测的参照图像信息、每个块的动态向量信息进行多路复用，色差成分使用与亮度成分相同的信息，进行动态补偿预测。这样的方式在与4:2:0格式对图像的构造(texture)的表现有很大作用的亮度成分相比色差成分的作用小的颜色空间定义的前提下才成立。但是，现在的高4:4:4配置规格即使在将每个宏块的色差信号的块大小被扩展为16×16像素的状态下，也只是对4:2:0格式的色差用内预测模式单纯地进行了扩展的方式，另外与4:2:0格式时一样，只是将1个成分看作是亮度成分并对1个成分的信息进行多路复用，用共通的间(inter)预测模式、参照图像信息和动态向量信息对3个成分进行动态补偿预测，不能说是在图像信号的构造表现时各颜色成分产生同等作用的4:4:4格式中一定是最优的预测方法。

发明内容

因此，本发明的目的在于：提供一种在对如上述现有技术那样在4:4:4格式那样的颜色成分之间采样比没有区别的动画图像信号进行编码时提高最适性的编码装置、解码装置、编码方法、解码方法、以及执行它们的程序和记录了这些程序的记录介质。

本发明的图像编码装置具备：与表示预测图像生成方法的多个预测模式对应地生成预测图像的预测图像生成部件；对从该预测图像生成部件输出的预测图像的预测效率进行评价，而判断规定的预测模式的预测模式判断部件；对该预测模式判断部件的输出进行可变长编码的编码部件，其中，该预测模式判断部件根据规定的控制信号，对构成上述输入图像信号的各颜色成分，判断是使用共通的预测模式、还是对每个颜色成分使用各别的预测模式，将该控制信号的信息多路复用到比特流中，并且在使用共通的预测模式的情况下，将共通的预测模式信息多路复用到比特流中，在不使用共通的预测模式的情况下，将每个颜色成分的预测模式信息多路复用到比特流中。

根据本发明的图像编码装置、图像解码装置、图像编码方法、图像解码方法、执行它们的程序、记录了这些程序的记录介质，在不限于Y、Cb、Cr等固定的颜色空间而利用多样的颜色空间进行编码的情况下，能够灵活地选择对各颜色成分使用的内预测模式信息、间(inter)预测模式信息，在有多样的颜色空间的定义的情况下，也能够进行最优的编码处理。

附图说明

图1是表示实施例1的影像编码装置的结构的说明图。

图2是表示实施例1的影像解码装置的结构的说明图。

图3是说明由图1的空间预测部件2评价的内4×4预测模式的预测图像生成方法的说明图。

图4是说明由图1的空间预测部件2评价的内16×16预测模式的预测图像生成方法的说明图。

图5是说明在图1的影像编码装置中进行的内预测模式判断处理的步骤的流程图。

图6是表示实施例1的从影像编码装置输出的视频比特流的数据数组的说明图。

图7是说明在图2的影像解码装置中进行的内预测解码处理的步骤的流程图。

图8是表示实施例1的从影像编码装置输出的视频比特流的其他数据数组形式的说明图。

图9是说明AVC规格中的色差成分对应内预测模式的预测图像生成方法的说明图。

图10是说明以前和现在的宏块的说明图。

图11是表示实施例2的影像编码装置的结构的说明图。

图12是表示实施例2的影像解码装置的结构的说明图。

图13是说明由图11的空间预测部件2评价的内8×8预测模式的预测图像生成方法的说明图。

图14是说明在图11的影像编码装置中执行的内编码模式判断处理的步骤的流程图。

图15是表示实施例2的从影像编码装置输出的视频比特流的数据数组的说明图。

图16是表示实施例2的从影像编码装置输出的视频比特流的其他数据数组的说明图。

图17是说明在图12的影像解码装置中的执行内预测解码处理的步骤的流程图。

图18是说明实施例3的C0成分的内预测模式编码处理的参数的说明图。

图19是说明实施例3的C1成分的内预测模式编码处理的参数的说明图。

图20是说明实施例3的C2成分的内预测模式编码处理的参数的说明图。

图21是表示实施例3的内预测模式编码处理的流程的流程图。

图22是表示实施例3的内预测模式编码处理的另一个流程的流程图。

图23是表示实施例3的内预测模式编码处理的流程的流程图。

图24是表示实施例4的从影像编码装置输出的视频比特流的其他数据数组的说明图。

图25是表示实施例5的内预测模式编码处理的其他流程的流程图。

图26是表示实施例5的表(table)化了的预测值设置的规则的说明图。

图27是表示实施例6的编码步骤的流程图。

图28是表示实施例6的CurrIntraPredMode的二值序列结构的说明图。

图29是表示实施例6的CurrIntraPredMode的其他二值序列结构的说明图。

图30是表示实施例7的影像编码装置的结构的说明图。

图31是表示实施例7的影像解码装置的结构的说明图。

图32是表示宏块的单位的说明图。

图33是表示实施例7的间预测模式判断处理的流程的流程图。

图34是表示实施例7的从影像编码装置输出的视频流的数据数组的说明图。

图35是表示实施例7的在可变长解码部件25中执行的处理的流程的流程图。

图36是表示实施例7的从影像编码装置输出的视频流的其他数据数组的说明图。

图37是表示实施例7的从影像编码装置输出的视频流的其他数据数组的说明图。

图38是表示实施例8的间预测模式判断处理的流程的流程图。

图39是表示实施例8的宏块水平的比特流的数据数组的说明图。

图40是表示实施例8的间预测图像生成处理的流程的流程图。

图41是表示实施例8的宏块水平的比特流的其他数据数组的说明图。

图42是表示实施例8的宏块的水平的比特流的其他数据数组的说明图。

图43是表示实施例9的间预测模式判断处理的流程的流程图。

图44是表示实施例9的间预测图像生成处理的流程的流程图。

图45是表示动态向量编码部件的结构的说明图。

图46是表示动态向量编码部件的动作的说明图。

图47是表示动态向量解码部件的结构的说明图。

图48是表示比特流文法(syntax)的情况的说明图。

图49是表示实施例11的宏块编码数据的结构的说明图。

图50是表示实施例11的图49中的Cn成分头(header)信息的编码数据的详细结构的说明图。

图51是表示实施例11的宏块编码数据的其他结构的说明图。

图52是表示实施例11的比特流的结构的说明图。

图53是表示实施例11的切片(slice)的结构的说明图。

图54是表示实施例12的可变长编码部件11的算术编码处理相关的内部结构的说明图。

图55是表示实施例12的可变长编码部件11的算术编码处理的流程的流程图。

图56是表示实施例12的图55中的步骤S162的处理的详细流程的说明图。

图57是表示上下文模型(context model：ctx)的概念的说明图。

图58是表示与宏块的动态向量有关的上下文模型的例子的说明图。

图59是表示实施例12的可变长解码部件25的算术解码处理相关的内部结构的说明图。

图60是表示实施例12的可变长解码部件25的算术解码处理的流程的流程图。

图61是表示实施例12的上下文模型11f的说明图。

图62是表示实施例12的当前宏块的模式的不同的说明图。

图63是表示实施例13的编码装置、解码装置的结构的说明图。

图64是表示实施例13的影像编码装置的结构的说明图。

图65是表示实施例13的影像解码装置的结构的说明图。

图66是表示实施例14的共通编码处理的说明图。

图67是表示实施例14的独立编码处理的说明图。

图68是表示实施例14的编码装置、解码装置的画像(picture)之间的时间方向的动态预测参照关系的说明图。

图69是表示实施例14的在编码装置中生成而由实施例14的解码装置输入的作为解码处理对象的比特流的构造的一个例子的说明图。

图70是表示共通编码处理、独立编码处理各自的情况下的切片数据的比特流结构的说明图。

图71是表示实施例14的编码装置的概要结构的说明图。

图72是表示减小编码装置侧的处理延迟的情况的说明图。

图73是表示第一画像编码部件的内部结构的说明图。

图74是表示第二画像编码部件的内部结构的说明图。

图75是表示实施例14的解码装置的概要结构的说明图。

图76是表示第一画像解码部件的内部结构的说明图。

图77是表示第二画像解码部件的内部结构的说明图。

图78是表示实施了颜色空间变换处理后的第一画像编码部件的内部结构的说明图。

图79是表示实施了颜色空间变换处理后的第一画像编码部件的内部结构的说明图。

图80是表示实施了逆颜色空间变换处理后的第一画像编码部件的内部结构的说明图。

图81是表示实施了逆颜色空间变换处理后的第一画像编码部件的内部结构的说明图。

图82是表示包含在现有的YUV4:2:0格式的比特流中的宏块头信息的编码数据的结构的说明图。

图83是表示确保与现有的YUV4:2:0格式的比特流的互换性的第一画像解码部件的预测部件461的内部结构的说明图。

图84是表示实施例15的多路复用的编码数据的比特流的结构的说明图。

图85是表示以AUD NAL单元为代表的存取单元(access unit)内的画像数据被编码时的画像编码类型的信息的说明图。

图86是表示实施例15的多路复用的编码数据的比特流的结构的说明图。

符号说明

1：输入影像信号；2：空间预测部件；3：减法器；4：预测差分信号；5：编码模式判断部件；6：编码模式；7：预测图像；8：正交变换部件；9：量子化部件；10：量子化后变换系数；11：可变长编码部件；11a：上下文模型决定部件；11b：二值化部件；11c：发生概率生成部件；11d：编码部件；11e：编码值；11f：上下文模型；11g：发生概率信息存储器；11h：发生概率状态；12：逆量子化部件；13：逆正交变换部件；14：局部解码预测差分信号；15：局部解码图像(暂定解码图像)；16：存储器；17：发送缓冲器；18：加法器；19：编码控制部件；20：加权系数；21：量子化参数；22：视频流；23：内预测模式共通化识别标志；24：去块(deblocking)过滤控制标志；25：可变长解码部件；25a：解码部件；25b：bin复原值；26：去块过滤器；27：解码图像；28：内编码模式；29：基本内预测模式；30：扩展内预测模式；31：扩展内预测模式表指示标志；32：变换块大小识别标志；33：内编码模式共通化识别标志；34：内编码模式；35：内预测模式；36：内预测模式指示标志；102：动态补偿预测部件；106：宏块类型/子宏块类型；123：间预测模式共通化识别标志；123b：动态向量共通化识别标志；123c：宏块头共通化识别标志；128：基本宏块类型；128b：宏块类型；129：基本子宏块类型；129b：子宏块类型；130：扩展宏块类型；131：扩展子宏块类型；132：基本参照图像识别编号；132b：参照图像识别编号；133：基本动态向量信息；134：扩展参照图像识别编号；135：扩展动态向量信息；136：配置规格(profile)信息；137：动态向量；138、138a、138b、138c：跳过(skip)指示信息；139a、139b、139c：头信息；140a、140b、140c：变换系数数据；141：内预测模式；142：变换系数有效无效指示信息；143：发生概率状态参数共通化识别标志；144：内色差预测模式；111：动态向量预测部件；112：差分动态向量计算部件；113：差分动态向量可变长编码部件；250：动态向量解码部件；251：差分动态向量可变长解码部件；252：动态向量预测部件；253：动态向量计算部件；301：颜色空间变换部件；302：变换影像信号；303：编码装置；304：颜色空间变换方法识别信息；305：比特流；306：解码装置；307：解码图像；308：逆颜色空间变换部件；310：变换部件；311：颜色空间变换方法识别信息；312：逆变换部件；422a、422b0、422b1、422b2、422c：视频流；423：共通编码/独立编码识别信号；427a、427b：解码图像；461：预测部件；462：去块过滤器(deblockingfilter)；463：预测开销(overhead)信息；464：变换块大小指定标志；465：颜色空间变换部件；466：逆颜色空间变换部件；467：信号发送(signaling)信息；501、601：开关；502：颜色成分分离部件；503a：第一画像编码部件；503b0、503b1、503b2：第二画像编码部件；504：多路复用部件；602：颜色成分判断部件；603a：第一画像解码部件；603b0、603b1、603b2：第二画像解码部件；610：上位头分析部件；4611a、4611b、4611c：切换部件；4612：亮度信号内预测部件；4613：色差信号内预测部件；4614：亮度信号间(inter)预测部件；4615：色差信号间预测部件

具体实施方式

实施例1

在本实施例1中，说明按照将用4:4:4格式输入的影像帧均等分割为16×16像素的矩形区域(宏块)后的单位，进行帧内的编码的编码装置、对应的解码装置。另外，本编码装置、解码装置以作为非专利文献1的MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264规格所采用的编码方式为基础，并对本发明附加固有的特征。

图1表示本实施例1的影像编码装置的结构，图2表示本实施例1的影像解码装置的结构。在图2中，附加了与图1的编码装置的结构要素一样的编号的要素表示相同的要素。

以下，根据这些图，说明编码装置和解码装置全体的动作、本实施例1的特征动作，即内预测模式判断处理和内预测解码处理。

1.编码装置的动作概要

在图1的编码装置中，按照4:4:4格式，输入影像信号1的各个影像帧。如图10所示那样，按照将3个颜色成分分割为同一大小的16像素×16像素的块并集合了的宏块单位将输入的影像帧输入到编码装置。

首先，在空间预测部件2中，使用存储在存储器16中的局部解码图像15，按照该宏块的单位，对每个颜色成分进行内预测处理。针对每个颜色成分而准备3面存储器(在本实施例中说明为3面，但根据设计可以适当地变更)。在内预测的模式中，有按照图3所示的4像素×4行(line)的块的单位使用其周围像素进行空间预测的内4×4预测模式、按照图4所示的16像素×16行的宏块的单位使用其周围像素进行空间预测的内16×16预测模式。

(a)内4×4预测模式

将宏块内的亮度信号16×16像素块分割为由4×4像素块构成的16个块，将图3所示的9个模式中的任意一个选择为4×4像素块单位。在预测图像生成时使用已经结束了编码并进行了局部解码处理而存储在存储器16中的周围的块(左上、上、右上、左)的像素。

Intra4×4_pred_mode＝0：将相邻的上部的像素原样地作为预测图像使用。

Intra4×4_pred_mode＝1：将相邻的左部的像素原样地作为预测图像使用。

Intra4×4_pred_mode＝2：将相邻的8个像素的平均值作为预测图像使用。

Intra4×4_pred_mode＝3：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与右45度边沿对应)。

Intra4×4_pred_mode＝4：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与左45度边沿对应)。

Intra4×4_pred_mode＝5：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与左22.5度边沿对应)。

Intra4×4_pred_mode＝6：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与左67.5度边沿对应)。

Intra4×4_pred_mode＝7：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与右22.5度边沿对应)。

Intra4×4_pred_mode＝8：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与左112.5度边沿对应)。

在选择内4×4预测模式的情况下，每个宏块的模式信息需要16个。因此，为了削减模式信息自身的代码量，模式信息利用与相邻的块间的相关性高的情况，根据相邻的块的模式信息进行预测编码。

(b)内16×16预测模式

是一次预测与宏块大小相当的16×16像素块的模式，按照宏块单位选择图4所示的4个模式的任意一个。与内4×4预测模式一样，在预测图像生成时使用已经结束了编码并进行局部解码处理而存储在存储器16中的周围的宏块(左上、上、左)的像素。

Intra16×16_pred_mode＝0：将上宏块的最下边的16像素作为预测图像使用。

Intra16×16_pred_mode＝1：将左宏块的最右边的16像素作为预测图像使用。

Intra16×16_pred_mode＝2：将上宏块的最下边的16像素(图4的A部分)和左宏块的最左边的16像素(图4的B部分)的合计32像素的平均值作为预测图像使用。

Intra16×16_pred_mode＝3：使用左上的宏块的右下角的像素、上宏块的最下边的15像素(除了涂白像素的部分)、左宏块的最右边的15像素(除了涂白像素的部分)的合计31像素，通过规定的计算处理(与预测为使用像素的像素位置对应的加权相加处理)，得到预测图像。

本实施例1的影像编码装置的特征在于：根据内预测模式共通化识别标志23，切换与3个颜色成分对应的内预测处理方法。通过下述2详细说明该点。

在空间预测部件2中，针对图3、图4所示的全部模式乃至子组(subset)执行预测处理，通过减法器3得到预测差分信号4。预测差分信号4在编码模式判断部件5中评价其预测效率，从在空间预测部件2中执行的预测处理中，输出对预测对象的宏块得到最优的预测效率的预测模式作为编码模式6。在此，编码模式6在包含使用内4×4预测模式还是内16×16预测模式的判别信息(相当于图6的内编码模式)的同时，还包括在每个预测单位区域中使用的各个预测模式信息(上述Intra4×4_pred_mode乃至Intra16×16_pred_mode)。预测单位区域在内4×4预测模式的情况下相当于4×4像素块，在内16×16预测模式的情况下相当于16×16像素块。在每次选定编码模式6时，还包括与通过编码控制部件19的判断而确定的各编码模式对应的加权系数20。在编码模式判断部件5中使用编码模式6得到的最优预测差分信号4被输出到正交变换部件8。正交变换部件8对输入的预测差分信号4进行变换，作为正交变换系数输出到量子化部件9。量子化部件9根据由编码控制部件19确定的量子化参数21，对输入的正交变换系数进行量子化，作为量子化后变换系数10输出到可变长编码部件11。在可变长编码部件11中通过haffman编码或算术编码等手段，对量子化后变换系数10进行平均信息量(entropy)编码。另外，量子化后变换系数10经由逆量子化部件12、逆正交变换部件13被复原为局部解码预测差分信号14，在加法器18中与根据编码模式6生成的预测图像7进行相加，从而生成局部解码图像15。局部解码图像15由于在以后的内预测处理中使用，所以被存储在存储器16中。另外，还向可变长编码部件11输入表示是否对该宏块实施去块过滤的去块过滤控制标志24(在由空间预测部件2实施的预测处理中，由于将实施去块过滤以前的像素数据存储在存储器16中使用，所以在编码处理中并不需要去块过滤处理自身，但在解码装置侧，根据去块过滤控制标志24的指示进行去块过滤，得到最终的解码图像)。

依照规定的规则(syntax)将输入到可变长编码部件11的内预测模式共通化识别标志23、量子化后变换系数10、编码模式6、量子化参数21排列整形为比特流，并输出到发送缓冲器17。在发送缓冲器17中，与编码装置所连接的传送路径的频带、记录介质的读出速度一致地对比特流进行平滑化，作为视频流22输出。另外，与发送缓冲器17中的比特流积蓄状况对应地将反馈信息输出到编码控制部件19，控制以后的影像帧的编码中的产生代码量。

2.编码装置的内预测模式判断处理

详细说明作为本实施例1的编码装置的特征的内预测模式判断处理。以集合了上述3个颜色成分的宏块为单位实施本处理，并主要由图1的编码装置中的空间预测部件2、编码模式判断部件5执行。另外，图5表示出本处理的流程的流程图。以下，将构成块的3个颜色成分的图像数据设为C0、C1、C2。

首先，编码模式判断部件5接收内预测模式共通化识别标志23，根据其值，判断对C0、C1、C2是否使用共通的内预测模式(图5的步骤S1)。在共通化的情况下，前进到步骤S2以后，在不共通化的情况下，前进到步骤S5以后。

在对C0、C1、C2共通使用内预测模式的情况下，编码模式判断部件5向空间预测部件2通知能够选择的全部内4×4预测模式，空间预测部件2对其全部的预测效率进行评价，选择对C0、C1、C2共通的最优的内4×4预测模式(步骤S2)。接着，编码模式判断部件5向空间预测部件2通知能够选择的全部内16×16预测模式，空间预测部件2对其全部的预测效率进行评价，选择对C0、C1、C2共通的最优的内16×16预测模式(步骤S3)。编码模式判断部件5从通过步骤S2、S3得到的模式中最终选择预测效率上最优的模式(步骤S4)，结束处理。

在对C0、C1、C2不共通化内预测模式，而对C0、C1、C2分别选择最优的模式的情况下，编码模式判断部件5向空间预测部件2通知对Ci(i＜＝0＜3)成分能够选择的全部内4×4预测模式，空间预测部件2对其全部的预测效率进行评价，选择Ci(i＜＝0＜3)成分的最优的内4×4预测模式(步骤S6)。同样，选择最优的内16×16预测模式(步骤S7)。最后在步骤S8中判断Ci(i＜＝0＜3)成分的最优的内预测模式。

作为在空间预测部件2中进行的预测模式的预测效率评价的规则，例如可以使用由以下公式给出的速率、失真成本。

Jm＝Dm+λRm(λ为正数)

在此，Dm是适用了内预测模式m的情况下的编码失真或预测误差量。编码失真是指适用内预测模式m而得到预测误差，根据对预测误差进行变换、量子化的结果对影像进行解码，测量相对于编码前的信号的误差所得的结果。预测误差量是取得适用了内预测模式m的情况下的预测图像与编码前的信号的差分，对该差分的大小进行量化所得的结果，例如可以使用差分绝对值和(Sum of AbsoluteDistance：SAD)等。Rm是适用了内预测模式m的情况下的产生代码量。即，Jm是规定适用了内预测模式m的情况下的代码量与恶化度的平衡(trade-off)的值，产生最小的Jm的内预测模式m产生最优解。

在编码装置进行了步骤S2以后的处理的情况下，向包含3个颜色成分的宏块分配一个内预测模式的信息。另一方面，在进行了步骤S5以后的处理的情况下，向各颜色成分分别分配内预测模式信息。因此，由于向宏块分配的内预测模式的信息不同，所以必须将内预测模式共通化识别标志23多路复用到比特流中，使得能够由解码装置侧识别编码装置是进行了S2以后的处理过程、还是进行了S5以后的处理过程。图6表示这样的比特流的数据数组。

该图表示了宏块水平的比特流的数据数组，内编码模式28表示判别是内4×4还是内16×16的信息，基本内预测模式29在内预测模式共通化识别标志23表示“C0、C1、C2共通”的情况下表示共通内预测模式信息，在表示不是“C0、C1、C2共通”的情况下表示对C0的内预测模式信息。扩展内预测模式30只在内预测模式共通化识别标志23表示不是“C0、C1、C2共通”的情况下被多路复用，表示对C1、C2的内预测模式信息。另外，对量子化参数21、量子化后变换系数10进行多路复用。图1中的编码模式6是对上述内编码模式28、内预测模式(基本、扩展)的总称(在图6中，不包含输入到可变长编码部件11的去块过滤控制标志24，但由于不是说明本实施例1的特征所必需的构成要素，所以不进行说明)。

在现有的影像编码标准中采用的4:2:0格式中，颜色空间的定义固定为Y、Cb、Cr，但在4:4:4格式中，不限于Y、Cb、Cr，而可以利用多样的颜色空间。通过如图6那样构成内预测模式信息，即使在输入影像信号1的颜色空间定义有各种各样的情况下，也能够进行最优的编码处理。例如，在用RGB定义颜色空间的情况下，由于在R、G、B的各成分中均等地残存影像纹理(texture)构造，所以通过使用共通的内预测模式信息，能够削减内预测模式信息自身的冗余性，提高编码效率。另一方面，在用Y、Cb、Cr定义颜色空间的情况下，影像纹理构造汇集在Y中，因此共通的内预测模式并不一定产生最优的结果。因此，通过适当地利用扩展内预测模式30，能够得到最优的编码效率。

3.解码装置的动作概要

图2的解码装置接收与从图1的编码装置输出的图6的数组对应的视频流22，以同一大小(4:4:4格式)的宏块为单位对3个颜色成分进行解码处理，复原各个影像帧。

首先，可变长解码部件25输入流22，依照规定的规则(syntax)解读流22，抽出内预测模式共通化识别标志23、量子化后变换系数10、编码模式6、量子化参数21等信息。量子化后变换系数10与量子化参数21一起被输入到逆量子化部件12，进行逆量子化处理。另外，其输出被输入到逆正交变换部件13，被复原为局部解码预测差分信号14。另一方面，向空间预测部件2输入编码模式6和内预测模式共通化识别标志23，依照这些信息得到预测图像7。将在后面说明得到预测图像7的具体步骤。由加法器18将局部解码预测差分信号14和预测图像7相加，得到暂定解码图像15(它是与编码装置中的局部解码图像15完全相同的信号)。为了在以后的宏块的内预测中使用，而将暂定解码图像15写回到存储器16中。针对每个颜色成分而准备3面存储器(在本实施例中，说明为3面，但也可以根据设计适当地变更)。另外，根据由可变长编码部件25解读的去块过滤控制标志24的指示，使去块过滤器26对暂定解码图像15产生作用，得到最终的解码图像27。

4.解码装置的内预测解码处理

详细说明作为本实施例1的解码装置的特征的内预测图像生成处理。按照集合了上述3个颜色成分的宏块的单位实施本处理，主要由图2的解码装置中的可变长解码部件25、空间预测部件2执行。另外，图7表示出表示本处理的流程的流程图。

在可变长解码部件25中执行图7的流程图中的S10～S14。作为向可变长解码部件25的输入的视频流22与图6的数据数组一致。在步骤S10中，首先对图6的数据中的内编码模式28进行解码，另外对内预测模式共通化识别标志23进行解码(步骤S11)。进而，对基本内预测模式28进行解码(步骤S12)。在步骤S13中，使用内预测模式共通化识别标志23的结果，判断是否对C0、C1、C2共通地使用内预测模式，在共通化的情况下，对C0、C1、C2的全部使用基本内预测模式29，在不共通化的情况下，将基本内预测模式29作为C0的模式使用，进而对扩展内预测模式30进行解码(步骤S14)，得到C1、C2的模式信息。经过以上处理过程而确定了各颜色成分的编码模式6，因此将其输入到空间预测部件2，按照步骤S15～S17得到各颜色成分的内预测图像。得到内预测图像的处理与图4的步骤一致，与在图1的编码装置中进行的处理一样。

图8表示图6的比特流数据数组的变形。在图7中，内预测模式共通化识别标志23不作为宏块水平的标志，而作为切片、画像、序列(sequence)等位于上位数据层的标志被多路复用，并且局部扩展内预测模式表指示标志31，使得能够从多个定义扩展内预测模式30的代码的代码表中选择任意一个。由此，在通过切片以上的上位层中的切换，能够确保充分的预测效率的情况下，不用在宏块水平下对内预测模式共通化识别标志23逐一地进行多路复用，能够削减开销(overhead)比特。另外，对于扩展内预测模式30，通过设置扩展内预测模式表指示标志31，不用与基本内预测模式29一样的定义，能够选择对C1、C2成分特殊化了的预测模式的定义，能够进行适合于颜色空间的定义的编码处理。例如，在AVC的4:2:0的格式的编码中，对色差成分(Cb、Cr)定义与亮度(Y)不同的内预测模式组。在4:2:0格式中，宏块内的色差信号是8像素×8行，按照宏块单位选择图9所示的4个模式的任意一个，进行解码处理。色差信号有Cb、Cr的2种，但使用相同的模式。除了intra＝0的DC预测，是与图4的内16×16预测模式一样的预测处理，但在DC预测中，将8×8块分割为4个4×4块，对各个块变更求出平均值的像素的位置，进行处理。在该图中，成为“a+x，a or x”的块在像素a和像素x都可以利用的情况下，使用a和x的8像素，在只能够利用a的情况下，使用a的4像素，在只能够利用x的情况下，使用x的4像素，求出平均值，作为预测图像7使用。在a和x都不能利用的情况下，将值128作为预测图像7使用。成为“b or x”的块在能够利用图像b的情况下，使用b的4像素，在只能够利用像素x的情况下，使用x的4像素，求出平均值。

这样，在要求与颜色成分的性质对应地对内预测模式的组进行变更的情况下，根据图8的文法这样的结构，能够得到更优的编码效率。

实施例2

在本实施例2中，说明按照均等地分割为16×16像素的矩形区域(宏块)的单位，对用4:4:4格式输入的影像帧进行在帧内收敛的编码的其他编码装置、对应的解码装置。本编码装置、解码装置与实施例1一样，以作为非专利文献1的MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264规格所采用的编码方式为基础，并对本发明附加固有的特征。

图11表示本实施例2的影像编码装置的结构，图12表示本实施例2的影像解码装置的结构。在图11中，附加了与图1的编码装置的结构要素一样的编号的要素表示相同的要素。在图12中，附加了与图11的编码装置的结构要素一样的编号的要素表示相同的要素。图11的32是变换块大小识别标志，33是内编码模式共通化识别标志。

以下，根据这些图，说明本实施例2的编码装置以及解码装置全体的动作、作为本实施例2的特征动作的内编码/预测模式判断处理和内预测解码处理。

1.编码装置的动作概要

在图11的编码装置中，输入影像信号1的各个影像帧为4:4:4格式，并且如图10所示那样，按照将3个颜色成分分割为同一大小的宏块而集合了的单位被输入到编码装置。

在空间预测部件2中，使用存储在存储器16中的局部解码图像15，按照该宏块的单位，对每个颜色成分进行内预测处理。内预测的模式有按照图3所示的4像素×4行的块的单位使用其周围像素进行空间预测的内4×4预测模式、按照图13所示的8像素×8行的块的单位使用其周围像素进行空间预测的内8×8预测模式、按照图4所示的16像素×16行的宏块的单位使用其周围像素进行空间预测的内16×16预测模式。在本实施例2的编码装置中，依照变换块大小识别标志32的状态，切换使用内4×4预测模式和内8×8预测模式。可以与图6一样地用内编码模式表示使用4×4预测、8×8预测、16×16预测的哪个内预测模式对某宏块进行编码。在本实施例2的编码装置中，作为内编码模式，设置使用内4×4预测模式、内8×8预测模式的任意一个进行编码的内N×N预测编码模式(N为4乃至8)、使用内16×16预测模式进行编码的内16×16预测编码模式的2种。以下，按照内编码模式区分地说明。

(a)内N×N预测编码模式

是以下这样的模式：一边有选择地切换将宏块内的亮度信号16×16像素块分割为由4×4像素块构成的16个块并对各4×4像素块分别选择预测模式的内4×4预测模式、将宏块内的亮度信号16×16像素块分割为由8×8像素块构成的4个块并对各8×8像素块分别选择预测模式的内8×8预测模式，一边进行编码。与变换块大小识别标志32的状态一致地，进行内4×4预测模式和内8×8预测模式的切换。将在后面说明该点。对于内4×4预测模式，如实施例1中说明了的那样，按照4×4像素块单位，选择图3所示的9个模式的任意一个。将已经结束了编码并进行局部解码处理而存储在存储器16中的周围的块(左上、上、右上、左)的像素用于预测图像生成中。

另一方面，内8×8预测模式按照8×8像素块单位选择图13所示的9个模式的任意一个。如与图3的对比所知道的那样，对内4×4预测模式的预测方法进行变更，使得适合于8×8像素块。

Intra8×8_pred_mode＝0：将相邻的上部的像素原样地作为预测图像使用。

Intra8×8_pred_mode＝1：将相邻的左部的像素原样地作为预测图像使用。

Intra8×8_pred_mode＝2：将相邻的8个像素的平均值作为预测图像使用。

Intra8×8_pred_mode＝3：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与右45度边沿对应)。

Intra8×8_pred_mode＝4：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与左45度边沿对应)。

Intra8×8_pred_mode＝5：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与左22.5度边沿对应)。

Intra8×8_pred_mode＝6：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与左67.5度边沿对应)。

Intra8×8_pred_mode＝7：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与右22.5度边沿对应)。

Intra8×8_pred_mode＝8：根据相邻的像素对每2～3个像素求出加权平均，作为预测图像使用(与左112.5度边沿对应)。

在选择内4×4预测模式的情况下，每个宏块的模式信息需要16个。因此，为了削减模式信息自身的代码量，模式信息利用与相邻的块间的相关性高的情况，根据相邻的块的模式信息进行预测编码。同样，在选择内8×8预测模式的情况下，也利用与相邻的块间的相关性高的情况，根据相邻的块的模式信息进行预测编码。

(b)内16×16预测模式

是一次预测与宏块大小相当的16×16像素块的模式，按照宏块单位选择图4所示的4个模式的任意一个。与内4×4预测模式一样，在预测图像生成时使用已经结束了编码并进行局部解码处理而存储在存储器16中的周围的宏块(左上、上、左)的像素。模式种类如实施例1的图4所说明的那样。在内16×16预测编码模式中，变换块大小始终是4×4。其中，进行以下的2阶段的变换，即首先将16个集合为4×4块单位的DC(直流成分、平均值)，按照该单位进行4×4块变换，按照每个4×4块对除了DC成分以外剩余的交流成分进行变换。

本实施例2的影像编码装置的特征在于：根据内编码模式共通化识别标志33，切换与3个颜色成分对应的内预测、变换、编码方法。通过下述2详细说明该点。

在空间预测部件2中，针对输入的3个颜色成分的信号，根据内编码模式共通化识别标志33的指示进行内预测模式的评价。内编码模式共通化识别标志33表示出是对输入的3个颜色成分各个分别分配内编码模式、还是对3个成分全部分配相同的内编码模式。其背景如下。

在4:4:4模式中，在现有技术在编码中所使用的Y、Cb、Cr颜色空间以外，也可以直接利用RGB。Y、Cb、Cr颜色空间从Cb、Cr的信号除去了依存于影像上下文构造的成分。在Y成分与Cb、Cr2成分之间，最优的内编码方法变化的概率高(现在，在高4:2:0配置规格等以AVC/H.264的4:2:0格式为对象的编码方式中，对Y成分和Cb、Cr成分使用的内预测模式的设计是不同的)。另一方面，在RGB颜色空间中进行编码的情况下，不如Y、Cb、Cr那样在颜色成分直接除去上下文构造，同一空间上的信号成分的相关性变高，因此通过构成为能够共通地选择内编码模式，有可能提高编码效率。该点不只是颜色空间的定义，即使使用了某特定的颜色空间也根据影像的性质被左右，理想的是编码方式自身能够适当地与这样的影像信号的性质对应。因此，在本实施例中，设置内编码模式共通化识别标志33，构成编码装置使得能够灵活地对4:4:4格式影像进行编码。

在空间预测部件2中，与以上那样设置的内编码模式共通化识别标志33的状态对应，对图3、图4、图13所示的全部内预测模式乃至规定的子组执行与各颜色成分对应的预测处理，通过减法器3得到预测差分信号4。对于预测差分信号4，在编码模式判断部件5中对其预测效率进行评价，从在空间预测部件2中执行的预测处理中，选择对对象的宏块能够得到最优的预测效率的内预测模式。在此，在选择了内N×N预测的情况下，作为编码模式6输出N×N预测编码模式，同时在预测模式是内4×4预测的情况下，将变换块大小识别标志32设置为“4×4块大小的变换”。另外，在预测模式是内8×8预测的情况下，将变换块大小识别标志32设置为“8×8块大小的变换”。对于变换块大小识别标志32的决定方法，可以考虑各种方法，但在本实施例2的编码装置中，确定对根据内N×N预测得到的残差进行变换的情况下的块大小，因此在编码模式判断部件5中确定了最优的内N×N预测模式后，与该N值一致地决定的方法是基本的。例如，在使用了内4×4预测模式的情况下，如果设变换块大小为8×8像素块，则在预测结果所得到的预测差分信号4中按照4×4块的单位预测信号的空间连续性间断的可能性高，产生无用的高频成分，因此变换所带来的信号功率集中的效果变小。如果与预测模式一致地设变换块大小为4×4像素块，则不会产生这样的问题。

在编码模式判断部件5中选择了内16×16预测的情况下，作为编码模式6输出内16×16预测编码模式。另外，在选定编码模式6时，也进而利用通过编码控制部件19的判断而确定的对各编码模式的加权系数20。

将根据编码模式6得到的预测差分信号4输出到正交变换部件8。正交变换部件8对输入的预测差分信号进行变换，作为正交变换系数输出到量子化部件9。量子化部件9根据由编码控制部件19确定的量子化参数21，对输入的正交变换系数进行量子化，作为量子化后变换系数10输出到可变长编码部件11。

在变换块大小为4×4块单位的情况下，输入到正交变换部件8的预测差分信号4被分割为4×4块单位进行正交变换，在量子化部件9中进行量子化。在变换块大小为8×8块单位的情况下，输入到正交变换部件8的预测差分信号4被分割为8×8块单位进行正交变换，在量子化部件9中进行量子化。

在可变长编码部件11中通过haffman编码或算术编码等手段，对量子化后变换系数10进行平均信息量(entropy)编码。另外，量子化后变换系数10按照基于变换块大小识别标志32等的块大小，经由逆量子化部件12、逆正交变换部件13被复原为局部解码预测差分信号14，在加法器18中与根据编码模式6生成的预测图像7进行相加，从而生成局部编码图像15。局部编码图像15由于在以后的内预测处理中使用，所以被存储在存储器16中。另外，还向可变长编码部件11输入表示是否对该宏块实施去块过滤的去块过滤控制标志24(在由空间预测部件2实施的预测处理中，由于将实施去块过滤以前的像素数据存储在存储器16中使用，所以在编码处理中并不需要去块过滤处理自身，但在解码装置侧，根据去块过滤控制标志24的指示进行去块过滤，得到最终的解码图像)。

依照规定的规则(syntax)将输入到可变长编码部件11的内编码模式共通化识别标志33、量子化后变换系数10、编码模式6、量子化参数21排列整形为比特流，并发送到发送缓冲器17。在发送缓冲器17中，与编码装置所连接的传送路径的频带、记录介质的读出速度一致地对比特流进行平滑化，作为视频流22输出。另外，与发送缓冲器17中的比特流积蓄状况对应地将反馈信息输出到编码控制部件19，控制以后的影像帧的编码中的产生代码量。

2.编码装置中的内编码模式/预测模式判断处理

详细说明作为本实施例2的编码装置的特征的内编码模式和内预测模式的判断处理。以集合了上述3个颜色成分的宏块为单位实施本处理，并主要由图11的编码装置中的空间预测部件2、编码模式判断部件5执行。另外，图14表示出本处理的流程的流程图。以下，将构成块的3个颜色成分的图像数据设为C0、C1、C2。

首先，编码模式判断部件5接收内编码模式共通化识别标志33，根据其值，判断对C0、C1、C2是否使用共通的内编码模式(图14的步骤S20)。在共通化的情况下，前进到步骤S21以后，在不共通化的情况下，前进到步骤S22以后。

在对C0、C1、C2共通使用内编码模式的情况下，编码模式判断部件5向空间预测部件2通知能够选择的全部内预测模式(内N×N预测、内16×16预测)，空间预测部件2对其全部的预测效率进行评价，选择对全部成分最优的内编码模式和内预测模式(步骤S21)。

另一方面对C0、C1、C2分别选择最优的模式的情况下，编码模式判断部件5向空间预测部件2通知对Ci(i＜＝0＜3)成分能够选择的全部内预测模式(内N×N预测、内16×16预测)，空间预测部件2对其全部的预测效率进行评价，选择Ci(i＜＝0＜3)成分的最优的内4×4预测模式(步骤S23)。

在上述步骤S21、S23中，空间预测部件2选择了内4×4预测模式作为产生最优的预测效率的模式的情况下，将变换块大小识别标志32设置为“4×4块大小的变换”，在空间预测部件2选择了内8×8预测模式作为产生最优的预测效率的模式的情况下，将变换块大小识别标志32设置为“8×8块大小的变换”。

作为在空间预测部件2中执行的预测模式的预测效率评价的规范，例如可以使用由以下公式给出的速率、失真成本。

Jm＝Dm+λRm(λ为正数)

在此，Dm是适用了内预测模式m的情况下的编码失真或预测误差量。编码失真是指适用内预测模式m而得到预测误差，根据对预测误差进行变换、量子化的结果对影像进行解码，测量相对于编码前的信号的误差所得的结果。预测误差量是取得适用了内预测模式m的情况下的预测图像与编码前的信号的差分，对该差分的大小进行量化所得的结果，例如可以使用差分绝对值和(Sum of AbsoluteDistance：SAD)等。Rm是适用了内预测模式m的情况下的产生代码量。即，Jm是规定适用了内预测模式m的情况下的代码量与恶化度的平衡(trade-off)的值，产生最小的Jm的内预测模式m产生最优解。

在编码装置进行了步骤S21以后的处理的情况下，向包含3个颜色成分的宏块分配一个内预测模式的信息。另一方面，在进行了步骤S22以后的处理的情况下，向各颜色成分分别分配内预测模式信息(共计3个)。因此，由于向宏块分配的内预测模式的信息不同，所以必须将内预测模式共通化识别标志23多路复用到比特流中，使得能够在解码装置侧识别编码装置是进行了S21以后的处理过程、还是进行了S23以后的处理过程。图15表示这样的比特流的数据数组。

在图15中，按照宏块水平多路复用为比特流的内编码模式0(34a)、1(34b)、2(34c)分别表示与C0、C1、C2成分对应的编码模式6。在内编码是内N×N预测编码模式的情况下，将变换块大小识别标志32、内预测模式的信息多路复用到比特流中。另一方面，在内编码模式是内16×16预测编码模式的情况下，将内预测模式的信息编码为内编码模式信息的一部分，不将变换块大小识别标志32、内预测模式的信息多路复用到比特流中。在内编码模式共通化识别标志33表示“C0、C1、C2共通”的情况下，不将内编码模式1(34b)、2(34c)、变换块大小识别标志1(32b)、2(32c)、内预测模式1(35b)、2(35c)多路复用到比特流中(图15中的虚线的圆圈部分表示其分支)。这时，内编码模式0(34a)、变换块大小识别标志0(32a)、内预测模式0(35a)分别作为全部颜色成分共通的编码信息产生作用。对于内编码模式共通化识别标志33，在图15中表示了被多路复用为切片、画像、序列等比宏块更上位水平的比特流数据的例子。特别在如本实施例2中列举的例子那样使用的情况下，由于颜色空间大多通过序列而不产生变化，所以通过预先在序列水平上对内编码模式共通化识别标志33进行多路复用，能够达到目的。

在本实施例2中，在“是否全部成分共通”的意义上使用了内编码模式共通化识别标志33，但也可以与输入影像信号1的颜色空间定义对应地例如在“是否对于C1、C2等特定的2个成分共通”的意义上使用它(在Y、Cb、Cr这样的情况下，对Cb和Cr可以共通化的可能性高)。进而，在将内编码模式共通化识别标志33的共通化范围只限于内编码模式，而使用内N×N预测模式的情况下，也可以构成为能够对各颜色成分独立地选择变换块大小、N×N预测模式(图16)。根据图16这样的文法结构，针对需要N×N预测这样的复杂图形的影像，可以在使编码模式信息共通化的同时，对每个颜色成分变更预测方法，能够提高预测效率。

另外，如果预先已知编码装置和解码装置的双方是怎样的装置，则也可以不将内编码模式共通化识别标志33的信息包含在视频的比特流中传送。在该情况下，例如编码装置可以构成为将内编码模式共通化识别标志33固定为任意的值进行编码，也可以与视频的比特流分别地进行传送。

3.解码装置的动作概要

图12的解码装置接收从图11的编码装置输出的与图15的数组对应的视频流22，以同一大小(4:4:4格式)的宏块为单位对3个颜色成分进行解码处理，复原各个影像帧。

首先，可变长解码部件25输入流22，依照规定的规则(syntax)解读流22，抽出内编码模式共通化识别标志33、量子化后变换系数10、编码模式6、量子化参数21等信息。量子化后变换系数10与量子化参数21一起被输入到逆量子化部件12，进行逆量子化处理。另外，其输出被输入到逆正交变换部件13，被复原为局部解码预测差分信号14。另一方面，向空间预测部件2输入编码模式6和内编码模式共通化识别标志33，依照这些信息得到预测图像7。将在后面说明得到预测图像7的具体步骤。由加法器18将局部解码预测差分信号14和预测图像7相加，得到暂定解码图像15(它是与编码装置中的局部解码图像15完全相同的信号)。为了在以后的宏块的内预测中使用，而将暂定解码图像15写回到存储器16中。针对每个颜色成分而准备3面存储器。另外，根据由可变长解码部件25解读的去块过滤控制标志24的指示，使去块过滤器26对暂定解码图像15产生作用，得到最终的解码图像27。

4.解码装置的内预测解码处理

详细说明作为本实施例2的解码装置的特征的内预测图像生成处理。按照集合了上述3个颜色成分的宏块的单位实施本处理，主要由图12的解码装置中的可变长解码部件25、空间预测部件2执行。另外，图17表示出表示本处理的流程的流程图。

在可变长解码部件25中执行图17的流程图中的S25～S38。作为向可变长解码部件25的输入的视频流22与图15的数据数组一致。在步骤S25中，首先对图15的数据中的内编码模式0(34a)(与C0对应)进行解码。在结果是内编码模式0(34a)是“内N×N预测”的情况下，对变换块大小识别标志0(32a)、内预测模式0(35a)进行解码(步骤S26、27)。接着，在根据内编码模式共通化识别标志33的状态，判断为内编码、预测模式对全部颜色成分共通的情况下，将内编码模式0(34a)、变换块大小识别标志0(32a)、内预测模式0(35a)设置为对C1和C2成分使用的编码信息(步骤S29、S30)。图17图示了宏块单位的处理，在进行如到图17开始的处理之前，按照切片以上的层水平由可变长解码部件25从比特流22中读出在步骤S29中使用的内编码模式共通化识别标志33。

在通过图17的步骤S29判断出对每个颜色成分编码了内编码、预测模式信息的情况下，在接着的步骤S31～S38的处理中，对C1和C2成分用的内编码、预测模式信息进行解码。经过以上处理过程而确定了各颜色成分的编码模式6，将其输入到空间预测部件2，按照步骤S39～S41得到各颜色成分的内预测图像。得到内预测图像的处理与图3、图4、图13的步骤一致，与在图11的编码装置中进行的处理一样。

另外，如上述那样，对于内编码模式共通化识别标志33，如果预先已知编码装置和解码装置的双方是怎样的装置，则解码装置也可以不从视频的比特流中分析其值，例如构成为用预先固定的值进行解码，也可以与视频的比特流分别地传送。

在现有的影像编码标准中采用的4:2:0格式中，颜色空间的定义固定为Y、Cb、Cr，但在4:4:4格式中，不限于Y、Cb、Cr，而可以利用多样的颜色空间。通过如图15、图16那样构成内预测宏块的编码信息，可以与输入影像信号1的颜色空间定义、影像信号的性质对应地进行最优的编码处理，同时能够唯一地解释这样的编码处理的结果所得到的比特流而进行影像解码重放处理。

实施例3

在本实施例3中，表示图11的编码装置、图12的解码装置的其他结构例子。本编码装置、解码装置与实施例1一样，以作为非专利文献1的MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264规格所采用的编码方式为基础，并对本发明附加固有的特征。本实施例3的影像编码装置在图11说明了的实施例2的编码装置中，只有可变长编码部件11不同。本实施例3的影像解码装置在图12说明了的实施例2的解码装置中，只有可变长解码部件25不同。其他进行与实施例2同样的动作，在此只说明差异部分。

1.编码装置的内预测模式信息的编码步骤

在实施例2的编码装置中，在其可变长编码部件11中，对于内N×N预测模式的信息，表示了比特流上的数据数组，但没有特别表示其编码步骤。在本实施例中，表示该编码步骤的具体方法。在本实施例中，特别地具有以下的特征点：考虑到内N×N预测模式的值在颜色成分之间具有高相关性的情况，而对用各颜色成分得到的内N×N预测模式，进行利用了颜色成分之间的值的相关性的平均信息量(entropy)编码。

在以下的说明中，以图1 6的形式的比特流数组为前提。另外，为了简化说明，假设内编码模式共通化识别标志33设置为对C0、C1、C2使内编码模式共通化，内编码模式为内N×N预测模式，变换块大小0～2为4×4块。这时，内预测模式0～2(35a～35c)全部为内4×4预测模式。在图18～图20中，假设作为编码对象的当前宏块为X。另外，假设其左邻的宏块为宏块A，正上的宏块为宏块B。

使用图18～图20作为C0、C1、C2的各颜色成分的编码步骤的说明图。另外，图21、图22表示步骤的流程图。

图18表示了宏块X的C0成分的情况。在此，将编码对象的4×4块称为块X，块X的左、上的4×4块分别称为块A、块B。在宏块X中，与编码对象的4×4块的位置对应地有2种情况。情况1是相对于编码对象的4×4块，其左、上的4×4块属于除了当前宏块X以外的块，即宏块A乃至宏块B的情况。情况2是相对于编码对象的4×4块，其左、上的4×4块属于当前宏块X的内部，即属于宏块X的情况。对于任意的情况，都逐一地向宏块X内的各个4×4块X分配内4×4预测模式，设其为CurrIntraPredMode。另外，设块A的内4×4预测模式为IntraPredModeA，块B的内4×4预测模式为IntraPredModeB。IntraPredModeA、IntraPredModeB都是在对块X进行编码的时刻已经编码了的信息。在对某块X的内4×4预测模式进行编码时，首先进行这些参数的分配(图21中的步骤S50)。

接着，用下式确定与块X的CurrIntraPredMode对应的预测值predCurrIntraPredMode(步骤S51)。

predCurrIntraPredMode＝Min(IntraPredModeA、IntraPredModeB)

接着，进行C0成分的CurrIntraPredMode的编码。在此，如果CurrIntraPredMode＝predCurrIntraPredMode，则对表示与预测值相同的情况的1比特的标志(prev_intra_pred_mode_flag)进行编码。如果CurrIntraPredMode！＝predCurrIntraPredMode，则对CurrIntraPredMode和predCurrIntraPredMode进行比较，在CurrIntraPredMode小的情况下，原样地对CurrIntraPredMode进行编码。在CurrIntraPredMode大的情况下，对CurrIntraPredMode-1进行编码(步骤S52)。

if(CurrIntraPredMode＝＝predCurrIntraPredMode)

{

     prev_intra_pred_mode_flag＝1；

}

else

{

   prev_intra_pred_mode_flag＝0；

   if(CurrIntraPredMode＜predCurrIntraPredMode)

     rem_intra_pred_mode＝CurrIntraPredMode；

else

 rem_intra_pred_mode＝CurrIntraPredMode-1；

}

Encode prev_intra_pred_mode_flag；

If(prev_intra_pred_mode_flag＝0)

  Encode rem_intra_pred_mode；

接着，根据图19，表示C1成分的编码步骤。首先，与C0成分一样，与块X的位置对应地设置IntraPredModeA、IntraPredModeB等的近旁的编码参数(步骤S53)。

接着，用下式确定与块X的CurrIntraPredMode对应的预测值候选1predCurrIntraPredMode1(步骤S54)。

predCurrIntraPredMode1＝Min(IntraPredModeA，IntraPredModeB)

如果在C0成分中prev_intra_pred_mode_flag＝1，则对C1成分的块X的predCurrIntraPredMode原样地采用该predCurrIntraPredMode。其理由如下。如果在C0成分的同一块位置上采用了prev_intra_pred_mode_flag＝1，则表示在C0成分中，在近旁图像区域中预测模式之间的相关性高。在C0成分和C1成分之间没有完全排除上下文构造的相关性的RGB信号等的情况下，这样的情况在C1成分中与C0成分一样，在近旁图像区域之间有可能相关性高。因此，判断为C1成分的预测值不依存于C0成分的内4×4预测模式。

另一方面，在C0成分中，对prev_intra_pred_mode_flag＝0，即rem_intra_pred_mode进行了解码的情况下(步骤S55)，设C0成分的CurrIntraPredMode为预测值候选2(步骤S56)。即，

predCurrIntraPredMode2＝CurrIntraPredMode_C0

将其作为预测值候选的背景如下。如果对C0成分编码rem_intra_pred_mode，则表示在C0成分中近旁图像区域之间的内预测的相关性低。在该情况下，对于C1成分也一样预想近旁图像区域之间的相关性低，不同的颜色成分的同一块位置的内预测模式有可能产生更高的预测值。

C1成分的块X的CurrIntraPredMode的预测值最终确定为predCurrIntraPredMode1和predCurrIntraPredMode2的任意一方的值(步骤S57)。对于使用哪个值，用1比特的标志(pred_flag)追加进行编码。其中，pred_flag只在CurrIntraPredMode与预测值一致时编码，在不一致的情况下(对rem_intra_pred_mode进行编码的情况)下，预测值使用predCurrIntraPredMode1。

如果用公式记载以上的步骤，则如下：

If(prev_intra_pred_mode_flag_C0＝＝1)

{

   predCurrIntraPredMode＝Min(IntraPredModeA，IntraPredModeB)；

}

else

{

   predCurrIntraPredMode1＝Min(IntraPredModeA，IntraPredModeB)；

   predCurrIntraPredMode2＝CurrIntraPredMode_C0；

   if(CurrIntraPredMode＝＝predCurrIntraPredMode1)

{

     prev_intra_pred_mode_flag＝1；

     pred_flag＝0；//使用预测值候选1

    }

    else if(CurrIntraPredMode＝＝predCurrIntraPredMode2)

{

     prev_intra_pred_mode_flag＝1；

     pred_flag＝1；//使用预测值候选2

   }

   else

{

prev_intra_pred_mode_flag＝0；

      if(CurrIntraPredMode＜predCurrIntraPredMode1)

      rem_intra_pred_mode＝CurrIntraPredMode；

     else

       rem_intra_pred_mode＝CurrIntraPredMode-1；

}

}

Encode prev_intra_pred_mode_flag；

if(prev_intra_pred_mode_flag＝＝1)

   Encode pred_flag；

 else//If(prev_intra_pred_mode_flag＝＝0)

  Encode rem_intra_pred_mode；

其结果是将prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_mode编码为编码数据(步骤S58)。

接着，根据图20，表示C2成分的编码步骤。首先与C0、C1成分一样，与块X的位置对应地设置IntraPredModeA、IntraPredModeB等的近旁的编码参数(步骤S59)。

接着，用下式确定与块X的CurrIntraPredMode对应的预测值候选1predCurrIntraPredMode1(步骤S60)。

predCurrIntraPredMode1＝Min(IntraPredModeA，IntraPredModeB)

如果在C0、C1成分双方中，prev_intra_pred_mode_flag＝1，则对C1成分的块X的predCurrIntraPredMode原样地采用该predCurrIntraPredMode1。其理由如下。如果在C0、C1成分的同一块位置上采用了prev_intra_pred_mode_flag＝1，则表示在C0、C1成分中，在近旁图像区域中预测模式之间的相关性高。在C0、C1成分和C2成分之间没有完全排除上下文构造的相关性的RGB信号等的情况下，这样的情况在C2成分中与C0、C1成分一样，在近旁图像区域之间有可能相关性高。因此，判断为C2成分的预测值不依存于C0、C1成分的内4×4预测模式。

另一方面，在C0乃至C1成分中，对prev_intra_pred_mode_flag＝0，即对rem_intra_pred_mode进行了编码的情况下(步骤S61)，设C0乃至C1成分的CurrIntraPredMode为预测值候选2(步骤S62)。即，

If(prev_intra_pred_mode_flag_C0＝＝0&&pred_intra_pred_mode_flag_C1＝＝1)

predCurrIntraPredMode2＝CurrIntraPredMode_C0；

else if(prev_intra_pred_mode_flag_C0＝＝1&&pred_intra_pred_mode_flag_C1＝＝0)pre

dCurrIntraPredMode2＝CurrIntraPredMode_C1；

else

predCurrIntraPredMode2＝CurrIntraPredMode_C1；

将其作为预测值候选的背景如下。如果对C0乃至C1成分编码rem_intra_pred_mode，则表示在C0乃至C1成分中近旁图像区域之间的内预测的相关性低。在该情况下，对于C2成分也一样预想近旁图像区域之间的相关性低，不同的颜色成分的同一块位置的内预测模式有可能产生更高的预测值。另外，根据以上的考虑方法，在对于C0、C1成分都编码rem_intra_pred_mode的情况下，C0、C1双方的当前内预测模式都可能成为预测值的候选，但在此，采用C1成分的当前内预测模式作为预测值。其理由是：在输入YUV颜色空间的情况下，将C0作为亮度、C1/C2作为色差进行处理的可能性高，在该情况下，可以认为C1比C0更接近C2的预测模式。在输入RGB空间的情况下，可以认为选择C0还是选择C1并不是很大的因素，一般对预测值采用C1成分是妥当的(也可以根据设计对预测值采用C2成分)。

C2成分的块X的CurrIntraPredMode的预测值最终确定为predCurrIntraPredMode1和predCurrIntraPredMode2的任意一方的值(步骤S63)。对于使用哪个值，用1比特的标志(pred_flag)追加进行编码。如果用公式记载以上的步骤，则如下：

If(prev_intra_pred_mode_flag_C0＝＝1&&prev_intra_pred_mode_flag＝＝1)

{

   predCurrIntraPredMode＝Min(IntraPredModeA，IntraPredModeB)；

}

else

{

    predCurrIntraPredMode1＝Min(IntraPredModeA，IntraPredModeB)；

If(prev_intra_pred_mode_flag_C0＝＝0&&pred_intra_pred_mode_flag_C1＝＝1)

predCurrInLraPredMode2＝CurrIntraPredMode_C0；

else if(prev_intra_pred_mode_flag_C0＝＝1&&pred_intra_pred_mode_flag_C1＝＝0)pre

dCurrIntraPredMode2＝CurrIntraPredMode_C1；

else

predCurrIntraPredMode2＝CurrIntraPredMode_C1；

    if(CurrIntraPredMode＝＝predCurrIntraPredMode1)

    {

        prev_intra_pred_mode_flag＝1；

        pred_flag＝0；//使用预测值候选1

}

    else if(CurrIntraPredMode＝＝predCurrIntraPredMode2)

{

       prev_intra_pred_mode_flag＝1；

       pred_flag＝1；//使用预测值候选2

    }

    else

{

prev_intra_pred_mode_flag＝0；

    if(CurrIntraPredMode＜predCurrIntraPredMode1)

       rem_intra_pred_mode＝CurrIntraPredMode；

     else

       rem_intra_pred_mode＝CurrIntraPredMode-1；

}

}

Encode prev_intra_pred_mode_flag；

if(prev_intra_pred_mode_flag＝＝1)

  Encode pred_flag；

else//If(prev_intra_pred_mode_flag＝＝0)

  Encode rem_intra_pred_mode；

其结果是将prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_mode编码为编码数据(步骤S64)。

可以对内8×8预测模式也同样地定义以上所述的编码步骤。通过用这样的步骤对内N×N预测模式进行编码，能够在其他颜色成分中利用与选择的预测模式之间的相关性，能够削减预测模式自身的代码量，提高编码效率。

图21和图22的不同在于对每个颜色成分将每MB的内预测模式的编码处理分离还是统一的不同。在图21的情况下，按照4×4块的单位进行各颜色成分的编码，将集中了16模式的这些数据数组为比特流(步骤S65)。在图22的情况下，是统一地对各颜色成分的16个4×4块进行编码，对颜色成分区分地将其数组为比特流的形式(步骤S66、S67、S68)。

另外，在上述的步骤中，pred_flag只在prev_intra_pred_mode_flag为1时成为有效的信息，但也可以确定为也包括prev_intra_pred_mode_flag为0的情况。即，例如如果列举C1的成分的例子，则也可以构成为按照以下这样的步骤进行编码。

If(prev_intra_pred_mode_flag_C0＝＝1)

{

   predCurrIntraPredMode＝Min(IntraPredModeA，IntraPredModeB)；

if(CurrIntraPredMode＝＝predCurrIntraPredMode)

    {

   prev_intra_pred_mode_flag＝1；

     }

Else{

  if(CurrIntraPredMode＜predCurrIntraPredMode)

     rem_intra_pred_mode＝CurrIntraPredMode；

  else

     rem_intra_pred_mode＝CurrIntraPredMode-1；

  }

}

else

{

      predCurrIntraPredMode1＝Min(IntraPredModeA，IntraPredModeB)；

      predCurrIntraPredMode2＝CurrIntraPredMode_C0；

if(CurrIntraPredMode＝＝predCurrIntraPredMode1)

{

       prev_intra_pred_mode flag＝1；

       pred_flag＝0；//使用预测值候选1

}

else if(CurrIntraPredMode＝＝predCurrIntraPredMode2)

{

     prev_intra_pred_mode_flag＝1；

     pred_flag＝1；//使用预测值候选2

}

else

{

prev_intra_pred_mode_flag＝0；

if(|CurrIntraPredMode-predCurrIntraPredMode1|＜

      |CurrIntraPredMode predCurrIntraPredMode2|)

{

     pred_flag＝0；

     predCurrIntraPredMode＝predCurrIntraPredMode1；

}

Else

{

     pred_flag＝1；

     predCurrIntraPredMode＝predCurrIntraPredMode2；

}

     if(CurrIntraPredMode＜predCurrIntraPredMode)

       rem_intra_pred_mode＝CurrIntraPredMode；

    else

      rem_intra_pred_mode＝CurrIntraPredMode-1；

    }

}

Encode prev_intra_pred_mode_flag；

If(prev_intra_pred_mode_flag_C0＝＝0)

Encode pred_flag；

If(prev_intra_pred_mode_flag＝＝0)

  Encode rem_intra_pred_mode；

在该方法中，在C0成分的同一位置的块的内预测模式下对rem_intra_pred_mode进行编码的情况下，始终对pred_flag进行编码，但在prev_intra_pred_mode_flag＝0的情况下，也能够使用精度更高的预测值，能够期待改善编码效率。另外，进一步地也可以构成为不依存于是否在C0成分的同一位置的块的内预测模式下对rem_intra_pred_mode进行编码，而对pred_flag进行编码。在该情况下，始终将C0成分的内预测模式作为预测值候选使用。

即，该情况下的公式如下。

  predCurrIntraPredMode1＝Min(IntraPredModeA，IntraPredModeB)；

  predCurrIntraPredMode2＝CurrIntraPredMode_C0；

if(CurrIntraPredMode＝＝predCurrIntraPredMode1)

{

     prev_intra_pred_mode_flag＝1；

     pred_flag＝0；//使用预测值候选1

}

else if(CurrIntraPredMode＝＝predCurrIntraPredMode2)

{

     prev_intra_pred_mode_flag＝1；

     pred_flag＝1；//使用预测值候选2

}

else

{

prev_intra_pred_mode_flag＝0；

if(|CurrIntraPredMode-predCurrIntraPredMode1|＜

      |CurrIntraPredMode predCurrIntraPredMode2|)

{

pred_flag＝0；

     predCurrIntraPredMode＝predCurrIntraPredMode1；

}

Else

{

     pred_flag＝1；

     predCurrIntraPredMode＝predCurrIntraPredMode2；

}

     if(CurrIntraPredMode＜predCurrIntraPredMode)

       rem_intra_pred_mode＝CurrIntraPredMode；

      else

       rem_intra_pred_mode＝CurrIntraPredMode-1；

 }

Encode prev_intra_pred_mode_flag；

Encode pred_flag；

If(prev_intra_pred_mode_flag＝＝0)

   Encode rem_intra_pred_mode；

另外，不只是4×4块单位，也可以按照宏块或序列的单位设置pred_flag。在按照宏块单位进行设置的情况下，对于宏块内的全部4×4块，使使用预测值候选1乃至预测值候选2的哪个的情况共通化，因此能够进一步削减作为pred_flag进行传送的开销信息。另外，为了与输入颜色空间定义对应地确定预测值候选1乃至预测值候选2的哪个，也可以按照序列的单位确定。在该情况下，不需要对每个宏块传送pred_flag，可以进一步削减开销信息。

2.解码装置的内预测模式信息的解码步骤

在实施例2的解码装置中，在其可变长解码部件25中，对于内N×N预测模式的信息，表示了比特流上的数据数组，但没有特别表示其编码步骤。在本实施例3中，表示该编码步骤的具体方法。在本实施例3中，特别地具有以下的特征点：考虑到内N×N预测模式的值在颜色成分之间具有高相关性的情况，而对用各颜色成分得到的内N×N预测模式，进行利用了颜色成分之间的值的相关性的平均信息量(entropy)编码。

在以下的说明中，以图16的形式的比特流数组为前提。另外，由于将说明限定于内预测模式的解码步骤，所以假设将比特流中的内编码模式共通化识别标志33的值设置为对C0、C1、C2使内编码模式共通化。另外，假设内编码模式为内N×N预测模式，变换块大小0～2为4×4块。这时，内预测模式0～2(35a～35c)全部为内4×4预测模式。与编码装置一样，在解码装置中也使用图18～图20的关系。在解码装置中，假设作为编码对象的当前宏块为X。另外，假设其左邻的宏块为宏块A，正上的宏块为宏块B。图23表示解码步骤的流程图。在图23中，附加了与图21、图22一样的编号的步骤表示执行与编码装置的处理一样的处理。

图18表示了宏块X的C0成分的情况。在宏块X中，与编码对象的4×4块的位置对应地有2种情况。情况1是相对于编码对象的4×4块，其左、上的4×4块属于除了当前宏块X以外的块，即宏块A乃至宏块B的情况。情况2是相对于编码对象的4×4块，其左、上的4×4块属于当前宏块X的内部，即属于宏块X的情况。在此，将编码对象的4×4块称为块X，将块X的左、上的4×4块分别称为块A、块B。对于任意的情况，都逐一地向宏块X内的各个4×4块X分配内4×4预测模式，设其为CurrIntraPredMode。另外，设块A的内4×4预测模式为IntraPredModeA，块B的内4×4预测模式为IntraPredModeB。IntraPredModeA、IntraPredModeB都是在对块X进行编码的时刻已经编码了的信息。在对某块X的内4×4预测模式进行编码时，首先进行这些参数的分配(步骤S50)。

接着，用下式确定与块X的CurrIntraPredMode对应的预测值predCurrIntraPredMode(步骤S51)。

predCurrIntraPredMode＝Min(IntraPredModeA、IntraPredModeB)

接着，对表示是否是CurrIntraPredMode＝predCurrIntraPredMode的1比特的标志(prev_intra_pred_mode_flag)进行解码。prev_intra_pred_mode_flag＝1表示CurrIntraPredMode＝predCurrIntraPredMode。否则(prev_intra_pred_mode_flag＝0)，从比特流中解码rem_intra_pred_mode的信息。对rem_intra_pred_mode和predCurrIntraPredMode进行比较，在rem_intra_pred_mode小的情况下，设为CurrIntraPredMode＝rem_intra_pred_mode。在CurrIntraPredMode大的情况下，设为CurrIntraPredMode＝rem_intra_pred_mode+1(步骤S65)。

如果总结这些步骤，则如下。

predCurrIntraPredMode＝Min(IntraPredModeA，IntraPredModeB)；

Decode prev_intra_pred_mode_flag；

if(prev_intra_pred_mode_flag＝＝1)

{

     CurrIntraPredMode＝＝predCurrIntraPredMode；

}

else

{

    Decode rem_intra_pred_mode；

    if(rem_intra_pred_mode＜predCurrIntraPredMode)

      CurrIntraPredMode＝rem_intra_pred_mode；

    else

     CurrIntraPredMode＝rem_intra_pred_mode+1；

}

接着，根据图19，表示C1成分的编码步骤。首先，与C0成分一样，与块X的位置对应地设置IntraPredModeA、IntraPredModeB等的近旁的编码参数(步骤S53)。

接着，用下式确定与块X的CurrIntraPredMode对应的预测值候选1predCurrIntraPredMode1(步骤S54)。

predCurrIntraPredMode1＝Min(IntraPredModeA，IntraPredModeB)

如果在C0成分中prev_intra_pred_mode_flag＝1，则对C1成分的块X的predCurrIntraPredMode原样地采用该predCurrIntraPredMode。这与在编码装置中说明了的理由一样。

另一方面，在C0成分中，对prev_intra_pred_mode_flag＝0，即rem_intra_pred_mode进行了解码的情况下(步骤S55)，设C0成分的CurreIntraPredMode2为预测值候选2(步骤S56)。即，

predCurrIntraPredMode2＝CurrIntraPredMode_C0

将其作为预测值候选的背景也与在编码装置中说明了的理由一样。

C1成分的块X的CurrIntraPredMode的预测值最终确定为predCurrIntraPredMode1和predCurrIntraPredMode2的任意一方的值(步骤S57)。对于使用哪个值，对1比特的标志(pred_flag)进行解码而确定。其中，pred_flag只在CurrIntraPredMode与预测值一致时编码，在不一致的情况下(对rem_intra_pred_mode进行编码的情况)下，预测值使用predCurrIntraPredMode1。

在产生了预测值候选1、预测值候选2、prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_mode的基础上，通过以下的步骤，对CurrIntraPredMode进行解码(步骤S66)。

if(prev_intra_pred_mode_flag_C0＝＝1)

{

   pred_flag＝0；//这时，pred_flag不包含在比特流中

   predCurrIntraPredMode＝Min(IntraPredModeA，IntraPredModeB)；

     Decode prev_intra_pred_mode_flag；

     if(prev_intra_pred_mode_flag＝＝1)

    {

      CurrIntraPredMode＝＝predCurrIntraPredMode；

    }

else

    {

      Decode rem_intra_pred_mode；

      if(rem_intra_pred_mode＜predCurrIntraPredMode)

        CurrIntraPredMode＝rem_intra_pred_mode；

      else

        CurrIntraPredMode＝rem_intra_pred_mode+1；

    }

}

else

{

    predCurrIntraPredMode1＝Min(IntraPredModeA，IntraPredModeB)；

    predCurrIntraPredMode2＝CurrIntraPredMode_C0；

    Decode prev_intra_pred_mode_flag；

    if(prev_intra_pred_mode_flag＝＝1)

    {

        Decode pred_flag；

If(pred_flag＝＝0)

         predCurrIntraPredMode＝predCurrIntraPredMode1；

    Else

       predCurrlntraPredMode＝predCurrlntraPredMode2；

    CurrIntraPredMode＝＝predCurrIntraPredMode；

    }

else

    {

    predCurrIntraPredMode＝predCurrIntraPredMode1；

    Decode rem_intra_pred_mode；

    if(rem_intra_pred_mode＜predCurrIntraPredMode)

       CurrIntraPredMode＝rem_intra_pred_mode；

    else

       CurrIntraPredMode＝rem_intra_pred_mode+1；

    }

}

接着，根据图20，表示C2成分的解码步骤。首先，与C0、C1一样，与块X的位置对应地设置IntraPredModeA、IntraPredModeB等的近旁的编码参数(步骤S59)。

接着，用下式确定与块X的CurrIntraPredMode对应的预测值候选1predCurrIntraPredMode1(步骤S60)。

predCurrIntraPredMode1＝Min(IntraPredModeA，IntraPredModeB)

如果在C0、C1成分双方中，prev_intra_pred_mode_flag＝1，则对C1成分的块X的predCurrIntraPredMode原样地采用该predCurrIntraPredMode1。这与在编码装置中说明了的理由一样。

另一方面，在C0乃至C1成分中，对prev_intra_pred_mode_flag＝0，即对rem_intra_pred_mode进行了编码的情况下(步骤S61)，设C0乃至C1成分的CurrIntraPredMode为预测值候选2(步骤S62)。即，

If(prev_intra_pred_mode_flag_C0＝＝0&&pred_intra_pred_mode_flag_C1＝＝1)

predCurrIntraPredMode2＝CurrIntraPredMode_C0；

else if(prev_intra_pred_mode_flag_C0＝＝1&&pred_intra_pred_mode_flag_C1＝＝0)pre

dCurrIntraPredMode2＝CurrIntraPredMode_C1；

else

predCurrIntraPredMode2＝CurrIntraPredMode_C1；

将其作为预测值候选的背景也与在编码装置中说明了的理由一样。

C2成分的块X的CurrIntraPredMode的预测值最终确定为predCurrIntraPredMode1和predCurrIntraPredMode2的任意一方的值(步骤S63)。对于使用哪个值，对1比特的标志(pred_flag)进行解码而确定。其中，pred_flag只在CurrIntraPredMode与预测值一致时编码，在不一致的情况下(对rem_intra_pred_mode进行编码的情况)下，预测值使用predCurrIntraPredMode1。

在产生了预测值候选1、预测值候选2、prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_mode的基础上，通过以下的步骤，对CurrIntraPredMode进行解码(步骤S71)。

if(prev_intra_pred_mode_flag_C0＝＝1&&prev_intra_pred_mode_flag_C1＝＝1)

{

    pred_flag＝0；//这时，pred_flag不包含在比特流中

    predCurrIntraPredMode＝Min(IntraPredModeA，IntraPredModeB)；

      Decode prev_intra_pred_mode_flag；

      if(prev_intra_pred_mode_flag＝＝1)

      {

         CurrIntraPredMode＝＝predCurrIntraPredMode；

      }

else

     {

       Decode rem_intra_pred_mode；

       if(rem_intra_pred_mode＜predCurrIntraPredMode)

          CurrIntraPredMode＝rem_intra_pred_mode；

       else

         CurrIntraPredMode＝rem_intra_pred_mode+1；

     }

}

else

{

     predCurrIntraPredModel＝Min(IntraPredModeA，IntraPredModeB)；

If(prev_intra_pred_mode_flag_C0＝＝0&&pred_intra_pred_mode_tlag_C1＝＝1)

predCurrIntraPredMode2＝CurrIntraPredMode_C0；

else if(prev_intra_pred_mode_flag_C0＝1&&pred_intra_pred_mode_flag_C1＝＝0)pre

dCurrIntraPredMode2＝CurrIntraPredMode_C1；

else

predCurrIntraPredMode2＝CurrIntraPredMode_C1；

    Decode_prev_intra_pred_mode_flag；

    if(prev_intra_pred_mode_flag＝＝1)

    {

       Decode pred_flag；

If(pred_flag＝＝0)

          predCurrIntraPredMode＝predCurrIntraPredMode1；

       Else

         predCurrIntraPredMode＝predCurrIntraPredMode2；

       CurrIntraPredMode＝＝predCurrIntraPredMode；

     }

else

     {

       predCurrIntraPredMode＝predCurrIntraPredMode1；

       Decode rem_intra_pred_mode；

       if(rem_intra_pred_mode＜predCurrIntraPredMode)

          CurrIntraPredMode＝rem_intra_pred_mode；

       else

         CurrIntraPredMode＝rem_intra_pred_mode+1；

     }

}

也可以对内8×8预测模式同样地定义以上所述的解码步骤。通过用这样的步骤对内N×N预测模式进行解码，能够在其他颜色成分中利用与选择的预测模式之间的相关性，能够削减预测模式自身的代码量，提高解码效率。

另外，在上述的步骤中，pred_flag是只在prev_intra_pred_mode_flag为1的情况下被解码的信息，但也可以包含prev_intra_pred_mode_flag为0的情况进行解码。

即，例如如果列举C1的成分的例子，则也可以构成为按照以下这样的步骤进行解码。

if(prev_intra_pred_mode_flag_C0＝＝1)

{

   predCurrIntraPredMode＝Min(IntraPredModeA，IntraPredModeB)；

     Decode prev_intra_pred_mode_flag；

     if(prev_intra_pred_mode_flag＝＝1)

     {

        CurrIntraPredMode＝＝predCurrIntraPredMode；

     }

else

     {

       Decode rem_intra_pred_mode；

       if(rem_intra_pred_mode＜predCurrIntraPredMode)

         CurrIntraPredMode＝rem_intra_pred_mode；

     else

       CurrIntraPredMode＝rem_intra_pred_mode+1；

    }

}

else

{

       predCurrIntraPredMode1＝Min(IntraPredModeA，IntraPredModeB)；

     predCurrIntraPredMode2＝CurrIntraPredMode_C0；

     Decode prev_intra_pred_mode_flag；

     Decode pred_flag；

If(pred_flag＝＝0)

      predCurrIntraPredMode＝predCurrIntraPredMode1；

     Else

      predCurrIntraPredMode＝predCurrIntraPredMode2；

     if(prev_intra_pred_mode_flag＝＝1)

     {

       CurrIntraPredMode＝＝predCurrIntraPredMode；

     }

else

     {

       Decode rem_intra_pred_mode；

       if(em_intra_pred_mode＜predCurrIntraPredMode)

         CurrIntraPredMode＝rem_intra_pred_mode；

       else

         CurrIntraPredMode＝rem_intra_pred_mode+1；

      }

}

该方法的效果如在编码装置侧的编码步骤的记载中说明了的那样。另外，进一步地也可以构成为不依存于是否在C0成分的同一位置的块的内预测模式下对rem_intra_pred_mode进行解码，而对pred_flag进行编码。在该情况下，始终将C0成分的内预测模式作为预测值候选使用。

即，

predCurrIntraPredMode1＝Min(IntraPredModeA，IntraPredModeB)；

predCurrIntraPredMode2＝CurrIntraPredMode_C0；

     Decode prev_intra_pred_mode_flag；

     Decode pred_flag；

If(pred_flag＝＝0)

      predCurrIntraPredMode＝predCurrIntraPredMode1；

   Else

    predCurrIntraPredMode＝predCurrIntraPredMode2；

   if(prev_intra_pred_mode_flag＝＝1)

{

     CurrIntraPredMode＝＝predCurrIntraPredMode；

}

else

    {

      Decode rem_intra_pred_mode；

      if(rem_intra_pred_mode＜predCurrIntraPredMode)

        CurrIntraPredMode＝rem_intra_pred_mode；

      else

  CurrIntraPredMode＝rem_intra_pred_mode+1；

}

另外，不只是4×4块单位，也可以按照宏块或序列的单位设置pred_flag。在按照宏块单位进行设置的情况下，对于宏块内的全部4×4块，使使用预测值候选1乃至预测值候选2的哪个的情况共通化，因此能够削减解码的pred_flag的开销信息。另外，为了与输入颜色空间定义对应地确定预测值候选1乃至预测值候选2的哪个，也可以按照序列的单位确定。在该情况下，不需要对每个宏块传送pred_flag，可以进一步削减开销信息。

实施例4

在实施例2中说明了图16的形式的比特流。在实施例2中，说明了在内编码模式表示“内N×N预测”的情况下，与变换块大小识别标志0～2(32a～32c)的值对应地将C0、C1、C2各颜色成分的内预测模式识别为内4×4预测模式、或内8×8预测模式。在本实施例4中，对该比特流数组进行变更，如图24所示那样构成为针对C1、C2成分用序列水平对内预测模式指示标志1、2(36a、36b)进行传送。内预测模式指示标志在内编码模式下选择内N×N预测模式的情况下，并且在变换块大小识别标志表示4×4变换的情况，即在内4×4预测模式的情况下有效，可以与其值对应地切换以下的2个状态。

状态1：对C1乃至C2成分，也从图3的9个中各别地选择所使用的内4×4预测模式并编码。

状态2：对C1乃至C2成分，将所使用的内4×4预测模式限定于DC预测，即图3的intra4×4_pred_mode＝2，不对内预测模式信息进行编码。

例如在Y、Cb、Cr这样的颜色空间中进行编码的情况下，在HDTV以上等的高分辨率影像的情况下，4×4块与极小的图像区域对应。这时，有以下的情况，即与特别针对Cb、Cr这样的不保持图像上下文构造的成分保留选择9个预测模式的余地的情况相比，将预测模式信息自身固定为1个而不传送成为开销的预测模式信息的情况是高效的。通过进行这样的比特流排列，能够与输入颜色空间的性质、影像的特性对应地进行最优的编码。

接收到图24的形式的比特流的解码装置构成为在可变长解码部件25中对内预测模式指示标志(36a、36b)进行解码，根据其值识别在状态1下对比特流进行编码、还是在状态2下进行编码。由此，针对C1乃至C2成分，判断是从比特流解码4×4预测模式而使用、还是固定地适用DC预测，即图3的intra4×4_pred_mode＝2。

另外，在本实施例4中，状态2对C1乃至C2成分限定为intra4×4_pred_mode＝2，但也可以将预测模式信息固定为1个，还可以是其他预测模式。另外，状态2也可以对C1乃至C2成分确定为与C0一样地使用内4×4预测模式。在该情况下，对于C1乃至C2成分，也不需要对内4×4预测模式进行编码，因此能够削减开销比特。

实施例5

在本实施例5中，表示图11的编码装置、图12的解码装置的其他结构例子。本实施例5的编码装置、解码装置与上述其他实施例一样，以作为非专利文献1的MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264规格所采用的编码方式为基础，并对本发明附加固有的特征。本实施例5的影像编码装置在实施例2、3中说明了的图11的编码装置的结构中，只有可变长编码部件11不同。本实施例5的影像编码装置在实施例2、3中说明了的图12的解码装置的结构中，只有可变长解码部件25不同。其他进行与实施例2、3同样的动作，在此只说明差异部分。

1.编码装置的内预测模式信息的编码步骤

在实施例3的编码装置中，说明了在其可变长编码部件11中，在图16的形式的比特流中的内N×N预测模式信息的具体编码方法。在本实施例5中，表示其编码步骤的其他具体方法。在本实施例5中，特别着眼于内N×N预测模式的值反映作为图像模型(pattern)的上下文构造的情况，其特征在于：提供一种在同一颜色成分中的近旁像素区域内进行适应性的预测的方法。在以下的说明中，以图16的形式的比特流数组为前提。另外，在本实施例5中，对每个颜色成分独立地对C0、C1、C2的各成分的内N×N预测模式的信息进行编码，对C1、C2也同样地适用C0成分的编码方法，为了简化说明，只说明C0成分。对于内编码模式共通化识别标志33的值，假设设置为对C0、C1、C2使内编码模式共通，设内编码模式为内N×N预测模式，设变换块大小识别标志0～2(32a、32b)为4×4块。这时，内预测模式0～2(35a～35c)全部为内4×4预测模式。使用图18作为C0成分的内N×N预测模式信息的编码步骤的说明图。在图18中，假设作为编码对象的当前宏块为X。另外，假设其左邻的宏块为宏块A，正上的宏块为宏块B。另外，图25表示编码步骤的流程图。

在实施例3中，在图18中，向对各个4×4块X逐一地分配的内4×4预测模式CurrIntraPredMode所对应的预测值predCurrIntraPredMode唯一地分配IntraPredModeA、IntraPredModeB中小的值。这是现在的AVC/H.264规格中也采用的方法，内N×N预测模式的值越大，预测图像生成方式越是成为添加了图像模型的方向性的伴随着像素补差的复杂模式，这是因为向对一般的图像模型的适合性高的模式分配小的值的缘故。在比特率低的情况下，相对于失真的增加量，预测模式的编码量增加量对模式选择产生更大的影响，因此在该方式下对于全体的编码效率是有益的，但相反，在比特率比较高的情况下，相对于预测模式的编码量的增加量，失真的增加量对模式选择产生更大的影响，  因此并不能说IntraPredModeA、IntraPredModeB中的小的值是最优的。基于这样的观察，在本实施例5中，如以下说明的那样与IntraPredModeA、IntraPredModeB的状态对应地使该预测值设置更适合，由此提高预测值的精度。在该步骤中，在关注于图像模型的情况下，作为被判断为能够最好地推测出CurrIntraPredMode的值，基于IntraPredModeA、IntraPredModeB的状态，确定predCurrIntraPredMode(步骤S73、S74、S75)。

(1)在IntraPredModeA、IntraPredModeB都处于0～2的范围内时，将MIN(IntraPredModeA，IntraPredModeB)设为predCurrIntraPredMode。

(2)在IntraPredModeA、IntraPredModeB的任意一个是3以上时，在IntraPredModeA、IntraPredModeB的预测的方向完全不同时(例如IntraPredModeA为3，IntraPredModeB为4时)，将DC预测(intra4×4_pred_mode2)设为predCurrIntraPredMode。

(3)在IntraPredModeA、IntraPredModeB的任意一个是3以上时，在预测的方向相同时(例如IntraPredModeA为3，IntraPredModeB为7时，即都从右上开始进行预测)，将补差像素的预测模式(在上述例子中为7)设为pred CurrIntraPredMode。

另外，与实施例3一样，在事前进行用于IntraPredModeA、IntraPredModeB等的编码的准备处理(步骤S50、S53、S59)。其结果是从IntraPredModeA、IntraPredModeB的值唯一地导出predCurrIntraPredMode。图26表示将该预测值设置的规则做成表的情况。在图26中画格的部分是不依照现有的MIN(IntraPredModeA、IntraPredModeB)的规则的情况，是根据图像模型的连续性判断出更好的预测值的情况。在上述步骤(1)中，使用类(class)0的表。在(2)、(3)中使用类1的表。

在作为以上的结果确定了predCurrIntraPredMode后，执行在实施例3中说明了的C0成分的剩余的编码步骤，由此完成编码(步骤S52、S58、S64)。

即，如下：

if(CurrIntraPredMode＝＝predCurrIntraPredMode)

{

   prev_intra_pred_mode_flag＝1；

}

else

{

   prev_intra_pred_mode_flag＝0；

if(CurrIntraPredMode＜predCurrIntraPredMode)

  rem_intra_pred_mode＝CurrIntraPredMode；

else

  rem_intra_pred_mode＝CurrIntraPredMode-1；

}

Encodeprev_intra_pred_mode_flag；

 If(prev_intra_pred_mode_flag＝＝0)

   Encode rem_intra_pred_mode；

可以对内8×8预测模式同样地定义以上说明的编码步骤。通过按照这样的步骤对内N×N预测模式进行编码，能够更好地利用同一颜色成分的近旁像素区域中的预测模式的相关性，能够削减预测模式自身的编码量，提高编码效率。

2.解码装置的内预测模式信息的解码步骤

在实施例3的解码装置中，针对图16的形式的比特流，表示了可变长解码部件25中的内N×N预测模式的信息的具体解码步骤的一个。在本实施例5中，表示解码步骤的其他具体方法。在本实施例5中，特别着眼于内N×N预测模式的值反映作为图像模型的上下文构造的情况，其特征在于：在同一颜色成分中的近旁像素区域内进行适应性的预测，来对进行了编码的比特流进行解码。

在以下的说明中，以图16的形式的比特流数组为前提。为了简化说明，对于比特流中的内编码模式共通化识别标志33的值，假设设置为对C0、C1、C2使内编码模式共通。另外，设内编码模式为内N×N预测模式，设变换块大小识别标志0～2(32a～32c)为4×4块。这时，内预测模式0～2(35a～35c)全部为内4×4预测模式。与编码装置一样，也使用图18的关系只说明C0成分(通过同等的步骤，与C0独立地对C1、C2进行解码)。在解码装置中，假设作为编码对象的当前宏块为X。另外，假设其左邻的宏块为宏块A，正上的宏块为宏块B。

在实施例3中，如在编码装置的说明中也记载了的那样，在图18中，向对各个4×4块X逐一地分配的内4×4预测模式CurrIntraPredMode所对应的预测值predCurrIntraPredMode唯一地分配IntraPredModeA、IntraPredModeB中小的值。与此相对，在本实施例5的解码装置中，按照与在编码步骤所示的步骤完全一样的步骤，使用图26的表决定predCurrIntraPredMode。由于IntraPredModeA、IntraPredModeB已经解码而已知，所以能够进行与编码步骤完全一样的处理。

其后的步骤与实施例3所述的C0成分的解码步骤等价。总结如下。

Decode prev_intra_pred_mode_flag；

if(prev_intra_pred_mode_flag＝1)

{

    CurrIntraPredMode＝＝predCurrIntraPredMode；

}

else

{

    Decode rem_intra_pred mode；

    if(rem_intra_pred_mode＜predCurrIntraPredMode)

      CurrIntraPredMode＝rem_intra_pred_mode；

else

      CurrIntraPredMode＝rem_intra_pred_mode+1；

}

也可以对内8×8预测模式同样地定义以上所述的解码步骤。通过用这样的步骤对内N×N预测模式进行解码，能够更好地利用同一颜色成分的近旁像素区域中的预测模式的相关性，能够解码削减了预测模式自身的代码量编码比特流。

另外，在上述例子中，固定使用图26的表确定predCurrIntraPredMode而进行编码、解码，但也可以构成为将图26的表作为初始值，一边将针对IntraPredModeA、IntraPredModeB最容易发生的内预测模式逐次更新为predCurrIntraPredMode，一边进行编码、解码。例如，在图26的“类＝0，IntraPredModeA＝0，IntraPredModeB＝0，predCurrIntraPredMode＝0”的组合中，在上述实施例中，在IntraPredModeA＝0、IntraPredModeB＝0的情况下，始终将predCurrIntraPredMode设为0。但是，由于影像信号自身是非恒定信号，所以根据影像的内容，不能保证该组合一定是最优的。在最差的情况下，对于影像全体，在几乎全部的情况下predCurrIntraPredMode都与预测值不一致的可能性并不为0。因此，例如对在IntraPredModeA＝0、IntraPredModeB＝0的情况下产生的CurrIntraPredMode的频度进行计数，在每次结束CurrIntraPredMode的编码、解码时，都针对对于IntraPredModeA、IntraPredModeB的状态产生频度最高的预测模式更新predCurrIntraPredMode。通过这样的结构，能够对照影像内容将用于CurrIntraPredMode的编码、解码中的预测值设置为最优的值。

实施例6

在本实施例6中，表示图11的编码装置、图12的解码装置的其他结构例子。本实施例6的编码装置、解码装置与上述其他实施例一样，以作为非专利文献1的MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264规格所采用的编码方式为基础，并对本发明附加固有的特征。本实施例6的影像编码装置在实施例2、3、5中说明了的图11的编码装置的结构中，只有可变长编码部件11不同。本实施例6的影像编码装置在实施例2、3、5中说明了的图12的解码装置的结构中，只有可变长解码部件25不同。其他进行与实施例2、3、5同样的动作，在此只说明差异部分。

1.编码装置的内预测模式信息的编码步骤

在实施例3、实施例5的编码装置中，说明了针对图16的形式的比特流的内N×N预测模式信息的具体编码方法。在本实施例6中，表示其编码步骤的其他具体方法。在本实施例6中，特别着眼于内N×N预测模式的值反映作为图像模型的上下文构造的情况，其特征在于：提供一种在同一颜色成分中的近旁像素区域内进行适应性的算术编码的方法。在以下的说明中，以图16的形式的比特流数组为前提。另外，在本实施例6中，对每个颜色成分独立地对C0、C1、C2的各成分的内N×N预测模式信息进行编码，对C1、C2也同样地适用C0成分的编码方法，为了简化说明，只说明C0成分。对于内编码模式共通化识别标志33的值，假设设置为对C0、C1、C2使内编码模式共通，设内编码模式为内N×N预测模式，设变换块大小识别标志0～2(32a～32c)为4×4块。这时，内预测模式0～2(35a～35c)全部为内4×4预测模式。使用图18作为C0成分的内N×N预测模式信息的编码步骤的说明图。在图18中，假设作为编码对象的当前宏块为X。另外，假设其左邻的宏块为宏块A，正上的宏块为宏块B。另外，图27表示编码步骤的流程图。

在实施例3、5中，在图18中向对各个4×4块X逐一地分配的内4×4预测模式CurrIntraPredMode所对应的预测值predCurrIntraPredMode唯一地分配IntraPredModeA、IntraPredModeB中小的值，在与之相等的情况下，将prev_intra_pred_mode_flag设为1，中断对块X的内4×4预测模式的编码，在不同的情况下，根据rem_intra_pred_mode传送代码。在本实施例中，利用IntraPredModeA、IntraPredModeB的状态，直接对CurrIntraPredMode进行算术编码。这时，利用依照在AVC/H.264规格中采用的上下文适应二值算术编码的编码步骤。

首先，依照图28的形式对编码对象的CurrIntraPredMode进行二值表示(步骤S76)。二值序列的第1bin是对CurrIntraPredMode是纵方向预测、还是横方向预测进行分类的代码(参考图3)。在该例子中，将DC预测(intra4×4_pred_mode＝2)分类为横方向预测，但也可以构成分类为纵方向预测。第2bin对被认为是在纵方向、横方向各自上出现频度最高的预测模式值提供Terminate比特。第3bin以后的代码构成为从在剩余的预测模式值中出现频度高的开始顺序地Terminate(理想的是与实际的图像数据编码的过程中的符号产生概率对应地设置图28中的二值序列结构的第2bin以后)。

针对二值序列的各bin，顺序地一边选择所使用的(0，1)发生概率表，一边执行算术编码。在第1bin编码中，如下这样确定在算术编码中使用的上下文(context)(步骤S78)。

上下文A(C_A)：针对IntraPredModeA、IntraPredModeB定义用二进制表示内预测模式是纵方向预测还是横方向预测的标志intra_pred_direction_flag，将以下的4个状态设为上下文值。

C_A＝(intra_pred_direction_flag for IntraPredModeA＝＝1)+(intra_pred_direction_flag for IntraPredModeB＝＝1)

在此，intra_pred_direction_flag例如在图3中，在intra4×4_pred_mode取值为0、3、5的情况下，分类为纵方向预测(＝0)，在intra4×4_pred_mode取值为1、2、4、6、8的情况下，分类为横方向预测(＝1)。对于C_A的4个状态，预先求出以IntraPredModeA、IntraPredModeB为前提的CurrIntraPredMode的附加条件的概率，并分配根据它确定的(0，1)的初始发生概率表。通过这样构成上下文，能够更好地推测第1bin的附加条件的发生概率，能够提高算术编码的效率。与C_A的值对应地选择第1bin的发生概率表，执行算术编码。另外，用编码值更新发生概率表(步骤S79)。

对于第2bin以后，预先分配与各预测模式值的产生概率对应地确定的(0，1)的初始发生概率表(步骤S80)。接着，与第1bin同样地进行二值算术编码、发生概率表的更新(步骤S81)。

可以对内8×8预测模式也同样地定义以上所述的编码步骤。通过按照这样的步骤对内N×N预测模式进行编码，能够更好地利用同一颜色成分的近旁像素区域中的预测模式的相关性，能够对预测模式信息的编码适用适应的算术编码，因此能够提高编码效率。

2.解码装置的内预测模式信息的解码步骤

在实施例3、5的解码装置中，表示了针对图16的形式的比特流的可变长解码部件25中的内N×N预测模式信息的具体解码步骤的一个。在本实施例6中，表示解码步骤的其他具体方法。在本实施例6中，特别着眼于内N×N预测模式的值反映作为图像模型的上下文构造的情况，其特征在于：在同一颜色成分中的近旁像素区域内对利用适应性的算术编码进行了编码的比特流进行解码。

在以下的说明中，以图16的形式的比特流数组为前提。另外，为了简化说明，假设内编码模式共通化识别标志33设置为对C0、C1、C2使内编码模式共通化。另外，内编码模式为内N×N预测模式，变换块大小0～2(32a～32c)被指定为4×4块。这时，内预测模式0～2(35a～35c)全部为内4×4预测模式。与编码装置一样，在解码装置中也使用图18的关系只说明C0成分(通过同等的步骤，与C0独立地对C1、C2进行解码)。在解码装置中，假设作为编码对象的当前宏块为X。另外，假设其左邻的宏块为宏块A，正上的宏块为宏块B。

在实施例3、5中，如在编码装置的说明中也记载了的那样，在图18中，向对各个4×4块X逐一地分配的内4×4预测模式CurrIntraPredMode所对应的预测值predCurrIntraPredMode唯一地分配IntraPredModeA、IntraPredModeB中小的值，对prev_intra_pred_mode_flag进行解码，在其值为1的情况下，采用predCurrIntraPredMode作为CurrIntraPredMode，在prev_intra_pred_mode_flag为0的情况下，通过对rem_intra_pred_mode进行解码而复原块X的内4×4预测模式。与此相对，在本实施例6的解码装置中，利用IntraPredModeA、IntraPredModeB的状态，直接对CurrIntraPredMode进行算术编码。这时，利用依照在AVC/H.264规格中采用的上下文适应二值算术解码的解码步骤。

假设解码对象的CurrIntraPredMode依照图28的形式被编码为二值序列，从左端开始对该序列进行二值算术解码。如在本实施例6的编码步骤中说明了的那样，二值序列的第1bin是对CurrIntraPredMode是纵方向预测、还是横方向预测进行分类的代码(参考图3)。第2bin以后的代码被编码构成为从在预测模式值中出现频度高的开始顺序地Terminate。对于该代码结构的理由如在编码步骤中说明了的那样。

在解码处理中，首先在第1bin的解码时，确定与在编码步骤中使用了的上下文相同的C_A。与C_A的值对应地选择第1bin的发生概率表，执行算术解码而复原第1bin。另外，用解码值更新发生概率表。

对于第2bin以后，预先分配与各预测模式值的产生概率对应地确定的(0，1)的初始发生概率表。接着，与第1bin同样地进行二值算术编码、发生概率表的更新。图28的二值序列构成为能够唯一地确定各预测模式值，因此在复原了规定个数的bin时，逐次地对CurrIntraPredMode进行解码。

也可以对内8×8预测模式同样地定义以上所述的解码步骤。通过用这样的步骤对内N×N预测模式进行解码，能够利用同一颜色成分的近旁像素区域中的预测模式的相关性，通过算术编码削减预测模式自身的代码量而解码编码比特流。

在上述的例子中，图28的表还可以考虑其他变形。例如也可以是构成图29那样的二值序列的方法。在此，第1bin使用以下的上下文B。

上下文B(CB)：针对IntraPredModeA、IntraPredModeB定义用二进制表示内预测模式是纵方向预测还是横方向预测的标志intra_pred_direction_flag，将以下的4个状态设为上下文值。

C_A＝(intra_dc_direction_flag for IntraPredModeA＝＝1)+(intra_dc_direction_flag for IntraPredModeB＝＝1)

在此，intra_dc_direction_flag在图3中，在intra4×4_pred_mode取值为2的情况下设置为1，在取其他值的情况下设置为0。对于C_B的4个状态，预先求出以IntraPredModeA、IntraPredModeB为前提的CurrIntraPredMode的附加条件的概率，并分配根据它确定的第1bin的值(0，1)的初始发生概率表。图29中，设计为在CurrIntraPredMode为DC预测的情况下，第1bin取值0，在DC预测以外的情况下，第1bin取值1。另外，对于第2bin使用上述上下文A(C_A)。通过这样构成上下文，能够更好地推测第1bin和第2bin的附加条件的发生概率，能够提高算术编码的效率。

实施例7

在本实施例7中，说明按照将用4:4:4格式输入的影像帧均等分割为16×16像素的矩形区域(宏块)后的单位，利用帧间预测进行编码的编码装置、以及对应的解码装置。另外，本编码装置、解码装置以作为非专利文献1的MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264规格(以下称为AVC)所采用的编码方式为基础，并对本发明附加固有的特征。

图30表示实施例7的影像编码装置的结构，图31表示实施例7的影像解码装置的结构。在图31中，附加了与图30的编码装置的结构要素一样的编号的要素表示相同的要素。

以下，根据这些图，说明本实施例7的编码装置以及解码装置全体的动作、作为本实施例7的特征动作的间预测模式判断处理和补偿预测解码处理。

1.编码装置的动作概要

在图30的编码装置中，输入影像信号1的各个影像帧为4:4:4格式，并且按照将3个颜色成分分割为同一大小的宏块而集合了的单位被输入到编码装置。

首先，在空间预测部件102中，从存储在存储器16中的1帧以上的动态补偿预测参照图像数据中选择1帧的参照图像，按照该宏块单位，对每个颜色成分进行动态补偿预测处理。针对每个颜色成分而准备3个存储器(在本实施例中说明为3个，但根据设计可以适当地变更)。对进行动态补偿预测的块大小准备7种，首先如图32(a)～(d)所示那样，对块大小单位可以选择16×16、16×8、8×16、8×8的任意一个大小。进而，在选择了8×8的情况下，如图32(e)～(h)所示那样，对每个8×8块可以选择8×8、8×4、4×8、4×4的任意一个大小。对于选择出的大小信息，将宏块单位的大小信息作为宏块类型输出，将8×8块单位的大小信息作为子宏块类型输出。另外，还输出对每个块选择出的参照图像的识别编号、动态向量信息。

本实施例7的影像编码装置的特征在于：根据间预测模式共通化识别标志123，切换对3个颜色成分的动态补偿预测处理方法。用下述2详细说明该点。

在动态补偿预测部件102中，对图23所示的全部块大小乃至子块大小、以及规定的探索范围的全部动态向量137、能够选择的1张以上的参照图像执行动态补偿预测处理，通过减法器3根据动态向量137和1张参照图像，得到预测差分信号4。预测差分信号4在编码模式判断部件5中评价其预测效率，从在动态补偿预测部件102中执行的预测处理中，输出对预测对象的宏块得到最优的预测效率的宏块类型/子宏块类型106、动态向量137、参照图像的识别编码。在选择宏块类型/子宏块类型106时，还利用与通过编码控制部件19的判断而确定的各编码模式对应的加权系数20。将通过基于选择出的类型、动态向量137、参照图像进行的动态补偿预测而得到的预测差分信号4输出到正交变换部件8。正交变换部件8对输入的预测差分信号4进行变换，作为正交变换系数输出到量子化部件9。量子化部件9根据由编码控制部件19确定的量子化参数21，对输入的正交变换系数进行量子化，作为量子化后变换系数10输出到可变长编码部件11。在可变长编码部件11中通过haffman编码或算术编码等手段，对量子化后变换系数10进行平均信息量(entropy)编码。另外，量子化后变换系数10经由逆量子化部件12、逆正交变换部件13被复原为局部解码预测差分信号14，在加法器18中与根据选择出的宏块类型/子宏块类型106、动态向量137、参照图像生成的预测图像7相加，从而生成局部编码图像15。局部编码图像15由于在以后的内预测处理中使用，所以被存储在存储器16中。另外，还向可变长编码部件11输入表示是否对该宏块实施去块过滤的去块过滤控制标志24(在由空间预测部件102实施的预测处理中，由于将实施去块过滤以前的像素数据存储在存储器16中使用，所以在编码处理中并不需要去块过滤处理自身，但在解码装置侧，根据去块过滤控制标志24的指示进行去块过滤，得到最终的解码图像)。

依照规定的规则(syntax)将输入到可变长编码部件11的间预测模式共通化识别标志123、量子化后变换系数10、宏块类型/子宏块类型106、动态向量137、参照图像识别编号、量子化参数21排列整形为比特流，并发送到发送缓冲器17。在发送缓冲器17中，与编码装置所连接的传送路径的频带、记录介质的读出速度一致地对比特流进行平滑化，作为视频流22输出。另外，与发送缓冲器17中的比特流积蓄状况对应地将反馈信息输出到编码控制部件19，控制以后的影像帧的编码中的产生代码量。

2.编码装置的内预测模式判断处理

详细说明作为本实施例7的编码装置的特征的间预测模式判断处理。另外，在以下的记述中，间预测模式是指成为上述动态补偿预测的单位的块大小，即宏块类型/子宏块类型，间预测模式判断处理是指选定宏块类型/子宏块类型、动态向量、参照图像的处理。以集合了上述3个颜色成分的宏块为单位实施本处理，并主要由图30的编码装置中的动态补偿预测部件102、编码模式判断部件5执行。另外，图33表示出本处理的流程的流程图。以下，将构成块的3个颜色成分的图像数据设为C0、C1、C2。

首先，编码模式判断部件5接收间预测模式共通化识别标志123，根据该值，判断对C0、C1、C2是否使用共通的间预测模式(图5的步骤S1)。在共通化的情况下，前进到步骤S101以后，否则，前进到步骤S102以后。

在对C0、C1、C2共通使用间预测模式、动态向量137、参照图像的情况下，编码模式判断部件5向动态补偿预测部件102通知能够选择的全部内预测模式、动态向量探索范围、参照图像，动态补偿预测部件102对其全部的预测效率进行评价，选择对C0、C1、C2共通的最优的间预测模式、动态向量、参照图像(步骤S101)。

在不对C0、C1、C2共通使用间预测模式、动态向量137、参照图像，而对C0、C1、C2分别选择最优的模式的情况下，编码模式判断部件5向动态补偿预测部件102通知对Ci(i＜＝0＜3)成分能够选择的全部间预测模式、动态向量探索范围、参照图像，动态补偿预测部件102对其全部的预测效率进行评价，选择Ci(i＜＝0＜3)成分的最优的间预测模式、动态向量137、参照图像(步骤S102、S103、S104)。

作为在动态补偿预测部件102中进行的预测模式的预测效率评价的规则，例如使用由以下公式给出的速率、失真成本。

Jm，v，r＝Dm，v，r+λRm，v，r(λ为正数)

在此，Dm，v，r是适用了间预测模式m、规定范围的动态向量v、参照图像r的情况下的编码失真或预测误差量。编码失真是指适用间预测模式m、动态向量v、参照图像r而得到预测误差，根据对预测误差进行变换、量子化的结果对影像进行解码，测量相对于编码前的信号的误差所得的结果。预测误差量是取得适用了间预测模式m、动态向量v、参照图像r的情况下的预测图像与编码前的信号的差分，对该差分的大小进行量化所得的结果，例如可以使用差分绝对值和(Sum of Absolute Distance：SAD)等。Rm，v，r是适用了间预测模式m、动态向量v、参照图像r的情况下的产生代码量。即，Jm、v、r是规定适用了间预测模式m、动态向量v、参照图像r的情况下的代码量与恶化度的平衡(trade-off)的值，产生最小的Jm、v、r的间预测模式m、动态向量v、参照图像r产生最优解。

在编码装置进行了步骤S101以后的处理的情况下，向包含3个颜色成分的宏块分配间预测模式m、动态向量137、参照图像的信息。另一方面，在进行了步骤S102以后的处理的情况下，向各颜色成分分别分配间预测模式、动态向量137、参照图像。因此，由于向宏块分配的间预测模式、动态向量137、参照图像的信息不同，所以必须将间预测模式共通化识别标志123多路复用到比特流中，使得能够在解码装置侧识别编码装置是进行了S101以后的处理过程、还是进行了S102以后的处理过程。图34表示这样的比特流的数据数组。

图34表示了宏块水平的比特流的数据排列，块类型表示内(intra)还是间(inter)，在是间模式时，包含表示作为动态补偿单位的块大小。子宏块类型只在宏块类型下选择了8×8块大小的情况下被多路复用，包含每个8×8块的块大小信息。基本宏块类型128、基本子宏块类型129在间预测模式共通化识别标志123表示“对C0、C1、C2共通”的情况下表示共通宏块类型和共通子宏块类型，否则表示与C0对应的宏块类型和子宏块类型。扩展宏块类型130和扩展子宏块类型131只在间预测模式共通化识别标志123表示不是“对C0、C1、C2共通”的情况下分别对C1、C2多路复用，表示与C1、C2对应的宏块类型和子宏块类型。

参照图像识别编号是用于确定对作为动态补偿单位的8×8块大小以上的每个块选择的参照图像的信息。在间帧(inter frame)时，能够选择的参照图像是1帧，因此对每个块多路复用1个参照图像识别编号。动态向量信息对作为动态补偿单位的每个块多路复用1组动态向量信息。需要对作为包含在宏块内的动态补偿单位的块的个数个参照图像识别编号和动态向量信息进行多路复用。基本参照图像识别编号132和基本动态向量信息133在间预测模式共通化识别标志123表示“对C0、C1、C2共通”的情况下表示共通的参照图像识别编号和共通的动态向量信息，否则表示与C0对应的参照图像识别编号和动态向量信息。扩展参照图像识别编号134和扩展动态向量信息135只在间预测模式共通化识别标志123表示不是“对C0、C1、C2共通”的情况下，分别对C1、C2进行多路复用，表示与C1、C2对应的参照图像识别编号和动态向量信息。

另外，对量子化参数21、量子化后变换系数10进行多路复用(在图34中，不包含在图30中输入到可变长编码部件11的去块过滤控制标志24，但由于不是说明本实施例7的特征所必需的构成要素，所以不进行说明)。

在现有的影像编码标准中采用的4:2:0格式中，颜色空间的定义固定为Y、Cb、Cr，但在4:4:4格式中，不限于Y、Cb、Cr，而可以利用多样的颜色空间。通过如图34那样构成间预测模式信息，即使在输入影像信号1的颜色空间定义有各种各样的情况下，也能够进行最优的编码处理。例如，在用RGB定义颜色空间的情况下，由于在R、G、B的各成分中均等地残存影像纹理构造(texture)，所以通过使用共通的间预测模式信息、共通动态向量信息，能够削减间预测模式信息自身的冗余性，提高编码效率。与此相对，例如在完全没有红的区域(R成分为0)中，对R成分最优的间预测模式和动态向量信息与对G、B成分最优的间预测模式和动态向量信息应该是不同的。因此，通过适当地利用扩展间预测模式、扩展参照图像识别信息、扩展动态向量信息，能够得到最优的编码效率。

3.解码装置的动作概要

图31的解码装置接收从图30的编码装置输出的与图34的数组对应的视频流22，以同一大小(4:4:4格式)的宏块为单位对3个颜色成分进行解码处理，复原各个影像帧。

首先，可变长解码部件25输入流22，依照规定的规则(syntax)解读视频流22，抽出间预测模式共通化识别标志123、量子化后变换系数10、宏块类型/子宏块类型106、参照图像识别编号、动态向量信息、量子化参数21等信息。量子化后变换系数10与量子化参数21一起被输入到逆量子化部件12，进行逆量子化处理。另外，其输出被输入到逆正交变换部件13，被复原为局部解码预测差分信号14。另一方面，向动态补偿预测部件102输入宏块类型/子宏块类型106、间预测模式共通化识别标志123、动态向量137、参照图像识别编号，依照这些信息得到预测图像7。将在后面说明得到预测图像7的具体步骤。由加法器18将局部解码预测差分信号14和预测图像7相加，得到暂定解码图像15(它是与编码装置中的局部解码图像15完全相同的信号)。为了在以后的宏块的内预测中使用，而将暂定解码图像15写回到存储器16中。针对每个颜色成分而准备3面存储器(在本实施例中，说明为3面，但也可以根据设计适当地变更)。另外，根据由可变长解码部件25解读的去块过滤控制标志24的指示，使去块过滤器26对暂定解码图像15产生作用，得到最终的解码图像27。

4.解码装置的间预测解码处理

图31的解码装置接收从图30的编码装置输出的与图34的数组对应的视频流22，以同一大小(4:4:4格式)的宏块为单位对3个颜色成分进行解码处理，复原各个影像帧。

详细说明作为本实施例7的解码装置的特征的间预测图像生成处理。按照集合了上述3个颜色成分的宏块的单位实施本处理，主要由图31的解码装置中的可变长解码部件25、动态补偿预测部件102执行。另外，图35表示出表示本处理的流程的流程图。

作为向可变长解码部件25的输入的视频流22与图34的数据数组一致。在步骤S110中，首先对图34的数据中的间预测模式共通化识别标志123进行解码(步骤S110)。进而，对基本宏块类型128和基本子宏块类型129进行解码(步骤S111)。在步骤S112中，使用间预测模式共通化识别标志123的结果，判断是否对C0、C1、C2共通地使用间预测模式，在共通化的情况下(步骤S112的Yes)，对C0、C1、C2的全部使用基本宏块类型128、基本子宏块类型129，否则(步骤S112的No)，将基本宏块类型128、基本子宏块类型129作为C0的模式使用，进而对C1、C2分别解码扩展宏块类型130、扩展子宏块类型131(步骤S113)，得到C1、C2的间预测模式信息。接着，对基本参照图像识别编号132和基本动态向量信息133进行解码(步骤S114)，在间预测模式共通化识别标志123表示“对C0、C1、C2共通”的情况下(步骤S115的Yes)，对C0、C1、C2的全部使用基本参照图像识别编号132和基本动态向量信息133，否则(步骤S115的No)将基本参照图像识别编号132和基本动态向量信息133作为C0的信息使用，进而针对C1、C2分别解码扩展参照图像识别编号134和扩展动态向量信息135(步骤S116)。经过以上处理过程而确定了各颜色成分的宏块类型/子宏块类型106、参照图像识别编号、动态向量信息，因此将它们输入到动态补偿预测部件102，得到各颜色成分的动态补偿预测图像。

图36表示图34的比特流数据数组的变形。在图36中，间预测模式共通化识别标志123不作为宏块水平的标志，而作为切片、画像、序列等位于上位数据层的标志被多路复用。由此，在通过切片以上的上位层中的切换，能够确保充分的预测效率的情况下，不用在宏块水平下对间预测模式共通化识别标志123逐一地进行多路复用，能够削减开销比特。

在图34、图36中，对每个宏块或切片、画像、序列等上位数据层多路复用间预测模式共通化识别标志123，但在不对间预测模式共通化识别标志123进行多路复用而用4:4:4格式进行编码的情况下，也可以始终使用对各成分不同的间预测模式和动态向量信息。图37表示该情况下的比特流数据的数组。在图37中，不存在间预测模式共通化识别标志123，而对指示在序列等上位数据层中处理4:4:4格式的输入图像的配置规格信息136进行多路复用，根据该配置规格信息的解码结果，对扩展宏块类型130、扩展子宏块类型131、扩展参照图像识别编号134、扩展动态向量信息135进行多路复用。

实施例8

在实施例7中，可以对每个颜色成分使宏块类型/子宏块类型、动态向量、参照图像的各个不同，但在本实施例8中，说明影像编码装置、影像解码装置，其特征在于：可以对各成分使宏块类型/子宏块类型和参照图像共通，而只有动态向量对各成分不同。本实施例8的影像编码装置和影像解码装置与实施例7的图30和图31一样，但其不同点在于：代替间预测模式共通化识别标志123而使用动态向量共通化识别标志123b。

1.编码装置的间预测模式判断处理

以与实施例7不同的处理为中心，说明作为本实施例8的编码装置的特征的间预测模式判断处理。

以集合了上述3个颜色成分的宏块为单位实施本处理，并主要由图30的编码装置中的动态补偿预测部件102、编码模式判断部件5执行。另外，图38表示出本处理的流程的流程图。以下，将构成块的3个颜色成分的图像数据设为C0、C1、C2。

首先，编码模式判断部件5接收动态向量共通化识别标志123b，根据该值，判断对C0、C1、C2是否使用共通的动态向量137(图37的步骤S120)。在共通化的情况下，前进到步骤S121以后，否则，前进到步骤S122以后。

在对C0、C1、C2共通使用动态向量137的情况下，编码模式判断部件5向动态补偿预测部件102通知能够选择的全部间预测模式、动态向量探索范围、参照图像，动态补偿预测部件102对其全部的预测效率进行评价，选择对C0、C1、C2共通的最优的间预测模式、动态向量137、参照图像(步骤S121)。

在不对C0、C1、C2共通使用动态向量137，而对C0、C1、C2分别选择最优的动态向量的情况下，编码模式判断部件5向动态补偿预测部件102通知能够选择的全部间预测模式、动态向量探索范围、参照图像，动态补偿预测部件102对其全部的预测效率进行评价，选择对C0、C1、C2成分共通的最优的间预测模式、参照图像(步骤S122)，进而选择对Ci(i＜＝0＜3)成分最优的动态向量(步骤S123、S124、S125)。

必须将动态向量共通化识别标志123b多路复用到比特流中使得能够在解码装置侧识别。图39表示这样的比特流的数据数组。

图39表示宏块水平的比特流的数据数组。宏块类型128b、子宏块类型129、参照图像识别编号132b是“对C0、C1、C2共通”。基本动态向量信息133在动态向量共通化识别标志123b表示“对C0、C1、C2共通”的情况下，表示共通的动态向量信息，否则表示与C0对应的动态向量信息。扩展动态向量信息135只在动态向量共通化识别标志123b表示“对C0、C1、C2共通”的情况下分别对C1、C2多路复用，表示与C1、C2对应的动态向量信息。另外，图30、图31中的宏块类型/子宏块类型106是图39中的宏块类型128b、子宏块类型129b的总称。

2.解码装置的间预测解码处理

本实施例8的解码装置接收从本实施例8的编码装置输出的与图39的数组对应的视频流22，以同一大小(4:4:4格式)的宏块为单位对3个颜色成分进行解码处理，复原各个影像帧。

以与实施例7不同的处理为中心，详细说明作为本实施例8的解码装置的特征的间预测图像生成处理。按照集合了上述3个颜色成分的宏块的单位实施本处理，主要由图31的解码装置中的可变长解码部件25、动态补偿预测部件102执行。另外，图40表示出表示本处理中的由可变长解码部件25执行的处理的流程的流程图。

作为向可变长解码部件25的输入的视频流22与图39的数据数组一致。在步骤S126中，首先对C0、C1、C2共通的宏块类型128b、子宏块类型129b进行解码。根据解码后的宏块类型128b、子宏块类型129b，决定作为动态补偿单位的块大小，因此接着对作为动态补偿单位的每个块解码C0、C1、C2共通的参照图像识别编号132(步骤S127)。在步骤S128中，对动态向量共通化识别标志123b进行解码。接着，对作为动态补偿单位的每个块解码基本动态向量信息133(步骤S129)。在步骤S130中，使用动态向量共通化识别标志123b的结果，判断是否对C0、C1、C2共通地使用动态向量137，在共通化的情况下(步骤S130的Yes)，对C0、C1、C2的全部使用基本动态向量信息133，否则(步骤S130的No)，将基本动态向量信息133作为C0的模式使用，进而对C1、C2分别解码扩展动态向量信息135(步骤S131)。经过以上处理过程而确定了各颜色成分的宏块类型/子宏块类型106、参照图像识别编号、参照图像识别编号、动态向量信息，因此将它们输入到动态补偿预测部件102，得到各颜色成分的动态补偿预测图像。

图41表示图39的比特流数据数组的变形。在图39中，动态向量共通化识别标志123b不作为宏块水平的标志，而作为切片、画像、序列等位于上位数据层的标志被多路复用。由此，在通过切片以上的上位层中的切换，能够确保充分的预测效率的情况下，不用在宏块水平下对动态向量共通化识别标志123b逐一地进行多路复用，能够削减开销比特。

在图39、图41中，对每个宏块或切片、画像、序列等上位数据层多路复用动态向量共通化识别标志123b，但在不对动态向量共通化识别标志123b进行多路复用而用4:4:4格式进行编码的情况下，也可以始终使用对各成分不同的动态向量信息。图42表示该情况下的比特流数据的数组。在图42中，不存在动态向量共通化识别标志123b，而对指示在序列等上位数据层中处理4:4:4格式的输入图像的配置规格信息136进行多路复用，根据该配置规格信息的解码结果，对扩展动态向量信息135进行多路复用。

在本实施例8中，可以对各颜色成分共通使用宏块类型/子宏块类型106、参照图像，只有动态向量139对每个颜色成分不同。由此，在对各颜色成分只对动态向量137进行适应化就能够得到充分的预测效率的情况下，不用对每个颜色成分多路复用宏块类型/子宏块类型106、参照图像识别编号，能够削减开销比特。

实施例9

在实施例7中，可以根据间预测模式共通化识别标志123或配置规格信息136，切换是对3成分共通使用宏块类型/子宏块类型106、动态向量137、参照图像的各个、还是对每个颜色成分不同，但在本实施例9中，设想Y、Cb、Cr形式等4:4:4格式图像，使得能够对亮度成分(Y)、色差成分(Cb、Cr)切换为不同的模式(在该情况下，对色差成分的2个成分使用共通的模式)。即，说明影像编码装置、影像解码装置，其特征在于：能够切换3个成分共通、对各成分不同、还是对亮度成分与色差成分不同。本实施例9的影像编码装置、影像解码装置的结构与实施例7的图30和图31一样。

1.编码装置的间预测模式判断处理

以与实施例7不同的处理为中心，说明作为本实施例9的编码装置的特征的间预测模式判断处理。

以集合了上述3个颜色成分的宏块为单位实施本处理，并主要由图30的编码装置中的动态补偿预测部件102、编码模式判断部件5执行。另外，图43表示出本处理的流程的流程图。以下，将构成块的3个颜色成分的图像数据设为C0、C1、C2。

首先，编码模式判断部件5接收间预测模式共通化识别标志123，根据该值，判断对C0、C1、C2是否使用共通的间预测模式、共通的动态向量137、共通的参照图像(图43的步骤S132)。在共通化的情况下，前进到步骤S133以后，否则，前进到步骤S134以后或步骤S137以后。

在对C0、C1、C2共通使用间预测模式、动态向量137、参照图像的情况下，编码模式判断部件5向动态补偿预测部件102通知能够选择的全部间预测模式、动态向量探索范围、参照图像，动态补偿预测部件102对其全部的预测效率进行评价，选择对C0、C1、C2共通的最优的间预测模式、动态向量137、参照图像(步骤S133)。

在不对C0、C1、C2共通使用间预测模式、动态向量137、参照图像，而对C0、C1、C2分别选择最优的模式的情况下，编码模式判断部件5向动态补偿预测部件102通知对Ci(i＜＝0＜3)成分能够选择的全部间预测模式、动态向量探索范围、参照图像，动态补偿预测部件102对其全部的预测效率进行评价，选择对Ci(i＜＝0＜3)成分共通的最优的间预测模式、参照图像(步骤S134、S135、S136)。

在对C1、C2共通使用间预测模式、动态向量137、参照图像，对C0(相当于亮度成分)与C1、C2(相当于色差成分)分别选择最优的模式的情况下，编码模式判断部件5向动态补偿预测部件102通知对C0成分能够选择的全部间预测模式、动态向量探索范围、参照图像，动态补偿预测部件102对其全部的预测效率进行评价，选择对C0成分最优的间预测模式、动态向量137、参照图像(步骤S137)。进而，通知对C1、C2成分能够选择的全部间预测模式、动态向量探索范围、参照图像，动态补偿预测部件102对其全部的预测效率进行评价，选择对C1、C2成分共通的最优的间预测模式、动态向量137、参照图像(步骤S138)。

本实施例9的编码装置输出的比特流的数据数组与图34一样，但在间预测模式共通化识别标志123表示“对C1、C2共通”的情况下，扩展宏块类型130、扩展子宏块类型131、扩展参照识别编号134、扩展动态向量信息135是对C1、C2共通的信息。

2.解码装置的间预测解码处理

本实施例9的解码装置接收从本实施例9的编码装置输出的与图34的数组对应的视频流22，以同一大小(4:4:4格式)的宏块为单位对3个颜色成分进行解码处理，复原各个影像帧。

以与实施例7不同的处理为中心，详细说明作为本实施例9的解码装置的特征的间预测图像生成处理。按照集合了上述3个颜色成分的宏块的单位实施本处理，主要由图31的解码装置中的可变长解码部件25、动态补偿预测部件102执行。另外，图44表示出表示本处理的流程的流程图。

作为向可变长解码部件25的输入的视频流22与图34的数据数组一致。在步骤S140中，对图34的数据中的间预测模式共通化识别标志123进行解码(步骤S140)。进而，对基本宏块类型128和基本子宏块类型129进行解码(步骤S141)。在步骤S142中，使用间预测模式共通化识别标志123的结果，判断是否对C0、C1、C2共通地使用间预测模式，在共通化的情况下，对C0、C1、C2的全部使用基本宏块类型128和基本子宏块类型129，否则，将基本宏块类型128和基本子宏块类型129作为C0的模式使用。进而在对C1、C2共通的情况下，解码对C1、C2成分共通的扩展宏块类型130、扩展子宏块类型131(步骤S143)。在对C0、C1、C2使用不同的模式的情况下，针对C1、C2分别解码扩展宏块类型130、扩展子宏块类型131(步骤S144、S145、S146)，得到C1、C2的模式信息。接着对基本参照图像识别编号132和基本动态向量信息133进行解码(步骤S147)，在间预测模式共通化识别标志123表示“对C0、C1、C2共通”的情况下，针对C0、C1、C2的全部使用基本参照图像识别编号132和基本动态向量信息133，否则，将基本参照图像识别编号132和基本动态向量信息133作为C0的模式使用。进而在对C1、C2共通的情况下，解码对C1、C2成分共通的扩展参照图像识别编号134和扩展动态向量信息135(步骤S149)。在对C0、C1、C2使用不同的模式的情况下，针对C1、C2分别解码扩展参照图像识别编号134和扩展动态向量信息135(步骤S150、S151、S152)。经过以上处理过程而确定了各颜色成分的宏块类型/子宏块类型106、参照图像识别编号、动态向量信息，因此将它们输出到动态补偿预测部件102，得到各颜色成分的动态补偿预测图像。

另外，比特流的数据数组在图36的情况下也一样，在间预测模式共通化识别标志123表示“对C1、C2共通”的情况下，扩展宏块类型130、扩展子宏块类型131、扩展参照图像识别编号134和扩展动态向量信息135是对C1、C2共通的信息，输入输出与图36所示的数据数组一致的视频流的影像编码装置和影像解码装置的动作与图34的情况一样。

在本实施例9中，使得宏块类型/子宏块类型106、动态向量137、参照图像的各个能够对每个颜色成分都不同，但也可以使宏块类型/子宏块类型106和参照图像对各成分共通，而只对动态向量137切换对3个成分共通、对每个成分不同、或者对C1、C2共通而在C0与C1、C2之间分别选择最优的。该情况下的比特流的数据数组与图39或图41一致，在该情况下，也是在间预测模式共通化识别标志123表示“对C1、C2共通“的情况下，扩展动态向量信息135是对C1、C2共通的信息。

实施例10

在本实施例10中，说明在实施例7所述的编码装置的可变长编码部件11中，对输入的动态向量137进行编码并多路复用到比特流中的方法、在对应的解码装置的可变长解码部件25中根据比特流解码动态向量137的方法。

图45是图30所示的编码装置的可变长编码部件11的一部分，即对动态向量137进行编码的动态向量编码部件的结构。

说明按照C0、C1、C2的顺序将3个颜色成分(C0、C1、C2)的动态向量137多路复用到比特流中的方法。

设C0的动态向量137为mv0。在动态向量预测部件111中求出C0的动态向量137的预测向量(mvp0)。如图46所示那样，从存储器中取得与编码对象动态向量(mv0)所处的块相邻的块(图46的A、B、C)的动态向量(mvA0、mvB0、mvC0)。另外，A、B、C的动态向量137全部被多路复用到比特流中。计算出mvA0、mvB0、mvC0的中央值作为mvp0。将计算出预测向量mvp0、编码对象动态向量mv0输入到差分动态向量计算部件112。差分动态向量计算部件112计算出mv0与mvp0的差分向量(mvd0)。计算出的mvd0被输入到差分动态向量可变长编码部件113，通过haffman编码或算术编码等手段，进行平均信息量(entropy)编码。

接着，对C1的动态向量(mv1)进行编码。在动态向量预测部件111中求出C1的动态向量137的预测向量(mvp1)。如图46所示那样，从存储器中取得与编码对象动态向量(mv1)所处的块相邻的块的动态向量(mvA1、mvB1、mvC1)、与mv1的位置的块相同位置的C0的动态向量(mv0)。另外，A、B、C的动态向量137全部被多路复用到比特流中。计算出mvA1、mvB1、mvC1的中央值作为mvp1。将计算出预测向量mvp1、编码对象动态向量mv1输入到差分动态向量计算部件112，计算出mv1与mvp1的差分向量(mvd1＝mv1-mvp1)。计算出的mvd1被输入到差分动态向量可变长编码部件113，通过haffman编码或算术编码等手段，进行平均信息量(entropy)编码。

接着，对C2的动态向量(mv2)进行编码。在动态向量预测部件111中求出C2的动态向量137的预测向量(mvp2)。如图46所示那样，从存储器中取得与编码对象动态向量(mv2)所处的块相邻的块的动态向量(mvA2、mvB2、mvC2)、与mv2的位置的块相同位置的C0和C1的动态向量(mv1、mv2)。计算出mvA2、mvB2、mvC2、mv0、mv1的中央值作为mvp2。将计算出预测向量mvp2、编码对象动态向量mv2输入到差分动态向量计算部件112，计算出mv2与mvp2的差分向量(mvd2＝mv2-mvp2)。计算出的mvd2被输入到差分动态向量可变长编码部件113，通过haffman编码或算术编码等手段，进行平均信息量(entropy)编码。

图47表示图31所示的解码装置的可变长解码部件25的一部分，即对动态向量137进行解码的动态向量解码部件250的结构。

在动态向量解码部件250中，按照C0、C1、C2的顺序对多路复用在视频流22中的3个颜色成分的动态向量137进行解码。

在差分动态向量可变长解码部件251中，抽出被多路复用到视频流22中的3个颜色成分(C0、C1、C2)的差分动态向量(mvd0、mvd1、mvd2)，进行可变长解码。

在动态向量预测部件252中，计算出C0、C1、C2的动态向量137的预测向量(mvp0、mvp1、mvp2)。预测向量的计算方法与编码装置的动态向量预测部件111一样。

接着，在动态向量计算部件253中，将差分动态向量与预测向量相加，计算出动态向量(mvi＝mvdi+mvpi(i＝0，1，2))。由于计算出的动态向量137被作为预测向量候选使用，所以存储在存储器16中。

根据本实施例10，在对动态向量进行编码和解码时，将与编码对象动态向量所处的块相邻的同一颜色成分块的动态向量、处于与编码对象动态向量的位置的块相同位置上的不同颜色成分块的动态向量作为预测向量候选使用，因此在物体的边界区域等同一颜色成分内的相邻的块的动态向量没有连续性的情况等下，通过将不同颜色成分的相同位置的块的动态向量作为预测向量候选使用，能够得到提高向量的预测效率，削减动态向量的代码量的效果。

实施例11

在本实施例11中，说明从实施例7所述的编码装置和解码装置派生出的其他编码装置、解码装置的实施例。本实施例11的编码装置、解码装置的特征在于：提供一种与规定的控制信号对应地判断是否依照各别的头(header)信息进行编码，将该控制信号的信息多路复用到视频流22中。另外，与该控制信号对应地将解码C0、C1、C2成分所必需的头信息多路复用到视频流22中，同时与该控制信号对应地，高效地对没有应该传送的动态向量、变换系数的信息的情况下的跳过(skip，或not coded)宏块进行编码的单元。

在包含AVC的现有的MPEG影像编码方式中，对于编码对象的宏块，特别对不存在应该传送的编码信息的情况进行信号传送(signaling)，由此将该宏块的编码量抑止为最小地实现高效率编码。例如，在要对某宏块进行编码的情况下，将用于动态补偿预测的参照图像上的完全相同位置的图像数据作为预测图像使用(即动态向量为0)，并且对所得到的预测误差信号进行变换、量子化，其结果在宏块内的量子化后的全部变换系数都为0的情况下，在解码侧进行逆量子化得到的预测误差信号的振幅为0，应该发送到解码装置侧的变换系数数据变得没有。进而，如果结合地假设动态向量为0，则可以定义“动态向量为0，没有变换系数”这样的特别的宏块类型。这样的宏块以前被称为跳过宏块、或not coded宏块，进行处理使得通过进行特别的信号传送而不传送多余的信息。在AVC中，将动态向量的假定设为“进行图32(a)的16×16预测的情况，并且用于动态向量的编码的预测值(相当于预测向量mvp0、mvp1、mvp2)与实际的动态向量相等的情况”这样的条件，在与该条件一致，并且没有应该传送的变换系数数据的情况下，看作是跳过宏块。在现有的AVC中，在对该跳过宏块进行编码的情况下，与所使用的可变长编码方式对应地，选择以下的2个方法的任意一个。

方法1：对切片内连续的跳过宏块的个数(RUN长度)进行计数，对RUN长度进行可变长编码。

方法2：针对每个宏块，对是否是跳过宏块的指示标志进行编码。

图48表示各方法的比特流文法。图48(a)是使用适应性haffman编码作为可变长编码方式的情况(方法1)，图48(b)是使用了适应性算术编码的情况(方法2)。在方法1的情况下通过mb_skip_run，在方法2的情况下通过mb_skip_flag，进行跳过宏块的信号传送。MB(n)表示第n个(不是跳过)宏块的编码数据。应该注意的是，以集合了C0、C1、C2成分的宏块为单位分配mb_skip_run、mb_skip_flag。

与此相对，在本实施例11的编码装置、解码装置中，提供以下的方法：与上述控制信号，即实施例7所述的间预测模式共通化识别标志123相当的信号的状态对应地，对每个C0、C1、C2的各成分变更包含动态向量等的头信息，对每个C0、C1、C2的各成分进行跳过宏块的信号传送。图49、图50表示具体的比特流文法的例子。

图49表示本实施例11的作为解码装置的输入的宏块编码数据的结构，图50表示图49中的Cn成分头信息的编码数据的详细结构。以下，为了说明该比特流结构的效果，以接收比特流复原影像信号的解码装置侧的动作为中心进行说明。在解码装置的动作说明中参照图31。

针对实施例7的间预测模式共通化识别标志123扩充定义而表示为宏块头共通化识别标志123c。宏块头共通化识别标志123c是将C0成分头信息139a看作是基本宏块头信息，指示出只将C0成分头信息139a作为对C1、C2成分共通使用的头信息进行多路复用、还是分别各别地将C1成分头信息139b、C2成分头信息139c作为扩展头信息进行多路复用的标志。从视频流22中由可变长解码部件25抽出、解码宏块头共通化识别标志123c。在该标志表示只将C0成分头信息139a作为对C1、C2成分共通使用的头信息进行多路复用的情况下，针对宏块中的C0、C1、C2的全部成分，使用C0成分头信息139a进行解码，在表示分别各别地将C1成分头信息139a、C2成分头信息139c作为扩展头信息进行多路复用的情况下，使用宏块中的C0、C1、C2各自的成分所固有的头信息139a～139c进行解码。以下，进一步详细地按照宏块单位的处理说明该点。

1.只对C0成分头信息进行多路复用的情况

在宏块头共通化识别标志123c表示只将C0成分头信息139a作为对C1、C2成分共通使用的头信息进行多路复用的情况下，针对C0、C1、C2的全部成分，根据包含在C0成分头信息139a中的各种宏块头信息，进行宏块的解码。在该情况下，由于针对C1、C2成分共通地适用C0成分跳过指示信息138a、C0成分头信息139a，所以不将针对C1、C2成分的跳过指示信息(138b、138c)、头信息(139b、139c)多路复用到比特流中。

可变长解码部件25首先对C0成分跳过指示信息138a进行解码、评价。在此，在C0成分跳过指示信息138a表示“跳过”的情况下，看作是没有对C0成分头信息139a进行编码，并看作是C0成分头信息139a中的变换系数有效无效指示信息142为0(完全没有编码了的变换系数)。由此，看作是对全部的C0～C2成分变换系数数据(140a～140c)没有进行编码，将宏块中的量子化后变换系数10全部作为0输出。进而，依照跳过宏块的定义，将C0、C1、C2的全部成分的动态向量137设置为同一值输出。

在C0成分跳过指示信息138a表示不是“跳过”的情况下，存在C0成分头信息139a，对其进行解码。在C0成分头信息139a中，如果宏块类型128b表示内编码，则对内预测模式141、变换系数有效无效指示信息142、(如果变换系数有效无效指示信息142不为0)量子化参数进行解码。在此，如果变换系数有效无效指示信息142不为0，则对C0、C1、C2成分变换系数数据(140a～140c)进行解码，以量子化后变换系数10的形式输出。在变换系数有效无效指示信息142为0的情况下，设C0～C2成分变换系数数据(140a～140c)全部为0，将宏块中的量子化后变换系数10全部设为0输出。如果宏块类型128b表示间编码，则根据需要对子宏块类型129b进行解码，进而，对参照图像识别编号132b、动态向量信息133b、变换系数有效无效指示信息142、(如果变换系数有效无效指示信息142不为0)量子化参数21进行解码。在此，如果变换系数有效无效指示信息142不为0，则对C0、C1、C2成分变换系数数据(140a～140c)进行解码，以量子化后变换系数10的形式输出。在变换系数有效无效指示信息142为0的情况下，设C0～C2成分变换系数数据(140a～140c)全部为0，将宏块中的量子化后变换系数10全部设为0输出。通过以上动作，使用从可变长解码部件25的输出，依照规定的处理步骤，进行宏块的解码，这一点与实施例7一样。

2.针对C0、C1、C2成分多路复用各对应头信息的情况

在宏块头共通化识别标志123c表示与C0成分头信息139a分别各别地将C1成分头信息139b、C2成分头信息139c多路复用为扩展头信息的情况下，针对C0、C1、C2的各成分，分别根据包含在对应的头信息(139a～139c)中的各种宏块头信息，进行各成分图像的解码。在该情况下，将针对C1、C2成分的跳过指示信息(138b、138c)、头信息(139b、139c)多路复用到比特流中。

可变长解码部件25首先对C0成分跳过指示信息138a进行解码、评价。在此，在C0成分跳过指示信息138a表示“跳过”的情况下，看作是没有对C0成分头信息139a进行编码，并看作是C0成分头信息139a中的变换系数有效无效指示信息142为0(完全没有编码了的变换系数)。由此，看作是对C0成分变换系数数据140a没有进行编码，将C0成分的量子化后全变换系数设为0(即，根据宏块头共通化识别标志123c的值，C0成分跳过指示信息138a与变换系数有效无效指示信息142的关系变化)。进而，依照C0成分跳过的情况下的定义，设置C0成分的动态向量137并输出。

在C0成分跳过指示信息138a表示不是“跳过”的情况下，存在C0成分头信息139a，对其进行解码。在C0成分头信息139a中，如果宏块类型128b表示内编码，则对内预测模式141(将帧内的被预测对象像素的近旁像素用作预测值的空间像素预测的模式)、变换系数有效无效指示信息142、(如果变换系数有效无效指示信息142不为0)量子化参数21进行解码。在此，如果变换系数有效无效指示信息142不为0，则对C0成分变换系数数据进行解码，以量子化后变换系数10的形式输出。在变换系数有效无效指示信息为0的情况下，设C0成分变换系数数据全部为0。如果宏块类型表示间编码，则根据需要对子宏块类型进行解码，进而，对参照图像识别编号、动态向量信息、变换系数有效无效指示信息、(如果变换系数有效无效指示信息不为0)量子化参数进行解码。在此，如果变换系数有效无效指示信息不为0，则对C0成分变换系数数据进行解码，以量子化后变换系数10的形式输出。在变换系数有效无效指示信息为0的情况下，设C0成分变换系数数据全部为0。针对C1、C2也同样进行以上的处理步骤。

使用通过以上的动作得到的来自可变长解码部件25的输出，依照规定的处理步骤，进行宏块中的C0、C1、C2的各成分的解码，这一点与实施例7一样。

以上以解码装置侧的动作为中心进行了说明，通过这样构成比特流，能够得到以下的效果。首先，在现有的AVC中，对于每个宏块只有1组可以利用的头信息，必须依照该头信息综合地对C0、C1、C2的全部成分进行内、间判断而进行编码。另一方面，如4:4:4格式那样，对于与传送图像信号的内容的亮度信号相当的信号成分等价地包含在3个颜色成分中的情况，因对各成分的输入影像信号的噪声等有可能会产生信号特性的离散，集中地对C0、C1、C2的全部成分进行编码不一定是最优的。通过以本实施例11的图49、图50的比特流结构为前提，编码装置根据宏块头共通化识别标志123c，能够对C0～C2的每个成分选择与信号特性对应的最优的编码模式(包含内/间编码种类的宏块类型)、动态向量等进行编码，能够提高编码效率。

另外，在现有技术中，以集合了C0～C2的全部成分的宏块为单位进行编码，以全部成分的编码信息全部不存在为条件判断为跳过，但在本实施例11中，构成为能够对每个成分用跳过指示信息138判断编码信息的有无，因此在只有某个成分跳过，而其他成分不跳过的情况下，不需要设全部成分都不跳过，能够更高效地进行编码量的分配。另外，在编码装置中，在可变长编码部件11中，根据量子化后变换系数数据10、动态向量137、参照图像识别编号132b、宏块类型/子宏块类型106，按照在所述那样的编码装置、解码装置的双方中唯一规定的跳过宏块的定义，决定跳过指示信号138的值。

另外，本实施例11的编码装置、解码装置所处理的比特流的结构也可以如图51那样。在该例子中，分别集合了C0、C1、C2的各成分的跳过指示信息(138)、头信息(139a～139c)、变换系数数据(140a～140c)地进行配置。这时，跳过指示信息138可以分别用1比特的代码符号排列C0、C1、C2的各状态，也可以集中为1个代码符号地对8个状态进行编码。在颜色成分之间跳过状态的相关性高的情况下，通过综合代码符号而适当地定义算术编码的上下文模型(将在实施例12中说明)，能够提高跳过指示信息138自身的编码效率。

另外，也可以按照宏块、切片、画像、序列等任意的数据层的单位将宏块头共通化识别标志123c多路复用到比特流中。在输入信号中始终有颜色成分之间的信号性质的差异的情况下，如果构成为按照序列的单位对宏块头共通化识别标志123c进行多路复用，则能够以更少的开销信息进行高效的编码。如果构成为按照画像为单位对宏块头共通化识别标志123c进行多路复用，则在宏块类型的变形少的I画像中使头共通化，在宏块类型的变形多的P、B画像中对每个颜色成分使用各别的头，由此能够期待改善编码效率与计算负荷的平衡的效果。进而，从换帧(sine change)等每个画像的信号性质都变化那样的影像信号的编码控制的观点出发，理想的是进行画像层的切换。如果按照宏块的单位对宏块头共通化识别标志123c进行多路复用，则在增加了每个宏块的编码量的反面，可以按照宏块的单位依照各颜色成分的信号状态控制是否进行头信息的共通化，根据图像的局部信号的变动更好地进行跟踪，能够构成提高了压缩效率的编码装置。

在如AVC那样在切片水平切换与画像类型相当的编码类型的情况下，可以考虑以下的方法：对每个切片多路复用宏块头共通化识别标志123c，在该标志表示“对C0、C1、C2共通”的情况下，构成比特流使得该切片包含全部的3个颜色成分的编码信息，另外在该标志表示不是“对C0、C1、C2共通”的情况下，构成比特流使得1个切片包含1个颜色成分的信息。图52表示了该情况。在图52中，宏块头共通化识别标志123c具有“当前的切片包含全部的3个颜色成分的编码信息”、还是“当前切片包含某特定颜色成分的编码信息”的切片构成识别信息的意义。当然，也可以另外与宏块头共通化识别标志123c不同地准备这样的切片构成识别信息。在识别为“当前切片包含某特定颜色成分的编码信息”的情况下，其包含“C0、C1、C2中的哪个”这样的识别。另外，这样以切片单位切换对C0、C1、C2成分共通使用一个宏块头、还是各别地对每个C0、C1、C2成分多路复用宏块头(C0切片、C1切片、C2切片)的情况下，在1个画像内混合存在2种类切片的情况下，对C0切片、C1切片、C2切片设置以下的制约，即始终作为对画面内的同一位置的宏块进行了编码的数据而成组地多路复用到比特流中。即，包含在切片头中并且表示切片的先头宏块的画像内位置的first_mb_in_slice的值在一组的C0切片、C1切片、C2切片中始终为同一值，包含在一组的C0切片、C1切片、C2切片中的宏块的个数是相同的个数。图53表示该情况。通过对比特流的结构设置这样的制约，在编码装置中，能够与画像内的局部信号的性质对应地，适应性地选择混合存在C0、C1、C2的切片和C0切片、C1切片、C2切片的组中的编码效率高的编码方法而进行编码，解码装置能够接收这样高效地编码了的比特流而重放影像信号。例如，如果输入到图31的解码装置的比特流22是这样的结构，则在可变长解码部件25中，在每次输入切片数据时都从比特流中解码切片构成识别信息，识别此后要解码的切片是图52的哪种切片。在根据切片构成识别信息，判断出编码数据构成为C0切片、C1切片、C2切片的组的情况下，可以将间预测模式共通化识别标志123(或宏块头共通化识别标志123c)的状态确定为“对C0、C1、C2使用各别的间预测模式或(宏块头)”而进行解码动作。由于保证了各切片的first_mb_in_slice的值与切片中的宏块个数相等，所以根据它能够不产生混合存在C0、C1、C2的切片和画像上的交错(overlap)或跳过地，进行解码处理。

另外，在C0、C1、C2的各切片的信号性质有很大不同的情况下，通过设置这样的制约能够避免编码效率的降低，因此也可以构成为附加能够在画像水平或序列水平上选择是否许可在画像内混合存在具有不同的切片构成识别信息的值的切片的识别信息。

实施例12

在本实施例12中，说明从实施例11所述的编码装置和解码装置派生的其他编码装置和解码装置的实施例。本实施例12的编码装置、解码装置的特征在于：在使用适应性算术编码方式进行宏块中的C0、C1、C2各成分的编码的情况下，根据多路复用在比特流中的指示信号，适应性地切换对全部成分共有用于算术编码的符号发生概率及其学习过程、还是对每个成分分离。

本实施例12的编码装置只有图30的可变长编码部件11内的处理与实施例11，解码装置只有图31的可变长解码部件25内的处理与实施例11不同，除此以外的动作如实施例11那样。以下，详细说明作为本实施例12的发明点的算术编码和解码处理。

1.编码处理

图54表示可变长编码部件11中的算术编码处理相关的内部结构，图55和图56表示其动作流程。

本实施例12的可变长编码部件11包括：确定针对作为编码对象的动态向量137、参照图像识别编号132b、宏块类型/子宏块类型106、内预测模式141、量子化后变换系数10等各个数据类型定义的上下文模型(context model：后述)的上下文模型决定部件11a；依照针对各编码对象数据类型确定的二值化规则，将多值数据变换为二值数据的二值化部件11b；产生二值化后的各个bin的值(0 or 1)的发生概率的发生概率生成部件11c；根据生成的发生概率，执行算术编码的编码部件11d；存储发生概率信息的存储器11g。向上下文模型决定部件11a的输入是动态向量137、参照图像识别编号132b、宏块类型/子宏块类型106、内预测模式141、量子化后变换系数10等作为编码对象数据输入到可变长编码部件11的各种数据，从编码部件11d的输出相当于视频流22的宏块相关的信息。

(1)上下文模型决定处理(图55中的步骤S160)

上下文模型是指对与作为信息源符号(symbol)的发生概率的变动因素的其他信息的依存关系进行了模型化的结果，通过与该依存关系对应地切换发生概率的状态，能够与符号的实际发生概率更适应地进行编码。图57表示上下文模型(ctx)的概念。另外，在图57中，信息源符号是二值的，但也可以是多值。设想使用该ctx的信息源符号的发生概率的状态应该与状况对应地发生变化的情况，而定义图57的0～2这样的ctx的选择分支。如果说明本实施例12的影像编码，则与某宏块中的编码数据和其周边的宏块的编码数据之间的依存关系对应地切换ctx的值。例如，在图58中，表示了在D.Marpe及其他，“Video Conpression Using Context-Based Adaptive ArithmeticCoding”，International Conference on Image Processing 2001中所揭示了的宏块的动态向量相关的上下文模型的例子。在图58中，表示了块C的动态向量是编码对象(正确地说，对根据近旁预测了块C的动态向量后的预测差分值mvd_k(C)进行编码)，ctx_mvd(C，k)表示上下文模型。mvd_k(A)表示块A的动态向量预测差分值，mvd_k(B)表示块B的动态向量预测差分值，并用于上下文模型的切换评价值e_k(C)的定义中。评价值e_k(C)表示近旁的动态向量的离散程度，一般有以下的倾向，即在该离散小的情况下，mvd_k(C)小，相反在e_k(C)大的情况下，mvd_k(C)也变大。因此，理想的是根据e_k(C)使mvd_k(C)的符号发生概率适合。可以说该发生概率的变化组(variation set)就是上下文模型，该情况下有3种发生概率变化。

其他还分别针对宏块类型/子宏块类型106、内预测模式141、量子化后变换系数10等编码对象数据预先定义上下文模型，并在编码装置和解码装置中共有。在上下文模型决定部件11a中，选择这样的根据编码对象数据的种类预先确定的模型进行处理(选择上下文模型中的哪个发生概率变化相当于下述(3)的发生概率生成处理)。

(2)二值化处理(图55中的步骤S161)

在二值化部件11b中对编码对象数据进行二值化，与二值序列的各bin(二进制位置)对应地确定上下文模型。二值化的规则是依照各编码数据的取值的大致分布，变换为可变长的二值序列。二值化通过相对于原样地对本来可以取多值的编码对象进行算术编码的情况，而按照bin单位进行编码，能够得到以下的优点：能够削减概率数直线分割数，能够简化计算，能够进行上下文模型的细微化(slim)。

(3)发生概率生成处理(图55中的步骤S162(图56是步骤S162的详细))

在上述(1)、(2)的处理中，完成了对多值的编码对象数据的二值化、适用于各bin的上下文模型的设置，进行了编码准备。接着，在发生概率生成部件11c中进行用于算术编码的发生概率状态的生成处理。在各上下文模型中包含有与0/1的各值对应的发生概率的变化，因此如图54所示那样，参考在步骤S160中决定的上下文模型11f进行处理。确定图58所示的e_k(C)那样的用于选择发生概率的评价值，依照它，从所参照的上下文模型的选择分支中决定在现在的编码中使用哪个发生概率变化(图S56的步骤S162a)。进而，本实施例12中的可变长编码部件11具备发生概率信息存储器11g，并具备按照颜色成分分别地存储在编码过程中顺序地更新的发生概率状态11h的机构。发生概率生成部件11c与发生概率状态参数共通化识别标志143的值对应地，选择是从按照C0～C2的颜色成分分别保存的数据中选择用于现在编码的发生概率状态11h、还是对C1、C2共有C0成分用的数据，决定实际用于编码的发生概率状态11h(图56的步骤S162b～S162d)。

由于可能在解码装置中进行同样的选择，所以必须将发生概率状态参数共通化识别标志143多路复用到比特流中。通过这样的结构，具有以下的效果。例如，如果以图58为例子，则在宏块头共通化识别标志123c表示对于其他成分也使用C0成分头信息139a的情况下，如果宏块类型128b表示16×16预测模式，则对每个宏块只确定一个图58的e_k(C)。这时，始终使用对C0成分准备的发生概率状态。另一方面，在宏块头共通化识别标志123c表示使用与各成分对应的头信息(139a～139c)的情况下，如果宏块类型128b表示对于C0、C1、C2的任意一个都是16×16预测模式，则图58的e_k(C)对于每个宏块可以有3个变化。在后级的编码部件11d中，对于各个变化，可以选择共通地使用和更新对C0成分准备的发生概率状态11h、还是各别地使用和更新按照各颜色成分分别准备的发生概率状态11h这样的2个选择分支。对于前者，在C0、C1、C2各成分具有大致相同的动态向量分布的情况下，共通地使用和更新发生概率状态11h，由此增加学习次数，有可能能够更好地学习动态向量的发生概率。对于后者，相反在对于C0、C1、C2各成分具有离散的动态向量分布的情况下，各别地使用和更新发生概率状态11h，由此能够削减因学习产生的不匹配(miss match)，有可能能够更好地学习动态向量的发生概率。由于影像信号是非恒定的，所以通过能够进行这样的适应性控制，能够提高算术编码的效率。

(4)编码处理

根据(3)，能够得到算术编码处理所需要的概率数直线上的0/1各值的发生概率，因此依照现有例子所述的处理，在编码部件11d中进行算术编码(图55的步骤S163)。另外，实际的编码值(0 or 1)11e被反馈回发生概率生成部件11c，为了更新使用了的发生概率状态11h，进行0/1发生频度的计数(步骤S164)。例如，假设在使用某特定的发生概率状态11h进行了100个bin的编码处理的时刻，该发生概率变化的0/1的发生概率是0.25、0.75。在此，如果使用相同的发生概率变化对1进行编码，则更新1的出现频度，0/1的发生概率变化为0.247、0.752。通过该机制，能够与实际的发生概率适应地进行高效的编码。编码值11e为从可变长编码部件11的输出，并作为视频流22从编码装置输出。

图59表示可变长解码部件25的算术解码处理相关的内部结构，图60表示其动作流程。

本实施例12的可变长解码部件25包括：确定动态向量137、按照图像识别编号132b、宏块类型/子宏块类型106、内预测模式141、量子化后变换系数10等各个解码对象数据的类型，确定分别与编码装置共通定义的上下文模型的上下文模型决定部件11a；输出根据解码对象数据的类型确定的二值化规则的二值化部件11b；依照二值化规则和上下文模型，产生各个bin(0 or 1)的发生概率的发生概率生成部件11c；根据生成的发生概率，执行算术解码，根据其结果所得到的二值序列、上述二值化规则，对动态向量137、按照图像识别编号132b、宏块类型/子宏块类型106、内预测模式141、量子化后变换系数10等数据进行解码的解码部件25a；存储发生概率信息的存储器11g。11a～11c和11g与图54的可变长编码部件11的内部构成要素是一样的。

(5)上下文模型决定处理、二值化处理、发生概率生成处理

这些处理与编码装置侧的处理(1)～(3)一致。另外，虽然未图示，但预先从视频流22中抽出发生概率状态参数共通化识别标志143。

(6)算术解码处理

通过到(6)为止的处理确定了此后要解码的bin的发生概率，因此在解码部件25a中，依照规定的算术解码处理，对bin的值进行复原(图60中的步骤S166)。bin的复原值25b被反馈到发生概率生成部件11c，为了更新使用了的发生概率状态11h，进行0/1发生频度的计数(步骤S164)。在解码部件25a中，每次确定各bin的复原值，都确认与由二值化规则确定的二值序列模型(pattern)的一致性，将一致的模型所指示的数据值作为解码数据值输出(步骤S167)。只在没有确定解码数据的情况下，返回到步骤S166，继续进行解码处理。

根据以上结构的具备算术编码和算术解码处理的编码、解码装置，在与宏块头共通化识别标志123c对应地适应性地对每个颜色成分的编码信息进行算术编码的情况下，能够进行更高效的编码。

另外，特别地虽然没有图示，但对发生概率状态参数共通化识别标志143进行多路复用的单位可以是宏块单位、切片单位、画像单位、序列单位的任意一个。在通过多路复用为位于切片、画像、序列等上位数据层的标志，进行切片以上的上位层中的切换能够确保充分的编码效率的情况下，不用逐一地在宏块水平上对发生概率状态参数共通化识别标志143进行多路复用，能够削减开销比特。

另外，发生概率状态参数共通化识别标志143也可以是根据包含在与其自身不同的比特流中的关联信息在解码装置的内部确定的信息。

在本实施例12中，在按照宏块单位对宏块头共通化识别标志123c进行算术编码时，对于上下文模型11f，使用图61所示的模型。在图61中，将宏块X的宏块头共通化识别标志123c的值设为IDC_X。在对宏块C中的宏块头共通化识别标志123c进行编码的情况下，根据宏块A的宏块头共通化识别标志123c的值IDC_A、宏块B的宏块头共通化识别标志123c的值IDC_B的值，根据该图中的公式，得到以下的3个状态。

值0：是A、B双方都“对C0、C1、C2使用共通的宏块头”的模式。

值1：是A、B中的任意一个“对C0、C1、C2使用共通的宏块头”，而另一个“对C0、C1、C2使用各别的宏块头”的模式。

值2：是A、B双方都“对C0、C1、C2使用各别的宏块头”的模式。

通过这样对宏块头共通化识别标志123c进行编码，能够与近旁的宏块的编码状态适合地进行算术编码，能够提高编码效率。另外，根据上述本实施例12的解码装置的动作说明，明显地可以看出在编码侧和解码侧都通过相同的步骤定义上下文模型进行算术解码。

另外，在本实施例12中，对于包含在宏块头中的图50的头信息(宏块类型、子宏块类型、内预测模式、按照图像识别编号、动态向量、变换系数有效无效指示信息、量子化参数)，用分别对每个信息种类定义的上下文模型进行算术编码，但也可以如图62所示那样，针对当前宏块C，参照宏块A、B的对应的信息定义任意一个上下文模型。在此，如图62(a)那样，在宏块C是“对C0、C1、C2使用共通的宏块头”的模式，宏块B是“对C0、C1、C2使用各别的宏块头”的模式的情况下，作为上下文模型定义上的参照信息，使用C0、C1、C2的任意一个特定颜色成分的信息。

例如，在C0、C1、C2与R、G、B颜色成分对应的情况下，可以考虑以下的方法，即作为更好地表现图像的构造的信号，而选择具有与在现有技术中用于编码的亮度信号最接近的成分的G成分。这是因为可以认为即使在“对C0、C1、C2使用共通的宏块头”的模式下，以G成分为基准确定宏块头的信息进行编码的情况很多。

另一方面，在相反的情况下，如图62(b)那样，在存在宏块C是“对C0、C1、C2使用各别的宏块头”模式，宏块B是“对C0、C1、C2使用共通的宏块头”模式的情况下，宏块C需要对3个颜色成分的头信息进行编码、解码，但这时，作为各颜色成分的头信息的上下文定义上的参照信息，对于宏块B，将3个成分共通的头信息作为3个成分相同的值使用。另外，明显的是，在对于宏块A、B、C，宏块头共通化识别标志123c全都表示相同的值的情况下，由于分别始终存在对应的参照信息，所以使用它们。

另外，根据上述本实施例12的解码装置的动作说明，可以明显地知道在编码侧和解码侧都通过相同的步骤定义上下文模型进行算术解码。另外，在决定了使用参照了哪个成分的信息的上下文模型后，根据发生概率状态参数共通化识别标志143的状态，与其上下文模型对应地更新发生概率状态。

另外，在本实施例12中，对于C0、C1、C2成分的各变换系数数据，也与各编码对象数据的发生概率分布进行算术编码。这些数据与不共通使用宏块头无关地，3个成分的编码数据始终包含在比特流中。在本实施例12中，由于在编码输入信号的颜色空间上进行内预测、间预测，得到预测差分信号，所以可以认为对预测差分信号进行整数变换得到的变换系数数据的分布与图62那样的不共通使用宏块头这样的周边状态无关地，成为同样的发生概率分布。因此，在本实施例12中，对于C0、C1、C2的每个成分，与不共通使用宏块头无关地，定义共通的上下文模型并用于编码。解码中。

另外，根据上述本实施例12的解码装置的动作说明，可以明显地知道在编码侧和解码侧都通过相同的步骤定义上下文模型进行算术解码。另外，在决定了使用参照哪个成分的信息的上下文模型后，根据发生概率状态参数共通化识别标志143的状态，与其上下文模型对应地更新发生概率状态。

实施例13

在本实施例13中，说明从实施例7～12所述的编码装置和解码装置派生的其他编码装置和解码装置的实施例。本实施例13的编码装置、解码装置的特征在于：在实施例7～12记载的编码装置的输入级进行颜色空间变换处理，在摄像后输入到编码装置的影像信号的颜色空间变换为适合于编码的任意颜色空间，将指定用于在解码侧恢复到摄像时的颜色空间的逆变换处理的信息多路复用到比特流中的编码装置；从比特流中抽出指定逆变换处理的信息，在通过实施例7～12记载的解码装置得到解码图像后，根据指定逆变换处理的信息，进行逆颜色空间变换的结构。

图63表示本实施例13的编码装置、解码装置的结构。根据图63，说明本实施例13的编码装置、解码装置。

本实施例13的编码装置在实施例7～12的编码装置303的基础上，在其前级还具备颜色空间变换部件301。颜色空间变换部件301具备1个或多个颜色空间变换处理，根据输入的影像信号的性质、系统设置等，选择所使用的颜色空间变换处理，对输入影像信号进行颜色空间变换处理。将其结果所得到的变换影像信号302发送到编码装置303。另外，将同时使用的识别颜色空间变换处理的信息作为颜色空间变换方法识别信息304输出到编码装置303。编码装置303将颜色空间变换方法识别信息304多路复用到将变换影像信号302作为编码对象信号用实施例7～12所示的方法压缩编码了的比特流305中，发送到传送路径上，或输出到向记录介质进行记录的记录装置。

在此，所准备的颜色空间变换方法例如有以下这样的变换：

在现有标准中使用的从RGB向YUV的变换：

C0＝Y＝0.299×R+0.587×G+0.114×B

C1＝U＝-0.169×R-0.3316×G+0.500×B

C2＝V＝0.500×R-0.4186×G-0.0813×B

颜色成分之间的预测：

C0＝G’＝G

C1＝B’＝Bf(G)(其中，f(G)为对G成分的过滤处理结果)

C2＝R’＝Rf(G)

从RGB到YCoCg的变换：

C0＝Y＝R/2+G/2+B/4

C1＝Co＝R/2B/2

C2＝Cg＝-R/4+G/2B/4

向颜色空间变换部件301的输入并不需要限于RGB，另外变换处理也不限于上述3种。

本实施例13的解码装置在实施例7～12的解码装置306的基础上，在其后级还具备逆颜色空间变换部件308。解码装置306将比特流305作为输入，从比特流305中抽出颜色空间变换方法识别信息304输出，同时输出通过实施例7～12记载的解码装置的动作得到的解码图像307。逆颜色空间变换部件308具备与能够由上述颜色空间变换部件301选择的颜色空间变换方法的各个对应的逆变换处理，根据从解码装置306输出的颜色空间变换方法识别信息304，确定由颜色空间变换部件301执行了的变换，对解码图像307实施逆变换处理，进行恢复到输入到本实施例13的编码装置的输入影像信号的颜色空间的处理。

根据本实施例13的编码装置、解码装置，在编码的前级和解码处理的后级，对编码的影像信号进行最优的颜色空间的变换处理，在编码前除去包含在由3个颜色成分构成的图像信号中的相关性，能够在减少了冗余度的状态下进行编码，能够提高压缩效率。在现有的MPEG等标准编码方式中，将编码对象的信号的颜色空间限定于YUV的1种，但通过具备颜色空间变换部件301、逆颜色空间变换部件308，将颜色空间变换方法识别信息304包含在比特流305中，能够减少对编码输入的影像信号的颜色空间的限制，并且能够从除去了颜色成分之间的相关性的多种手段中使用最优的变换进行编码。

在本实施例13中，以颜色空间变换部件301、逆颜色空间变换部件308始终动作为前提进行了说明，但也可以不使这些处理部件动作，而构成为在序列等上位层中对用于指示确保与现有规格的互换性的信息进行编码。

另外，也可以构成为将本实施例13的颜色空间变换部件301、逆颜色空间变换部件308组合到实施例7～12的编码装置、解码装置的内部结构中，进行预测差分信号水平的颜色空间变换。图64表示这样构成的编码装置，图65表示解码装置。在图64的编码装置中，代替正交变换部件8而具备变换部件310，代替逆正交变换部件13而具备逆变换部件312。在图65的解码装置中，代替逆正交变换部件13而具备逆变换部件312。

变换部件310针对从编码模式判断部件5输出的C0、C1、C2成分的预测差分信号4，如上述颜色空间变换部件301的处理所示那样，从多个颜色空间变换处理中选择最优的变换处理，首先执行颜色空间变换。然后，对颜色空间变换的结果执行与正交变换部件8相当的变换。表示选择哪个变换的颜色空间变换方法识别信息311被发送到可变长编码部件11，多路复用到比特流中作为视频流22输出。另外，在逆变换部件312中，在首先进行了与逆正交变换部件13相当的逆变换后，使用由颜色空间变换方法识别信息311指定的颜色空间变换处理，执行逆颜色空间变换处理。

在解码装置中，由可变长解码部件25从比特流中抽出颜色空间变换方法识别信息311，将其结果发送到逆变换部件312，由此进行与上述编码装置中的逆变换部件312一样的处理。通过这样的结构，在预测差分区域能够充分除去了残存在颜色成分之间的相关性那样的情况下，可以将其作为编码处理的一部分执行，具有提高编码效率的效果。其中，在对C0、C1、C2成分使用各别的宏块头的情况下，如C0成分为内预测、C1成分为间预测那样，预测方法对每个成分都可能产生变化，因此也难以保持预测差分信号4的区域中的相关性。因此，在对C0、C1、C2成分使用各别的宏块头的情况下，可以使得变换部件310、逆变换部件312不执行颜色空间变换，也可以将在预测差分信号4的区域中是否执行颜色空间变换作为识别信息多路复用到比特流中。另外，也可以按照序列、画像、切片、宏块的任意一个单位切换颜色空间变换方法识别信息311。

在图64、图65的编码装置、解码装置的结构中，C0、C1、C2成分的各变换系数数据与颜色空间变换方法识别信息311对应地编码对象信号的信号定义范围(domain)是不同的。因此，可以认为与颜色空间变换方法识别信息311对应地，变换系数数据的分布一般为不同的发生概率分布。因此，在如图64、图65那样构成编码装置、解码装置的情况下，对C0、C1、C2的每个成分，使用在颜色空间变换方法识别信息311的每个状态下不同的发生概率状态所对应的上下文模型，进行编码、解码。

另外，根据上述本实施例12的解码装置的动作说明，明显地可以看出在编码侧和解码侧都通过相同的步骤定义上下文模型进行算术解码。另外，在决定了使用参照了哪个成分的信息的上下文模型后，根据发生概率状态参数共通化识别标志143的状态，与其上下文模型对应地更新发生概率状态。

实施例14

在本实施例14中，对上述实施例所述的编码装置、解码装置进一步说明具体的装置结构。

在上述实施例中，例如使用以图1、图2、图30、图31等为基准的附图说明了编码装置、解码装置的动作。在这些附图中，说明了以下的动作：将由3个颜色成分构成的输入影像信号统一地输入到编码装置，在装置内部一边选择是根据共通的预测模式、宏块头对3个颜色成分进行编码、还是根据分别的预测模式、宏块头进行编码，一边进行编码，将其结果得到的比特流输入到解码装置，在解码装置内部一边根据从比特流解码取出的标志(例如内预测模式共通化识别标志23、间预测模式共通化识别标志123等)选择是根据共通的预测模式、宏块头对3个颜色成分进行编码、还是根据分别的预测模式、宏块头进行编码，一边进行解码处理，而得到重放影像。已经说明了可以按照宏块、切片、画像、序列等任意的数据层的单位对上述标志进行编码、解码，但在本实施例14中，与具体的附图一起，特别说明以下这样的装置的结构、动作，即一边按照1帧(乃至1字段(field))的单位区分是用共通的宏块头对3个颜色成分信号进行编码、还是用各别的宏块头进行编码，一边进行编码、解码。以下，并没有特别限定地，在记载为“1帧”的情况下，看作是1帧乃至1字段的数据单位。

本实施例14的宏块头包含图15那样的变换块大小识别标志、图50那样的宏块类型/子宏块类型、内预测模式等编码、预测模式信息、参照图像识别编号、动态向量等动态预测信息、变换系数有效无效指示信息、与变换系数对应的量子化参数等、变换系数数据以外的宏块开销信息。

以后，将用共通的宏块头对1帧的3个颜色成分信号进行编码的处理记载为“共通编码处理”，将用各别独立的宏块头对1帧的3个颜色成分信号进行编码的处理记载为“独立编码处理”。同样，将从用共通的宏块头对1帧的3个颜色成分进行了编码的比特流中解码帧图像数据的处理记载为“共通解码处理”，将从用各别独立的宏块头对1帧的3个颜色成分进行了编码的比特流中解码帧图像数据的处理记载为“独立解码处理”。在本实施例14的共通编码处理中，如图66所示那样，将1帧的输入影像信号分割为集合了3个颜色成分的形式的宏块。另一方面，在独立编码处理中，如图67所示那样，将1帧的输入影像信号分离为3个颜色成分，将它们分割为由单一的颜色成分构成的宏块。即，作为共通编码处理对象的宏块包含C0、C1、C2的3个颜色成分的样本(sample)，但作为独立编码处理对象的宏块只包含C0、C1、C2成分中的任意一个成分的样本。

图68是表示本实施例14的编码装置、解码装置中的画像间的时间方向的动态预测参照关系的说明图。在该例子中，粗纵线条所示的数据单位为画像，用虚线围住表示画像与存取单元的关系。在共通编码、解码处理的情况下，1个画像是表示混合存在3个颜色成分的1帧的影像信号的数据，在独立编码、解码处理的情况下，1画像为任意一个颜色成分的1帧的影像信号。存取单元是以使影像信号与音频、声音信息等同步等为目的而附加时间标记(timestamp)的最小数据单位，在共通编码、解码处理的情况下，1个存取单元包含1画像的数据(图68的427a)。另一方面，在独立编码、解码处理的情况下，在1个存取单元中包含3个画像(图68的427b)。这是因为在独立编码、解码处理的情况下，3个颜色成分全部的同一显示时刻的画像一致地开始而得到1帧的重放影像信号。另外，对各画像的上部附加的编号表示画像的时间方向的编码、解码处理顺序(AVC的frame_num)。在图68中，画像间的箭头表示动态预测的参照方向。即，在独立编码、解码处理的情况下，不进行包含在同一存取单元中的画像之间的动态预测参照、以及不同颜色成分之间的动态预测参照，限定于同一颜色成分的信号，对C0、C1、C2的各颜色成分的画像一边进行预测参照一边进行编码、解码。通过这样的结构，在本实施例14的独立编码、解码处理的情况下，能够完全不依存于其他颜色成分的编码、解码处理而执行各颜色成分的编码、解码，容易进行并行处理。

另外，在AVC中，自身进行内编码，并且定义对用于动态补偿预测的参照图像存储器的内容进行复位的IDR(instantaneousdecoder refresh)画像。IDR画像可以不依存于其他任意的画像而进行解码，因此被作为随机访问点而利用。共通编码处理的情况下的存取单元是1存取单元＝1画像，但在独立编码处理的情况下的存取单元中，1存取单元由多个画像构成，因此在某颜色成分画像是IDR画像的情况下，其他剩余的颜色成分画像也作为IDR画像定义IDR存取单元，确保随机访问概念。

以下，在本实施例14中，将表示是基于共通编码处理进行编码、还是基于独立编码处理进行编码的识别信息称为共通编码/独立编码识别信号。

图69是表示在本实施例14中生成并且被本实施例14的解码装置作为输入、解码处理的对象的比特流的构造的一个例子的说明图。图69表示从序列到帧水平的比特流结构，首先将共通编码/独立编码识别信号423多路复用到序列水平的上位头(在AVC的情况下，为序列参数组等)。按照存取单元的单位对各个帧进行编码。AUD是指在AVC中作为用于识别存取单元的结束的唯一的NAL单元的AccessUnit Delimiter NAL单元。在共通编码/独立编码识别信号423表示“基于共通编码处理的画像编码”的情况下，存取单元被包含在1个画像的编码数据中。这时的画像是上述那样表示混合存在3个颜色成分的1帧的影像信号的数据。这时，第i个存取单元的编码数据构成为切片数据Slice(i，j)的集合。j是1画像内的切片数据的索引(index)。

另一方面，在共通编码/独立编码识别信号423表示“基于独立编码处理的画像编码”的情况下，1画像是1个颜色成分的1帧的影像信号。这时，第p个存取单元的编码数据构成为第q个画像的切片数据Slice(q，p，r)的集合。R是1画像内的切片数据的索引。在如RGB那样颜色成分由3个成分构成的情况下，q的取值个数为3个。另外，在由3原色构成的影像信号以外，例如在将用于α混合(αblending)的透明度信息那样的附加数据作为同一存取单元进行编码、解码的情况、对由4成分以上的颜色成分(例如在彩色印刷中使用的YMCK等)构成的影像信号进行编码、解码的情况等下，设置为q的取值个数为4以上。本实施例14的编码装置、解码装置如果选择独立编码处理，则完全独立地对构成影像信号的各颜色成分进行编码，因此原理上不用变更编码、解码处理，就能够自由地变更颜色成分的张数。即使在将来变更了用于影像信号的颜色表现的信号形式的情况下，也具有能够用本实施例14的独立编码处理进行处理的效果。

为了实现这样的结构，在本实施例14中，以“包含在1存取单元内，各个相互不进行动态预测参照而独立地进行编码的画像的个数”的形式来表示共通编码/独立编码识别信号423。这时，可以用上述参数q取值的个数来表示共通编码/独立编码识别信号423，以后将该参数取得的个数称为num_pictures_in_au。即，num_pictures_in_au＝1表示“共通编码处理”，num_pictures_in_au＝3表示本实施例14的“独立编码处理”。在颜色成分为4以上的情况下，可以设置为num_pictures_in_au＞3的值。通过进行这样的信号传送，解码装置如果对num_pictures_in_au进行解码、参照，则不只能够区别基于共通编码处理的编码数据、基于独立编码处理的编码数据，还能够同时知道在1个存取单元内存在可变长解码部件25单一颜色成分画像，在能够处理将来的影像信号的颜色表现扩展的同时，还能够在比特流中流畅地处理共通编码处理和独立编码处理。

图70是表示共通编码处理、独立编码处理各自的情况下的切片数据的比特流结构的说明图。在通过独立编码处理编码了的比特流中，为了达到后述的效果，对切片数据的先头的头区域附加颜色成分识别标志(color_channel_idc)，使得能够识别在解码装置中接收到的切片数据是属于存取单元内的哪个颜色成分的画像的切片。color_channel_idc的值将相同的切片编成一组。即，在color_channel_idc的值不同的切片之间，不具有任意的编码、解码的依存性(例如动态预测参照、CABAC的上下文模型产生、发生概率学习等)。通过这样进行规定，确保独立编码处理的情况下的存取单元内的各个画像的独立性。另外，对于多路复用到各切片头中的frame_num(切片所属的画像的编码、解码处理顺序)，在1个存取单元内的全部颜色成分画像中为相同的值。

图71是表示本实施例14的编码装置的概要结构的说明图。在图71中，在第一画像编码部件503a中执行共通编码处理，在第二画像编码部件503b0、503b1、503b2(准备3个颜色成分的部件)中执行独立编码处理。通过开关(SW)501将输入影像信号1供给到第一画像编码部件503a、第二画像编码部件503b0、503b1、503b2的任意一个。根据共通编码/独立编码识别信号423驱动开关501，将输入影像信号1供给到指定的路径。以下，说明在输入影像信号为4:4:4格式的情况下将共通编码/独立编码识别信号(num_pictures_in_au)423多路复用到序列参数组中，成为按照序列的单位选择共通编码处理和独立编码处理的信号。这与上述实施例7中所述的间预测模式共通化识别标志123、上述实施例11中所述的宏块头共通化识别标志123在概念上是相同的。在使用了共通编码处理的情况下，需要在解码装置侧执行共通解码处理，在使用了独立编码处理的情况下，需要在解码装置侧执行独立解码处理，因此，需要将共通编码/独立编码识别信号423作为指定该情况的信息而多路复用到比特流中。因此，将共通编码/独立编码识别信号423输入到多路复用部件504中。该共通编码/独立编码识别信号423的多路复用单位如果是由序列内的几个画像群组成的GOP(group of picture)的单位等比画像更上位的层，则可以是任意的单位。

在第一画像编码部件503a中，为了执行共通编码处理，如图66所示那样，将输入影像信号1分割为集合了3个颜色成分的样本的形式的宏块，按照该单位执行编码处理。将在后面说明第一画像编码部件503a的编码处理。在选择了独立编码处理的情况下，在颜色成分分离部件502中将输入影像信号分离为C0、C1、C2的1帧的数据，分别供给到对应的第二画像编码部件503b0～503b2。在第二画像编码部件503b0～503b2中，将对每个颜色成分分离了的1帧的信号分割为图67所示的形式的宏块，按照该单位执行编码处理。将在后面说明第二画像编码部件的编码处理。

向第一画像编码部件503a输入由3个颜色成分构成的1个画像的影像信号，作为视频流422a输出编码数据。向第二画像编码部件503b0～503b2输入由单一颜色成分构成的1个画像的影像信号，作为视频流422b0～422b2输出编码数据。根据共通编码/独立编码识别信号423的状态在多路复用部件504中对这些视频流进行多路复用并输出。

在视频流422c的多路复用时，在独立编码处理的情况下存取单元中，在存取单元内的画像(各颜色成分)之间可能使切片数据的比特流中的多路复用、传送顺序交错(interleave)(图72)。在该情况下，在解码装置侧，需要识别接收到的切片数据是属于存取单元内的哪个颜色成分。因此，在切片数据的先头的头区域中利用如图70那样多路复用的颜色成分识别标志。

通过这样的结构，在编码装置中，在如图71的编码装置那样，分别使用独立的第二画像编码部件503b0、503b2的3组3个颜色成分的画像，通过并行处理进行编码的情况下，不等待其他颜色成分画像的编码数据的完成，如果自身的画像的切片数据准备完成，则能够马上发送出编码数据。在AVC中，可以将1个画像分割为多个切片数据进行编码，能够与编码条件对应地灵活地改变切片数据长度、包含在切片内的宏块的个数。在图像空间上相邻的切片之间，确保了切片的解码处理的独立性，因此无法利用内预测、算术编码等近旁上下文，因此切片数据长度尽量长，则编码效率高。另一方面，在传送、记录的过程中，在比特流中混入了错误的情况下，切片数据长度越短，则越早地从错误恢复，容易抑止质量恶化。如果不对颜色成分识别标志机械能多路复用，使切片的长度、结构、颜色成分的顺序等固定，则在编码装置比特流的生成条件固定，无法灵活地对应多样的编码要求条件。

另外，如果能够如图72那样构成比特流，则在编码装置中，能够减小传送所需要的发送缓存器大小，即编码装置侧的处理延迟。图72表示该情况。在不容许跨过画像进行切片数据的多路复用的情况下，编码装置需要在到某特定颜色成分的画像的编码结束为止的期间，对其他画像的编码数据进行缓存。这意味着会产生画像水平的延迟。另一方面，如图72最下部分所示那样，如果可能在切片水平产生交错，则能够按照切片数据的单位将编码数据输出到多路复用部件，能够抑止延迟。

另外，在1个颜色成分画像内，可以按照宏块的光栅扫描顺序传送包含在其中的切片数据，也可以构成在1个画像内也能够进行交错传送。

以下，详细说明第一和第二画像编码部件的动作。

第一画像编码部件的动作概要

图73表示第一画像编码部件503a的内部结构。在图73中，在4:4:4格式下，按照图66的形式的集合了3个颜色成分的宏块的单位对输入影像信号1进行输入。

首先，在预测部件461中从存储在存储器16a中的动态补偿预测参照图像数据中选择参照图像，按照该宏块的单位进行动态补偿预测处理。在存储器16a中存储有跨过多个时刻的由3个颜色成分构成的多张参照图像数据，在预测部件461中，从它们中按照宏块的单位选择最优的参照图像进行动态预测。对于存储器16a内的参照图像数据的配置，可以对每个颜色成分按照面顺序分开存储，也可以按照点顺序存储各颜色成分的样本。准备1种进行动态预测的块大小，首先对于宏块单位，可以如图32(a)～(d)所示那样，选择16×16、16×8、8×16、8×8的任意一个大小。进而，在选择了8×8的情况下，可以如图32(e)～(h)那样，对每个8×8块选择8×8、8×8、4×8、4×4的任意一个大小。

在预测部件461中，针对图32的全部或一部分块大小/子块大小、规定的探索范围的动态效率、可利用的1张以上的参照图像，对每个宏块执行动态补偿预测处理，针对动态效率信息和用于预测的参照图像识别编号463，由减法器3取得作为动态补偿预测单位的每个块的预测差分信号4。预测差分信号4在编码模式判断部件5中对其预测效率进行评价，从在预测部件461中执行了的预测处理中，输出对预测对象的宏块能够得到最优的预测效率的宏块类型/子宏块类型106、动态效率信息、参照图像识别编号463。针对3个颜色成分将宏块类型、子宏块类型、参照图像索引、动态效率等宏块头信息全部决定为共通的头信息，在编码中使用，并多路复用到比特流中。在评价预测效率的最优性时，可以以抑制计算量为目的，只评价与某规定的颜色成分(例如RGB中的G成分、YUV中的Y成分等)的预测误差量，也可以对虽然计算量变大但能够得到最优的预测性能的对全部的颜色成分的预测误差量进行综合评价。另外，在最终选定宏块类型/子宏块类型106时，也可以进而利用通过编码控制部件19的判断而确定的与各类型对应的加权系数20。

同样，在预测部件461中，也执行内预测。在执行内预测时，在输出信号463中输出内预测模式信息。以后，特别在不区别内预测、动态补偿预测的情况下，输出信号463综合了内预测模式信息、动态向量信息、参照图像识别编号，而称为预测开销(overhead)信息。对于内预测，可以只评价规定的颜色成分的预测误差量，也可以综合评价全部颜色成分的预测误差量。最后，在编码模式判断部件5中用预测效率或编码效率，评价是进行内预测、还是间预测，而选定宏块类型。

将选定的宏块类型/子宏块类型106、根据基于预测开销信息463的内预测、动态补偿预测得到的预测差分信号4输出到变换部件310。变换部件310对输入的预测差分信号4进行变换，作为变换系数输出到量子化部件9。这时，也可以从4×4或8×8的任意一个中选择作为进行变换的单位的块的大小。在能够选择变换块大小的情况下，将编码时选择了的块大小反映到变换块大小指定标志464的值，将该标志多路复用到比特流中。量子化部件9根据由编码控制部件19确定的量子化参数21，对输入的变换系数进行量子化，作为量子化后变换系数10输出到可变长编码部件11。量子化后变换系数10包含3个颜色成分的信息，由可变长编码部件11通过haffman编码或算术编码等手段，进行平均信息量编码。另外，量子化后变换系数10经由逆量子化部件12、逆变换部件312被复原为局部解码预测差分信号14，在加法器18中与选定的宏块类型/子宏块类型106、根据预测开销信息463生成的预测图像7进行相加，从而生成局部编码图像15。局部编码图像15由于在通过去块过滤器462实施了块失真除去处理后在以后的动态补偿预测处理中使用，所以被存储在存储器16a中。另外，还向可变长编码部件11输入表示是否对该宏块实施去块过滤的去块过滤控制标志24。

依照规定的规则(syntax)将输入到可变长编码部件11的量子化后变换系数10、宏块类型/子宏块类型106、预测开销信息463、量子化参数21排列整形为比特流，作为按照1个或集合了多个的切片数据的单位对图66的形式的宏块进行了NAL单元化后的编码数据，发送到发送缓冲器17。在发送缓冲器17中，与编码装置所连接的传送路径的频带、记录介质的读出速度一致地对比特流进行平滑化，作为视频流422a输出。另外，与发送缓冲器17中的比特流积蓄状况对应地将反馈信息输出到编码控制部件19，控制以后的影像帧的编码中的产生代码量。

另外，第一画像编码部件503a的输出是集合了3成分的单位的切片，与集合了存取单元的单位的编码量等价，因此也可以原样地在多路复用部件504内配置发送缓存器17。

在本实施例4的第一画像编码部件503a中，能够根据共通编码/独立编码识别信号423识别序列中的全部切片数据是混合存在C0、C1、C2的切片(即混合存在3个颜色成分的信息的切片)的情况，因此不将颜色成分识别标志多路复用到切片头中。

第二画像编码部件的动作概要

图74表示第二画像编码部件503b0(503b1、503b2)的内部结构。在图74中，按照图67的形式的由单一颜色成分的样本构成的宏块的对输入影像信号1进行输入。

首先，在预测部件461中，从存储在存储器16b中的动态补偿预测参照图像数据中选择参照图像，按照该宏块的单位进行动态预测处理。可以在存储器16b中存储多个时刻的由单一颜色成分构成的多张参照图像数据，在预测部件461中，按照宏块的单位从它们中选择最优的参照图像，进行动态预测。存储器16b也可以按照集合了3个颜色成分的单位与存储器16a共用。准备7种进行动态补偿预测的块大小，首先如图32(a)～(d)那样，在宏块单位中可以选择16×16、16×8、8×16、8×8的任意一个大小。进而，在选择了8×8的情况下，如图32(e)～(h)那样，可以对每个8×8块选择8×8、8×4、4×8、4×4的任意一个大小。

在预测部件461中，针对图32的全部或一部分块大小、子块大小、规定的探索范围的动态向量和可利用的1张以上的参照图像，对每个宏块执行动态补偿预测处理，由减法器3取得与动态向量信息和用于预测的参照图像识别编号463的差分，得到作为动态补偿预测单位的每个块的预测差分信号4。预测差分信号4在编码模式判断部件5中对其预测效率进行评价，从由预测部件461执行的预测处理中，输出对预测对象的宏块能够得到最优的预测效率的宏块类型/子宏块类型106、动态向量信息、参照图像识别编号463。将宏块类型、子宏块类型、参照图像索引、动态向量等宏块头信息全部决定为与输入影像信号1的单一颜色成分的信号对应的头信息，用于编码中而多路复用到比特流中。在评价预测效率的最优性时，只对与作为编码处理对象的单一颜色成分对应的预测误差量进行评价。另外，在选定宏块类型/子宏块类型106时，也进而利用通过编码控制部件19的判断确定的对各类型的加权系数20。

同样，在预测部件461中，也执行内预测。在执行内预测时，在输出信号463中输出内预测模式信息。以后，特别在不区别内预测、动态补偿预测的情况下，输出信号463综合内预测模式信息、动态向量信息、参照图像识别编号，而称为预测开销(overhead)信息。对于内预测，也可以只评价与作为编码处理对象的单一颜色成分对应的预测误差量。最后，用预测效率或编码效率或编码效率，评价和选定是进行内预测、还是间预测。

将选定的宏块类型/子宏块类型106、根据预测开销信息463得到的预测差分信号4输出到变换部件310。变换部件310对输入的单一颜色成分的预测差分信号4进行变换，作为变换系数输出到量子化部件9。这时，也可以从4×4或8×8的任意一个中选择作为进行变换的单位的块的大小。在能够选择的情况下，将编码时选择出的块大小反映到变换块大小指定标志464的值，将该标志多路复用到比特流中。量子化部件9根据由编码控制部件19确定的量子化参数21，对输入的变换系数进行量子化，作为量子化后变换系数10输出到可变长编码部件11。量子化后变换系数10包含单一颜色成分的信息，由可变长编码部件11通过haffman编码或算术编码等手段，进行平均信息量编码。另外，量子化后变换系数10经由逆量子化部件12、逆变换部件312被复原为局部解码预测差分信号14，在加法器18中与选定的宏块类型/子宏块类型106、根据预测开销信息463生成的预测图像7进行相加，从而生成局部编码图像15。局部编码图像15在通过去块过滤器462实施了块失真除去处理后在以后的动态补偿预测处理中使用，因此被存储在存储器16b中。另外，还向可变长编码部件11输入表示是否对该宏块实施去块过滤的去块过滤控制标志24。

依照规定的规则(syntax)将输入到可变长编码部件11的量子化后变换系数10、宏块类型/子宏块类型106、预测开销信息463、量子化参数21排列整形为比特流，作为按照1个或集合了多个的切片数据的单位对图67的形式的宏块进行了NAL单元化后的编码数据，发送到发送缓冲器17。在发送缓冲器17中，与编码装置所连接的传送路径的频带、记录介质的读出速度一致地对比特流进行平滑化，作为视频流422b0(422b1、422b2)输出。另外，与发送缓冲器17中的比特流积蓄状况对应地将反馈信息输出到编码控制部件19，控制以后的影像帧的编码中的产生代码量。

另外，第二画像编码部件503b0～503b2的输出是由单一颜色成分的数据构成的切片，在需要按照集合了存取单元的单位进行代码量控制的情况下，也可以在多路复用部件504内设置对全部颜色成分的切片进行了多路复用的单位的共通发送缓存器，根据该缓冲器的占有量，对各颜色成分的编码控制部件19进行反馈。另外，这时，可以只使用全部颜色成分的发生信息量进行编码控制，也可以进而使用各颜色成分的发送缓存器17的状态进行编码控制。在只使用全部颜色成分的发生信息量进行编码控制的情况下，也可以构成为用多路复用部件504内的共通发送缓存器实现与发送缓存器17相当的概念，而省略发送缓存器17。

在本实施例14的第二画像编码部件503b0～503b2中，能够根据共通编码/独立编码识别信号423识别序列中的全部切片数据是单一颜色成分切片(即是C0切片、C1切片、还是C2切片)的情况，因此始终将颜色成分识别标志多路复用到切片头中，使得在解码装置侧能够识别与存取单元内的哪个画像数据对应。因此，各第二画像编码部件503b0～503b2不将来自发送缓存器17的输出集合在1个画像中，而能够在跨过了1个切片的数据的时刻进行发送。

另外，共通编码/独立编码识别信号(num_pictures_in_au)能够同时表示出用于区别共通编码处理的编码数据与独立编码处理的编码数据的信息(共通编码识别信息)、表示在一个存取单元内存在几张单一颜色成分画像的信息(颜色成分数)，但也可以作为独立信息对上述2个信息进行编码。

另外，第一画像编码部件503a、第二画像编码部件503b0～503b2只有是将宏块头信息作为3成分共通信息进行处理、还是作为单一颜色成分的信息进行处理的不同、图73、图74的预测部件、变换部件/逆变换部件、量子化部件/逆量子化部件、去块过滤器等基本处理块大多只有是集合为3个颜色成分的信息进行处理、还是只处理单一颜色成分的信息的不同，也能够在第一画像编码部件503a和第二画像编码部件503b0～503b2中通过共通的功能模块来实现。因此，不只是图71那样的完全独立的编码处理部件，也可以适当地组合图73、图74的基本结构要素而实现多样的编码装置的结构。另外，如果按照面顺序配置第一画像编码部件503a的存储器16a，则可以在第一画像编码部件503a和第二画像编码部件503b0～503b2中使参照图像存储器的结构共通。

另外，虽然未图示，但在本实施例14的编码装置中，设想了存在对与图69、图70的数组一致的视频流422c进行缓存的假想的流缓存器(编码画像缓存器)、对解码图像427a、427b进行缓存的假想的帧存储器(解码画像缓存器)，生成视频流422c使得没有编码画像缓存器的溢出(overflow)、下溢(underflow)、解码画像缓存器的破绽。主要由编码控制部件19进行该控制。由此，在解码装置中，依照编码画像缓存器和解码画像缓存器的动作(假想缓存模型)对视频流422c进行解码的情况下，保证了在解码装置中不产生破绽。以下规定假想缓存模式。

按照存取单元单位进行编码画像缓存的动作。如上所述，在进行共通解码处理的情况下，1个存取单元包含1个画像的编码数据，在进行独立解码处理的情况下，1个存取单元包含颜色成分数的画像(如果是3个成分，则是3个画像)的编码数据。对编码画像缓存规定的动作是将存取单元的最初的比特和最后的比特输入到编码画像缓存器中的时刻、从编码画像缓存器中读出存取单元的比特的时刻。另外，规定为瞬时地进行从编码画像缓存器的读出，在同一时刻从编码画像缓存器中读出存取单元的全部比特。如果从编码画像缓存器中读出存取单元的比特，则输入到上位头分析部件，如上所述，在第一画像解码部件或第二画像解码部件中进行解码处理，作为集合为存取单元单位的彩色影像帧输出。另外，在假想缓存模型的规定上，假设瞬时地进行从编码画像缓存器中读出比特直到作为存取单元单位的彩色影像帧输出为止的处理。将按照存取单元单位构成的彩色影像帧输入到解码画像缓存器中，计算出从解码画像缓存器的输出时刻。从解码画像缓存器的输出时刻是将从编码画像缓存器的读出时刻加上规定的延迟时间的值。可以将延迟时间多路复用到比特流中控制解码装置。在延迟时间为0的情况下，即在从解码画像缓存器的输出时刻与从编码画像缓存器的读出时刻相等的情况下，如果将彩色影像帧输入到解码画像缓存器，则同时从解码画像缓存器输出。在除此以外的情况下，即在从解码画像缓存器的输出时刻比从编码画像缓存器的读出时刻迟的情况下，直到从解码画像缓存器的输出时刻为止，将彩色影像帧保存在解码画像缓存器中。如上所述，按照存取单元单位规定从解码画像缓存器的动作。

图75是表示本实施例14的解码装置的概要结构的说明图。在图75中，在第一画像解码部件603a中执行共通解码处理，在颜色成分判断部件602和第二画像解码部件603b0、603b1、603b2(准备了3个颜色成分的部件)中执行独立解码处理。

在上位头分析部件610中将视频流422c分割为NAL单元单位，对序列参数组、画像参数组等上位头信息原样地进行解码，并存储到能够由解码装置内的第一画像解码部件603a、颜色成分判断部件602、第二画像解码部件603b0～603b2进行参照的规定的存储器区域。将多路复用到序列单位中的共通编码/独立编码识别信号423(num_pictures_in_au)作为上位头信息的一部分进行解码并保存。

将解码后的num_pictures_in_au供给开关(SW)601，如果num_pictures_in_au＝1，则开关601将每个画像的切片NAL单元供给第一画像解码部件603a，如果num_pictures_in_au＝3， 供给颜色成分判断部件602。即，如果num_pictures_in_au＝1，则由第一画像解码部件603a进行共通解码处理，如果num_pictures_in_au＝3，则由3个第二画像解码部件603b0～603b2进行独立解码处理。将在后面说明第一和第二画像解码部件的详细动作。

颜色成分判断部件602根据图70所示的颜色成分识别标志的值，识别切片NAL单元相当于现在的存取单元内的哪个颜色成分画像，并分配供给适当的第二画像解码部件603b0～603b2。通过这样的解码装置的结构，能够得到以下的效果：即使接收到如图72所示那样在存取单元内切片交错被编码了的比特流，也能够任意地判断出哪个切片属于哪个颜色成分画像，并正确地进行解码。

第一画像解码部件的动作概要

图76表示第一画像解码部件603a的内部结构。第一画像解码部件603a在由上位头分析部件610将从图71的编码装置输出的与图69、图70的数组一致的视频流422c分割为NAL单元单位后，按照混合存在C0、C1、C2的切片单位进行接收，将图66所示的由3个颜色成分的样本构成的宏块作为单位进行解码处理，复原输出影像帧。

可变长解码部件25输入被分割为NAL单元的视频流422c，依照规定的规则(syntax)解读流422c，抽出3个成分的量子化后变换系数10、对3个成分共通使用的宏块头信息(宏块类型/子宏块类型106、预测开销信息463、变换块大小指定标志464、量子化参数21)。量子化后变换系数10与量子化参数21一起被输入到进行与第一画像编码部件503a一样的处理的逆量子化部件12，进行逆量子化处理。另外，其输出被输入到进行与第一画像解码部件503a一样的处理的逆正交变换部件312，被复原为局部解码预测差分信号14(如果在视频流422c中存在变换块大小指定标志464，则在逆量子化、逆变换处理过程中对其进行参照)。另一方面，预测部件461进行第一画像解码部件503a中的预测部件461的只包含参照预测开销信息463生成预测图像7的处理，向预测部件461输入宏块类型/子宏块类型106和预测开销信息463，得到3个成分的预测图像7。在宏块类型表示内预测的情况下，依照内预测模式信息从预测开销信息463中得到3个成分的预测图像7，在宏块类型表示间预测的情况下，依照动态向量、参照图像索引从预测开销信息463中取得3个成分的预测图像7。由加法器18将局部解码预测差分信号14和预测图像7相加，得到3个成分的暂定解码图像(局部解码图像)15。暂定解码图像15为了在以后的宏块的动态补偿预测中使用，而在进行与第一画像解码部件503a相同处理的去块过滤器462中对3个成分的暂定解码图像样本实施块失真除去处理后，作为解码图像427a输出，同时存储到存储器16a中。这时，根据由可变长解码部件25解读的去块过滤控制标志24的指示，使去块过滤处理对解码图像15发挥作用。在存储器16a中存储有多个时刻的由3个颜色成分构成的多张参照图像数据，在预测部件461中，从它们中按照宏块的单位选择出由从比特流中抽出的参照图像索引所示的参照图像，进行预测图像生成。存储器16a内的参照图像数据的配置，可以对每个颜色成分按照面顺序分开存储，也可以按照点顺序存储各颜色成分的样本。解码图像427a包含3个颜色成分，原样地成为共通解码处理中的构成存取单元427a0的彩色影像帧。

第二画像解码部件的动作概要

图77表示第二画像解码部件603b0～603b2的内部结构。在第二画像解码部件603b0～603b2中，由上位头分析部件610将从图71的编码装置输出的与图69、图70的数组一致的视频流422c分割为NAL单元单位，按照由颜色成分判断部件602分配的C0、C1、C2切片NAL单元单位进行接收，将图67所示的由单一颜色成分的样本构成的宏块作为单位进行解码处理，复原输出影像帧。

可变长解码部件25输入视频流422c，依照规定的规则(syntax)解读流422c，抽出单一颜色成分的量子化后变换系数10、对单一颜色成分适用的宏块头信息(宏块类型/子宏块类型106、预测开销信息463、变换块大小指定标志464、量子化参数21)。量子化后变换系数10与量子化参数21一起被输入到进行与第二画像编码部件503b0～503b2一样的处理的逆量子化部件12，进行逆量子化处理。另外，其输出被输入到进行与第二画像编码部件503b0(503b1、503b2)一样的处理的逆正交变换部件312，被复原为局部解码预测差分信号14(如果在视频流422c中存在变换块大小指定标志464，则在逆量子化、逆正交变换处理过程中对其进行参照)。另一方面，预测部件461进行第二画像编码部件503b0(503b1、503b2)中的预测部件461的只包含参照预测开销信息463生成预测图像7的处理，向预测部件461输入宏块类型/子宏块类型106和预测开销信息463，得到单一颜色成分的预测图像7。在宏块类型表示内预测的情况下，依照内预测模式信息从预测开销信息463中得到单一颜色成分的预测图像7，在宏块类型表示间预测的情况下，依照动态向量、参照图像索引从预测开销信息463中取得单一颜色成分的预测图像7。由加法器18将局部解码预测差分信号14和预测图像7相加，得到单一颜色成分宏块的暂定解码图像15。暂定解码图像15为了在以后的宏块的动态补偿预测中使用，而在进行与第二画像编码部件503b0(503b1、503b2)相同处理的去块过滤器26中对单一颜色成分的暂定解码图像样本实施块失真除去处理后，作为解码图像427b输出，同时存储到存储器16b中。这时，根据由可变长解码部件25解读的去块过滤控制标志24的指示，使去块过滤处理对解码图像15发挥作用。解码图像427b只包含单一颜色成分的样本，通过将图75中的其他作为进行了排列处理的第二画像解码部件603b0～603b2各自的输出的解码图像427b集中在存取单元427b0的单位中，从而构成为颜色影像帧。

如根据以上所知道的那样，第一画像解码部件603a和第二画像解码部件603b0～603b2只有是将宏块头信息作为3成分共通信息进行处理、还是作为单一颜色成分的信息进行处理的不同、切片数据的比特流结构的不同，图73、图74的动态补偿预测处理、逆变换、逆量子化等基本的解码处理模块的大多可以在第一画像解码部件603a、第二画像解码部件603b0～603b2中通过共通的功能模块实现。因此，不只是图75那样的完全独立的解码处理部件，也可以适当地组合图76、图77的基本结构要素而实现多样的解码装置的结构。另外，如果按照面顺序配置第一画像解码部件603a的存储器16a，则可以在第一画像解码部件603a和第二画像解码部件603b0～603b2中使存储器16a、存储器16b的结构共通。

另外，图75的解码装置作为图71的编码装置的其他形式，当然可以构成为接收从以下的编码装置输出的比特流进行解码，即该编码装置构成为始终将共通编码/独立编码识别信号423固定为“独立编码处理”，完全不使用第一画像编码部件503a，独立地对全部帧进行编码。另外，作为图75的解码装置的其他形式，也可以构成为以下的解码装置，即在以始终将共通编码/独立编码识别信号423固定为“独立编码处理”为前提的利用形式下，省略开关601和第一画像解码部件603a，而只进行独立解码处理。

另外，共通编码/独立编码识别信号(num_pictures_in_au)包含表示出用于区别共通编码处理的编码数据与独立编码处理的编码数据的信息(共通编码识别信息)、表示在一个存取单元内存在几张单一颜色成分画像的信息(颜色成分数)，但也可以作为独立信息对上述2个信息进行编码。

进而，第一画像解码部件603a具备将现有的YUV4:2:0格式作为对象集合3个成分而编码了的AVC配置规格标准的比特流的解码概念，在上位头分析部件610中，判断是参照从视频流422c解码的配置规格识别符按照怎样的格式编码了的比特流，将判断结果作为共通编码/独立编码识别信号423的信号线的信息的一部分，传送到开关601和第一画像解码部件603a，由此也可以构成能够确保对现有的YUV4:2:0格式的比特流的互换性的解码装置。

另外，在本实施例14的第一画像编码部件503a中，由于在切片数据中混合存在3个颜色成分的信息，并且对3个颜色成分实施完全相同的内、间预测处理，因此在预测差分信号空间中，残存颜色成分之间的信号是相关的。作为除去它的处理，例如也可以构成为对预测差分信号实施上述实施例13所述那样的颜色空间变换处理。图78、图79表示具有这样的结构的第一画像编码部件503a的例子。图78是按照进行变换处理之前的像素水平实施颜色空间变换处理的例子，在变换部件310之前，配置颜色空间变换部件465，在逆变换部件312之后配置逆颜色空间变换部件466。图79是一边针对进行了变换处理后得到的系数数据，适当地选择处理对象的频率成分一边实施颜色空间变换处理的例子，在变换部件310之后配置颜色空间变换部件465，在逆变换部件312之前配置逆颜色空间变换部件466。通过限定实施颜色空间变换的频率成分，具有以下的效果，即抑制将包含的特定颜色成分中的高频噪声成分传播到几乎不包含噪声的其他颜色成分中。在能够适应性地选择作为颜色空间变换处理对象的频率成分的情况下，在比特流中多路复用用于在解码侧判断编码时的选择的信号传送信息467。

对于颜色空间变换处理，可以与编码对象的图像信号的性质对应地按照宏块单位切换使用上述实施例13所述的多个变换方式，也可以按照宏块单位判断变换有无。也可以构成为按照序列水平等指定能够选择的变换方式的种类，按照画像、切片、宏块等单位指定从其中选择哪个。另外，也可以使得能够选择在正交变换之前实施、还是在之后实施。可以构成为在进行这些适应性编码处理的情况下，针对能够选择的全部选择分支，即使由编码模式判断部件5进行编码效率的评价，也选择编码效率高的分支。在实施这些适应性编码处理的情况下，将用于在解码侧判断编码时的选择的信号发送信息467多路复用到比特流中。以可以按照与切片、画像、GOP、序列等与宏块不同的水平指定这样的信号传送。

图80、图81表示与图78、图79的编码装置对应的解码装置。图80是对通过图78的编码装置在变换处理前进行颜色空间变换而编码了的比特流进行解码的解码装置。可变长解码部件25从比特流中解码用于选择在颜色空间变换部件466中进行变换还是不变换的变换有无的信息、作为选择在逆颜色空间变换部件466中能够执行的变换方式的信息的信号传送信息467，供给逆颜色空间变换部件466。图80的解码装置在逆颜色空间变换部件466中根据这些信息对逆变换后的预测误差信号实施颜色空间变换处理。另外，图81是对由图79的编码装置在变换处理后选择处理对象的频率成分进行颜色空间变换而编码了的比特流进行解码的解码装置。可变长解码部件从比特流中解码用于选择在逆颜色空间变换部件466中进行变换还是不变换的变换有无的信息、选择在逆颜色空间变换部件中执行的变换方式的信息、作为包含用于确定实施颜色空间变换的频率成分的信息等的识别信息的的信号传送信息467，供给逆颜色空间变换部件466。图81的解码装置对在逆颜色空间部件部件466中根据这些信息进行了逆量子化后的变换系数实施颜色空间变换处理。

图80、图81的解码装置与图75的解码装置一样，在第一画像解码部件603a中具备将现有的YUV4:2:0格式作为对象集合3个成分进行编码的AVC配置规格标准的比特流的解码功能，在上位头分析部件610中，参照从视频流422c解码的配置规格标识符判断是用哪个格式编码了的比特流，将判断结果作为共通编码/独立编码识别信号423的信号线的信息的一部分传送到开关601和第一画像解码部件603a，由此也能够构成确保了与现有的YUV4:2:0格式的比特流的互换性的解码装置。

在图82中表示了包含在现有的YUV4:2:0格式的比特流中的宏块头信息的编码数据的结构。与图50所示的Cn成分头信息的不同点只在于以下的点，即在宏块类型是内预测时，包含内色差预测模式144的编码数据。另外，在宏块类型是间预测时，宏块由信息的编码数据的结构与图50所示的Cn成分头信息一样，但利用包含在宏块头信息中的参照图像识别编号、动态向量信息，用与亮度成分不同的方法生成色差成分的动态向量。

说明确保了与现有的YUV4:2:0格式的比特流的互换性的解码装置的动作。如上所述，第一画像解码部件603a具备现有的YUV4:2:0格式的比特流的解码功能。第一画像解码部件的内部结构与图76一样。

说明具有现有的YUV4:2:0格式的比特流的解码功能的第一画像解码部件的可变长解码部件25的动作。如果将视频流422c输入到可变长解码部件，则解码色差格式指示标志。色差格式指示标志包含在视频流422c的序列参数头中，是表示输入影像格式是4:4:4、4:2:2、4:2:0、4:0:0的哪个格式的标志。根据色差格式指示标志的值切换视频流422c的宏块头信息的解码处理。在宏块类型表示内预测的情况下，在色差格式指示标志表示4:2:0或4:2:2的情况下，从比特流中解码内色差预测模式144。在色差格式指示标志表示4:4:4的情况下，跳过内色差预测模式144的解码。在色差格式指示标志表示4:0:0的情况下，输入影像信号是只由亮度信号构成的格式(4:0:0格式)，因此通过内色差预测模式144的解码。内色差预测模式144以外的宏块头信息的解码处理与不具备现有的YUV4:4:0格式的比特流的解码功能的第一画像解码部件603a的可变长解码部件一样。通过以上处理，如果将视频流422c输入到可变长解码部件25，则抽出色差格式指示标志(未图示)、3个成分的量子化后变换系数10、宏块头信息(宏块类型/子宏块类型106、预测开销信息463、变换块大小指定标志464、量子化参数21)。向预测部件461输入色差格式指示标志(未图示)、预测开销信息463，得到3个成分的预测图像7。

图83表示确保了与现有的YUV4:2:0格式的比特流的互换性的第一画像解码部件的预测部件461的内部结构，说明其动作。

切换部件4611a判断宏块类型，在宏块类型表示内预测的情况下，由切换部件4611b判别色差格式指示标志的值。在色差格式指示标志的值表示4:2:0或4:2:2的情况下，从预测开销信息463中依照内预测模式信息和内色差预测模式信息，得到3个成分的预测图像7。由亮度信息内预测部件4612依照内预测模式信息，生成3个成分中的亮度信号的预测图像。由进行与亮度成分不同的处理的色差信号内预测部件4613，依照内色差预测模式信息，生成色差信号的2个成分的预测图像。在色差格式指示标志的值表示4:4:4的情况下，由亮度信号内预测部件4612依照内预测模式信息，生成全部3个成分的预测图像。在色差格式指示标志的值表示4:0:0的情况下，由于4:0:0格式只由亮度信息(1个成分)构成，所以在亮度信号内预测部件4612中，依照内预测模式信息，只生成亮度信号的预测图像。

在切换部件4611a中宏块宏块类型表示间预测的情况下，在切换部件4611c中判别色差格式指示标志的值。在色差格式指示标志的值表示4:2:0或2:2:2的情况下，针对亮度信号，在亮度信号间预测部件4614中从预测开销信息463中，依照动态序列、参照图像索引，依照AVC规则规定的亮度信号的预测图像生成方法，生成预测图像。对于色差信号的2个成分的预测图像，在色差信号间预测部件4615中，根据色差格式对从预测开销信息463得到的动态向量进行比例缩放(scaling)而生成色差动态向量，根据从预测开销信息463中得到的参照图像索引所指示的参照图像，根据上述色差动态向量依照AVC规则所规定的方法，生成预测图像。在色差格式指示标志的值表示4:0:0的情况下，由于4:0:0格式只由亮度信号(1个成分)构成，所以依照动态向量、参照图像索引，在亮度信号间预测部件4614中只生成亮度信号的预测图像。

如上所述，设置生成现有的YUV4:2:0格式的色差信号的预测图像的单元，与从比特流中解码了的色差格式指示标志的值对应地切换用于生成3个成分的预测图像的单元，由此，能够构成确保了与现有的YUV4:2:0格式的比特流的互换性的解码装置。

另外，如果按照序列参数组等的单位向供给图80、图81的解码装置的视频流422c附加表示是否是如图75的解码装置那样在不支持颜色空间变换处理的解码装置中也能够解码的比特流的信息，则在图71和图75的任意一个的解码装置中，也能够与各自的解码性能对应地解码比特流，具有容易确保比特流的互换性的效果。

实施例15

在本实施例15中，在图71、图75等的上述实施例14的编码装置、解码装置中，说明了只有作为其输入输出对象的比特流的结构不同的其他实施例。本实施例15的编码装置通过图84所示的比特流结构，进行编码数据的多路复用。

在图69的结构中，作为其要素，AUD NAL单元包含primary_pic_type这样的信息。图85表示在对以AUD NAL单元为代表的存取单元内的画像数据进行编码时的画像编码类型的信息。

例如在primary_pic_type＝0的情况下，表示对画像内的全部进行内编码。在primary_pic_type＝1的情况下，表示可以在画像内混合存在只使用一个内编码的切片、参照画像列表就能够进行动态补偿预测的切片。primary_pic_type是规则能够使用怎样的编码模式对1个画像进行编码的信息，因此在编码装置侧，通过对该信息进行操作，能够进行适合于输入影像信号的性质、随机访问性能等各种条件的编码。在上述实施例14中，在存取单元中只有1个primary_pic_type，因此假设在进行独立编码处理的情况下的存取单元中，primary_pic_type对3个颜色成分画像是共通的。在本实施例15中，在进行各颜色成分画像的独立编码的情况下，与num_pictures_in_au的值对应地在图69的AUD NAL单元内包含追加插入剩余2个颜色成分画像的primary_pic_type、或者如图84的比特流的结构那样，从表示颜色成分画像的开始的NAL单元(Color Channel Delimiter)开始各颜色成分画像的编码数据，构成为在该CCD NAL单元中包含对应的画像的primary_pic_type。在该结构中，集合1个画像而多路复用各颜色成分画像的编码数据，因此上述实施例14所述的颜色成分识别标志(color_channel_idc)不是切片头，而是包含在CCD NAL单元中。由此，将需要多路复用到各切片中的颜色成分识别标志的信息集合到画像单位的数据中，因此具有能够削减开销信息的效果。另外，可以检测出作为比特序列构成的CCD NAL单元而对每个颜色成分画像1次验证color_channel_idc，不进行可变长解码处理就能够尽快找到颜色成分画像的先头，因此在解码装置侧，不用为了对每个颜色成分分离解码对象的NAL单元而逐一地验证切片头中的color_channel_idc，能够灵活地向第二画像解码部件供给数据。

另一方面，在这样的结构中，上述实施例14的图72所示那样的降低编码装置的缓存器大小、处理延迟的效果减小，因此也可以构成为在更上位的水平(序列或GOP)对是将颜色成分识别标志多路复用到切片单位中、还是多路复用到颜色成分画像单位中进行信号传送。通过这样的比特流结构，编码装置能够与其利用形式对应地进行灵活的实现。

进而，作为其他实施例，也可以通过图86所示的比特流结构进行编码数据的多路复用。在图86中，在各AUD中包含在图84中包含在CCD NAL单元中的color_channel_idc、primary_pic_type。在本实施例15的比特流结构中，在独立编码处理的情况下，也构成为在1个存取单元中包含1个(颜色成分)画像。在这样的结构中，也具有通过将颜色成分识别标志的信息集合到画像单位的数据中而削减开销信息的效果，另外也可以检测出作为比特序列构成的CCDNAL单元而对每个颜色成分画像1次验证color_channel_idc，不进行可变长解码处理就能够尽快找到颜色成分画像的先头，因此在解码装置侧，不用为了对每个颜色成分分离解码对象的NAL单元而逐一地验证切片头中的color_channel_idc，能够灵活地向第二画像解码部件供给数据。另一方面，由于由3个存取单元构成1帧乃至1字段的图像，所以需要指定3个存取单元是同一时刻的图像数据。因此，在图86的比特流结构中，进而可以构成为在AUD中附加各画像的序列编号(时间方向的编码、解码顺序等)。通过这样的结构，在解码装置侧，完全不对切片数据进行解码，就能够验证各画像的解码、显示顺序、颜色成分属性、IDR的是否等，能够有效地进行比特流水平的编辑和特殊重放。

另外，在图69、图84乃至图86的比特流结构中，也可以构成为在AUD、CCD的区域中存储用于指定包含在一个颜色成分画像中的切片NAL单元的个数的信息。

另外，对于上述全部实施例，变换处理、逆变换处理也可以进行DCT那样的保证正交性的变换，也可以不是AVC那样的，严格地说DCT那样的正交变换，而是与量子化、逆量子化处理组合而近似正交性的变换。另外，也可以构成为不进行变换，而将预测误差信号编码为像素水平的信息。

本发明可以适用于在图像压缩编码技术或压缩图像数据传送技术等中使用的数字图像信号编码装置、数字图像信号解码装置中。