数字图像编码方法和数字图像编码装置、数字图像解码方法和数字图像解码装置、以及数据存储媒体

摘要

本发明的数字图像编码装置如图2所示,具有把低分辨率结构信号Std进行差分编码的编码器1100b和把高分辨率结构信号Sth进行差分编码的编码器1100a,在把高分辨率结构信号Sth使用其预测信号进行差分编码时,通过上述编码器1100b中的补填器138,进行把在上述编码器1100b中再生了的低分辨率结构信号中的无意取样值置换为从其有意取样值得到的伪取样值的补填处理,根据实施了上述该补填处理的再生低分辨率结构信号生成对于上述高分辨率结构信号Sth的预测信号。在这样结构的图像编码装置中,由于根据实施了补填处理的再生低分辨率结构信号生成高分辨率结构信号Sth的预测信号,所以将抑制成为编码处理对象的块(单位处理区域)的高分辨率结构信号和其预测信号的差分的差分信号,能够在抑制编码效率恶化的同时把与位于物体边界部分的块对应的高分辨率结构信号进行差分编码。

说明书

本发明涉及把数字图像信号进行编码的方法和装置、把被编码了的数字图像信号进行解码的方法和装置以及存储用于通过计算机进行数字图像信号的编码以及解码处理的数据存储媒体，更具体地说，涉及对于具有任意形状的物体图像进行的时空分层编码处理以及与此对应的时空分层解码处理。

为了有效地存储以及传送数字图像信息，需要把数字图像信息压缩编码，当前，作为用于把数字图像信息压缩编码的方法，除去JPEG和MPEG为代表的离散余弦变换(DCT)以外，还有子带、小波及分形等波形编码方法。

另外，作为去除相邻帧等画面之间的冗余的图像信息的方法，有进行使用了运动补偿帧间预测，即，使用当前画面像素的像素值与前一个画面像素的像素值的差分表示当前画面的像素的像素值，并将该差分信号进行波形编码的方法。

近来，在提高压缩效率的同时，正在使用把图像信号按各物体分别压缩编码后传送的方式，使得在每个构成1个画面的对应于各个物体的区域(以下，称为图像空间)可以再生图像信号。该方法中，再生一侧把对应于各个物体的被编码了的图像信号进行解码，合成根据该解码再生了的各个物体的图像，进行与1个画面相当的图像的显示。这样通过以物体单位把图像信号进行编码，能够自由地组合合成要显示的物体的图像，由此能够简单地再编辑活动图像。另外，在该方式中，能够根据信道的拥挤情况以及再生装置的性能、视听者的兴趣，对于不太重要的物体的图像不进行再生而进行活动图像的显示。

具体地讲，作为把用于形成包含具有任意形状的物体图像(以下，简记为物体图像)的图像空间的图像信号进行编码的方法，以往有使用适于其形状的变换(例如形状自适应离散余弦变换)的编码方法和按照预定的方法把构成图像空间的无效区域(即物体图像的外侧区域)的像素的像素值补填以后，在把该图像空间分开的各单位区域(由8×8像素号构成的块)内把由对应于该图像空间的多个像素值组成的图像信号进行余弦变换的编码方法。

另外，作为去除帧等画面间的冗余信号的具体方法，有以16×16像素构成的宏块为单位区域，取编码处理对象的对象宏块的图像信号和其预测信号的差分的方法。这里，上述预测信号是对应于通过运动补偿得到的预测区域的图像信号。另外，运动补偿是在已经实施了编码处理或者解码处理的画面内，把给出与对象宏块的图像信号的差分最小的图像信号的16×16像素构成的区域检测为预测区域的处理。

然而，在该预测区域也是位于图像空间中的物体图像边界的情况下，成为包含具有无意义(即没有定义)取样值(像素值)的像素的情况。为此，对于这样的预测区域，对于与其对应的图像信号，在实施了用有意的伪取样值把该无意义取样值进行置换的补填处理后，把实施了补填处理的预测信号与对象宏块的图像信号的差分求作为预测误差信号(差分信号)，实施用于对该差分信号的编码的变换处理。这里，进行对于预测区域的补填处理是为了抑制差分信号，换言之，是为了削减把差分信号进行编码时的代码量。

另外，作为对应于各个物体的图像信号，即用于形成包含物体图像的图像空间的图像信号，有使用对应于分辨率不同的多层次的图像信号，把各个层次的图像信号进行编码解码的被称为可扩充性的分层处理方法。

在这样的分层处理方法中，通过把从被传送的数据(编码比特流)取出来的一部分比特序列进行解码，能够再生分辨率低的物体图像，另外，通过把全部数据进行解码，能够再生分辨率高的物体图像。

在上述分层编码(可扩充性)处理中，根据对应于分辨率低的图像的图像信号(低分辨率图像信号)把对应于分辨率高的图像的图像信号(高分辨率图像信号)进行编码。即，把对应于成为编码处理对象的对象块的高分辨率图像信号使用与其对应的低分辨率图像信号进行预测后生成预测图像信号，把从该对象块的高分辨率图像信号减去该预测图像信号得到的差分信号进行编码。

还有，在以物体单位把图像信号进行编码时，为了把作为图像信号的表示物体的任意形状的形状信号以及用于分级彩色显示物体图像的包括亮度信号以及色差信号的结构信号一起进行编码，则在对于与物体对应的图像信号进行可扩充性编码时，需要不仅把上述结构信号，而且把上述形状信号也分为高分辨率信号和低分辨率信号进行分层编码。

在这样的物体单位的可扩充性编码中，要求从低分辨率的结构信号有效地预测高分辨率的结构信号。特别是由于在与位于物体边界的宏块对应的低分辨率结构信号中，包含无意(未定义)取样值(像素值)，如果直接使用该低分辨率结构信号生成预测信号，从成为编码处理对象的对象宏块的高分辨率结构信号减去该预测信号，则差分信号中与位于物体边界部分的像素对应的差分像素值将成为很大的值，不能够有效地把高分辨率结构信号进行编码。

另外，由于把形状信号分开使之对应于不同分辨率的多个层次，具体的讲对应于高分辨率层次和低分辨率层次，所以在从低分辨率形状信号得到的物体形状与从高分辨率形状信号得到的物体形状之间将产生表示物体内部或外部的边界(物体轮廓)的偏移。这是由于在从高分辨率形状信号生成低分辨率形状信号时，通过降取样处理由低分辨率形状信号产生的物体图像的形状将对于由高分辨率形状信号产生的物体图像的形状产生变形，另外，通过对于高分辨率形状信号以及低分辨率形状信号的压缩处理，由该两形状信号产生的物体形状也将变形。

在这种情况下，即使在物体图像的内部包含由高分辨率结构信号形成的图像空间中的特定的宏块区域，在由低分辨率形状信号形成的图像空间中，也将产生该特定的宏块区全部位于物体图像的外部这样的状况。在这样的状况中，基于低分辨率结构信号即使使用高分辨率结构信号的预测信号也不能够有效地抑制高分辨率结构信号与其预测形状信号的差分信号。

本发明是为解决上述问题点而产生的，目的在于得到当根据用于形成包括具有任意形状的物体图像的图像空间的图像信号，生成对应于不同分辨率的多个层次的图像信号，使用低分辨率图像信号按各单位区域把高分辨率图像信号进行差分编码的分层编码处理时，能够把位于物体边界部分的单位区域的图像信号有效地编码并进行压缩的数字图像编码方法以及数字图像编码装置。

另外，本发明的目的在于得到使得通过把用于形成包括物体图像的图像空间的图像信号进行高效的压缩编码的分层编码处理得到的图像编码信号可以通过对应的分层解码处理正确再生的数字图像解码方法以及数字图像解码装置。

进而，本发明的目的在于得到存储用于使用计算机实现上述数字图像编码方法中的分层编码处理以及数字图象解码方法中的分层解码处理的程序的数字记录媒体。

本发明(方案1)的数字图像编码方法是一种把用于形成包括具有任意形状的图像的由多个像素构成的图像空间的分辨率不同的第1以及第2输入图像信号进行编码的数字图像编码方法，该方法在把上述图像空间分开的各单位区域内进行把上述第1输入图像信号压缩编码后生成第1编码图象信号，而且把该被压缩了的第1输入图像信号解压缩后生成第1再生图像信号的编码处理，另外，进行对于与上述各单位区域对应的第1再生图像信号实施把其无意像素值置换为通过预定方法得到的伪像素值的补填处理，根据实施了该补填处理的第1再生图像信号，预测与该各单位区域对应的第2输入图像信号，生成预测信号，进而，在每个上述单位内，把与该各单位区域对应的第2输入图像信号和其预测信号的差分的差分信号进行压缩编码生成编码差分信号，而且把该被压缩了的差分信号进行解压缩，在该被解压缩了的差分信号上加入上述预测信号生成第2再生图像信号的差分编码处理。

如果采用这样的图像编码方法，则由于根据被实施了补偿处理的第1再生图像信号生成第2输入图像信号的预测信号，所以将抑制分辨率与第1输入图像信号不同的第2输入图像信号和其预测信号的差分的差分信号，能够在抑制编码效率的恶化的同时压缩位于物体边界部分的单位区域的第2输入图像信号。

另外，在成为编码处理对象的对象单位区域的第2输入图像信号的编码处理中，作为其预测信号，由于使用根据上述对象单位区域的第1再生图像信号生成的信号，所以第2输入图像信号的编码处理与第1输入图像信号的编码处理相比较，仅延迟用于处理上述单位区域的时间。由此，在解码一侧，根据由第1、第2输入图像信号的编码得到的第1、第2编码图像信号，能够几乎无时间偏移地再生高分辨率图像和低分辨率图像。

本发明(方案2)是在上述方案1记述数字图像编码方法中，作为对于与上述各单位区域对应的第1再生图像信号的补填处理，进行把该第1再生图像信号中的无意像素值置换为根据该第1再生图像信号中的有意像素值得到的伪像素值的处理。

如果依据这样结构的图像编码方法，则由于根据该第1再生图像信号中的有意像素值进行与各单位区域对应的第1再生图像信号的补填处理，所以能够有效地抑制从第1输入图像信号得到的第2输入图像信号的预测信号与第2输入图像信号的差分。

本发明(方案3)的数字图像编码装置包括：把用于形成包括具有任意形状的图像的由多个像素构成的图像空间的第1输入图像信号进行编码的第1编码处理单元；把用于包含上述图像的由多个像素构成的图像空间的分辨率与第1输入图像信号不同的第2输入图像信号进行编码的第2编码处理单元；其中上述第1编码处理单元具有：在把上述图像空间分开的各单位区域内进行把上述第1输入图像信号压缩编码后生成第1编码图像信号，而且把该被压缩了的第1输入图像信号进行解压缩后生成第1再生图像信号的编码处理的第1编码装置；和对于与上述各单位区域对应的第1再生图像信号，实施把其无意像素值置换为用预定的方法得到的伪像素值的补填处理的补填装置；上述第2编码处理单元具有：根据实施了上述补填处理的第1再生图像信号，预测与上述各单位区域对应的第2输入图像信号生成预测信号的预测信号生成装置；在每个上述单位区域进行把与上述各单位区域对应的第2输入图像信号和其预测信号的差分信号进行压缩编码后生成编码差分信号，而且把该被压缩了的差分信号进行解压缩，在该被解压缩了的差分信号上加入上述预测信号生成第2再生图像信号的差分编码处理的第2编码装置。

如果采用这样结构的图像编码装置，则由于根据实施了补填处理的第1再生图像信号生成第2输入图像信号的预测信号，所以将抑制分辨率与第1输入图像信号不同的第2输入图像信号和其预测信号的差分的差分信号，能够在抑制编码效率的恶化同时压缩与位于物体边界部分的单位区域对应的第2输入图像信号。

另外，在成为编码处理对象的对象单位区域的第2输入图像信号的编码处理中，作为预测信号由于使用根据上述对象单位区域的第1再生图像信号生成的信号，所以第2输入图像信号的编码处理与第1输入图像信号的编码处理相比较，仅延迟用于处理上述单位区域的时间。由此，在解码一侧，根据通过第1、第2输入图像信号的编码得到的第1、第2编码图像信号，能够几乎没有时间偏移地再生高分辨率图像和低分辨率图像。

本发明(方案4)是在方案3记述的数字图像编码装置中，具备把实施了上述补填处理的第1再生图像信号进行变换使得其分辨率与上述第2输入图像信号的分辨率一致并且输出分辨率变换信号的分辨率变换装置，其中上述预测信号生成装置包括根据上述第2再生图像信号预测与各单位区域对应的第2输入图像信号生成辅助预测信号的预测装置和根据包含在上述第2输入图像信号中的控制信息切换该辅助预测信号和分辨率变换信号的开关装置，并且构成为把该开关装置的输出作为与上述各单位区域对应的第2输入图像信号的预测信号进行输出。

如果采用这样的图像编码装置，则由于根据包含在上述第2输入图像信号中的控制信息选择从第2输入图像信号得到的辅助预测信号和从第1输入图像信号得到的分辨率变换信号的某一个，把该选择的信号作为与上述各单位区域对应的第2输入图像信号的预测信号进行输出，所以使用简单的结构能够适当地切换预测信号，能够进一步提高分层编码处理中的编码效率。

本发明(方案5)是在方案3记述的数字图像编码装置中，包括把实施了上述补填处理的第1再生图像信号进行变换使得其分辨率与上述第2输入图像信号的分辨率一致并且输出分辨率变换信号的分辨率变换装置，其中上述预测信号生成装置包括根据上述第2再生图像信号预测与各单位区域对应的第2输入图像信号生成辅助预测信号的预测装置以及把该辅助预测信号和上述分辨率变换信号进行加权平均的平均化装置，并且构成为把该平均化装置的输出作为与上述各单位区域对应的第2输入图像信号的预测信号进行输出。

如果采用这样的图像编码装置，则由于把从第2输入图像信号得到的辅助预测信号和从第1输入图像信号得到的分辨率变换信号进行加权平均，把该平均化了的信号作为与上述各单位区域对应的第2输入图像信号的预测信号进行输出，所以能够细致地控制从第1再生图像信号得到的第2输入图像信号的预测信号与第2输入图像信号的差分值的大小，能够谋求提高分层编码处理中的编码效率。

本发明(方案6)是在方案5记述的数字图像编码装置中，把上述补填装置构成为进行把上述第1再生图像信号中的无意像素值置换为根据该第1再生图像信号中的有意像素值得到的伪像素值的补填处理。

如果采用这样结构的图像编码装置，则由于根据该第1再生图像信号中的有意像素值进行与各单位区域对应的第1再生图像信号的补填处理，所以能够有效地抑制从第1输入图像信号得到的第2输入图像信号的预测信号与第2输入图像信号的差分。

本发明(方案7)是在方案3记述的数字图像编码装置中，把上述第1编码装置构成为具有求出与上述各单位区域对应的第1输入图像信号和其预测信号的差分并输出差分信号的运算器，把该差分信号进行压缩的压缩器，把该被压缩了的差分信号进行编码的编码器，把上述被压缩了的差分信号进行解压缩的解压缩器，把该解压缩器的输出和上述第1输入图像信号的预测信号进行相加并把该第1再生图像信号输出到上述补填装置中的加法器，存储上述补填装置的输出的帧存储器，根据存储在该帧存储器中的被实施了补填处理的第1再生图像信号，生成与上述各单位区域对应的上述第1输入图像信号的预测信号的预测信号生成器。

如果采用这样结构的图像编码装置，则由于在帧存储器中存储实施了补填处理的第1再生图像信号，所以能够更高精度地进行运动检测和运动补偿。

本发明(方案8)的数字图像解码方法是在用于形成包含具有任意形状的图像的多个像素组成的图像空间的分辨率不同的第1、第2图像信号中，把实施了编码处理得到的第1、第2编码图像信号进行解码生成第1、第2再生图像信号的数字图像解码方法，该方法在把上述图像空间分开的各单位区域内，进行从上述第1编码图像信号生成第1再生图像信号的解码处理，另外，对于与上述各单位区域对应的第1再生图像信号，进行把其无意像素值置换为通过预定方法得到的伪像素值的补填处理，从该实施了补填处理的第1再生图像信号预测与该各单位区域对应的第2再生图像信号生成再生预测信号，进而，在上述各单位区域内把与各单位区域对应的第2编码图像信号进行解码，再生第2图像信号与其预测信号的差分信号，在该差分信号上加入上述再生预测信号生成第2再生图像信号的差分解码处理。

如果采用这样的图像解码方法，则由于根据实施了补填处理的第1再生图像信号生成第2再生图像信号的再生预测信号，所以能够使用第1再生图像信号把根据第1图像信号分层编码第2图像信号而得到的第2编码图像信号正确地分层解码。

还有，在与成为解码处理对象的对象单位区域对应的第2编码图象信号的解码处理中，作为其预测信号由于使用根据与上述对象单位区域对应的第1再生图像信号生成的信号，所以第2编码图象信号的解码处理与第1编码图象的解码处理相比较，仅延迟用于处理上述单位区域的时间。由此，根据通过图像信号的分层编码处理得到的第1、第2编码图像信号，能够几乎没有时间偏移地再生高分辨率图像和低分辨率图像。

本发明(方案9)是在方案8记述的数字图像解码方法中，作为对于与上述各单位区域对应的第1再生图像信号的补填处理，进行把上述第1再生图像信号中的无意像素值置换为根据该第1再生图像信号中的有意像素值得到的伪像素值的处理。

如果采用这样的图像解码方法，则由于根据该第1图像信号中的有意像素值进行与各单位区域对应的第1再生图像信号的补填处理，所以能够把有效地抑制并编码从第1图像信号得到的第2图像信号的预测信号和第2图像信号的差分得到的编码差分信号正确地进行解码。

本发明(方案10)的数字图像解码装置包括：把对用于形成包含具有任意形状的图像的由多个像素组成的图像空间的第1图像信号实施编码处理得到的第1编码图象信号进行解码生成第1再生图像信号的第1解码处理单元；把对用于形成包含上述图像的由多个像素组成的图像空间的分辨率与上述第1图像信号不同的第2图像信号实施编码处理得到第2编码图象信号进行解码生成第2再生图像信号的第2解码处理单元；其中上述第1解码处理单元被构成为包括：在把上述图像空间分开的各单位区域进行从上述第1编码图像信号生成第1再生图像信号的解码处理的第1解码装置；对于与上述各单位区域对应的第1再生图像信号实施把其无意像素值置换为用预定的方法得到的伪像素值的补填处理的补填装置，把上述第2解码处理单元构成为从上述实施了补填处理的第1再生图像信号预测与上述各单位区域对应的第2再生图像信号生成再生预测信号的预测信号生成装置；以及在各上述单位区域进行把与上述各单位区域对应的第2编码图像信号进行解码，再生上述第2图像信号与其预测信号的差分信号，在该差分信号上加入上述再生预测信号生成第2再生图像信号的差分解码处理的第2解码装置。

如果采用这样结构的图像解码装置，则由于根据实施了补填处理的第1再生图像信号生成第2再生图像信号的再生预测信号，所以能够使用第1再生图像信号把根据第1图像信号分层编码第2图像信号而得到的第2编码图像信号正确地分层解码。

还有，在与成为解码处理对象的对象单位区域对应的第2解码图像信号的解码处理中，作为预测信号由于使用根据与上述对象单位区域对应的第1再生图像信号生成的信号，所以第2编码图象信号的解码处理与第1编码图像信号的解码处理相比较，仅延迟用于处理上述单位区域的时间。由此，根据通过图像信号的分层编码处理得到的第1、第2解码图像信号，能够几乎没有时间偏移地再生高分辨率图像和低分辨率图像。

本发明(方案11)是在方案10记述的数字图像解码装置中，具有把实施了上述补填处理的第1再生图像信号进行变换使得其分辨率与上述第2再生图像信号的分辨率一致并输出分辨率变换信号的分辨率变换装置，把上述预测信号生成装置构成为具有根据上述第1再生图像信号预测与各单位区域对应的第2再生图像信号生成辅助预测信号的预测装置，根据包含在上述第2编码图象信号中的控制信息切换该辅助预测信号和上述分辨率变换信号的开关装置，并且把该开关装置的输出作为与上述各单位区域对应的第2再生图像信号的预测信号进行输出。

如果采用这样结构的图像解码装置，则由于选择从上述第2再生图像信号得到的预测信号和从第1再生图像信号得到的分辨率变换信号中的某一个，把该选择了的信号作为与各单位区域对应的第2再生图像信号的再生预测信号进行输出，所以能够使用简单的结构适当地切换再生预测信号，能够简单地实现与进一步提高编码效率的分层编码处理对应的分层解码处理。

本发明(方案12)是在方案10记述的数字图像解码装置中，具有把实施了上述补填处理的第1再生图像信号进行变换使得其分辨率与上述第2再生图像信号的分辨率一致的分辨率变换信号的分辨率变换装置，把上述预测信号生成装置构成为具有根据上述第1再生图像信号预测与各单位区域对应的第2再生图像信号生成辅助预测信号的预测装置，把该辅助预测信号和上述分辨率变换信号进行加权平均处理的平均化装置，把该平均化装置的输出作为与上述各单位区域对应的第2再生图像信号的再生预测信号进行输出。

如果采用这样结构的图像解码装置，则由于把从第2再生图像信号得到的辅助预测信号和从第1再生图像信号得到的分辨率变换信号进行加权平均，把该平均了的信号作为与各单位区域对应的第2再生图像信号的再生预测信号进行输出，所以能够实现与细致地控制从第1图像信号得到的第2图像信号的预测信号和第2图像信号的差分的大小的分层编码处理对应的分层解码处理。

本发明(方案13)是在方案12记述的数字图像解码装置中，把上述补填装置构成为进行把上述第1再生图像信号中的无意像素值置换为根据该第1再生图像信号中的有意像素值得到的伪像素值的补填处理。

如果采用这样结构的图像解码装置，则由于根据该第1图像信号中的有意像素值进行与各单位区域对应的第1再生图像信号的补填处理，所以能够把有效地抑制并编码从第1图像信号得到的第2图像信号的预测信号和第2图像信号的差分得到的编码差分信号正确地进行解码。

本发明(方案14)是在方案10记述的数字图像解码装置中，把上述第1编码图象信号作为把与各单位区域对应的第1图像信号和其预测信号的差分的差分信号压缩编码的编码差分信号，使上述第1解码装置构成为具有把上述编码差分信号解码的解码器，把该解码器的输出进行解压缩生成再生差分信号的解压缩器，把该解压缩器的输出的再生差分信号和上述第1再生图像信号的再生预测信号相加把第1再生图像信号输出到上述补填装置的加法器，存储上述补填装置的输出的帧存储器，根据存储在该帧存储器中的实施了补填处理的第1再生图像信号，生成与各单位区域对应的上述第1再生图像信号的再生预测信号的预测信号生成器。

如果采用这样的图像解码装置，则由于在帧存储器中存储实施了补偿处理的第1再生图像信号，所以能够更高精度地进行解码处理中的运动补偿。

本发明(方案15)的数据存储媒体是用于存储由计算机进行分辨率不同的第1以及第2输入图像信号的编码处理的程序的数据存储媒体，其中，第1以及第2输入图像信号是用于形成包含具有任意形状的图像的由多个像素组成的图像空间的信号，作为上述程序，存储了使计算机进行以下处理的程序，即，在把上述图像空间分开的各单位区域进行把上述第1输入图像信号压缩编码生成第1编码图像信号，而且把该被压缩了的第1输入图像信号进行解压缩生成第1再生图像信号的编码处理，对于与上述各单位区域对应的第1再生图像信号，实施把其无意像素值置换为用预定方法得到的伪像素值的补填处理，根据实施了该补填处理的第1再生图像信号，预测与各单位区域对应的第2输入图像信号生成预测信号的处理，以及在各上述单位区域把与各单位区域对应的第2输入图像信号和其预测信号的差分的差分信号进行压缩编码生成编码差分信号，而且把该被压缩了的差分信号进行解压缩，在该被解压缩了的差分信号上加入上述预测信号生成第2再生图像信号的差分压缩编码的处理。

如果采用具有这样结构的数据存储媒体，则由于根据实施了补填处理的第1再生图像信号生成第2输入图像信号的预测信号，所以，能够抑制分辨率与第1输入图像信号不同的第2输入图像信号和其预测信号的差分的差分信号，能够用计算机实现在抑制编码率的恶化的同时把与位于物体边界部分的单位区域对应的第2输入图像信号进行压缩的处理。

本发明(方案16)的数据存储媒体是用于存储由计算机进行对分辨率不同的第1以及第2输入图像信号实施编码处理得到的图像信号进行解码生成第1以及第2再生图像信号的处理的程序的数据存储媒体，其中，第1以及第2输入图像信号是用于再生包含具有任意形状的图像的由多个像素组成的图像空间的信号，作为上述程序，存储了使计算机中进行以下处理的程序，即，在把上述图像空间分开的各单位区域进行把从上述第1编码图像信号生成第1再生图像信号的解码处理，对于与上述各单位区域对应的第1再生图像信号，实施把其无意像素值置换为用预定方法得到的伪像素值的补填处理，从该被实施了补填处理的第1再生图像信号，预测与各单位区域对应的第2再生图像信号生成再生预测信号的处理，以及在每个上述单位区域把与各单位区域对应的第2编码图像信号进行解码，再生第2图像信号和其预测信号的差分信号，在该差分信号上加入上述再生预测信号生成第2再生图像信号的差分解码的处理。

如果采用这样结构的数据存储媒体，则由于根据实施了补填处理的第1再生图像信号生成第2再生图像信号的再生预测信号，所以，能够用计算机实现把压缩编码分辨率与第1输入图像信号不同的第2输入图像信号和其预测信号的差分得到的编码差分信号进行正确解码的处理。

图1是用于说明本发明实施例1的数字图像编码装置总体结构的框图。

图2是示出构成上述实施例1的数字图像编码装置的结构编码单元的详细结构的框图。

图3是示出构成上述实施例1的数字图像编码装置的预处理器的具体结构的框图。

图4(a)是示出上述实施例1的结构编码单元中的编码器的具体结构的框图，图4(b)是示出该结构编码单元中的局部解码器的具体结构的框图。

图5是用于说明上述实施例1的数字图像编码装置进行的根据低分辨率结构信号预测高分辨率结构信号的处理的模式图，图5(a)、图5(b)分别示出高分辨率图像空间、低分辨率图像空间。

图6是用于说明上述实施例1的数字图像编码装置进行的图像补填处理的模式图。

图7示出构成上述实施例1的数字图像编码装置的结构变换器的结构。

图8通过流程示出上述实施例1的数字图像编码装置进行的补填处理以及内插处理。

图9(a)以及图9(b)是用于说明由上述实施例1的数字图像编码装置进行的图像补填处理的模式图。

图10是示出本发明实施例2的数字图像解码装置的总体结构的框图。

图11是示出构成上述实施例2的数字图像解码装置的结构解码单元的详细结构的框图。

图12(a)、图12(b)、图12(c)用于说明存储了用于由计算机实现上述各实施例的数字图像编码装置或者数字图像解码装置的程序的数据存储媒体。

以下，使用图1至图12说明本发明的实施例。

实施例1

图1是用于说明本发明实施例1的数字图像编码装置1000的框图。

数字图像编码装置1000是以物体单位进行图像信号的可扩充性编码的装置，具有对于构成上述图像信号的彩色显示物体的结构信号进行可扩充性编码处理的结构编码单元1100和对于构成上述图像信号的表示物体形状的形状信号进行可扩充性编码处理的形状编码单元1200。

上述结构编码单元1100具有接受结构信号、生成与分辨率高的层次对应的结构信号(以下，称为高分辨率结构信号)和与分辨率低的层次对应的结构信号(以下，称为低分辨率结构信号)的结构预处理器1100c；把高分辨率结构信号进行分割使得对应于成为编码处理单位的块的分块器1120a；和把低分辨率结构信号进行分割使得对应于成为编码处理单位的块的分块器1120b。

上述预处理器1100c如图3(a)所示，具有对于在其输入端子203接受的上述结构信号St进行滤波处理的低通滤波器(LPF)201，通过降取样把该滤波器201的输出进行取样的取样器202，并且构成为把上述结构信号St作为高分辨率结构信号Sth直接输出到第1输出端子216，而且把由上述取样器202取样的结构信号作为低分辨率结构信号Std输出到第2输出端子204。

另外，上述结构编码器1100具有对于上述低分辨率结构信号，在把预定的物体显示区域(即包括具有任意形状物体的图像的图像空间)分开的各单位处理区域(块)实施差分编码处理输出低分辨率结构差分编码信号(以下，称为LT差分编码信号)Etd的编码器1100b，把该低分辨率结构信号Std的差分编码处理中使用的预测信号进行分辨率变换使得能够利用在高分辨率结构信号Sth的差分编码处理中的结构变换器1125，根据该结构变换器1125的输出，对于上述高分辨率结构信号Sth在各上述单位处理区域(块)实施差分编码处理输出高分辨率结构差分编码信号(以下，称为HT差分编码信号)Eth的编码器1100a。

上述形状编码单元1200具有接受上述形状信号Sk，生成与分辨率高的层次对应的形状信号(以下，称为高分辨率形状信号)Skh和与分辨率低的层次对应的形状信号(以下，称为低分辨率形状信号)Skd的形状预处理器1200c。该形状预处理器1200c也成为与上述结构预处理器1100c完全相同的结构。另外，上述形状编码单元1200具有对于上述低分辨率形状信号Skd，在把预定的物体显示区域(包含具有任意形状物体的图像的图像空间)分开的各单位处理区域(块)实施差分编码处理输出低分辨率形状差分编码信号(以下，称为LS差分编码信号)Ekd的编码器1200b，把该低分辨率形状信号Skd的差分编码处理中使用的预测信号进行分辨率变换使得能够利用在高分辨率形状信号Skh的差分编码处理中的形状变换器1225，根据该形状变换器1225的输出，对于上述高分辨率形状信号Skh在各上述单位处理区域(块)实施差分编码处理输出高分辨率形状差分编码信号(以下，称为HS差分编码信号)Ekh的编码器1200a。

另外，虽然没有图示，但上述各编码器分别构成为具有根据输入的结构信号或者形状信号在各处理单位区域(块)判定在各处理单位区域(块)所进行的编码处理的模式的模式判定器。

其次，使用图2，说明上述结构编码单元1100中的各个编码器1100a以及1100b的详细的结构。

上述低分辨率结构编码器1100b由生成成为编码处理对象的对象块的低分辨率结构信号和其预测信号的差分信号的第1加法器132，把作为该加法器132的输出的差分信号进行压缩的第1信息压缩器(ENC)133，把该信息压缩器133的输出进行可变长编码的第1可变长编码器(VLC)104，生成上述预测信号的预测信号生成单元1110b构成。

这里，上述第1信息压缩器133如图4(a)所示，由对于对象块的低分辨率结构信号和其预测信号的差分信号304，实施频率变换处理一种的DCT(离散余弦变换)处理的DCT变换器302和把通过该频率变换得到的差分信号的频率成分305进行量化并输出量化信号306的量化器303构成。

上述预测信号生成单元1110b具有把上述第1信息压缩器133的输出(差分压缩信号)进行解压缩再生上述差分信号的第1信息解压缩器(DEC)136，把上述预测信号和来自该信息解压缩器136的再生差分信号进行相加再生低分辨率结构信号的第2加法器137。

这里，上述第1信息解压缩器136如图4(b)所示，由把上述压缩差分信号310进行逆量化的逆量化器308，对于被逆量化了的压缩差分信号311，实施从频域的数据变换为空间区域的数据的逆IDCT处理并输出解压缩差分信号312的IDCT器309构成。

另外，上述预测信号生成单元1110b具有接受该加法器137的输出，把再生低分辨率结构信号中的无意取样值(像素值)根据在上述低分辨率形状编码器1200b中再生了的低分辨率形状信号进行补填的第1补填器138，存储作为该补填器138的输出的被补填了的再生低分辨率结构信号的第1帧存储器139，该补填器138的输出还输出到上述结构编码器1125中。

另外，上述预测信号生成单元1110b具有根据该第1帧存储器139的输出和被输入的低分辨率结构信号Std，求出显示提供与对象块的低分辨率结构信号的误差最小的预测信号的与该对象块相同尺寸的预测区域的运动位移信息(运动矢量)并进行输出的第1运动检测器(ME)141，根据来自该运动检测器141的运动矢量发生帧存储器139的地址Add1，从上述帧存储器139把对应于预测区域的再生低分辨率结构信号作为预测信号读出并输出到上述第1加法器132中的第1运动补偿器(MC)140。

另一方面，上述高分辨率结构编码器1100a也成为与上述低分辨率结构编码器1100b几乎相同的结构。

即，上述高分辨率结构编码器1100a由生成成为编码处理对象的对象块的高分辨率结构信号和其预测信号的差分信号的第3加法器102，把作为该加法器102的输出的差分信号进行压缩的第2信息压缩器(ENC)103，把该信息压缩器103的输出进行可变长编码的第2可变长编码器(VLC)104，生成上述预测信号的预测信号生成单元1110a构成。

这里，上述第2信息压缩器103与上述第1信息压缩器133相同，由对于对象块的高分辨率结构信号和其预测信号的差分信号实施作为频率变换处理一种的DCT(离散余弦变换)处理的DCT变换器302和把根据该频率变换得到的差分信号的频率成分进行量化的量化器303构成(参考图4(a))。

上述预测信号生成单元1110a具有把上述第2信息压缩器103的输出(差分压缩信号)进行解压缩再生上述差分信号的第2信息解压缩器(DEC)106，把上述预测信号和来自该信息解压缩器106的再生差分信号进行相加再生高分辨率结构信号的第3加法器107。

另外，上述预测信号生成单元1110a还具有接受该加法器107的输出，把再生高分辨率结构信号中的无意取样值(像素值)根据在上述高分辨率形状编码器1200a中再生了的高分辨率形状信号进行补填的第2补填器108，存储作为该补填器108的输出的被补填了的再生高分辨率结构信号的第2帧存储器109。

进而，上述预测信号生成单元1110a还具有根据该第2帧存储器109的输出和被输入的高分辨率结构信号，求出显示提供与对象块的高分辨率结构信号的误差最小的预测信号的与对象块相同尺寸的预测区域的运动位移信息(运动矢量)并进行输出的第2运动检测器(ME)111，根据来自该运动检测器111的运动矢量发生上述帧存储器109的地址Add2，从上述帧存储器109把与预测区域对应的再生高分辨率结构信号作为预测信号读出的第2运动补偿器(MC)110，把该第2运动补偿器(MC)110的输出和上述结构变换器1125的输出进行平均并输出到上述第3加法器102中的平均化器(AVE)124。

这里，该平均化器124构成为根据上述模式判定器(未图示)的输出，把该第2运动补偿器(MC)110的输出和上述结构变换器1125的输出进行一定比例的加权平均。

另外，代替进行加权平均处理的平均化器124，也可以根据上述模式判定器的输出选择上述第2运动补偿器(MC)110的输出和上述结构变换器1125的输出的某一个，把选择了的输出作为高分辨率结构信号的预测信号输出到上述第3加法器120中。

其次，说明上述低分辨率形状编码器1200b以及高分辨率形状编码器1200a的具体结构。然而这些编码器基本上与上述低分辨率结构编码器1100b以及高分辨率结构编码器1100a的结构相同，因此省略使用附图的详细说明，仅简单地说明各结构编码器和各形状编码器结构上的不同点。

即，上述低分辨率形状编码器1200b仅在构成为不具有上述低分辨率结构编码器1100b中的补偿器138，把加法器137的输出直接输入到第1帧存储器139中这一点上与上述低分辨率结构编码器1100b不同。另外，上述高分辨率形状编码器1200a仅在构成为不具有上述高分辨率结构编码器1100a中的补偿器108，把加法器107的输出直接输入到第2帧存储器109中这一点上与上述高分辨率结构编码器1100a不同。

下面说明其工作过程。

作为图像信号，如果分别在结构输入端子1111以及形状输入端子1211输入了对应于预定物体的结构信号St以及形状信号Sk，则在上述结构编码单元1100中进行对于结构信号St的可扩充性编码处理，在上述形状编码单元1200中进行对于形状信号Sk的可扩充性编码处理。

即，在上述结构编码单元1100中，通过预处理器1100c从结构信号St生成高分辨率结构信号Sth和低分辨率结构信号Std。具体地讲，如图3(a)所示，在上述预处理器1100c中，在被输入的结构信号(图像序列)St直接作为高分辨率结构信号Sth由第1输出端子216输出的同时，该结构信号St通过低通滤波器201被去除高频成分，进而通过取样器202进行降取样，作为低分辨率结构信号Std由第2输出端子204输出。

这里，从上述高分辨率结构信号Sth得到由(K×L)个取样点(像素)构成的包括上述物体的图像的图像空间(图像显示画面)205，与此相对，从上述低分辨率结构信号Std得到由(K/2×L/2)个取样点(像素)组成的包括上述物体的图像的图像空间(图像显示画面)206。另外这里，K、L是整数。即，在上述取样器202中，作为降取样处理，把滤波器输出进行每隔一个取样点的取样处理。但是，该取样器的结构是一个例子，在上述结构信号St中，也可以按照1/2以外的比例实施降取样处理。

另外这时，在上述形状编码单元1200中，与上述结构编码单元1100中的结构信号的预处理一样，通过预处理器1200c进行物体的形状信号的预处理。

其次，上述高分辨率结构信号Sth以及低分辨率结构信号Std分别在分块器1120a、1120b中进行分割，使得对应于把显示图像的1个画面(图像空间)分开的预定尺寸的块区域，输入到高分辨率结构编码器1100a、低分辨率结构编码器1100b中。

这里，把上述各结构信号Sth以及Std进行分割使得对应于(8×8)个或者(16×16)个取样点组成的矩形形状的块区域，然而，上述各结构信号也可以分割为与任意形状的块区域对应。

这时，在形状编码单元1200中，通过分块器1220a、1220b，对于高分辨率形状信号Sth以及低分辨率形状信号Std，实施与对于上述各结构信号的分块处理相同的分块处理。

而且，与成为编码处理对象的块(以下，称为对象块)对应的低分辨率以及高分辨率结构信号如果分别输入到低分辨率编码器1110b以及高分辨率编码器1110a中，则在各编码器中进行对于这些信号的差分编码处理。

另外，对于低分辨率以及高分辨率形状信号也在对应的编码器1200a、1200b中以各块单位分别进行编码处理，然而对于形状信号的编码处理由于只是在不进行结构信号的编码处理中的补填处理这一点上不同，所以详细的说明仅对于结构信号进行。

以下，首先说明对于低分辨率编码器1110b中的低分辨率结构信号Std的差分编码处理。

上述对象块的低分辨率结构信号Std输入到第1运动检测器141中的同时，从第1帧存储器139把压缩处理完毕的结构信号进行解压缩后得到的解压缩结构信号作为参考画面结构信号读出到第1运动检测器141中。

在该第1运动检测器141中，通过块匹配等的方法，检测出对于对象块的低分辨率结构信号提供误差最小的预测信号的参考画面中的预测块，输出表示以该对象块为基准的该预测区域的位置的运动位移信息(以下，称为运动矢量)。

该运动矢量传送到第1运动补偿器140中，在那里从对应于参考画面的参考用低分辨率结构信号作为预测信号生成与预测块对应的低分辨率结构信号。这时，对于上述对象块的运动矢量供给到可变长编码器134中，变换为对应的可变长代码。

另外，对象块的低分辨率结构信号和预测块的低分辨率结构信号供给到上述第1加法器132，在上述第1加法器132中生成两者的差分信号，该差分信号通过第1信息压缩器133进行压缩。

该第1信息压缩器133中的差分信号的压缩处理如图3(a)所示，通过DCT器302中的频率变换以及量化器303中的量化进行，然而上述差分信号的压缩处理中也可以使用子带变换和矢量量化等方法。这里，被量化了的差分信号(压缩差分信号)供给到可变长编码器134进行可变长编码。

接着，被可变长编码了的压缩差分信号Etd与包含被可变长编码了的运动矢量在内的其它附加信息一起输出到输出端子135。

这时，在低分辨率预测信号生成单元1110b中，根据作为上述信息压缩器135的输出的压缩差分信号生成预测信号。

即，如果上述压缩差分信号输入到预测信号生成单元1110b中，作为压缩差分信号在信息解压缩器136被实施解压缩处理，输出解压缩差分信号。本实施例中如图4(b)所示，上述压缩差分信号在逆量化器308中被逆量化，被逆量化了的压缩差分信号在IDCT器309中，从频域的数据变化为空间区域的数据。

来自上述信息解压缩器136的解压缩差分信号在第2加法器137中被加入到对应的预测块的低分辨率结构信号上，通过该加法运算得到的信号作为与对象块对应的再生低分辨率结构信号输出。该再生低分辨率结构信号输入到第1补填器(PAD)138中，在该补填器138中，被实施对于该再生低分辨率结构信号的补填处理。而且被实施了补填处理的再生低分辨率结构信号作为参考用低分辨率结构信号存储在第1帧存储器139中。这里，上述补填处理是把构成与各块对应的再生低分辨率结构信号的多个取样值(像素值)中无意取样值置换为有意取样值的处理，取样值是否有意的判定在低分辨率形状编码器1200b中，参照在压缩差分信号上实施解压缩处理等得到的再生低分辨率形状信号进行。

图6是用于说明上述第1补填器138进行的补偿处理的模式图。另外，在图6中为了简化说明，把由再生低分辨率结构信号形成的图像空间分开的各块501作为(4×4)个取样点组成的块，该块501中的各个矩形区域表示一个取样值(像素)。另外，多个矩形区域中，标注点表示的矩形区域示出位于物体内部的有意取样值，除此以外的矩形区域(未标注点的区域)示出位于物体外侧的无意取样值。

对于无意取样的取样值的补填处理使用位于物体边界(周缘)上的取样的取样值。图6中，取样502、503、504、505是位于边界上的取样，通过把这些有意取样的取样值置换为无意取样的取样值，补填位于物体外侧区域取样的取样值。例如，用取样505的取样值置换取样506的取样值。另外对于像取样507那样，与有意取样503和有意取样504两方相连接的物体外的取样，把该取样值补填为两个有意取样的取样值的平均值。

在上述说明中，作为补偿处理，示出把无意取样的取样值置换为与无意取样相邻的有意取样的取样值的处理，然而，补填处理也可以是把无意取样的取样值置换为所有位于物体边界上的有意取样的取样值的平均值的处理，另外，在与无意取样相邻连接的有意取样存在多个时，也可以是把无意取样的取样值置换为该多个有意取样的取样值中最大或者最小的取样值的处理。

另外，这时在上述第1运动检测器141中，如上所述当通过块匹配等方法，根据被输入的低分辨率结构信号和存储在帧存储器中的参考用的再生低分辨率结构信号，生成运动矢量，在第1运动补偿器140中，根据该运动矢量，生成与预测块对应的低分辨率结构信号，把其作为预测信号输出到上述第1加法器132中。

其次，说明高分辨率结构编码器1110a中的对于高分辨率结构信号Sth的差分编码处理。

对于高分辨率结构信号Sth的差分编码处理基本上与上述对于低分辨率结构信号Std的差分编码处理相同，生成与对象块对应的预测信号的处理与对于上述低分辨率结构信号的处理多少不同。

即，在高分辨率结构编码器1100a的预测信号生成单元1110a中，使用通过在第2运动补偿器110中补偿得到的时间预测信号以及在低分辨率结构编码器1100b的第1补填器138中实施了补偿处理的再生低分辨率结构信号(空间预测信号)。

如图3(a)所示，用于形成低分辨率图像空间206的低分辨率结构信号由于是把用于形成高分辨率图像空间205的高分辨率结构信号进行降取样得到的信号，所以为了把上述再生低分辨率结构信号在高分辨率结构编码器1100a中利用为空间预测信号，需要通过升取样等把该再生低分辨率结构信号进行内插。

因此，上述空间预测信号在结构变换器1125中通过升取样进行内插，被内插了的空间预测信号供给到上述高分辨率结构编码器1100a的预测信号生成单元1110a中。

具体地讲，在构成图7所示的上述结构变换器11125的内插器602中，使用偶数抽头的滤波器生成内插值，通过该内插值把构成上述空间预测信号的取样值进行内插。

实施了这样升取样处理的空间预测信号与上述时间预测信号一起输入到平均化器124中。在该平均化器124中根据来自上述模式判定器(未图示)的模式判定输出，生成把时间预测信号和空间预测信号加权平均得到的对于高分辨率结构信号的预测信号，该预测信号供给到第3、第4加法器102、107中。

另外，本实施例中，上述平均化器124中的空间预测信号和时间预测信号的加权比例使用1∶0,0∶1,1/2∶1/2的3种比例，然而也可以用除此之外的比例进行加权。另外，该加权的比例也可以不根据模式判定输出进行调整，而预先设定预定的比例。还有，空间预测信号从第1补填器138输出，然而也可以从第1帧存储器139输出。

图5是用于说明从上述再生低分辨率结构信号生成对于高分辨率结构信号的预测信号的处理的模式图。图中，401a是从高分辨率结构信号得到的包括任意形状物体的图像的高分辨率图像空间，401b是从再生低分辨率结构信号得到的包括上述任意形状物体的图像的再生低分辨率图像空间。各图像空间由多个块(单位处理区域)构成，该多个块中标注点表示的块是位于物体内部的包含有意取样的块。

具体地讲，把图像空间401a分开的块示出进行了编码处理的被处理块，把图像空间401b分开的块示出与图像空间401a的各单位处理块对应的空间预测块。这里各被处理块和与该块对应的各空间预测块分别位于各个图像空间的相同位置。

例如，被处理块404a和与其对应的空间预测块404b分别在图像空间401a和图像空间401b中，成为在水平方向的排列中左起第6个，垂直方向的排列中上起第4个位置的块。另外，图像空间401a中的被处理块403a位于物体边界上，与其对应的图像空间401b中的空间预测块403b也位于物体的边界上。

另外，与位于物体边界上的空间预测块403b对应的低分辨率结构信号在用上述方法置换为构成该信号的无意取样值以后，在结构变换器125中被进行升取样，从与上述空间预测块对应的被处理块403a的高分辨率结构信号中减去该升取样了的低分辨率结构信号。

一般，即使把与空间预测块对应的低分辨率结构信号进行升取样，由此得到的空间预测块中的物体边界和相对应的被处理块中的物体边界也大多不一致。因此，在上述那样把与空间预测块对应的低分辨率结构信号补填后通过升取样，能够抑制由于两块的边界不一致引起的残差增加。

另外，图5中的被处理块405a、406a、407a、以及与其对应的空间预测块405b、406b、407b上如所观察到的那样，图像空间401a中的被处理块位于物体边界上，与此相对，图像空间401b中的空间预测块完全位于物体外部。

这是因为通过用于生成与图像空间401b对应的低分辨率结构信号的降取样和低分辨率结构信号的压缩编码，低分辨率结构信号所具有的物体形状信息产生了畸变。这种情况下，例如，如果不预先定义构成与被处理块407a对应的空间预测块407b的取样的取样值，直接使用与空间预测块407b对应的低分辨率结构信号，并从与被处理块407a对应的高分辨率结构信号中减去，则将加大两信号的残差。

于是，在本发明的实施例1中，关于这样的物体外的空间预测块，用与该物体外空间块相邻的物体内空间块的有意取样值补填其取样值。

即，对于空间预测块407b，把其取样值置换为位于其紧上方的空间预测块402b的有意取样值。

这种情况下，对于空间预测块402b那样位于物体边界上的块，由于用图6所示的方法补填其无意取样的取样值，因此也可以用空间预测块402b的位于边界上的取样的取样值补填上述物体外空间预测块407b的取样值。

图9(a)以及图9(b)示出这样的补填例。

块801,802,803,804分别由4×4个取样构成。块801和803是边界块，通过补填处理,所有的取样值成为有意值。由此，取样805～812全部具有有意取样值。另外，块802和块804是物体外块。

于是，在对于块802的补填处理中，水平地顺序反复地应用取样805,806,807,808，把这些取样作为块802的取样进行补填，另外，在对于块804的补填处理中，垂直地顺序反复地应用取样809,810,811,812，把这些取样作为块804的取样进行补填。

另外，在水平方向以及垂直方向不存在与实施了补填处理的块相邻的边界块的情况下，可以把这些边界块中全部候选取样值的平均值用作为置换的伪取样值或者所有的候选取样值中的最大值用作为置换伪取样值。

这样，对于位于物体外的空间预测块，通过使用与其相邻的边界块的取样值实施补填处理，则空间预测块即使完全位于物体外部，由于其无意取样值用物体内部的取样值进行置换，所以能够抑制把与空间预测块对应的低分辨率结构信号进行了升取样的信号和与被处理块对应的高分辨率结构信号的残差信号。

图8通过流程说明考虑了上述补填处理的由补填器以及结构变换器进行的动作。

首先，空间预测块和表示其空间预测块是否位于物体外部的识别信号LDkd输入到补填器138中(步骤S1)。表示预测块是否位于物体外部的识别信号LDkd是在形状编码单元1200的低分辨率形状编码器1200b中被生成了的解压缩形状信号(物体的形状信息)。

其次，使用该识别信号在上述补填器138中判断空间预测块是否位于物体的外部(步骤S2)。如果该空间预测块不是位于物体的外部，则该空间预测块不实施补填处理而直接输出，在结构变换器1125中进行升取样(步骤S4)。另一方面，在位于物体的外部时，对于空间预测块，实施使用了相邻块的有意取样的取样值的补填处理(步骤S3)，然后，与该空间预测块对应的低分辨率结构信号在上述结构变换器1125中进行升取样(步骤S4)。另外，与边界块相邻的位于物体外部的块的补填也可以在上述的补填器中进行。

还有，在上述实施例1中，在把结构信号进行分层方面使用了图3(a)所示的预处理器201，然而上述分层处理也可以使用图3(b)所示的预处理器207代替该预处理器201。

该预处理器217具有输入端子208和第1、第2输出端子209、210，构成为以预定的时间间隔切换输入端子208与第1输出端子209的连接状态，输入端子208与第2输出端子210的连接状态。

例如，如果结构信号输入到输入端子208上，则通过开关207a以预定的时间间隔切换输入端子208与第1输出端子209的连接状态以及输入端子208与第2输出端子210的连接状态。

这里，在时间t(t是整数)，t+N,t+2N的间隔，输入端子208与第2输出端子210成为连接状态，被输入的结构信号在第2输出端子输出。把从该第2输出端子210输出的结构信号作为低分辨率结构信号，供给到图2的第1输入端子131中。

另外，在时间t与t+N之间的结构信号(图像数据)在第1输出端子209输出，从该第1输出端子209输出的结构信号作为高分辨率结构信号供给到图2的第2输入端子101。这里，N是任意的整数，而在本实施例中取为N=3。

这种情况下，在图7的变换器中，使用运动补偿器代替补填器，从第1帧存储器139读出通过运动补偿得到的预测信号，把上述预测信号(从低分辨率结构信号得到的预测信号)进行处理使得时间分辨率与高分辨率结构信号相一致。这种情况下，虽然没有图示，然而需要把为此使用的运动矢量传送到上述运动补偿器中。总之，在分层编码处理中，当把某个层次的结构信号使用其它层次即从分辨率不同的层次得到的预测信号进行差分编码时，必须进行该预测信号的补填处理。

这样在本实施例1中，如图2所示，具有把低分辨率结构信号Std进行差分编码的编码器1100b和把高分辨率结构信号Sth进行差分编码的编码器1100a，在使用其预测信号把高分辨率结构信号Sth进行差分编码时，由于通过上述编码器1100b中的补填器138，进行把在上述编码器1100b再生的低分辨率结构信号的无意取样值置换为从其有意取样值得到的伪取样值的补填处理，根据实施了上述该补填处理的再生低分辨率结构信号生成对于上述高分辨率结构信号Sth的预测信号，所以根据实施了补填处理的再生低分辨率结构信号生成高分辨率结构信号Sth的预测信号。因此，抑制成为编码处理对象的块(单位处理区域)的高分辨率结构信号和其预测信号的差分的差分信号，能够抑制编码效率恶化的同时把与位于物体边界部分的块对应的高分辨率结构信号进行差分编码。

还有，在成为编码处理对象的对象单位区域的高分辨率结构信号Sth的编码处理中，作为其预测信号，由于使用根据上述对象单位区域再生了的低分辨率结构信号生成的信号，所以高分辨率结构信号Sth的编码处理与低分辨率结构信号Std的编码处理相比较，仅延迟用于处理上述单位区域的时间。因此，在解码一侧，根据低分辨率结构信号Std、高分辨率结构信号Sth的编码得到的LT差分编码信号Etd、HT差分编码信号Eth，能够几乎没有时间偏移地再生高分辨率图像和低分辨率图像。

还有，由于根据该再生低分辨率结构信号中的有意像素值进行与各单位区域对应的再生低分辨率结构信号的补填处理，所以能够有效地抑制从低分辨率结构信号得到的高分辨率结构信号的预测信号和高分辨率结构信号的差分。

另外，由于在帧存储器139中存储实施了补填处理的再生低分辨率结构信号，在帧存储器109中存储实施了补填处理的再生高分辨率结构信号，所以能够更高精度地进行运动检测和运动补偿。

另外，上述实施例1中，在构成形状编码单元1200的各编码器1200a、1200b中，把低分辨率再生形状信号LDkd以及高分辨率再生形状信号LDkh直接用于预测信号的生成，然而也可以把在低分辨率再生形状信号LDkd以及高分辨率再生形状信号LDsh上实施了补填处理后的信号用于预测信号的生成。

实施例2

图10是用于说明本发明实施例2的数字图像解码装置2000的框图。

该数字图像编码装置2000是构成为能够以物体单位把由实施例1的数字图像编码装置1000在图像信号上实施了可扩充性编码处理得到的图像编码信号进行解码的装置，具有对于构成上述图像编码信号的编码结构信号进行可扩充性解码处理的结构解码单元2100，对于构成上述图像编码信号的编码形状信号进行可扩充性编码处理的形状解码单元2200。

上述结构解码单元2100具有在各块对于高分辨率结构编码差分信号(HT差分编码信号)Eth实施差分解码处理，输出高分辨率结构结构信号Dth的高分辨率结构解码器2100a，综合与该各个块对应的高分辨率结构解码信号Dth输出扫描线构造的高分辨率结构再生信号Rth的逆分块器2120a，在各个块对于低分辨率结构编码差分信号(LT差分编码信号)Etd实施差分解码处理，输出低分辨率结构解码信号Dtd的低分辨率结构解码器2100b，综合与该各个块对应的高分辨率结构解码信号Dtd输出扫描线构造的低分辨率结构再生信号Rtb的逆分块器2120b。

另外，上述结构解码单元2100具有把在该LT差分编码信号的差分解码处理中使用的预测信号进行变换使得能够在HT差分编码信号的差分解码处理中利用，并且输出到上述高分辨率结构解码器2100b中的结构变换器2125。

还有，上述形状解码单元2200具有在各个块对于高分辨率形状编码差分信号(HS差分编码信号)Ekh实施差分解码处理，输出高分辨率形状解码信号Dkh的高分辨率形状解码器2200a，综合该与各个块对应的高分辨率形状解码信号Dth输出扫描线构造的高分辨率形状再生信号Rkh的逆分块器2220a，在各个块对于低分辨率结构编码差分信号(LS差分编码信号)Etd进行差分解码处理输出低分辨率结构解码信号Dkd的低分辨率结构解码器2200b，综合与各个块对应的低分辨率结构信号Dkd输出扫描线线构造的高分辨率结构信号Rkd的逆分块器2220b。

还有，上述形状解码单元2200具有把该LS差分编码信号的差分解码处理中使用的预测信号进行变换使得能够在HS差分编码信号的差分解码处理中利用并且输出到上述高分辨率形状解码器2200a中的形状变换器2225。

其次，使用图10说明上述结构解码单元2100中的各编码器2100a以及2100b的详细的结构。

上述低分辨率结构解码器2100b由分析成为解码对象的对象区域(对象块)的LT差分编码信号并进行可变长解码的数据分析器922，对于该数据分析器922的输出实施解压缩处理输出解压缩差分信号的信息解压缩器(DEC)923，把该解压缩差分信号和与对象块对应的预测信号进行相加输出低分辨率结构解码信号的加法器924，生成与上述各块对应的预测信号的预测信号生成单元2110b构成。

这里，上述第1信息解压缩器923如图4(b)所示，由在上述数据分析器922的输出实施逆量化处理的逆量化器308，对于该逆量化器308的输出实施作为逆频率变换处理一种的IDCT(逆离散余弦数变换)处理的IDCT变换器309构成。

上述预测信号生成单元2110b具有接受上述第1加法器924的输出，根据由上述低分辨率形状解码器1200b解码了的低分辨率形状信号Dkd把被再生了的低分辨率结构信号中的无意取样值(像素值)进行补填的第1补填器926，存储作为该补填器926输出的被补填了的再生低分辨率结构信号的第1帧存储器927，上述补填器926的输出还被输出到上述结构变换器2125中。

进而，上述预测信号生成单元2110b还具有根据该第1帧存储器927的输出和在上述数据分析器922中解码了的与对象块对应的运动矢量，从上述帧存储器927检测出具有与对象块的再生低分辨率结构信号的误差最小的再生低分辨率结构信号的预测区域，把与该预测区域对应的再生低分辨率结构信号作为预测信号读出，输出到上述第1加法器924中的第1运动补偿器928。

另一方面，上述高分辨率结构解码器2100a也成为具有与上述低分辨率结构解码器2100b几乎相同的结构。

即，上述高分辨率结构解码器2100a由分析成为解码处理对象的对象区域(对象块)的HT差分编码信号并进行可变长解码的第2数据分析器902，对于该数据分析器902的输出实施解压缩处理输出解压缩差分信号的第2信息解压缩器(DEC)903，把该解压缩差分信号和与对象块对应的预测信号进行相加输出高分辨率结构解码信号的第2加法器904，生成与上述各块对应的预测信号的预测信号生成单元2110b构成。

这里，上述第2信息解压缩器903如图4(b)所示，由在上述数据分析器902的输出上实施逆量化处理的逆量化器308，对于该逆量化器308的输出实施作为逆频率变换处理一种的IDCT(逆离散余弦变换)处理的IDCT变换器309构成。

上述预测信号生成单元2110a具有接受上述第2加法器904的输出，根据由上述高分辨率形状解码器1200a解码了的高分辨率形状信号Dkh把被再生了的高分辨率结构信号中的无意取样值(像素值)进行补填的第2补填器906，存储作为该补填器906输出的被补填了的再生高分辨率结构解码信号的第2帧存储器907。

进而，上述预测信号生成单元2110a还具有根据该第2帧存储器907的输出和在上述数据分析器902中解码了的与对象块对应的运动矢量，从上述帧存储器907检测出提供与对象块的再生高分辨率结构信号的误差最小的再生高分辨率结构信号的预测区域，把与该预测区域对应的再生高分辨率结构信号作为预测信号读出的第2运动补偿器908，根据运动矢量把该第2运动补偿器908的输出和上述结构变换器2125的输出进行平均，输出到上述第2加法器904中的平均化器(AVE)918。

其次，说明上述低分辨率形状解码器2200b以及高分辨率形状解码器2200a的具体的结构。然而，由于这些解码器基本上与上述低分辨率结构解码器2100b以及高分辨率结构解码器2100a的结构相同，因此省略使用图面的详细说明，仅简单地说明各结构解码器与各形状解码器结构上的不同点。

即，上述低分辨率形状编码器2200b仅在构成为不具有上述低分辨率结构解码器2100b中的补偿器926，而把加法器924的输出直接输入到第1帧存储器927这一点上与上述低分辨率结构解码器2100b不同。另外，上述高分辨率形状编码器2200a仅在构成为不具有上述高分辨率结构编码器2100a中的补偿器906，而把加法器904的输出直接输入到第2帧存储器907这一点上与上述高分辨率结构解码器2100a不同。

下面说明其工作过程。

与本图像解码装置2000所输入的预定物体相对应的多路图像编码信号在本图像解码装置2000的前级，分离为HT差分编码信号Eth、LT差分编码信号Etd、HS差分编码信号Ekh、LS差分编码信号Ekd以及其它的控制信号，上述HT以及LT差分编码信号输入到结构解码单元2100中，上述HS以及LS差分编码信号输入到形状解码单元2200中。

于是，在上述结构解码单元2100中，进行对于上述2个结构编码差分信号的可扩充性解码处理，在上述形状解码单元2200中进行对于上述2个形状信号的可扩充性解码处理。

即，在上述结构解码单元2100中LT差分编码信号Etd经过第1输入端子2101输入到第1数据分析器922中，在该分析器922中进行其数据分析，被可变长解码了的LT差分编码信号输出到上述第1信息解压缩器923中。另外这时，从上述数据分析器922把成为解码处理对象的对象块的运动矢量输出到预测信号生成单元2110b的第1运动补偿器928中。

在上述第1信息解压缩器923中，对于被可变长解码了的LT差分编码差分信号实施解压缩处理，低分辨率结构差分信号被复原为低分辨率结构解压缩差分信号。

本实施例中，如图4(b)所示，上述可变长解码了的LT差分编码信号在逆量化器308中被实施逆量化处理，进而在逆离散余弦变换器309实施把频域信号变换为空间区域信号的逆频率变换处理。

这时，在上述第1运动补偿器928中，根据运动矢量，生成用于访问第1帧存储器927的地址Add1，从作为参考用低分辨率结构信号存储在第1帧存储器927中的再生低分辨率结构信号，读出与对象块对应的再生低分辨率结构信号的预测信号。该被读出的预测信号和上述信息解压缩器923的输出被输入到加法器924中，作为这些信号的相加值，低分辨率结构解码信号Dtd从该加法器924输出到第1输出端子925。

这时，上述再生低分辨率结构信号Dtd输入到第1补填器926中，对于该信号，如图6中所说明的那样实施使用物体的有意取样值置换物体的无意取样值的补填处理。这样补填了的再生低分辨率结构信号Dtd存储在第1帧存储器927中。

另一方面，在上述形状解码单元2200中，HT差分编码信号Etd经过第2输入端子2131输入到第2数据分析器902中，在该分析器902中进行其数据分析，并且把被可变长解码了的LT差分编码信号输出到上述第2信息解压缩器903中。另外这时，成为解码处理对象的对象块的运动矢量从上述数据分析器902输出到预测信号生成单元2110a的第2运动补偿器908中。

在上述第2信息源解码器903中，对于被可变长解码了的HT差分编码信号实施解压缩处理，高分辨率结构差分信号被复原为高分辨率结构解压缩差分信号。

本实施例中，如图4(b)所示，上述被可变长解码了的LT差分编码信号在逆量化器308中被实施逆量化处理，进而在逆离散余弦变换变换器309中被实施把频域信号变换为空间区域信号的逆频率变换处理。

这时在上述第2运动补偿器908中，根据运动矢量，生成用于访问第2帧存储器907的地址Add2，从作为参考用高分辨率结构信号存储在第2帧存储器907中的再生高分辨率结构信号，作为时间预测信号读出与对象块对应的预测信号。

另外，在上述结构变换器937中，进行与图7以及图8所说明的处理相同的升取样处理，由此，这样升取样了的空间预测信号输出到平均化器918中。在该平均化器918中，根据来自上述数据分析器的模式信号把来自第2运动补偿器908的时间预测信号和该空间预测信号进行加权平均，生成再生高分辨率结构信号的预测信号。加权的比例可以在收发侧预先决定，然而本实施例中，加权的信息与上述高分辨率结构压缩编码信号一起传送，从第2数据分析器902抽取出来并输入到平均化器918中。

而且，上述平均化器918的输出和作为上述信息解压缩器903的输出的高分辨率结构解压缩差分信号输入到加法器904中。于是，作为这些信号的相加值，再生高分辨率结构信号Dth从该加法器904输出到第2输出端子905。

这时上述再生高分辨率结构信号Dth还输入到第2补填器906中，如图6所说明的那样实施使用物体的有意取样值置换物体的无意取样值的补填处理。这样补填了的再生高分辨率结构解码信号Dth存储在第2帧存储器907中。

这样在本实施例2中，如图11所示，具有把低分辨率结构编码差分信号Etd进行差分解码的解码器2100b和把高分辨率结构编码差分信号Eth进行差分解码的解码器2100a，在使用其预测信号把高分辨率结构编码差分信号Eth进行差分解码编码时，由于通过上述解码器2100b中的补填器926，进行把在上述解码器2100b中再生了的低分辨率结构信号中的无意像素质置换为从其有意像素值得到的伪像素值的补提填处理，根据实施了上述该补填处理的再生低分辨率结构信号生成上述预测信号，所以根据被实施了补填处理的再生低分辨率结构信号生成再生高分辨率结构信号Dth的预测信号。由此，能够实现与抑制了作为成为编码处理对象的块(单位处理区域)的再生高分辨率结构信号和其预测信号的差分的差分信号的分层编码处理所对应的分层解码处理。

还有，在与成为解码处理对象的对象单位区域对应的HT差分编码信号的解码处理中，由于作为其预测信号使用根据与上述对象单位区域对应的再生低分辨率结构图像信号生成的信号，所以HT差分编码信号Eth的解码处理与LT差分编码信号Dtd的解码处理相比较，仅延迟用于处理上述单位区域的时间。由此，根据由图像信号的分层编码处理得到的HT、LT差分编码信号，能够几乎没有时间偏移地再生高分辨率图像和低分辨率图像。

另外，由于根据该再生低分辨率结构信号中的有意像素值进行与各单位区域(块)对应的再生低分辨率结构信号的补填处理，所以能够在有效地抑制的同时把从低分辨率结构信号得到的高分辨率结构信号的预测信号与高分辨率结构信号的差分进行编码而得到编码差分信号正确地进行解码。

另外，由于把实施了补填处理的再生低分辨率结构信号存储在帧存储器927中，把实施了补填处理的高分辨率结构信号存储在帧存储器907中，所以能够更高精度地进行分层解码处理中的运动补偿。

还有，上述实施例2中示出了从补填器926传送空间预测信号的情况，然而空间预测信号也可以从第1帧存储器927供给到平均化器中。

另外，在低分辨率结构压缩编码信号和高分辨率结构压缩编码信号对应于相同尺寸的图像空间，而且具有时间偏离的图像信息的情况(图3(b))下，在变换器937中，也可以使用运动补偿器代替内插器，从第1帧存储器927读出通过运动补偿得到的预测信号，把该预测信号进行处理使得时间分辨率与高分辨率结构信号一致。这种情况下，虽然没有图示，然而需要传送为此使用的运动矢量。总之，在分层编码处理中，在把某个层次的结构编码差分信号使用其它的层次即从分辨率不同的层次得到的预测信号进行差分解码时，必须进行该预测信号的补填处理。

另外，上述实施例2中，在构成形状解码单元2200的各编码器2200a、2200b中，把低分辨率再生形状信号Dkd以及高分辨率再生形状信号Dkh直接用于预测信号的生成，然而也可以把在低分辨率再生形状信号Dkd以及高分辨率再生形状信号Dkh中实施了补偿处理的信号用于预测信号的生成。

还有，上述实施形成2中，作为分层编码处理以及分层解码处理，说明了层次为2个的情况，而对于层次为3个以上的分层编码、分层解码处理，在从下一个层次(分辨率低的层次)的图像信号预测上一个层次(分辨率高的层次)的图像信号时，可以同样地把下一个层次的图像信号进行补填。

进而，通过把用于实现上述各实施例中示出的编码处理和解码处理的结构的编码和解码程序存储在软盘等数据存储媒体中，在独立的计算机系统中能够简单地实施上述各实施例所示的处理。

图12用于说明使用存储了上述编码或者解码程序的软盘由计算机实施上述实施例的编码或者解码处理的情况。

图12(b)示出从软盘的正面观看的外观，断面构造，以及软盘自身，图12(a)示出作为存储媒体本身的软盘的物理格式的例子。软盘FD安装在盒F内，在该盘的表面，呈同心圆状从外周向内周形成多个磁道Tr，各磁道沿角度方向分割为16个扇区Se。从而，在存储了上述程序的软盘中，分配在上述软FD上的区域内，记录着作为上述程序的数据。

另外，图12(c)示出用于进行在软盘FD上记录再生上述程序的结构。在把上述程序记录在软盘FD上的情况下，把作为上述程序的数据从计算机系统Cs经过软盘驱动器写入。还有，通过软盘内的程序在计算机中构筑上述编码和解码装置时，使用软盘驱动器从软盘读出程序，传送给计算机系统。

另外，在上述说明中，作为数据记录媒体使用软盘进行了说明，然而使用光盘也能够同样地进行。另外，记录媒体并不限于这些，IC卡，ROM卡等只要是可以记录程序的媒体就都能够实施。

如上述那样，本发明的数字图像编码方法以及数字图像编码装置、数字图像解码方法以及数字图像解码装置、以及数据存储媒体能够谋求提高图像信号压缩处理中的编码效率，作为实现进行图像信号的传送和存储系统中的图像编码处理和图像编解码处理的装置极为有用，特别地，适于符合MPEG4等标准的运动图像的压缩、解压缩处理。