运动矢量编码设备、运动矢量编码方法和程序、运动矢量解码设备以及运动矢量解码方法和程序

摘要

根据本发明的典型实施例，等同地处理对增强层的邻接块或先前编码图片的块的运动矢量以及基本层的运动矢量的参考。因此，可以使motion_prediction_flag与识别信息整合以进一步提高编码效率。

说明书

技术领域

本发明涉及图像的编码和解码，尤其涉及运动补偿所用的运动矢量的编 码和解码。

背景技术

已知H.264/运动图像专家组(MPEG)-4高级视频编码(AVC)(以下缩写为 H.264)作为运动图像压缩记录所用的编码方法(国际标准化组织(ISO)/国际电 工委员会(IEC)14496-10:2010信息技术—视听对象编码—第10部分：高级视 频编码(International Organization for Standardization(ISO)/International  Electrotechnical Commission(IEC)14496-10:2010Information technology-- Coding of audio-visual objects--Part10:Advanced Video Coding))。与传统的 编码方法类似，H.264通过参考其它图片来进行运动补偿以提高编码效率。 可以以宏块(16个像素*16个像素)或块(8个像素*8个像素)为单位对运动矢量 进行编码。为了对运动矢量进行编码，通过使用邻接的块(左、上和右上)的 运动矢量的中值来计算预测运动矢量。然后对该预测运动矢量和运动矢量之 间的误差进行编码。

H.264能够进行分级编码，这在H.264的附录G可分级视频编码部分中论 述。在空域分级的情况下，可以放大基本层的块的运动矢量以生成预测运动 矢量(以下称为层间预测运动矢量)。代替通常的运动矢量的中值，可以通过 使用层间预测运动矢量来对增强层的运动矢量进行编码。更具体地，在 motion_prediction_flag为TRUE(真)的情况下，可以使用放大后的运动矢量。

近来，作为H.264的后继的针对甚至更高效率的编码方法的国际标准化 活动已经开始。国际标准化组织和国际电工委员会(ISO/IEC)以及国际电信联 盟(ITU)电信标准化部门(ITU-T)为此设立了视频编码联合组(JCT-VC)。 JCT-VC促进高效率视频编码方案(以下缩写为HEVC)的标准化。在HEVC中， 论述了高级运动矢量预测(AMVP)作为新的运动矢量编码方法(JCT-VC文档 JCTVC-A124_r2.doc，因特网 <http://wftp3.itu.int/av-arch/jctvc-site/2010_04_A_Dresden/>)。AMVP不仅使用 邻接块的运动矢量的中值作为参考运动矢量，而且还使用邻接块的运动矢量 自身作为参考运动矢量。除邻接块的运动矢量以外，按编码顺序的先前图片 的同一位置处的块的运动矢量(以下称为时间方向预测运动矢量)也包括在预 测运动矢量中。整合这些预测运动矢量中的包括相同分量的运动矢量以减少 选择最近运动矢量所依据的对象运动矢量。然后对用于识别所选择的运动矢 量的代码(以下称为预测矢量索引代码)和通过预测得到的预测误差进行编码 以提高编码效率。

在HEVC中实现分级编码时，如H.264那样，选择是参考增强层的运动矢 量还是基本层的运动矢量。如果可以如H.264那样选择参考运动矢量，则可 以使用上述方法。然而，由于需要基于AMVP的预测矢量索引代码和用于选 择层间运动矢量的预测的标志，因而上述方法存在无法提高编码效率的问 题。

引文列表

非专利文献

非专利文献1：国际标准化组织(ISO)/国际电工委员会(IEC) 14496-10:2010信息技术—视听对象编码—第10部分：高级视频编码

非专利文献2：JCT-VC文档JCTVC-A124_r2.doc，因特网 <http://wftp3.itu.int/av-arch/jctvc-site/2010_04_A_Dresden/>

发明内容

本发明涉及利用比较简单的结构来对分级编码的增强层的运动矢量进 行编码以提高编码效率。

根据本发明的方面，一种运动矢量编码设备，包括：运动矢量计算单元， 用于计算要编码的增强层的块的运动矢量；层间预测运动矢量提取单元，用 于提取基本层的图像数据上与要编码的块相对应的位置处的块的运动矢量 作为层间预测运动矢量；邻接参考运动矢量提取单元，用于提取所述增强层 中的与所述要编码的块邻接的块的运动矢量作为邻接参考运动矢量；选择单 元，用于从包括所述邻接参考运动矢量和所述层间预测运动矢量的参考运动 矢量组中选择用于预测要编码的所述增强层的运动矢量的预测运动矢量；运 动矢量预测单元，用于使用所选择的预测运动矢量来预测要编码的运动矢 量，并且计算预测误差；以及编码单元，用于对用于识别所选择的预测运动 矢量的识别信息和所述预测误差进行编码。

根据本发明的典型实施例，等同地处理对增强层的邻接块或先前编码图 片的块中的运动矢量以及基本层的运动矢量的参考。因此，可以使 motion_prediction_flag与识别信息整合以进一步提高编码效率。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面 将变得明显。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施 例、特征和方面，并和说明书一起用来解释本发明的原理。

图1是示出根据第一典型实施例的图像编码设备的结构的框图。

图2是根据第一典型实施例的图像编码设备中的运动矢量编码单元102 的详细框图。

图3是根据第一典型实施例的图像编码设备中的运动矢量编码单元105 的详细框图。

图4是示出利用根据第一典型实施例的图像编码设备的、用于对基本层 的运动矢量进行编码的处理的流程图。

图5是示出利用根据第一典型实施例的图像编码设备的、用于对增强层 的运动矢量进行编码的处理的流程图。

图6是块和运动矢量的示例的图。

图7是示出根据第二典型实施例的图像解码设备的结构的框图。

图8是根据第二典型实施例的运动矢量解码单元701的详细框图。

图9是根据第二典型实施例的运动矢量解码单元704的详细框图。

图10是示出利用根据第二典型实施例的图像解码设备的、用于对基本层 的运动矢量进行解码的处理的流程图。

图11是示出利用根据第二典型实施例的图像解码设备的、用于对增强层 的运动矢量进行解码的处理的流程图。

图12是根据第三实施例的图像编码设备中的运动矢量编码单元105的详 细框图。

图13是示出利用根据第三典型实施例的图像编码设备的、用于对增强层 的运动矢量进行编码的处理的流程图。

图14是根据第四典型实施例的运动矢量解码单元704的详细框图。

图15是示出利用根据第四典型实施例的图像解码设备的、用于对增强层 的运动矢量进行解码的处理的流程图。

图16是块和运动矢量的示例的图。

图17是示出可应用于本发明的典型实施例的图像编码设备和解码设备 的计算机的硬件结构的示例的框图。

具体实施方式

以下将参考附图来详细说明本发明的各种典型实施例、特征和方面。

以下将参考附图来说明本发明的第一典型实施例。图1是示出根据本典 型实施例的图像编码设备的框图。在图1中，将图像数据输入至端子106。帧 存储器107逐个图片存储所输入的图像数据。变倍单元113利用变倍率n/m(n 和m是正整数)对所输入的图像数据进行变倍。帧存储器114逐个图片存储变 倍后的图像数据。

预测单元108和115将图像数据分割成多个块，并且进行诸如内预测等的 帧内预测和利用运动补偿的帧间预测以生成预测图像数据。预测方法不限于 此。预测单元108和115还根据所输入的图像数据和预测图像数据计算预测误 差，并且输出所计算出的预测误差。关于帧间预测，预测单元108和115参考 其它编码图片以计算并输出运动矢量。预测单元108和115还将诸如与帧内预 测模式有关的信息等的预测所需的信息连同预测误差一起输出。

变换与量化单元109和116以块为单位对预测误差进行正交变换以获得 变换系数，并且还进行量化以获得量化系数。帧存储器112和119存储所再现 的图像数据。

图像再现单元111和118以块为单位输入量化系数，进行逆量化以获得变 换系数，并且还进行逆正交变换以再现预测误差。另外，图像再现单元111 和118通过在需要时参考帧存储器112和119，根据来自预测单元108和115的 运动矢量或预测相关信息来生成预测图像数据。最后，图像再现单元111和 118根据由此得到的预测图像数据和所再现的预测误差生成再现图像数据， 并且输出该再现图像数据。系数编码单元110和117对从变换与量化单元109 和116输出的量化系数进行编码以生成量化系数代码数据。

根据本发明的第一典型实施例的运动矢量编码设备100包括以块为单位 存储运动矢量的运动矢量存储单元101和104。运动矢量存储单元104存储预 测单元108所生成的运动矢量。运动矢量存储单元101存储预测单元115所生 成的运动矢量。运动矢量编码单元1102和105对预测单元108和115所生成的 块的运动矢量进行编码以生成运动矢量代码数据。运动矢量变倍单元103根 据变倍单元113的变倍率来对运动矢量进行变倍。变倍单元120利用变倍单元 113的变倍率的倒数即m/n对来自帧存储器119的图像数据进行变倍。

整合编码单元121和122生成头信息和预测相关信息的代码数据。整合编 码单元121和122还将系数编码单元110和117所生成的量化系数代码数据与 运动矢量编码单元102和105所生成的运动矢量代码数据进行整合。

帧存储器114和119、预测单元115、变换与量化单元116、系数编码单元 117、图像再现单元118、运动矢量存储单元101和运动矢量编码单元102对基 本层的图像数据进行编码。帧存储器107和112、预测单元108、变换与量化 单元109、系数编码单元110、图像再现单元111、运动矢量存储单元104和运 动矢量编码单元105对增强层的图像数据进行编码。

多路复用单元123对基本层的代码数据和增强层的代码数据进行多路复 用以形成位流。端子124将多路复用单元123所生成的位流输出至外部。

以下将说明上述图像编码设备所进行的用于对图像进行编码的操作。首 先，将说明用于对基本层的图像数据进行编码的操作。

将从端子106输入的单个帧的图像数据存储到帧存储器107中。变倍单元 113利用预定变倍率n/m对存储在帧存储器107中的图像数据进行变倍。在空 域分级的情况下，n/m的值小于1。将变倍后的图像数据存储到帧存储器114 中。将变倍率输入至变倍单元120和运动矢量变倍单元103。

预测单元115进行帧内预测或利用运动补偿的帧间预测。在帧间预测的 情况下，预测单元115参考存储在帧存储器119中的编码图片和存储在帧存储 器114中的基本层的块数据以计算运动矢量。将所计算出的运动矢量输入至 图像再现单元118和运动矢量存储单元101。运动矢量存储单元101以块为单 位存储这些运动矢量。

另外，预测单元115生成预测误差并将该预测误差输入至变换与量化单 元116。变换与量化单元116生成量化系数并将该量化系数输入至系数编码单 元117。系数编码单元117对该量化系数进行熵编码以生成量化系数代码数 据。没有特别限制熵编码方法，并且可以使用Golomb编码、算术编码和霍夫 曼编码。将量化系数、运动矢量和预测相关信息输入至图像再现单元118。 图像生成单元118生成要编码的块的再现图像，并将该再现图像存储到帧存 储器119中。

运动矢量编码单元102对预测单元115所生成的运动矢量进行编码以生 成运动矢量代码数据。图2示出运动矢量编码单元102的详细框图。在图2中， 将来自运动矢量存储单元101的运动矢量输入至端子201。端子202接收从预 测单元115输入的要编码的块的运动矢量。运动矢量提取单元203经由端子 201提取要编码的块邻接的运动矢量或先前编码图片的运动矢量。

运动矢量整合单元204对包括相同分量的运动矢量进行整合以形成参考 运动矢量组。在该参考运动矢量组中，整合后的运动矢量是按预定顺序排列 的。没有特别限制排列顺序，并且可以基于分量的大小顺序、发生概率的降 序或所提取的块的位置来排列整合后的运动矢量。可以使用任何排列方法， 只要在解码侧使用相同方法即可。

预测运动矢量选择单元205接收来自端子202的要编码的块的运动矢量 和来自运动矢量整合单元204的参考运动矢量组作为输入。预测运动矢量选 择单元205选择所输入的参考运动矢量组中的离要编码的块的运动矢量最近 的运动矢量作为预测运动矢量。预测运动矢量选择单元205输出用于在参考 运动矢量组中识别在参考运动矢量组中所选择的预测运动矢量的识别编号 以及所选择的预测运动矢量。索引编码单元206对所输出的识别编号进行编 码以生成识别信息代码数据。没有特别限制用于对识别编号进行编码的方 法，并且可以使用Golomb编码、算术编码和霍夫曼编码。

预测单元207输出在利用所输入的预测运动矢量对要编码的块的运动矢 量进行预测的情况下发生的预测误差。运动矢量误差编码单元208对运动矢 量的预测误差进行编码以生成运动矢量预测误差代码数据。没有特别限制用 于对运动矢量的预测误差进行编码的方法，并且可以使用Golomb编码、算术 编码和霍夫曼编码。代码形成单元209使识别信息代码数据和运动矢量预测 误差代码数据构形为运动矢量代码数据。端子201将所生成的运动矢量代码 数据输出至图1的整合编码单元122。

以下将说明用于利用上述结构来对基本层的运动矢量进行编码的操作。

运动矢量提取单元203经由端子201接收基本层的要编码块的邻接块的 运动矢量和时间方向预测运动矢量。将这些运动矢量输入至运动矢量整合单 元204。运动矢量整合单元204比较这些运动矢量的分量并且对相同的分量进 行整合以生成参考运动矢量组。

图6示出如何提取并整合运动矢量。增强层的第n个图片600包括要编码 的块603。块604、605和606邻接要编码的块603。增强层的第(n-1)个图片601 包括位于与块603相同的位置的块607。在要编码的块603中包括运动矢量 609。在各块604、605、606和607中包括运动矢量610、611、612和613。假 定运动矢量611和612具有相同的分量。在这种情况下，由此得到的参考运动 矢量组包括运动矢量613、612和610。

将所生成的参考运动矢量组输入至预测运动矢量选择单元205。预测运 动矢量选择单元205将从端子202输入的要编码的块的运动矢量与参考运动 矢量组中的运动矢量进行比较。预测运动矢量选择单元205从参考运动矢量 组中选择包括离要编码的块的运动矢量的分量最近的分量的运动矢量作为 预测运动矢量。预测运动矢量选择单元205生成用于表示在参考运动矢量组 中识别所选择的运动矢量的顺序的识别编号。索引编码单元206对该识别编 号进行编码以生成识别信息代码数据。

将预测运动矢量输入至预测单元207。预测单元207预测要编码的块的运 动矢量，计算预测误差，并且将该预测误差输出至运动矢量误差编码单元 208。运动矢量误差编码单元208对预测误差进行编码以生成运动矢量预测误 差代码数据。代码形成单元209对识别信息代码数据和运动矢量预测误差代 码数据进行构形，并且将由此得到的运动矢量代码数据从端子210输出。

返回图1，将所生成的运动矢量代码数据和系数编码单元117所生成的量 化系数代码数据输入至整合编码单元122。整合编码单元122以块为单位生成 代码数据。将所生成的代码数据输入至多路复用单元123。

接着，将说明用于对增强层的图像数据进行编码的操作。

倍率单元120利用m/n对存储在帧存储器119中的基本层的图像数据进行 变倍以生成基本层的参考图像数据。预测单元108将存储在帧存储器107中的 图像数据分割成块，并且针对各块进行帧内预测或利用运动补偿的帧间预 测。在帧间预测的情况下，预测单元108参考存储在帧存储器112中的编码图 片和基本层的参考图像数据以计算运动矢量。将所计算出的运动矢量输入至 图像再现单元111和运动矢量存储单元104。运动矢量存储单元104以块为单 位存储运动矢量。另外，预测单元108生成预测误差并将该预测误差输入至 变换与量化单元109。变换与量化单元109生成量化系数并将该量化系数输入 至系数编码单元110。与系数编码单元117相同，系数编码单元110对量化系 数进行熵编码以生成量化系数代码数据。将量化系数、运动矢量和预测相关 信息输入至图像再现单元111。与图像再现单元118相同，图像再现单元111 生成要编码的块的再现图像，并将该再现图像存储在帧存储器112中。

运动矢量编码单元105对预测单元108所生成的运动矢量进行编码以生 成运动矢量代码数据。在运动矢量编码单元105中进行运动矢量的编码之前， 运动矢量变倍单元103从运动矢量存储单元101中提取与增强层的要编码的 块相对应的基本层的块的位置处的运动矢量。运动矢量变倍单元103根据从 变倍单元113输出的变倍率(n/m)利用m/n对所提取的运动矢量进行变倍，并且 将由此得到的层间预测运动矢量输出至运动矢量编码单元105。

图6示出如何提取并整合运动矢量。基本层的第n个图片602与增强层的 第n个图片600相对应。块608位于与增强层的要编码的块603相对应的位置。 基本层的块608包括运动矢量614。将运动矢量614变倍为具有与增强层的分 辨率相同的精度的层间预测运动矢量。假定运动矢量611和612以及层间预测 运动矢量具有相同的分量。在这种情况下，由此测到的参考运动矢量组包括 层间预测运动矢量以及运动矢量613和610。

图3示出运动矢量编码单元105的详细框图。在图3中，利用相同的附图 标记来指定实现与图2中的块的功能相同的功能的块。将省略针对这些块的 说明。端子301从运动矢量变倍单元103输入层间预测运动矢量。运动矢量提 取单元303经由端子201提取增强层的要编码的块邻接的运动矢量或先前编 码图片的运动矢量，并且从端子301添加层间预测运动矢量。运动矢量整合 单元304对包括相同分量的运动矢量进行整合以生成参考运动矢量组。在该 参考运动矢量组中，整合后的运动矢量是按预定顺序排列的。没有特别限制 排列顺序，然而将层间预测运动矢量配置在开头。可以基于分量的大小顺序、 发生概率的降序或所提取的块的位置来排列其余的运动矢量。端子201连接 至运动矢量存储单元104。端子202连接至预测单元108。端子210连接至整合 编码单元121。

以下将说明用于利用上述结构对增强层的运动矢量进行编码的操作。

运动矢量提取单元303输入要编码的基本层的块的邻接块的运动矢量、 时间方向预测运动矢量和层间预测运动矢量。运动矢量整合单元304比较这 些运动矢量的分量并且对相同分量进行整合以生成参考运动矢量组。在该参 考运动矢量组中，整合后的运动矢量是按预定顺序排列的。将所生成的参考 运动矢量组输入至预测运动矢量选择单元205。随后，与基本层的运动矢量 编码单元102相同，将要编码的块的运动矢量与参考运动矢量组中的运动矢 量进行比较以选择预测运动矢量。生成所选择的预测运动矢量的识别编号并 进行编码以生成识别信息代码数据。计算要编码的块的运动矢量的预测误差 并进行编码以生成运动矢量预测误差代码数据。代码形成单元209对识别信 息代码数据和运动矢量预测误差代码数据进行构形，并将所生成的运动矢量 代码数据从端子210输出。

返回图1，将所生成的运动矢量代码数据和系数编码单元110所生成的量 化系数代码数据输入至整合编码单元121。整合编码单元121以块为单位生成 代码数据。将所生成的代码数据输入至多路复用单元123。

多路复用单元123根据预定格式对这些代码数据进行多路复用，并将由 此得到的位流从端子124输出至外部。

图4是利用根据第一典型实施例的图像编码设备的、用于对基本层的运 动矢量进行编码的处理的流程图。在步骤S401中，图像编码设备输入基本层 的要编码的块的运动矢量，并且存储该运动矢量以供后续步骤参考。在步骤 S402中，图像编码设备从所存储的基本层的已编码运动矢量中提取基本层的 要编码的块的邻接块或基本层的已编码图片的同一位置处的块中的运动矢 量。

在步骤S403中，图像编码设备对步骤S402中提取出的运动矢量中的包括 相同分量的运动矢量进行整合。图像编码设备按预定顺序重排整合后的运动 矢量以生成参考运动矢量组。在步骤S404中，图像编码设备将步骤S403中所 生成的参考运动矢量组与基本层的要编码的块的运动矢量进行比较以选择 最近的运动矢量作为基本层的预测运动矢量，并且生成识别编号。

在步骤S405中，图像编码设备使用预测运动矢量来计算要编码的运动矢 量的预测误差。在步骤S406中，图像编码设备对步骤S404中所生成的识别信 息进行编码。在步骤S407中，图像编码设备对基本层的运动矢量的预测误差 进行编码。

图5是示出利用根据第一典型实施例的图像编码设备的、用于对增强层 的运动矢量进行编码的处理的流程图。在图5中，利用相同的附图标记来指 定用于实现与图4的步骤的功能相同的功能的步骤。将省略针对这些步骤的 说明。在步骤S501中，图像编码设备输入增强层的要编码的块的运动矢量， 并且存储该运动矢量以供后续步骤参考。

在步骤S502中，图像编码设备从所存储的增强层的运动矢量中提取增强 层的要编码的块的邻接块或增强层的编码图片的同一位置处的块的运动矢 量。在步骤S503中，图像编码设备提取与增强层的要编码的块的位置相对应 的基本层的块的运动矢量。

在步骤S504中，图像编码设备对所提取的基本层的运动矢量进行变倍以 计算层间预测运动矢量。在步骤S505中，图像编码设备对步骤S502中所提取 的运动矢量和层间预测运动矢量中的包括相同分量的运动矢量进行整合。图 像编码设备按预定顺序重排整合后的运动矢量以生成参考运动矢量组。在后 续步骤S404～S407中，与图4中的针对基本层的运动矢量的编码相同，图像编 码设备确定预测运动矢量并且生成识别信息。图像编码设备还根据该预测运 动矢量计算预测误差。图像编码设备对所生成的识别信息和运动矢量的预测 误差进行编码。

根据上述的结构和操作，图像编码设备可以通过使用基本层的运动矢量 来高效地对增强层的运动矢量进行编码。在变倍倍率为1的情况下，可以省 略变倍单元113和120以及运动矢量变倍单元103。

运动矢量整合单元204可以始终将层间预测运动矢量分配至参考运动矢 量组的开头。因此，可以增大将较短的代码分配至极有可能参考的层间预测 运动矢量的机会，并且可以进一步提高编码效率。

运动矢量提取单元203输入对时间方向预测运动矢量进行了编码的图片 的在相同位置处的块的运动矢量。然而，这并非限制性的。例如，在存在层 间预测运动矢量的情况下，可以省略时间方向预测运动矢量的输入。

运动矢量整合单元304被描述成将层间预测运动矢量配置在开头。然而， 运动矢量整合单元304可以将层间预测运动矢量配置在时间方向预测运动矢 量之后。另外，与运动矢量整合单元204相同，不需要特别固定该配置。

根据本典型实施例，运动矢量整合单元204和304对包括相同分量的运动 矢量进行整合从而提高编码效率。然而，运动矢量整合单元204和304不限于 上述结构。运动矢量整合单元204和304可以选择固定数量的运动矢量。甚至 可以省略运动矢量整合单元204和304。

可以单独设置基本层编码设备和增强层编码设备，并且可以将变倍单元 113和120设置在图像编码设备的外部。

针对参考运动矢量组的运动矢量，参考位于图6所示的位置的块。然而， 块和运动矢量不限于该示例。例如，可以添加在块604的右方邻接的块的运 动矢量。可以添加与这些运动矢量的中值相对应的运动矢量。基本层中要参 考的运动矢量也不限于同一位置的运动矢量。如图16所示，可以参考块608 下方的块1601的运动矢量1604、右下方的块1602的运动矢量1605和右方的块 1603的运动矢量1606。还可以参考其它块的运动矢量。

图7是示出根据本发明的第二典型实施例的图像解码设备的结构的框 图。将使用针对第一典型实施例中所生成的代码数据的解码作为示例来说明 本典型实施例。

端子706输入编码位流。分离单元707将该位流分离成基本层的代码数据 和增强层的代码数据。分离单元707进行与图1的多路复用单元123的操作相 反的操作。整合解码单元708和715对与基本层和增强层有关的头信息和预测 相关信息的代码数据进行解码。整合解码单元708和715将量化系数代码数据 和运动矢量代码数据分离，并且将其结果输出至后级。系数解码单元709和 716进行与图1的系数编码单元117和110的操作相反的操作以再现量化系数。 逆量化逆变换单元710和717进行与图1的变换与量化单元116和109的操作相 反的操作。逆量化与逆变换单元710和717通过逆量化来再现正交变换系数， 并且通过逆正交变换来生成预测误差。

根据本发明的本典型实施例的运动矢量解码设备700包括矢量解码单元 701和704。运动矢量解码单元701和704对运动矢量代码数据进行解码以再现 要解码的块的运动矢量。运动矢量存储单元702和705以块为单位存储运动矢 量。运动矢量变倍单元703根据与图1的变倍单元113的变倍率相同的变倍率 对运动矢量进行变倍。没有特别限制用于计算变倍率的方法。可以计算基本 层的分辨率和增强层的分辨率之间的比。可以设置预定值。

帧存储器712、713、719和720存储再现图片的图像数据。

图像再现单元711和718输入运动矢量，参考解码图片的图像数据，进行 运动补偿，并且使用解码预测误差来再现图像数据。变倍单元714根据与图1 的变倍单元113的变倍率相同的变倍率来对基本层的图像数据进行变倍。没 有特别限制用于计算变倍率的方法。可以计算基本层的分辨率和增强层的分 辨率之间的比。可以设置预定值。端子721输出基本层的图像数据。端子722 输出增强层的图像数据。

整合解码单元708、系数解码单元708、逆量化与逆变换单元710、运动 矢量解码单元701、运动矢量存储单元702、图像再现单元711以及帧存储器 711和713对基本层的代码数据进行解码并且再现基本层的图像数据。整合解 码单元715、系数解码单元716、逆量化与逆变换单元717、运动矢量解码单 元704、运动矢量存储单元705、图像再现单元718以及帧存储器719和720对 增强层的代码数据进行解码并且再现增强层的图像数据。

以下将说明利用上述图像解码设备的用于对图像进行解码的操作。在本 典型实施例中，图像解码设备对第一典型实施例中生成的位流进行解码。

在图7中，将从端子706输入的位流输入至分离单元707。分离单元707将 该位流分离成基本层的代码数据和增强层的代码数据。将前者输入至整合解 码单元708。将后者输入至整合解码单元715。

首先，将说明用于对基本层的代码数据进行解码的操作。将基本层的代 码数据输入至整合解码单元708。整合解码单元708对与头信息和预测相关信 息有关的代码数据进行解码，将量化系数代码数据和运动矢量代码数据分 离，将运动矢量代码数据输入至运动矢量解码单元701，并且将量化系数代 码数据输入至系数解码单元709。

系数解码单元709对量化系数代码数据进行解码以再现量化系数。将所 再现的量化系数输入至逆量化与逆变换单元710。逆量化与逆变换单元710对 所再现的量化系数进行逆量化以生成正交变换系数，并且进一步向该正交变 换系数应用逆正交变换以再现预测误差。将所再现的预测误差输入至图像再 现单元711。

运动矢量解码单元701对运动矢量代码数据进行解码以再现基本层的要 解码的块的运动矢量。图8示出运动矢量解码单元701的详细框图。在图8中， 端子801从整合解码单元708输入要解码的块的运动矢量代码数据。端子802 从运动矢量存储单元702输入运动矢量。运动矢量提取单元803经由端子802 提取基本层的与要解码的块邻接的运动矢量或先前已解码图片的运动矢量。

运动矢量整合单元804进行与图2的运动矢量整合单元204的操作相同的 操作。也就是说，运动矢量整合单元804对包括相同分量的运动矢量进行整 合以生成参考运动矢量组。代码分离单元805将运动矢量代码数据分离成识 别信息代码数据和运动矢量预测误差代码数据。索引解码单元806对识别信 息代码数据进行解码以再现识别信息。索引解码单元806进行与图2的索引编 码单元206的操作相反的操作从而进行解码。

运动矢量误差解码单元807对运动矢量预测误差代码数据进行解码以再 现要解码的块的运动矢量的预测误差。运动矢量误差解码单元807进行与图2 的运动矢量误差编码单元208的操作相反的操作从而进行解码。预测运动矢 量选择单元808使用所再现的识别信息来从参考运动矢量组中选择预测运动 矢量。运动矢量再现单元809根据所选择的预测运动矢量和所再现的运动矢 量的预测误差来再现基本层的要解码的块的运动矢量。端子810将所再现的 运动矢量输出至图7的图像再现单元711和运动矢量存储单元702。

以下将说明用以利用上述结构来对基本层的运动矢量进行解码的操作。 将从端子801输入的基本层的要解码的块的运动矢量代码数据输入至代码分 离单元805。代码分离单元805将运动矢量代码数据分离成识别信息代码数据 和运动矢量预测误差代码数据。将前者输入至索引解码单元806。将后者输 入至运动矢量误差解码单元807。

索引解码单元806对识别信息代码数据进行解码以再现识别信息。运动 矢量误差解码单元807对运动矢量预测误差代码数据进行解码以再现基本层 的要解码的块的运动矢量的预测误差。如图6所示，运动矢量提取单元803经 由端子802从运动矢量存储单元702提取要解码的基本层的块的邻接块的运 动矢量和时间方向预测运动矢量。将所提取的运动矢量输入至运动矢量整合 单元804。与图2的运动矢量整合单元204相同，运动矢量整合单元804生成参 考运动矢量组。

预测运动矢量选择单元808从索引解码单元806输入识别信息并且从参 考运动矢量组中选择预测运动矢量。将所选择的预测运动矢量连同所再现的 基本层的要解码的块的运动矢量的预测误差一起输入至运动矢量生成单元 809。运动矢量再现单元809根据所再现的预测误差和预测运动矢量来再现要 解码的块的运动矢量。将所再现的运动矢量经由端子810输出。

返回图7，将所再现的运动矢量输入至图像再现单元711和运动矢量存储 单元702。运动矢量存储单元702以块为单位存储运动矢量。图像再现单元711 使用所再现的运动矢量并且基于帧存储器713来计算基本层的要解码的块的 预测图像数据。进一步向图像再现单元711输入逆量化与逆变换单元710所再 现的预测误差，并且图像再现单元711使用预测图像数据来再现基本层的图 像数据。将所再现的基本层的图像数据存储到帧存储器712和713中并且用于 参考。将所再现的基本层的图像数据从端子721输出。

接着，将说明用于对增强层的代码数据进行解码的操作。在利用运动矢 量解码单元704进行运动矢量的解码之前，运动矢量变倍单元703从运动矢量 存储单元702提取与增强层的要解码的块相对应的基本层的块的位置处的运 动矢量。运动矢量变倍单元703根据变倍率(n/m)按m/n对所提取的运动矢量进 行变倍，并且将由此所得的层间预测运动矢量输出至运动矢量解码单元704。

将增强层的代码数据输入至整合解码单元715。整合解码单元715对与头 信息和预测相关信息有关的代码数据进行解码，使量化系数代码数据和运动 矢量代码数据分离，将运动矢量代码数据输入至运动矢量解码单元704，并 且将量化系数代码数据输入至系数解码单元716。

系数解码单元716对量化系数代码数据进行解码以再现量化系数。将所 再现的量化系数输入至逆量化与逆变换单元717。逆量化与逆变换单元717对 所再现的量化系数进行逆量化以生成正交变换系数，并且进一步对该正交变 换系数应用逆正交变换以再现预测误差。将所再现的预测误差输入至图像再 现单元718。

运动矢量解码单元704对运动矢量代码数据进行解码以再现增强层的要 解码的块的运动矢量。图9示出运动矢量解码单元704的详细框图。在图9中， 利用相同的附图标记来指定实现与图8中的块的功能相同的功能的块。将省 略针对这些块的说明。在图9中，端子901从运动矢量变倍单元703输入运动 矢量。经由端子901向运动矢量提取单元903输入如图6所示的、增强层的要 解码的块邻接的运动矢量或先前解码图片的运动矢量。还向运动矢量提取单 元903输入从端子901输入的层间预测运动矢量。运动矢量整合单元904进行 与图8中的运动矢量整合单元804的操作相同的操作。也就是说，运动矢量整 合单元904对包括相同分量的运动矢量进行整合以生成参考运动矢量组。

在参考运动矢量组中，整合后的运动矢量是按预定顺序排列的。没有特 别限制排列顺序，然而将层间预测运动矢量配置在开头。可以基于分量的大 小顺序、发生概率的降序或所提取的块的位置来配置其余的运动矢量。端子 801连接至整合解码单元715。端子802连接至运动矢量存储单元705。端子810 连接至运动矢量存储单元705和图像再现单元718。

将说明用于利用上述结构来对增强层的运动矢量进行解码的操作。经由 端子802从运动矢量存储单元705向运动矢量提取单元903输入增强层的要解 码的块的邻接块的运动矢量和时间方向预测运动矢量。从端子901进一步向 运动矢量提取单元903输入层间预测运动矢量。将这些运动矢量输入至运动 矢量整合单元904。与图8的运动矢量整合单元804相同，运动矢量整合单元 904生成参考运动矢量组。随后，与基本层的运动矢量解码单元701相同，运 动矢量解码单元704基于识别信息来从参考运动矢量组中选择预测运动矢 量。运动矢量解码单元704使用所选择的预测运动矢量和所再现的增强层的 要解码的块的运动矢量的预测误差来再现增强层的要解码的块的运动矢量。 将所再现的运动矢量经由端子810输出。

返回图7，将所再现的运动矢量输入至图像再现单元718和运动矢量存储 单元705。运动矢量存储单元705以块为单位存储运动矢量。利用所再现的运 动矢量向图像再现单元718输入通过从帧存储器713读取相应的图像数据由 变倍单元714进行变倍后的图像数据或者通过从帧存储器713读取所得的图 像数据。图像再现单元718根据该图像数据计算增强层的要解码的块的预测 图像数据。进一步向图像再现单元718输入逆量化与逆变换单元717所再现的 预测误差，并且图像再现单元718使用预测图像数据来再现增强层的图像数 据。将所再现的增强层的图像数据存储在帧存储器719和720中并且用于参 考。将所再现的增强层的图像数据从端子722输出。

图10是示出利用根据第二典型实施例的图像解码设备的、用于对基本层 的运动矢量进行解码的处理的流程图。在步骤S1001中，图像解码设备从所 存储的运动矢量中提取基本层的要解码的块的邻接块的运动矢量和时间方 向预测运动矢量。在步骤S1002中，图像解码设备对步骤S1001中所提取的运 动矢量中的包括相同分量的运动矢量进行整合，并且按预定顺序重排整合后 的运动矢量以生成参考运动矢量组。

在步骤S1003中，图像解码设备对识别信息代码数据进行解码以再现识 别信息。在步骤S1004中，图像解码设备基于步骤S1003中所再现的识别信息 来从步骤S1002中所生成的参考运动矢量组中选择预测运动矢量。在步骤 S1005中，图像解码设备对运动矢量预测误差代码数据进行解码以再现基本 层的要解码的块的运动矢量的预测误差。

在步骤S1006中，图像解码设备根据步骤S1004中所选择的预测运动矢量 和步骤S1005中所再现的运动矢量的预测误差来再现基本层的要解码的块的 运动矢量。在步骤S1007中，图像解码设备输出所再现的运动矢量，并且存 储该运动矢量以供后续步骤参考。

图11是示出利用根据第二典型实施例的图像解码设备的、用于对增强层 的运动矢量进行解码的处理的流程图。在图11中，利用相同的附图标记来指 定用于实现与图10中的步骤的功能相同的功能的步骤。将省略针对这些步骤 的说明。

在步骤S1101中，图像解码设备从所存储的增强层的解码运动矢量中提 取增强层的要解码的块的邻接块的运动矢量或增强层的时间方向预测运动 矢量。在步骤S1102中，图像解码设备提取与增强层的要解码的块的位置相 对应的基本层的块的运动矢量。在步骤S1103中，图像解码设备对所提取的 基本层的运动矢量进行变倍以计算层间预测运动矢量。在步骤S1104中，图 像解码设备对步骤S1102中所提取的运动矢量和层间预测运动矢量中的包括 相同分量的运动矢量进行整合，并且按预定顺序重排整合后的运动矢量以生 成参考运动矢量组。

在步骤S1105中，图像解码设备对识别信息代码数据进行解码以再现识 别信息。在步骤S1106中，图像解码设备基于所再现的识别信息来从步骤 S1104中生成的参考运动矢量组中选择预测运动矢量。随后，与图10中的针 对基本层的运动矢量的解码相同，图像解码设备对运动矢量预测误差代码数 据进行解码以再现运动矢量的预测误差。图像解码设备根据所选择的预测运 动矢量和运动矢量的预测误差来再现增强层的要解码的块的运动矢量。图像 解码设备输出并存储所再现的运动矢量。

根据上述的结构和操作，可以对第一典型实施例中所生成的并且使用基 本层的运动矢量高效地进行了编码的位流进行解码以获得再现图像。在变倍 倍率为1的情况下，可以省略变倍单元714和运动矢量变倍单元703。

运动矢量整合单元904可以始终将层间预测运动矢量分配至参考运动矢 量组的开头。因此，可以增大将较短的代码分配至极有可能参考的层间预测 运动矢量的机会，并且可以进一步提高解码效率。

运动矢量提取单元903输入时间方向预测运动矢量。然而，这并非限制 性的。例如，在存在层间预测运动矢量的情况下，可以省略时间方向预测运 动矢量的输入。

运动矢量整合单元904被描述成将层间预测运动矢量配置在开头。然而， 运动矢量整合单元904可以将层间预测运动矢量配置在时间方向预测运动矢 量之后。另外，与运动矢量整合单元204相同，不需要特别固定该配置。

在本典型实施例中，从运动矢量变倍单元703输入变倍率。然而，变倍 率的输入不限于该示例。可以单独计算基本层的分辨率和增强层的分辨率之 间的比。可以设置预定值。

根据本典型实施例，运动矢量整合单元804和904对包括相同分量的运动 矢量进行整合从而提高编码数据的编码效率。然而，运动矢量整合单元804 和904不限于该结构。运动矢量整合单元804和904可以选择固定数量的运动 矢量。甚至可以省略运动矢量整合单元804和904。

可以单独设置基本层解码设备和增强层解码设备，并且可以将变倍单元 714设置在图像解码设备的外部。

针对参考运动矢量组的运动矢量，参考位于图6所示的位置的块。然而， 块和运动矢量不限于该示例。例如，可以添加邻接块604的右方的块的运动 矢量。可以添加与这些运动矢量的中值相对应的运动矢量。基本层中要参考 的运动矢量也不限于同一位置的运动矢量。如图16所示，可以参考块608下 方的块1601的运动矢量1604、右下方的块1602中的运动矢量1605和右方的块 1603中的运动矢量1606。还可以参考其它块的运动矢量。

根据第三典型实施例的图像编码设备包括与根据第一典型实施例的图1 的结构相同的结构。不同之处在于增强层的运动矢量编码单元105的结构。 因而，基本层的编码和增强层的量化系数的编码与第一典型实施例相同，并 且将省略针对这两者的说明。

图12是示出根据本典型实施例的运动矢量编码单元105的详细结构的框 图。在图12中，利用相同的附图标记来指定实现与根据第一典型实施例的图 3中的功能相同的功能的部件。将省略针对这些部件的说明。与图3的端子301 相同，端子1201从运动矢量变倍单元103输入层间预测运动矢量。运动矢量 提取单元1203提取从端子201输入的、增强层的与要编码的块邻接的运动矢 量或先前编码图片的运动矢量。从端子202向预测运动矢量选择单元1205输 入增强层的要编码的块的运动矢量，从运动矢量整合单元304向预测运动矢 量选择单元1205输入参考运动矢量组，并且从端子1201向预测运动矢量选择 单元1205输入层间预测运动矢量。预测运动矢量选择单元1205从所输入的参 考运动矢量组中选择离要编码的块的运动矢量最近的运动矢量作为预测运 动矢量。

将说明用于利用上述结构来对增强层的运动矢量进行编码的操作。

运动矢量提取单元1203提取图6所示的、增强层的要编码的块邻接的运 动矢量或先前编码图片的运动矢量。将所提取的运动矢量输入至运动矢量整 合单元304。与第一典型实施例相同，运动矢量整合单元304对所输入的运动 矢量中的具有相同分量的运动矢量进行整合以生成参考运动矢量组。预测运 动矢量选择单元1205从所输入的参考运动矢量组和层间预测运动矢量中选 择与要编码的块的运动矢量最相似的运动矢量作为预测运动矢量。预测运动 矢量选择单元1205输出用于识别所选择的预测运动矢量的识别信息以及预 测运动矢量。

与第一典型实施例的不同之处在于独立于参考运动矢量组而将层间预 测运动矢量作为选择候选来处理。因而，参考运动矢量组可以包括具有与层 间预测运动矢量的分量相同的分量的运动矢量。因此，预测运动矢量选择单 元1205被配置为在可以选择层间预测运动矢量和参考运动矢量组中的运动 矢量的情况下，选择层间预测运动矢量作为预测运动矢量。

随后，与第一典型实施例相同，索引编码单元206对识别信息进行编码。 预测单元207根据要编码的块的运动矢量和预测运动矢量来计算预测误差。 运动矢量误差编码单元208对该预测误差进行编码。

图13是示出利用根据第三典型实施例的图像编码设备的、用于对增强层 的运动矢量进行编码的处理的流程图。在图13中，利用相同的附图标记来指 定用于实现与图5中的步骤的功能相同的功能的步骤。将省略针对这些步骤 的说明。

步骤S501～S504的处理与第一典型实施例的处理相同。更具体地，图像 编码设备从所存储的增强层的运动矢量中提取增强层的要编码的块邻接的 运动矢量或增强层的编码图片的相同位置处的块的运动矢量，并且计算层间 预测运动矢量。在步骤S1301中，图像编码设备对增强层的与要编码的块邻 接的运动矢量或先前编码图片的运动矢量中的包括相同分量的运动矢量进 行整合，并且按预定顺序重排整合后的运动矢量以生成参考运动矢量组。在 步骤S1302中，图像编码设备将层间预测运动矢量添加至所生成的参考运动 矢量组的开头。

在步骤S404中，与第一典型实施例相同，图像编码设备从参考运动矢量 组中选择预测运动矢量。在步骤S1303中，在预测运动矢量包括与层间预测 运动矢量的分量相同的分量的情况下(步骤S1303中为“是”)，该处理进入步骤 S1304。相反(步骤S1303中为“否”)，该处理进入步骤S405。在步骤S1304中， 图像编码设备选择层间预测运动矢量作为预测运动矢量。因此，可以防止选 择包括相同分量的其它运动矢量。在步骤S405～S407中，与根据第一典型实 施例的图5中的用于对增强层的运动矢量进行编码的处理相同，图像编码设 备计算运动矢量的预测误差，对识别信息进行编码，并且对运动矢量的预测 误差进行编码。

根据上述的结构和操作，图像编码设备通过使基本层的运动矢量相对于 其它运动矢量优先使用来高效地对增强层的运动矢量进行编码。这是因为， 层间预测运动矢量与增强层的块的运动矢量的相关性极高。

针对参考运动矢量组的运动矢量，参考位于图6所示的位置的块。然而， 块和运动矢量不限于该示例。例如，可以添加在块604的右方邻接的块的运 动矢量。可以添加与这些运动矢量的中值相对应的运动矢量。

根据本典型实施例，运动矢量整合单元204和304对包括相同分量的运动 矢量进行整合从而提高编码效率。然而，运动矢量整合单元204和304不限于 上述结构。运动矢量整合单元204和304可以选择固定数量的运动矢量。甚至 可以省略运动矢量整合单元204和304。

根据第四典型实施例的图像解码设备包括与根据第二典型实施例的图7 的结构相同的结构。不同之处在于增强层的运动矢量解码单元704的结构。 因而，针对基本层的解码和针对增强层的量化系数的解码与第二典型实施例 相同，并且将省略针对这两者的说明。将通过使用针对第三典型实施例中所 生成的代码数据的解码作为示例来说明本典型实施例。

图14是示出根据本典型实施例的运动矢量解码单元704的详细结构的框 图。在图14中，利用相同的附图标记来指定提供与根据第二典型实施例的图 9中的功能相同的功能的部件。将省略针对这些部件的说明。与图9的端子901 相同，端子1401从运动矢量变倍单元703输入层间预测运动矢量。与第三典 型实施例的运动矢量提取单元1203相同，运动矢量提取单元1403提取增强层 的与要解码的块邻接的运动矢量或先前解码图片的运动矢量。预测运动矢量 选择单元1405根据识别信息来从层间预测运动矢量和参考运动矢量组中选 择预测运动矢量。

将说明用于利用上述结构来对增强层的运动矢量进行解码的操作。

运动矢量提取单元1403提取图6所示的、增强层的与要解码的块邻接的 运动矢量或先前解码图片的运动矢量。将所提取的运动矢量输入至运动矢量 整合单元804。与第二典型实施例相同，运动矢量整合单元804对所输入的运 动矢量中的包括相同分量的运动矢量进行整合以生成参考运动矢量组。与第 二典型实施例相同，索引解码单元806对识别信息代码数据进行解码以再现 识别信息。预测运动矢量选择单元1405根据识别信息来从层间预测运动矢量 和参考运动矢量组中选择预测运动矢量。随后，与第二典型实施例相同，图 像解码设备根据运动矢量的预测误差和所选择的预测运动矢量来再现增强 层的要解码的运动矢量。

图15是示出利用根据第四典型实施例的图像解码设备的、用于对增强层 的运动矢量进行解码的处理的流程图。在图15中，利用相同的附图标记来指 定用于实现与图11的步骤的功能相同的功能的步骤。将省略针对这些步骤的 说明。

步骤S1101～S1103的处理与第二典型实施例的处理相同。更具体地，图 像解码设备提取增强层的要解码的块邻接的运动矢量或先前解码图片的运 动矢量，并且计算层间预测运动矢量。

在步骤S1501中，图像解码设备对增强层的要解码的块邻接的运动矢量 或先前解码图片的运动矢量中的包括相同分量的运动矢量进行整合，并且重 排整合后的运动矢量以生成参考运动矢量组。在步骤S1502中，图像解码设 备将层间预测运动矢量添加至所生成的参考运动矢量组的开头。

随后，与根据第二典型实施例的图11中的用于对增强层的运动矢量进行 解码的处理相同，图像解码设备进行步骤S1105～S1007的处理。更具体地， 图像解码设备对识别信息进行解码，选择预测运动矢量，再现运动矢量的预 测误差，并且再现增强层的要解码的块的运动矢量。

根据上述的结构和操作，图像解码设备可以通过使基本层的运动矢量相 对于其它运动矢量优先使用来对利用较少的代码量进行编码后的增强层的 代码数据进行解码。这是因为，层间预测运动矢量与增强层的块的运动矢量 的相关性极高。

根据本典型实施例，运动矢量整合单元804和904对包括相同分量的运动 矢量进行整合从而提高编码数据的编码效率。然而，运动矢量整合单元804 和904不限于上述结构。运动矢量整合单元804和904可以选择固定数量的运 动矢量。甚至可以省略运动矢量整合单元804和904。

针对参考运动矢量组的运动矢量，参考位于图6所示的位置的块。然而， 块和运动矢量不限于该示例。

根据上述典型实施例，图1、2、3、7、8、9、12和14所示的各处理单元 被描述为由硬件来实现。然而，这些附图所示的各处理单元所进行的处理可 以由计算机程序来实现。

图17是示出可应用于根据上述典型实施例的图像编码或解码设备的计 算机的硬件结构的示例的框图。

中央处理单元(CPU)1701利用存储在随机存取存储器(RAM)1702和只 读存储器(ROM)1703中的计算机程序和数据来控制计算机整体。此外，CPU 1701执行根据上述典型实施例的图像编码或解码设备要进行的所述各处理。 换句话说，CPU1701用作图1、2、3、7、8、9、12和14所示的各处理单元。

RAM1702包括用于临时存储从外部存储装置1706下载的计算机程序和 数据以及经由接口(I/F)1707从外部获取到的数据的区域。RAM1702还包括 CPU1701在执行各种处理时要使用的工作区域。例如，RAM1702可以被分 配作为帧存储器并且可以根据需要提供各种其它区域。

ROM1703存储计算机的设置数据和引导程序。操作单元1704包括键盘 和鼠标。计算机的用户可以对操作单元1704进行操作以向CPU1701输入各种 指令。显示单元1705显示CPU1701的处理结果。显示单元1705例如可以包括 液晶显示器。

外部存储装置1706是以硬盘驱动器为代表的大容量信息存储装置。外部 存储装置1706存储操作系统(OS)以及用于使CPU1701实现图1、2、3、7、8、 9、12和14所示的各单元的功能的计算机程序。外部存储装置1706还可以存 储要处理的图像数据。

可以根据CPU1701的控制来在需要的情况下将存储在外部存储装置 1706中的计算机程序和数据载入RAM1702，并且利用CPU1701处理这些计 算机程序和数据。可以将诸如局域网(LAN)和因特网等的网络以及诸如投影 设备和显示设备等的其它装置连接至I/F1707。计算机可以经由I/F1707来获 取并发送各种信息。总线1708使上述各组件相连接。

利用这种结构，CPU1701主要控制上述流程图所述的操作。

可以将存储有用于实现上述功能的计算机程序代码的存储介质供给至 系统、并且利用该系统读出并执行该计算机程序代码来实现本发明的典型实 施例。在这种情况下，从存储介质读取的计算机程序代码自身实现了上述典 型实施例的功能，而存储该计算机程序代码的存储介质构成本发明的典型实 施例。本发明的典型实施例还涵盖如下情形：运行在计算机上的操作系统(OS) 基于程序代码的指令来执行实际处理的一部分或全部，并且通过该处理来实 现上述功能。

此外，可以采用以下模式来实现上述功能。将从存储介质读取的计算机 程序代码写入插入计算机的功能扩展卡或连接至计算机的功能扩展单元中 所配备的存储器内。基于计算机程序代码的指令，该功能扩展卡或功能扩展 单元的CPU执行实际处理的一部分或全部以实现上述功能。

在将本发明的典型实施例应用于存储介质的情况下，该存储介质存储与 上述流程图相对应的计算机程序代码。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于 所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有 修改、等同结构和功能。

本申请要求2011年11月7日提交的日本专利申请2011-243936的优先权， 在此通过引用包含其全部内容。