根据遮蔽图的使用来生成和重构三维视频流的方法以及对应的生成和重构设备

摘要

描述了一种通过从视频图像的序列开始生成三维视频流的方法，所述序列包含第一视图(V0)、场景的至少一个第二视图(V1)、以及所述第一视图(V0)的深度图(D0)、或者所述至少一个第二视图(V1)相对于第一视图(V0)的视差图，对于一个图像，所述方法包含以下步骤：通过从所述深度图(D0)或者从所述视差图开始，获得包含所述第二视图(V1)的被遮蔽像素的至少一个遮蔽图像(O1)；通过空间重新放置所述至少一个遮蔽图像(O1)的所述被遮蔽像素，以便将所述像素移动到彼此更靠近，来生成压紧的遮蔽图像(OC1)；对于一个图像，所述三维视频流包含所述第一视图(V0)、所述深度图(D0)或所述视差图、和所述至少一个压紧的遮蔽图像(OC1)。

说明书

技术领域

本发明涉及处理三维视频信号的系统的领域，更具体地，涉及根据 遮蔽图的使用来生成和重构三维视频流的方法和对应的生成和重构设 备。

背景技术

立体(即，三维)视频应用的发展极大地取决于表现和压缩三维视频 信号的高效格式的可用性。此外，在电视广播应用(3D-TV)中，必须维持 与现有2D系统的最大可能程度的向下兼容性。

目前最普及的技术解决方案基于所谓的“帧兼容排列”，其中如果 需要或者适宜，那么与相同时刻相关的两个视图(待分别呈现给左眼和右 眼的视频图像)被适当地重新缩放，随后放在一起，以形成单一图像。最 典型的解决方案被称为上下排列和并排排列，其中使两个视图一个在另 一个之上，或者从左到右并排地进入单一帧中。这些解决方案允许利用 全部的现有视频信号分发基础设施(地面、卫星或有线广播，或者经IP 网络的流式传输)，不需要新的表现和压缩标准。另外，AVC/H.264编码 标准已包括用信号发送立体信号的这种构成的可能性，以致立体信号可 被接收器正确地重构和显示。

比立体视学更先进的应用利用多于两个视频，导致必须表现、编码 和传送更大的一组视频序列。在这种帧中，现有技术用MVC标准 (AVC/H.264的附件G)表示。MVC利用已知的变换类混合视频编码范例， 允许消除各个视图之间的某些冗余。对于盘保存的立体视频和蓝光播放 器，选择了所述标准。

最后，另一种可能性由不仅利用视频信号的3D视频表现组成。最著 名的例子由称为视频加深度图(V+D，即视频+深度)的方法，及其具有更 多视图和深度图的变形代表。深度图使新方法，比如合成几乎接近主视 图的中间视点的可能性能够与自立体3D显示器一起使用。目前仅仅存在 一种用信号发送这种格式的标准，即，MPEG-C。利用适当的传感器，可 以估计或测量深度图的值。所述值通常被表示成具有256灰度级的图像， 并利用标准技术(MPEG-x，H.26x)压缩。

已知解决方案的技术问题和缺陷

目前可用的解决方案存在许多技术问题和缺陷。

帧打包排列方法只允许表现两个视图，从而在空间分辨率方面牺牲 图像质量。它们还对标准压缩器的效率存在不利影响，同时还不能生成 中间视点。

MVC标准的使用和具有许多视点的序列的使用会造成许多问题。首 先，MVC编码器的效率随内容的类型而变化很大，编码增益通常相当低。 对具有许多视图的情况来说，编码效率的确不足。另外，视图间编码选 项的计算成本很高。

V+D表现看起来在编码效率和生成中间视点的可能性方面都有前途。

迄今提出的压缩深度信号D(Depth)的系统使用标准编码器或者专门 设计的解决方案。在两种情况下，已观察到与视频相比，信号D更易于 压缩，从而需要较小的带宽。V+D系统的最关健方面是可从V+D开始合成 的图像的质量。给定视图和相关的深度图，除了由于几何原因或深度估 计误差而被遮蔽的一些区域之外，可以生成新的视图。这需要利用插值 和/或修补机制(即，缺失或破坏的部分的重构)，这通常产生质量并非最 佳的图像。为了减少遮蔽，另一种选择是增大在合成处理中使用的视图 和深度图的数目。例如，MPGE标准化委员会使用的软件通过从2个视图 和2个深度图开始，产生中间视图；一方面，这通过减少合成图像的被 遮蔽区域，改善合成图像的质量，但是另一方面，它需要两个视频信号 的压缩，从而就传输带宽占用来说，使这种解决方案不是很可行。一种 可能的备选方案是在编码阶段，估计被遮蔽的区域，以便编码它们，随 后把它们明确地发送给解码器，从而解码器能够重构质量更好的补充视 图。

US专利2010/0195716 A1提出只编码仅仅一个视图(中间的一个视图) 以及关联的深度图，并在编码处理中，估计将用于视图合成和立体视觉 的右视图和左视图的被遮蔽区域。通过利用固定值(例如，值0)，明确地 用信号发送未被遮蔽的区域，而被遮蔽像素构成图像的有限部分；这样 获得的由只包含对解码处理有用的那些被遮蔽像素的图像组成的视频信 号可由标准编码器压缩。测试已表明所需的比特率可达到3D视频的总比 特率的较大百分比，尽管被遮蔽像素通常远远小于包含在一个图像中的 像素的总数。

于是，需要借助能够降低为存储和/或传输遮蔽图像所需的比特率的 适当技术来优化遮蔽图像的压缩。另外，适当的是采用被遮蔽区域的一 般有限的扩展，以便通过利用不论何时可能的现有编码设备和解码设备， 确保其更高效的编码和复用。

发明内容

因此，本发明的一个目的是提供一种根据遮蔽图的使用来生成和重 构三维视频流的方法以及对应的生成和重构设备，所述方法和设备适合 于克服所有上述缺陷。

本发明属于例如V+D编码的范围。

生成的视频流可经历编码，以便传输，随后经历解码，以便接收。 作为备选方案，可在生产阶段，例如在其中编码操作是可选的可移除存 储介质(DVD、蓝光等)上，对未压缩的立体内容进行存储和/或视频编辑 操作。

在一个可能的实施例中，通过从基准视图(例如，左视图)、对应的 深度图、和与另一个视图(例如，右视图)的遮蔽对应的视频序列开始， 对图像序列编码，来编码立体视频。

序列的类属图像的遮蔽图由表示一个视图相对于基准视图(也称为 主视图)的被遮蔽像素的位置的图像组成；它是通过利用左视图和对应的 深度图获得的。例如，可以把相同的合成算法用于右视图，以便定位不 能被合成，并且称为遮蔽的那些像素。

可以可替换地利用其它技术，例如根据识别具有较大深度变化的区 域的深度图的导数，估计被遮蔽的区域；具有较大深度变化的区域一般 对应于当视点被改变时产生遮蔽的前景中的物体的边缘。无论如何，在 生成阶段计算的遮蔽的位置的映射，和其可能的编码是作为后续压缩操 作的函数进行的，不过不必被明确地编码和传送给解码器。事实上，在 重构阶段，根据相同的重构视图和深度，能够重复在生成阶段进行的估 计，从而隐含地获得遮蔽的位置，即，相同的遮蔽映射。

于是，本发明提供识别被遮蔽图像，以使通过编码操作进行的被遮 蔽图像的后续压缩更高效的选择。解码器必须通过采用遮蔽图的知识， 进行该操作的逆操作。如下所述，所述图可由解码器重新获得，而不需 要明确地编码和传送所述图。

当重构视频流时，可能在视频流已被编码和传送之后，必须知道并 且可能被明确地编码和传送的是被遮蔽像素的值，同时在重构阶段，可 隐含地获得被遮蔽像素和它们所属于的位置之间的对应性，根据下面的 详细说明，这将变得清楚。

本发明利用在生成阶段和视频流重构阶段的相同遮蔽映射信息的可 用性，更有效地表现与所述遮蔽相关的视频信息，从而使得能够减小为 包含遮蔽图的视频流的可能编码所需的比特率，和减小图像的尺寸，并 且在本发明的一些实施例，还降低其频率。

特别地，由于当重构视频流时，被遮蔽像素的位置是隐含地已知的， 因此在生成阶段，能够按照目的在于改善遮蔽图像的可压缩性的策略， 将被遮蔽像素重新放置在遮蔽图像中。例如，可以逐行地工作，并朝着 左边缘对齐所有的被遮蔽像素，从而把被遮蔽图像压挤到比图像小的区 域中。

当逐行地，并且例如从左到右，或者如先前在生成阶段一样地以任 何方式处理被遮蔽像素时，可在重构阶段翻转像素的这种空间重组。通 过知道遮蔽的映射，第m行的第n个像素被再次放入与遮蔽图的第m行 的第n个被遮蔽像素对应的位置；从而把被遮蔽像素的值正确地放回它 们的初始位置。最后，通过从左视图和深度图开始，利用合成算法，合 成右视图；通过上述过程，能够获得其中合成处理不成功的被遮蔽区域。

按照本发明，可以使用目的在于改善后续压缩过程的被遮蔽像素的 任何其它空间重组。

如下更详细所述，在某些条件下，这种空间重组操作允许减少为按 照V+D+O模式(它代表视频+深度+遮蔽或者视频+视差+遮蔽，也称为VDO) 表现给定立体内容，即，包含视图序列、深度或视差序列和遮蔽序列， 所需的图像的数目，因为多个适当压紧的图像(它们包含在不同时刻获得 的视图的遮蔽)可被一起放入由多个压紧的组成图像构成的复合图像中。

按照权利要求1，本发明的特定目的是提供一种通过从视频图像序列 开始生成三维视频流的方法，所述序列包含第一视图、场景的至少一个 第二视图、以及所述第一视图的深度图、或者所述至少一个第二视图相 对于第一视图的视差图，对于一个图像，所述方法包含以下步骤：从所 述深度图或者从所述视差图开始，获得包含所述第二视图的被遮蔽像素 的至少一个遮蔽图像；通过空间重新放置所述至少一个遮蔽图像的所述 被遮蔽像素，以便将所述像素移动到彼此更靠近，来生成压紧的遮蔽图 像；对于一个图像，所述三维视频流包含所述第一视图、所述深度图或 所述视差图、和所述至少一个压紧的遮蔽图像。

按照权利要求13，本发明的另一个目的是提供一种通过从视频图像 序列开始生成三维视频流的设备，所述设备适合于实现所述生成三维视 频流的方法。

按照权利要求16，本发明的另一个目的是提供一种重构包含视频图 像序列的三维视频流的方法，对于一个图像，所述方法包含以下步骤： 接收所述视频图像序列的第一视图、所述第一视图的深度图、或所述第 一视图和所述视频图像序列的至少一个第二视图之间的视差图，和通过 空间重新放置所述至少一个第二视图的至少一个遮蔽图像的被遮蔽像素 以便彼此将所述像素移动到彼此更靠近而获得的至少一个压紧的遮蔽图 像；获得至少一个重构的遮蔽图像，所述至少一个重构的遮蔽图像包含 所述至少一个第二视图的被遮蔽像素，所述至少一个第二视图的被遮蔽 像素被重新放置为获得所述至少一个压紧的遮蔽图像而进行的压紧操作 之前它们所在的位置；通过从所述第一视图、从所述深度图、或者分别 地从所述视图图、和从所述至少一个重构的遮蔽图像开始，重构所述至 少一个第二视图；所述重构的三维视频流包含所述接收的第一视图和所 述至少一个重构的第二视图。

按照权利要求20，本发明的另一个目的是提供一种重构三维视频流 的设备，所述设备适合于实现所述重构三维视频流的方法。

按照权利要求25和26，本发明的另一个目的是提供一种通过从视频 图像序列开始生成三维视频流的方法和关联设备，所述方法和设备适合 于处理多于2个视图的许多视图。

按照权利要求27和28，本发明的另一个目的是提供一种通过从视频 图像序列开始重构三维视频流的方法和关联设备，所述方法和设备适合 于处理多于2个视图的许多视图。

按照权利要求24，本发明的另一个目的是提供一种表现三维图像序 列的视频流。

如在作为本说明的组成部分的附加权利要求中记载的，本发明的一 个特殊目的是提供一种根据遮蔽图的使用来生成和重构三维视频流的方 法，以及对应的生成和重构设备。

附图说明

根据优选实施例(及变形例)的以下详细说明，以及根据只是作为非 限制性例子提供的附图，本发明的其它目的和优点将变得明显，附图中：

图1是按照本发明的三维视频信号生成器的方框图；

图1bis表示图1的示图的变形；

图1ter表示图1的示图到具有多于两个视图的三维视频信号的情况 的可能扩展；

图2-14表示按照本发明的原理，遮蔽图和图像的例子以及压紧的遮 蔽图的创建的例子的表现变形；

图15是按照本发明的三维视频信号重构器的方框图；

图15bis表示图15的示图的变形；

图15ter表示图15的示图到具有多于两个视图的三维视频信号的情 况的可能扩展；

图16-21表示在通过应用本发明的原理而进行的测试期间获得的真 实图像的例子；

图22表示在通过应用本发明的原理而进行的所述测试期间获得的峰 值噪声信号比的曲线。

附图中，相同的附图标记识别相同的项或组件。

具体实施方式

图1表示本发明的三维视频流生成器100的一种可能实施例的方框 图。

图1中所示的图涉及在电视机或另一个立体视频再现设备上显示的 立体视频的情况。在这种情况下，用户不能选择视点，束缚于具有固定 视差的两个视图V₀和V₁的视觉。作为输入数据，生成器需要第一视频序 列V₀，对应的深度图序列D₀，和第二视频序列V₁。通过从所述两个视图 开始，可以测量或估计深度图序列D₀，深度图序列D₀通常被表示成单色 视频，即，由具有强度值介于0和255之间的像素的图像序列组成。可 通过适合于从知道的V₀和/或V₁获得视频序列D₀的适当功能块，在生成 器100的上游或者在生成器100本身内部，利用任何方法无差别地获得 所述视频序列。视频序列D₀也可由从最初通过对大小与视图序列V₀或V₁相同的图像进行的估计处理而获得的那些图像中欠采样的图像构成。图1 的方框图涉及第一种假设，因此，该功能块不存在，假定先前已通过从 V₀和/或V₁开始，利用无论什么手段获得了D₀。

按照本发明，也可利用适当的压缩技术，例如通过标准视频编码器， 比如AVC/H.264类视频编码器之一，对信号V₀和D₀编码。

借助软件实现的视频编码器通常还提供输入视频信号或视频流的解 码图像，因为它们用在编码器的运动估计/补偿处理中。如果在标准编码 器中难以获得解码的图像，那么在使用相同的视频压缩和解压缩技术的 情况下，可以利用适当的解码器解码由编码器产生的编码图像。对应的 解码视频信号Vdec₀或流Ddec₀随后可被遮蔽估计器块STOC使用。

块STOC可包含例如通过合成算法实现的，能够产生视图V₁的估计序 列(称为Vsyn₁)的功能(视图合成)：该序列不被输出，但是可用于确定形 成所谓的遮蔽图的被遮蔽像素的位置。合成阶段隐含地产生由表示一组 遮蔽OM_0,1的二值图像组成的遮蔽图的视频序列(也称为视频流，或者简单 地称为视频)。OM_0,1中的值1指示不能通过从V₀和D₀的对应图像开始合成 V₁的图像的对应像素。值0表示合成成功，即，对其来说在序列Vsyn₁中 存在估计值的那些区域。

与遮蔽图的定义有关的技术和规则可随使用的合成算法而变化。例 如，通过从解码视频序列Vdec₀和Ddec₀的图像开始，可以使用遮蔽估计 技术，取决于估计的可靠性，遮蔽估计技术产生具有与概率结果有效性 值关联的合成像素的图像。取决于合成可靠性是高于还是低于预置的阈 值，或者根据被认为适当的任何判定标准，判定块可向像素赋予值0或1。 在编码侧，也可以使用不生成任何合成的像素值，但是能够估计对于对 应视频序列的图像的给定像素，视图V₁的合成算法将给出或不给出正确 值的概率的视频处理算法。

与初始视频序列V₀和D₀相反，优选地使用解码的视频序列Vdec₀和 Ddec₀，以便获得与可在不能访问初始视频序列的重构阶段能够获得的那 些过程和结果一致的过程和结果。如果存在视频信号编码器，那么也存 在与视频编码器级联布置的解码器，以通过从编码流Vcod₀和Dcod₀开始， 获得解码视频序列Vdec₀和Ddec₀。

当借助在生成侧的编码和在重构侧的解码实现本发明，以减小立体 内容对信道的占用(用于传输)或对存储介质的占用(用于存储)时，以上 所述适用。如果不进行编码和解码处理，那么可根据V₀和D₀，直接计算 视图V₁。在这种情况下，V+D+O三元组将由三个未编码的序列V₀、D₀和 OC₁构成，其中后者将已按照本发明被空间压缩或压紧。于是，遮蔽估计 器块STOC也将利用序列V₀、D₀，而不是Vdec₀和Ddec₀(图1bis)。

此时，能够取回包含仅仅对于其中存在对应值的遮蔽像素，具有除 0(或者另一个预定中性值)外的像素值的那些图像的遮蔽O₁的视频图像 序列。当0被选为未被遮蔽像素的值时，通过简单地相乘序列OM_0,1和V₁的图像的位置相同的系数，可以获得O₁的图像。

一般，包含遮蔽图像的视频序列的图像200由包含被遮蔽像素，即， 在视频序列V₀的对应图像中不可见的那些像素，的一系列隔离区域组成。 图2中表示了O₁的典型组成图像的一种可能表现。该图像由n行m列像 素构成，通常具有与V₀和V₁的一个图像相同的尺寸。在图2中，假定包 含被遮蔽像素的区域(为简单起见，也称为被遮蔽区域)是用字母A、B、C、 D和E指示的那些区域。为更清楚起见，选择了具有不同和相当简单的规 则几何形状的区域，尽管它们实际上可能具有不规则和复杂的形状，或 者可包含例如环形区域，即，包含由未被遮蔽的像素构成的一个或多个 区域的内部不相连的区域。图像200的未被被遮蔽区域覆盖的区域包含 具有中性值，例如0的像素，以指示它不包含被遮蔽像素，或者至少它 已被编码器的估计器块通过选择的合成算法的使用估计为不包含被遮蔽 像素。

按照本发明的遮蔽空间压紧器块CSO可按照还考虑到结果的视频序 列可能经历标准视频编码器的压缩的事实的各种方式，处理被遮蔽图像 的视频序列O₁。现在参考图3和4说明最简单的第一实施例。如图2和3 中所示，假定作为被遮蔽像素，前n_A行只包含矩形区域A的那些像素， 即，该组行的前m_A像素。空间压紧器块生成n行×m列的新图像400，并 把n_A×m_A像素的矩形块复制到输出图像的左上角；连同所述矩形块一起， 前n_A行的包含中性值的剩余部分也被复制。获得的是属于输出视频OC₁的输出图像400的前n_A行，在本特定例子中，与对应于O₁的输入图像200 的前n_A行一致。

继续图像200的逐行扫描，空间压紧器块检测到从n_A+1到n_A+n_B的下 一组n_B行包括区域A的m_A个被遮蔽像素，和矩形区域B的m_B个被遮蔽像 素，作为被遮蔽像素。所述块从而通过把它们从左向右移动，并除去区 域A和B之间的任何中性的未被遮蔽像素，按照在图像200中显示这两 组被遮蔽像素的相同顺序，把这两组被遮蔽像素复制到图像400中。从 而获得图4的情形，其中B的前n_B行已被从左向右移动，靠着图像200 的A的属于相同行的那些(从第n_A+1行到第n_A+n_B行)。

在下一组的n_C1-n_D1行(从第n_A+n_B+1行到第n_A+n_B+n_C1-n_D1行)中，存在属 于被遮蔽区域C₁的上部的另外的被遮蔽像素，被遮蔽区域C₁又构成更大 的被遮蔽区域C的上部，被遮蔽区域C具有四边形的箭头形状，一条对 角线平行于图像200的水平边。空间压紧器块跳过A和B之间，以及B 和C₁之间的所有未被遮蔽像素，把属于区域A、B和C₁的所有被遮蔽像素 逐行复制到序列OC₁的图像400中。应注意，在被复制并被向左压紧之后， 在图像400中靠在B上的区域C₁的各个像素形成形状与它们在图像200 中的形状不同的图形。

对图像200的接下来的n_D1行(从第n_A+n_B+n_C1-n_D1+1行到第n_A+n_B+n_C1行)，在扫描期间，除了A、B和C₁的被遮蔽像素之外，空间压紧器还遇 到三角形区域D₁的被遮蔽像素，三角形区域D₁构成相似区域D的上部。 这些像素也被向左压紧，靠在当从左向右扫描图像200时，先前遇到的 C₁的那些像素上，而不复制在C₁和D₁之间的中性的未被遮蔽像素。另外， 在图像400中，由压紧处理产生的区域D₁具有与它在图像200中的初始 形状不同的形状。

空间压紧器CSO随后对图像200的剩余各行继续压紧操作，相继向 左压紧区域C₂和D₂，然后是E₁、D₃和E₂，最后是E₃。图4中所示的由该 操作产生的m×n图像400包含与输入图像200相同的关于被遮蔽像素的 信息，但是呈被向左压紧的形式：从一开始(从左向右)，所有各行连续 不中断地包含所有包含在图像200中的初始非相邻区域的被遮蔽像素。 接下来的各行包含具有表示没有遮蔽的值(例如，0)的所有中性像素。必 须指出的是图像400具有和初始图像200相同的大小，于是也可能包含 完全由被遮蔽像素构成的一行；不过，这是极其不可能的情况，因为在 一般的行中，与像素总数相比，被遮蔽像素的数目通常很小。

当然，可替换地，被遮蔽区域可被向右压紧，而不是被向左压紧： 在这种情况下，压紧器可从右向左进行各行的扫描，并跳过任何可能的 一对被遮蔽区域之间的未被遮蔽像素，按照在扫描图像200时遇到被遮 蔽像素的相同顺序，逐行地把被遮蔽像素复制到输出图像400中：行的 剩余像素将被填充有表示不存在遮蔽的值。从而获得压紧的输出图像， 其中所有被遮蔽区域已被相互靠着地向右移动，从而获得与向相反侧压 紧相同图像而确定的形状不同的形状并经历与之不同的分解。

重要的是指出压紧方向可完全与扫描方向和被遮蔽像素的排列无 关。这些两个操作变量的任意组合都是可能的，选择可以取决于例如实 现优点，或者取决于在后续压缩步骤中可获得的比特率降低。例如，假 定通过从左向右，按照在一般行中显示被遮蔽像素的相同顺序排列被遮 蔽像素，向右压紧图2的图像200。在这种情况下，将获得图4'中所示 的压紧的遮蔽序列的输出图像OC₁400'。这可通过水平翻转图4的图像 400来实现，因为图像400的一般像素p(i,j)等于图像400'的像素 p'(i,m-j+1)，1＝<i<＝n，并且1＝<j<＝m。作为副作用，在该特定情况下， 沿给定扫描方向(从右向左，或者反过来)，在图像200和400中遇到被 遮蔽图像的顺序将与在对应图像400'中遇到相同图像的顺序相反。

图5中图解说明本发明的第二实施例，图5表示按照作为先前参考 图3和4说明的方式的备选方式，可如何压紧属于遮蔽O₁的视频图像序 列的图2的图像200。

这种情况下，取决于属于图像的上半部还是下半部，不同地压紧包 含在其中的n行的图像200的一般行(其中n被假定为偶数)。

图像的前n/2行中的被遮蔽像素被从左向右地堆叠在由空间压紧器 产生的图像的左边缘，而属于后n/2行的那些被遮蔽像素从右向左，按 照相同的顺序被堆叠在右边缘。压紧方向由图5中的箭头指示，所述箭 头初始还指示由压紧操作引起的原始被遮蔽区域A、B、C、D和E的分解。

图6图解说明由这种操作产生的图像600：结果的图像的前n/2行具 有图像400的前n/2行的相同排列，而在后n/2行中，由于水平空间压 紧，被遮蔽区域被不完整并且变形地压紧在图像的右边缘。必须指出的 是，在与此排列顺序相反的压紧方向的这种组合的情况下，图像600的 被遮蔽区域的所有像素将按照它们在原始图像200中的相同顺序显示。 在多数情况下，在O₁和OC₁的图像的所有行中，未被遮蔽像素的数目远远 大于被遮蔽像素的数目。从而一些图像空间被浪费，因为它将包含对解 码器无用的信息，解码器将把包含在别处，即，在编码并且随后解码的 序列V₀和D₀中的信息用于未被遮蔽像素。

如果不存在包含数目大于m/2的被遮蔽像素的行，那么通过把图像 600的后n/2行的在右下边缘的压紧的被遮蔽区域复制到相同图像的前 n/2行的右上边缘，随后除去后n/2行，能够不丢失信息地调整OC₁的图 像600的大小。从而获得图7中所示的图像700，其大小为m×n/2，包 含原始图像200的一半像素，而不丢失关于存在于其中的遮蔽的任何信 息。

输出图像可原样，即，以m×n/2的大小，经历压缩；作为一种备选 方案，通过把序列的各对m×n/2半图像600(例如，两个时间上连续的图 像)放入一个m×n图像中，压紧器可另外进行使输出序列的图像的数目 减半的步骤。

在本发明的一个实施例中，可利用标准视频编码器ENC，压缩结果的 视频序列。这种情况下，如后所述，包含在解码器1500(图15)中的空间 解压紧器DSO(图15)进行通过从全尺寸m×n图像开始，获得半图像700 的逆步骤。

如果图像的一行中的被遮蔽像素的数目不超过值m/4，那么能够不丢 失信息地使压紧的遮蔽图像序列OC₁的图像的水平尺寸减半：在多数情况 下，另外对于图7中所示的压缩的遮蔽图像，验证了该假设。

图8强调图像700包含m/2列宽，由未被遮蔽像素构成的中央区域， 于是从信息的观点看，所述未被遮蔽像素完全无用。空间压紧器可除去 该中央区域，获得类似于图9中所示的m/2×n/2大小的遮蔽图像，所述 遮蔽图像仍然包含图2的原始m×n图像200的所有被遮蔽像素，而只包 含图2的原始m×n图像200的像素的1/4。由水平和垂直减半的图像900 构成的视频序列可按照这种形式被提供给标准视频编码器ENC，或者在此 之前，压紧器可适当地把各组4个m/2×n/2图像组成为一个m×n图像， 从而与未被压紧的输入遮蔽视频O₁相比，把属于待编码的输出视频序列 OC₁的图像的数目减少到1/4。

为了使空间压缩效率达到最大，能够按照在视频的整个长度内不变 的预置配置，把输入序列的4个时间连续的m/2×n/2图像排列成一个输 出图像。在这种情况下，按照本发明的解码器1500的空间解压紧器DSO 也将进行与编码器的空间压紧器进行的操作相反的操作。

此时，显然原理上能够不丢失信息地对压紧器CSO接收的输入图像 O₁，进行r次水平减半过程，只要每一行中的被遮蔽像素的最大数不超过 m/2r，即，全分辨率图像的每一行的像素数目的1/2r倍。垂直尺寸相同， 压紧器可把具有m/2r水平尺寸的2r个图像集合成具有m水平尺寸的一 个图像，从而与遮蔽视频序列O₁相比，因而与原始视频序列V₁相比，把 包含在压紧的输出序列OC₁中的图像的数目减小1/2r。

作为一般规则，能够不丢失任何被遮蔽像素地除去一行中的任意数 目的像素，只要所述数目小于或等于遮蔽图像的未被遮蔽像素的数目。 这导致对任意数目的像素，实现尺寸减小，从而使图像的宽度变更任意 量的可能性，所述任意量甚至可以不是图像的水平尺寸的整数约数。

根据上面所述，显然能够把构成未被压紧的遮蔽视频O₁的图像200 的各行分成两个压紧区(参见图5)，随后按照不同的方式，压紧所述区域 的被遮蔽像素，如用图6的例子所示。

现在还能够定义更大数目的这种区域，如用图10中的例子所示，其 中定义了4个压紧区I、II、III和IV，每个压紧区由具有m个像素的 n/4行图像构成。通过如当压紧图5和6中的图像200的两个区域时进行 的那样，利用与用箭头所示的方向相反的方向作为分类方向，被遮蔽像 素被交替地向左和向右压紧，如用箭头所示。从而获得图11中所示的m ×n压紧的遮蔽图像1100。

在这种情况下，压紧器也可通过把遮蔽从右下边缘复制到具有m× n/2大小的两个上半部图像和下半部图像的右上边缘的操作，使结果的图 像的垂直尺寸减半，以致区域II的被遮蔽像素将被堆叠在区域I的右边 缘，而区域IV的被遮蔽像素将被堆叠在区域III的右边缘。此时，区域 II和IV将不存在被遮蔽像素，从而可被消除，以获得图12中所示的具 有减半的垂直尺寸m×n/2的图像1200。

如对于图8的图像700图解所示，由于每一行的被遮蔽像素的最大 数小于m/2，因此能够不丢失任何被遮蔽像素地除去图像1200的m/2像 素宽的中央区域，获得水平尺寸和垂直尺寸减半的图像1300。如果对O₁的所有图像进行这种操作，那么将获得m/2×n/2尺寸的序列OC₁，序列 OC₁随后可经历标准编码器的压缩。可替换地，在这种情况下，压紧器也 可通过把m/2×n/2大小的4个图像1300集合成m×n大小的一个图像， 减少构成视频OC₁的图像的数目。

显然，遮蔽图像一般可被分成要经历给定类型的压紧的任意整数的 压紧区域，结果随着其数目的增大，待执行的操作的复杂性也增大，尤 其是压紧器进行的那些操作，然而也增大了减小图像的中性区域占据的 区域的可能性，同时仍然不丢失任何被遮蔽像素，如果其减小的数目允 许的话。

通常，归因于彼此靠着地放入小空间中的不同被遮蔽区域之间，以 及被遮蔽区域和中性区域之间的像素值的突然转变，空间压紧器CSO输 出的压紧的遮蔽OC₁的序列的各个图像由富于信息内容、具有大视差、并 且具有许多高频分量的一些区域表征。如果遮蔽序列要被编码，那么这 种情况会增大编码所需的比特率。为了减少这些高频分量的存在，从而 进一步增大标准视频编码器的压缩效率，在压紧处理期间，可在被遮蔽 区域之间插入一定数目的缓冲像素，从而产生由具有适当计算的值的像 素构成的中间过渡区，以减小两个相邻的被遮蔽区之间和被遮蔽区和相 邻的中性区之间的信号电平差。

可按照许多不同的方式，进行压紧的遮蔽OC₁的图像的视频中的突然 转变的这种去除：可以使用每一行固定或可变数目的像素，可利用许多 不同的机制计算缓冲像素的值；此外，可以与到目前为止说明的压紧技 术任意之一结合地进行这种去除处理。实现这种措施的一种简单方式是 利用固定数目的像素，最好仅仅几个单元的较小数目(例如，1、3、5或 7个缓冲像素)，最好是奇数。图14表示通过利用和用于图4的图像400 相同的压紧方法获得的图像1400，同时在任意一对被遮蔽区之间，或者 在被遮蔽区和中性区之间，增加了具有恒定水平厚度的缓冲区；在图14 中，假定例如缓冲区是通过逐行输入对图像的所有各行都相同的预定数 目的像素而获得的。

在一个简单的实施例中，缓冲像素的值可以仅仅取决于属于相同行 的像素，可被计算成相邻像素的平均值。假定由3个连续的像素z1、z2 和z3按该顺序构成的缓冲区被插入位于z1之前的像素r1和位于z3之 后的像素r2之间，其中r1和r2属于两个区域R1和R2，所述两个区域 R1和R2被假定与未被中断的一行中性像素隔开，在不存在缓冲器区的情 况下，它们将被压紧器彼此靠着地放置。

向缓冲像素赋值的一种可能方式如下：z2＝(r1+r2)/2，z1＝(r1+z2)/2 和z3＝(z2+r2)/2。本质上，对由3个像素构成的缓冲区来说，输入的中 间像素可被计算成与该区域相邻的两个行像素之间的平均值，而该区域 的两个最外侧像素又是中间像素和最近的相邻像素之间的平均值。通常， 可以利用更复杂或不太复杂的缓冲像素计算公式，所述计算公式还可考 虑到存在于除缓冲像素所在行之外的各行中的像素。甚至可以考虑存在 于除当前图像涉及的时间之外，涉及在先时间的遮蔽视频的图像中的相 同行或不同行的像素。

由缓冲区的插入引起的附加复杂化是微小的。首先，它只涉及包含 在编码器中的压紧器：解码侧的解压紧器只需要从压紧的遮蔽视频的图 像中，丢弃由编码侧的压紧器增加的缓冲像素，于是它只需要知道这些 增加的像素是哪些像素。另一个副作用是在不从具备缓冲区的遮蔽视频 中丢失任何被遮蔽像素的情况下，能够表现的视频序列中的遮蔽的最大 容许数目减小。然而在许多情况下，这种影响是可忽略的，尤其是当利 用不减小遮蔽图像的大小的压紧方式(图4,5和6)时更是如此，因为与像 素的总数相比，每一行的被遮蔽像素的数量较小，或者其中缓冲像素的 增加不妨碍压紧的遮蔽图像的水平和垂直尺寸的期望减小。

返回参见图1的编码器图，一旦按照本发明的任何实施例压紧了遮 蔽视频序列O₁，不管具有或不具有大小减小和/或缓冲区的增加，在空间 压紧器块的输出处，将存在压紧的遮蔽视频序列OC₁，遮蔽视频序列OC 将与视频序列V₀和D₀一起构成按照本发明的一个方面产生的视频流。

正如其它视频序列V₀和D₀一样，压紧的遮蔽视频序列OC₁可被标准 编码器ENC(图1)压缩。标准编码器从而生成分别代表编码序列V₀,D₀和 OC₁的3个编码视频流Vcod₀,Dcod₀和OCcod₁，按照本发明的另一个方面， 所述3个编码视频流Vcod₀,Dcod₀和OCcod₁构成例如将在视频通道上传 送的三维视频序列VDO(视频-深度-遮蔽)。

作为一种备选方案，可按照组合和协同的方式，把内容的三元组以 未编码形式保存在任何介质上，可能添加有再生器为重建原始分量序列， 尤其是未被压紧的遮蔽序列O₁而需要的信令。这种情况下(图1bis)，可 将视频序列V₀,D₀和OC₁的三元组聚合在例如进行复用功能的MUL单元中。

通常，也可存在多于一个标准编码器，每个标准编码器压缩待编码 的3个视频流V₀,D₀和OC₁的子集，以致可用按照视频序列的特性优化的 方式压缩序列。无论如何，从逻辑的观点看，编码视频流或信号将由对 应于V₀,D₀和OC₁的3个数据流Vcod₀,Dcod₀和OCcod₁构成。数据流的三 元组将构成编码器100的输出。例如，在DVD传输流，或者在适合于同 时传送多个输入视频流的任何其它种类的数据流容器中，可利用已知技 术，把所述输出物理复用到单一数据流中；在这种情况下，该任务由图1 中未图示的复用器设备进行。当编码器按照实时模式工作时，这种解决 方案特别有利。相反，如果编码被延迟，那么视频流可作为单一视频流 被单独保存和/或传送。

图15表示按照本发明适合于重构三维视频流的接收设备1500的一 种可能实现，例如，当传送和接收按照本发明的各个方面之一编码的视 频流时，可以使用所述接收设备。接收器可包含至少一个标准视频解码 器DEVC，所述至少一个标准视频解码器DEVC适合于解压缩包括由编码器 100的视频编码器产生的Vcod₀,Dcod₀和OCcod₁的视频序列VDO的三元组， 以便获得视频序列Vdec₀,Ddec₀和OCdec₁的三元组，所述视频序列Vdec₀, Ddec₀和OCdec₁非常类似于3个原始序列V₀,D₀和OC₁，唯一的差别在于 由压缩及其后续压缩，以及由传送视频信号时引入的误差(例如，传输和 /或数据读/写误差，噪声等)导致的可能的不期望差异引起的伪像。所述 序列可能已被复用在视频流容器中，在这种情况下，可以包括解复用器 (图15中未图示)。这种情况下，标准视频解码器(例如，AVC H.264类视 频解码器)实际上也可由多个标准视频解码器构成，每个视频解码器作用 于输入三元组的子集，以优化解码处理，从而解码处理适合于不同视频 序列的特定特性(例如，图像大小，每秒的图像数，等等)。这样的解码 器也可并行工作，可在协调它们的管理单元的控制下，交换对其操作来 说必需的数据。

当接收设备1500(图15bi s)进行通过从上述视频序列分量V₀、D₀和 OC₁开始重构视频流的操作时，标准视频解码器块DECV可能不存在，因 为所述视频序列V₀、D₀和OC₁将对应于相应序列Vdec₀、Ddec₀和OCdec₁。 在输入侧可存在解复用设备DEMUL，以进行与图1bis的MUL进行的那些 操作相反的操作。

与第一视图相关的解码视频序列Vdec₀可被发送给显示器，以便按照 使用的特定技术，被三维表现，所述特定技术例如可以是立体或自立体 技术。解码的深度图的视频序列Ddec₀(或D₀)被用于通过执行用于从立体 对及其深度图的通用视图开始合成第二视图的算法的块SIV，从第一视图 Vdec₀(或V₀)开始合成与第二视图Vsyn₁相关的视频序列。与编码侧相反， 这里必须生成包含可由该算法合成的所有像素的序列Vsyn₁的合成图像。 通常，它们由几乎占据整个m×n图像的绝大部分合成像素构成，而具有 未知值的被遮蔽像素的一些区域将占据图像的剩余部分，如用图3中的 例子所示。这些未知值可被赋予适当的预置值，例如0。所述算法优选地 和在生成和/或编码侧，可能用于估计遮蔽的算法相同，以便获得与在生 成器100中获得的遮蔽图OM_0,1的视频序列等同或者无论如何尽可能类似 的遮蔽图OM_0,1的视频序列。所述合成算法隐含地确定遮蔽图OM_0,1，如参 考编码器所述。

遮蔽图OM_0,1用于通过适当的遮蔽空间解压紧器块，恢复被遮蔽像素 的位置，所述遮蔽空间解压紧器块按照相反的顺序，执行与空间压紧器 块进行的操作相反的解压紧操作以及扩展水平和/或垂直尺寸，和消除缓 冲区的任何操作。这从解码的压紧的遮蔽图像OCdec₁(或OC₁)和遮蔽图 OM_0,1的视频序列开始操作，从而获得包含未被压紧的遮蔽图像的输出视 频序列Odec₁(或O₁)。例如，参见图3和4中所示的实施例，空间解压紧 器进行利用合成算法供给的图3的图像OM_0,1的逐行扫描，找出OM_0,1的非 合成像素的位置，并把图4对应的压紧的遮蔽图像OCdec₁的压紧的被遮 蔽像素的值代入原始位置。

OM_0,1的前n_A行的m_A像素包含构成遮蔽区域A的m_A×n_A矩形区的像素 的位置的未知像素，所述遮蔽区域A被压紧到图4的类似区域中。对于 该组像素，于是不进行任何重新放置，因为对这n_A行来说，Odec₁的未被 压紧的被遮蔽像素的位置与OCdec₁(或OC₁)的压紧的被遮蔽像素的那些位 置一致。对OM_0,1的还包含属于被遮蔽区域B的m_B像素的下一n_B行的前m_A个像素来说，同样如此。解压紧器从而把该行组的前m_A个像素留在原地， 而把该行组的接来下的m_B个像素的值向右移动，到被相同n_B行的OM_0,1的 被遮蔽像素占据的位置。在Odec₁中，在传输之前，先前被B的像素占据 的位置中的图像的像素值可被设定成赋予未被遮蔽像素的中性区的值。 按照相同的方式，对OM_0,1和OCdec₁(或OC₁)的图像的剩余各行继续进行处 理，从而获得Odec₁的图像，它包含未被压紧的被遮蔽像素，即，被遮蔽 像素在它们涉及的视图，即，V₁的原始的未被压紧的遮蔽视图O₁中，它 们所在的相同位置。

通常，可沿矩阵方向，相增Odec₁和Vsyn₁的视频序列的对应图像， 从而获得解码的第二视图Vdec₁的视频序列，其图像包含对来自Vsyn₁的 未被遮蔽像素，和来自Odec₁的被遮蔽像素都有效的值。在本发明的这个 特殊实施例中，通过简单地按照在从左向右扫描各行时，遇到像素的顺 序，把OCdec₁的像素的值逐行复制到在遮蔽图OM_0,1中指示的Vsyn₁的非 合成像素的位置中，可实际进行该操作：从而可直接从Vsyn₁获得Vdec₁， 而不必生成中间的未被压紧的遮蔽图像Odec₁。

在图15bis中所示的情况下，对序列O₁和Vsyn₁进行以上操作，从而 获得第二视图V₁的图像。

当然，遮蔽空间解压紧器DSO考虑在编码阶段，空间压紧器对被遮 蔽像素使用的压紧方向和重新放置顺序。这确保获得与通过从第二视图 V₁开始获得的序列O₁类似的未被压紧的遮蔽序列Odec₁，即，被遮蔽像素 在它们在相应视图中所在的位置。就如图4'中所示的压紧的遮蔽视频序 列的实施例来说，即，其中遮蔽重新放置顺序和压紧顺序相同，即，从 左向右，在其第一个并且尤其简单的实施例中，空间压紧器可进行水平 翻转解码的压紧遮蔽图像OCdec₁的第一步骤。通过相反地应用由压紧器 应用的利用公式定义的变换，可以进行所述步骤，按照所述公式，未被 翻转的图像200的一般像素p(i,j)等于水平翻转的图像400'的像素 p'(i,m-j+1)，1＝<i<＝n，并且1＝<j<＝m。在进行所述逆变换之后，空间解 压紧器可执行已说明的获得与图4中所示类似的压紧的遮蔽视频序列的 解压紧对应的序列Odec₁的相同操作，即，被遮蔽像素的重新放置顺序从 左向右。

遮蔽空间压紧器CSO的另一个实施例允许获得具有图7中所示的那 种m×n/2大小的组成图像的压紧遮蔽的输入视频序列。这种情况下，解 压紧器DSO将首先重构通过构成m×n大小的输出图像获得的与图6中所 示类似的图像，解压紧器将把输入图像的前n/2行复制到输出图像的前 n/2行中，把可能已从右向左被移动先前具有中性值的行像素的数目的最 后n/2行复制到输出图像的后n/2行中。

此时，将已获得与图4中所示的图像等同的图像，通过执行已参考 该图说明的步骤，解压紧器将能够获得未被压紧的遮蔽的输出视频序列。 如果压紧器执行了通过把各对m×n/2图像集合到单一m×n图像中，减 少图像数目的额外步骤，那么解压紧器最初必须执行分解包含在输入视 频序列的m×n图像中的图7的各对m×n/2半图像，并把它们的内容复 制到其中后n/2行最初取中性值的两个完整m×n图像的前n/2行中的逆 步骤。

空间压紧器可能在编码阶段执行了如图8中所示的、减小构成遮蔽 序列的图像700的水平尺寸，以获得m/2×n/2大小的图像900的额外步 骤。在这种情况下，解压紧器将首先必须进行使图像的水平尺寸加倍， 以便产生m×n/2大小的图像的额外步骤，在所述m×n/2大小的图像中， 它将把输入图像的前m/4列输入前m/4列中，把输入图像的剩余m/4列 输入最后的m/4列中。

照常，属于未被复制区域的像素将取赋予未被遮蔽像素的预置值。 如果压紧器另外把各组4个m/2×n/2图像900集合成单一的m×n图像， 那么在上述步骤之前，解压紧器必须另外把包含在输入序列的一个m×n 图像中的4个子图像900分解成各对m×n图像，每个m×n图像包含通 过执行与先前执行的操作相反的操作而获得的两个m×n/2大小的子图像 800，以便从图像800切换到图像900。通过迭代分解步骤，所述各对m ×n图像的每一对都将又产生都包含一个图像600(图6)的一对m×n图 像，从而在图像大小扩展操作结束时，对于每个输入m×n图像900，产 生总共4个输出m×n图像。

类似的考虑适用于按照图11、12和13中所示的任意模态，解压紧 包含压紧的遮蔽图像的视频序列的处理；这些图像是通过利用具有交替 的压紧方向的4个压紧区域，而不是2个压紧区域获得的，并且在其垂 直和/或水平维度，可能已被或者未被减半。同样，为了重构对应的未被 压紧的遮蔽图像，空间解压紧器DSO将从压紧器进行的最后操作开始， 并终止于压紧器进行的第一个操作，按照相反的顺序，进行与在编码侧 进行的操作相反的操作。通常，对于序列O₁，解压紧器DSO总是能够重 构未被压紧的遮蔽视频序列Odec₁，同时被遮蔽像素被置于它们被包含在 编码器中的遮蔽估计器放置在的位置，而不需要接收遮蔽图序列OM_0,1。

返回参见解码器1500的方框图(图15)，通过逐个像素地恰当组合包 含视图V₁的被遮蔽区域的像素的值的序列Odec₁的图像，和视图Vsyn₁的 时间上对应的图像，合成视图Vsyn₁和未被压紧的遮蔽序列Odec₁被恰当 合并，从而形成提供给显示器的视图Vdec₁，视图Vsyn₁包含缺少被遮蔽 像素的有效值的相同视图的合成像素的值，例如，它可包含空值。

在较简单的情况下，沿矩阵方向简单地相加合成视图和遮蔽，以致 遮蔽将占据合成算法不能估计的那些像素的位置。为了改善重构图像的 质量，有益的是采用适合于在安放合成视图和被遮蔽区域时，减少在合 成像素和解码的被遮蔽像素之间的不连续区域中产生的伪像的滤波技 术。这种操作由可选的组合伪像补偿块CART进行，CART位于加法器的下 游，由适当的现有数值滤波器构成。特别地，可沿着遮蔽区和未被遮蔽 区之间的不连续点，采用平滑(或低通)滤波技术。

解码器1500从而将已重构所述两个原始视图V₀和V₁，视图V₀和V₁随后被再现设备用于按照任何立体技术，以三维模式显示视频流。

为了能够正确地重构包含遮蔽图像的视频序列，即，当在编码侧利 用相应图确定遮蔽像素的位置时，解压紧器必须知道进行压紧处理的模 式。

特别地，这样的模式可能涉及：

-压紧区域的数目，所述数目可以是大于或等于1的整数；

-在给定压紧区域中使用的压紧方向，它可以是从左到右，或者从 右到左，或者更简洁地，向右或向左；

-给定区域中的被遮蔽像素的扫描或放置的顺序，它也可以是向右 或向左；

-水平尺寸减小，即，允许确定在未被遮蔽图像的各行中，哪些未 被遮蔽像素已被消除的参数；

-垂直尺寸减小，即，允许确定是否通过把被遮蔽像素移动到上部 的压紧区域中和从图像中除去包含被遮蔽像素的压紧区域，执行了垂直 压紧遮蔽的操作及其次数的参数；

-缓冲区的可能存在及其特性。

通常，这些模式可以因压紧的遮蔽视频序列中的图像而异。为简单 起见，假定在一个视频序列或其一部分中，这些模式不变。

就如何把所述模式传送给解压紧器而论，可以设想各种情形。在第 一种情形中，可以一劳永逸地定义特定的压紧模式，任何压紧器总是默 认地对任何序列应用该压紧模式。在这种情况下，解压紧器将知道这种 模式，只需要进行对应的解压紧操作。

如果这种假设未被验证，那么取决于输入的遮蔽视频序列，压紧器 可利用不同的压紧模式，例如，数目更少或更多的压紧区，不同的压紧 方向和顺序，等等。在这种情况下，解压紧器可按两种不同的方式确定 压紧模式。在第一种方式中，解压紧器分析压紧的遮蔽OCdec₁的图像， 可能比较它们和序列OM_0,1的对应图像，从而后验地确定在编码侧使用的 压紧模式。这种解决方案具有不需要传送任何压紧参数的优点，然而对 解压紧器来说，意味更高的计算成本，这也可能产生错误的分析或者非 常复杂的分析。

在第二种方式中，操作参数可由压紧器添加，或者可由压紧器传送 给标准视频编码器，标准视频编码器可利用任何手段，把它们输入编码 视频流OCcod₁中。这可通过利用为未来应用保留的并且已包含在当前的 视频编码标准中的数据来实现，或者通过利用包括在包含VDO信号三元 组的视频流容器格式，比如DVB传输流、Matroska等中的现有或新定义 的字段来实现。

在一个特别改进的实施例中，压紧器可按照可能考虑了存在于视频 序列中的遮蔽的特性(例如，被遮蔽像素的数目，被遮蔽像素的空间和时 间分布)的不同模式，执行多个压紧测试。对于测试的每种模式，通过随 后解码并重构相关视图，计算相关的比特率；最后，应用从测试产生的 最有效的压紧模式。当编码和解码处理被延迟时，当就编码速度来说不 存在特殊要求时，另外对优先考虑尽可能地降低传输和/或存储所需的比 特率的视频序列来说，这种技术尤其有利。

对于用于3D视频编码实验的视频序列，测试了本发明。Fraunhofer  Heinrich Hertz Institut使用了可供科学界用于实验和研究用途的称为 “book arr iva l”的立体序列。视频分辨率为1024×768，频率为16.67Hz。 在进行的所有测试中，2个立体视图的300帧被编码。对于使用的序列， 还获得利用适当算法估计的深度图。

图16-22图解说明进行的测试。

图16表示从所述立体序列获取的视图之一V的图像。

图17全维度地表示属于相应序列D的图16的图像的全尺寸深度图。

图18表示水平和垂直方向，按50％欠采样的图17的相同深度图图像； 对应的序列被指定为D/2。

图19表示由从V和D开始的合成算法产生的未被压紧的与图16的 图像相关的遮蔽图像。从其产生的相应序列用O表示。在所述测试中， 选择中间灰度值表示属于中性区的未被遮蔽像素。该图像中只表示了被 遮蔽像素，而图像的剩余部分被设定成固定的预定亮度和色度值，例如0 或128。注意，与图像的一行中的像素的总数相比，存在于其中的那部分 被遮蔽像素很小。

图20图解说明仍然对应于图16的视图图像的压紧的遮蔽视频序列 O*的一个图像，其中按照从左到右的重新放置顺序，使用在左侧的单一 压紧区域，同时不存在水平或垂直尺寸减小。本质上，这是压紧的被遮 蔽图像的本发明的最简单实施例，如图4中所示。和不存在水平或垂直 尺寸减小的所有实施例一样，在其中图像的普通行的被遮蔽像素的最大 数目小于或者最多等于视频序列V₀的图像的该行的像素数目m的情况下， 本实施例尤其有利，因为这确保所有被遮蔽像素存在于压紧的遮蔽序列 中。

图21表示通过应用图6-9中表示的压紧模式，即，在存在两个压紧 区域，上面的一个压紧区域向左，下面的一个压紧区域向右，同时在第 一个区域中，遮蔽被顺序地向右重新放置，在第二个区域中，遮蔽被顺 序地向左重新放置，并且水平尺寸和垂直尺寸都被减小为1/2，对于图 19的相同的未被遮蔽图像获得的属于相应序列O/2*的尺寸减小的压紧的 遮蔽图像。

进行3种测试，以便编码和解码该测试信号。在用作基准的第一种 测试中，V、D/2和O，即，主视图的视频序列，按50％欠采样的深度图的 视频序列，和未被压紧的遮蔽图像(即，被遮蔽像素的值在其原始位置) 的视频序列被编码和解码。第二种测试利用V、D/2和O*，即，主视图的 视频序列，按50％欠采样的深度图的视频序列，和压紧的遮蔽图像的视频 序列。第三种测试涉及序列V、D和O*/2，即，主视频的视频序列，非欠 采样的深度图的视频序列，和在水平和垂直方向都被减小1/2的压紧的 遮蔽图像的视频序列。对于所有测试，利用标准H.264 AVC编码器以恒 定的质量参数QP，编码所有的序列。为了获得各种编码比特率，以不同 的QP进行了几个实验。视图合成算法是按照现有技术专门开发的。所述 视图合成算法接收输入的视频信号和相关的深度图，并估计从相对于原 始视频水平位移的新视点获得的视频。所述视图合成算法未利用解析遮 蔽的任何策略(比如图像修复技术)，并且输出合成视频和遮蔽图。

图22表示由关于用于对序列D和O编码的比特率，对测试序列进行 的编码和解码测试产生的峰值信噪比(PSNR)(单位dB)的曲线。图22表明 与当利用O时相比，利用压紧的遮蔽图像O*和O*/2的视频序列时，编码 效率较高。不管是否使用深度图的欠采样的版本，都是如此。可能减小 大小的压紧步骤并不影响视频编码处理的效率；相反，它改善视频编码 处理的效率，以致能够在两个方向，空间压紧遮蔽图像的序列，当像通 常那样，普通行中的被遮蔽像素仅仅是总数的一小部分时，所述遮蔽图 像也可和其它图像一起被组合成分辨率更高的图像。

上述实施例可存在许多变化，而不脱离本发明的保护范围，包括对 本领域的技术人员来说等同的所有实施例。

本发明也适用于多于2个视图。在图1ter中表示了当使用编码时， 具有多于两个视图的三维视频流的生成器的实施例的非限制性例子，即， 图1的立体生成器范例的扩展。在这种情况下，同样在生成侧，编码器 ENC对用于合成k-1个视图V₁,V₂,V_k-1的主视图和深度图V₀和D₀编码。 所述k-1个视图可按照某个标准，例如，根据到主视图的距离被分类， 并且对于它们中的每个视图，通过从视图V₁,..,V_k-1的估计序列 Vsyn₁,..,Vsyn_k-1开始，能够隐含地找出被遮蔽像素OM_0,1,OM_0,2,…,OM_0,k-1相对于主视图V₀的位置。通过把在以上段落中说明的压紧标准之一应用 于被遮蔽像素O₁…O_k-1的图像，遮蔽空间压紧器块CSO将逐行收集并压紧 在传输侧可从多视图采集系统获得的这种像素。在压紧之前，模块CSO 将通过如图2bi s中所示，并排地放置被遮蔽像素的k-1个图像，组合所 述k-1个图像。这将生成所有备选视图的压紧的遮蔽帧OC₁,..,_k-1的单一序 列，所述序列将与V₀和D₀一起被传送或保存，并在重构侧用于填充合成 视图的被遮蔽区域。

重构处理遵循图15ter中所示的示图，图15ter表示图15的2视图 重构器的扩展，仍然适用于其中进行编码和解码操作的非限制性情况。 与图15的差异如下：

-合成块SIV通过从k-1个交替视图V₁,V₂,V_k-1的V₀和D₀开始，进 行合成；

-遮蔽空间解压紧器块DSO通过遵守在生成侧定义的视图顺序，进 行把被遮蔽像素重新放置到对应位置和视图的任务，并输出未被压紧的 遮蔽图像Odec₁,…Odec_k-1。

最后，独立地把伪像补偿块CART应用于通过组合未被压紧的遮蔽和 从合成块SIV接收的合成视图Vsyn₁,…Vsyn_k-1而获得的k-1个重构的合 成视图。

在立体视频，即具有两个视图的视频信号的特定情况下，可以使用 本发明，以便实现通过利用帧打包排列策略，把左视图、深度图和遮蔽 输入单一帧中，能够向下兼容的视频传输系统。例如，能够利用分块(tile) 格式，在分块格式的右下角中，发送720p格式的左视图和按2的因子欠 采样的深度图；可作为分块格式的右视图，输入按照本发明重组的遮蔽 图像。另一方面，可以利用全分辨率深度图，并通过采用如图9和21中 所示的遮蔽图像的尺寸缩减，在右下角中输入遮蔽。

如果利用编码器以便减小表现立体内容所需的比特率，那么本发明 要求在遮蔽的编码之前，进行左视图和深度图的编码。后者事实上，必 须根据解码的左视图和深度图被计算。当利用重复使用实时工作的标准 编码和传输链的帧打包类的传输格式时，这造成技术问题。这种情况下， 不能构成包括与相同时刻相关的视频、深度和遮蔽的单一图像，除非能 够允许遮蔽估计误差。通过在产生遮蔽图像时，引入一图像延迟，可以 解决该问题。在时间t₀，用帧打包方法，编码左视图及其深度。在被解 码之后，在编码侧利用这样的信息来计算在时间t₀的遮蔽。然而，所述 遮蔽信息是在晚于t₀的时间t₁，按帧打包模式发送的。这意味在时间t₁， 将在编码侧建立复合帧，所述复合帧将包含在时间t₁的左视图、深度图、 和在时间t₀的遮蔽图像。通过遵循这种过程，解码器将能够延迟一帧地 重构立体视频，延迟一帧不是问题，因为它非常短暂(约1秒的几百分之 一)，于是不能被观看者察觉。此外，它只是视频流解码操作引起的延迟 的极小部分。必须指出时间t₀,t₁,t₂与现代压缩标准的编码顺序相关， 所述编码顺序一般不同于相同图像的显示时间。

上面说明了本发明在V+D+O三维视频编码，即，利用包含主视图、 深度图和遮蔽的3个视频序列的情况下的实现。然而，本发明可用于利 用视差图的任意种类的视频编码，比如利用视图、视差图和遮蔽序列的 视频编码。

获取第二视图V₁相对于第一视图V₀的视差图的方法本身是已知的。 这种情况下，块STOC(图1)的“视图合成”功能将通过采用本身已知的 另一种适当的合成算法产生视图V₁的估计序列，所述另一种适当的合成 算法利用视差图，而不是深度图。

在本说明书中，已假定应使用标准视频编码器和解码器，以确保与 目前使用的视频处理、存储和传输设备和基础结构的最大兼容性。不过， 这不排除还把本发明应用于采用为特定种类的视频处理优化的非标准编 码器和解码器的视频编码和解码系统。

在本说明书中，已数次强调最好避免对遮蔽图像进行尺寸缩减，尺 寸缩减可能意味被遮蔽像素的丢失；事实上，如果在所述缩减期间被除 去，那么空间解压紧器将不能从压紧的遮蔽图像中获得它们。对于待编 码的视频序列的给定并且一般有限数量的图像，可能发生这种情况，被 遮蔽像素的数目是这样的，以致它们被空间压紧器进行的尺寸缩减操作 除去。这种丢失通常可被容许，产生几乎或者根本不能被观看者察觉到 的伪像，因为被遮蔽区域一般覆盖很小的区域。此外，包含在解码器中 的可选的组合伪像补偿块通常可利用邻近图像区域的视频信息和适当的 视频处理技术，填充在编码处理期间除去的被遮蔽像素留下的空间。于 是可想到压紧器决定对遮蔽序列应用一定的尺寸缩减，而不核实是否会 在其将被传送给解码器的压紧表现中导致被遮蔽像素的丢失，或者至少 它只对有限的预定部分进行这种核实。

所述核实可以局限于序列的初始部分，随后整个遮蔽视频序列可经 历不会导致被遮蔽像素的丢失的最大尺寸缩减，而不担心会在序列的一 些其它部分中导致所述丢失。

有利的是，可通过计算机程序实现本发明，所述计算机程序包含当 计算机执行所述程序时，实现上述方法的一个或多个步骤的编码装置。 因此理解保护范围扩展到所述计算机程序，以及包含记录的消息的计算 机可读装置，所述计算机可读装置包含当计算机执行所述程序时，实现 上述方法的一个或多个步骤的程序编码装置。对说明的非限制性例子来 说，另外的变形例也是可能的，而不脱离本发明的范围，包括对本领域 的技术人员来说等同的所有实施例。

在各种形式的优选实施例中说明的元件和特性可被相互组合，而不 脱离本发明的范围。

从本发明的应用得到的优点是明显的。

本发明允许利用目前的视频压缩技术，按V+D+O格式，高效地压缩 立体视频。本技术的创新元素在于遮蔽位置表现不需要被明确地编码和 发送给解码器，以及重组被遮蔽像素以形成便于利用标准技术进行的后 续压缩的图像。此外，这里提出的技术不取决于特定的中间视图合成算 法，并且可容易地适应于在不久的将来可用的技术。此外，本发明确保 与2D系统的向下兼容性，同时，允许对于自立体显示器的多视图传输的 推广。

根据上面的说明，本领域的技术人员能够在不引入任何另外的构造 细节的情况下，实现本发明的目的。