处理具有AAR单个视频信号的多个处理后的表示的视频AAR节目以用于重建和输出

摘要

在一个实施例中，一种方法，包括：接收单个视频流，其中该视频流包括视频信号的多个处理后的表示，其中该视频信号的多个处理后的表示(PPROTVS)中的每一个处理后的表示包括相应的处理后的网格化图片的序列，其中PPROTVS中的每一个处理后的表示的每一个处理后的网格化图片表示该视频信号的对应的相应图片，其中该视频信号的每一个相应图片通过PPROTVS中的每一个处理后的表示中的最多一个处理后的网格化图片来表示，其中PPROTVS中的一个处理后的表示的多个连续不重叠片段在单个视频流中被接收，该一个处理后的表示的多个连续不重叠片段各自被在该单个视频流中接收的其它PPROTVS中的一个或多个连续不重叠片段分隔开；以及按照输出图片次序以解压缩格式输出多个片段。

说明书

本申请以思科技术公司的名义于2009年11月12日作为PCT国际专利申请提交，思科技术公司作为美国公司，是对于除美国以外的所有国家指定的申请人，并且Arturo A.Rodriguez、Benjamin M.Cook和Gregory Shepherd，作为美国公民，是仅对于美国指定的申请人。

相关申请的交叉引用

本申请要求2008年11月12日提交的序列号为61/114,060的美国临时申请的优先权，并且该申请被通过引用全部结合于此。

技术领域

本发明一般地涉及发送、接收和/或处理视频内容。

背景技术

数字网络上的视频流传送包括若干方面，诸如针对各种通信网络和系统的视频压缩、差错纠正、以及数据丢失隐藏。这样的应用常常需要辅助具有最低的数据丢失或感知数据丢失的数据传输的鲁棒系统和方法。用于使数据丢失或感知数据丢失最低的系统在使用分组交换网络的的应用(诸如视频广播应用)中特别重要，分组交换网络例如是互联网，其中通常有大的突发差错。遗憾的是，用于辅助具有最低的数据丢失或感知数据丢失的鲁棒数据传输的传统系统和方法在不要求过多网络带宽和存储的情况下常常无法适应相对大的数据丢失。并行地，视频压缩方法中的进展和趋势是提供更好的性能(更低的比特率)但是不引入副作用。尽管所有这些进展都提供某些益处，但是它们也提出了挑战，因为视频流中提供的越重要的信息常常越容易出错。由视频编码中的这些趋势所产生的固有的信息依赖性并没有扩展从损害中快速恢复所需要的颗粒度(granularity)级别或者将差错与少部分视觉信息相关联的能力。而且，这些趋势和进步常常引起更长的随机访问(access)或信道改变时间，即便视频流的传送中没有损害也是如此。

附图说明

图1是其中采用视频网格化系统和方法的示例环境的示图。

图2是图示出通过图1的系统进行的图片的第一示例网格化的示图。

图3A和图3B是图示出相应的处理后的网格化视频表示的片段的时间次序关系的示意图。

图4A和图4B是图示出用于在视频流中对来自多个处理后的网格化视频表示的每一个表示的处理后的网格化图片(latticed picture)的片段进行排序的片段分布间隔的排列的示意图。

图5是图示出视频流中的处理后的网格化视频表示的图片的排序和压缩形式的相应图片的相对目标数据大小的示意图。

图6A和图6C是图示出不同层次结构和图片相互依赖性的示意图。

图7是图示出运动补偿中的分辨率策略的框图。

图8和图9是图示出用于在快速信道改变环境中控制图片的保真度的订户界面的屏幕示图。

具体实施方式

概述

在一个实施例中，一种方法，包括：接收单个视频流，其中该视频流包括视频信号的多个处理后的表示，其中该视频信号的多个处理后的表示(PPROTVS)中的每一个处理后的表示包括相应的处理后的网格化图片的序列，其中PPROTVS中的每一个处理后的表示的每一个处理后的网格化图片表示该视频信号的对应的分别图片，其中该视频信号的每一个分别图片通过PPROTVS中的每一个处理后的表示中的最多一个处理后的网格化图片来表示，其中PPROTVS中的一个处理后的表示的多个连续不重叠片段在单个视频流中被接收，该一个处理后的表示的多个连续不重叠片段中的每个片段被在该单个视频流中接收的其它PPROTVS中的一个或多个连续不重叠片段分隔开；以及按照输出图片次序以解压缩格式输出多个片段。

示例实施例

公开了采用创造性技术的视频网格化(VL)系统和方法的某些实施例(在此也统称为VL系统)，所述创造性技术组织与视频信号相对应的视频表示的对应网格化图片的一个或多个片段(例如图片群组或GOP，或者视频流的连续间隔中的多个处理后的图片)的次序。技术也可以至少部分地基于图片重要性和/或图片类型来拨付(appropriate)处理后的网格化图片的一个或多个片段的比特分配。另外，所公开的VL系统的某些实施例在片段级对视频流中提供的处理后的网格化图片的片段进行排序(order)或组织这些片段的排列，从而产生包含来自输入视频信号的多个网格化表示的对应视觉数据的不重叠片段的时间偏移序列。此外，所公开的VL系统的某些实施例提供解决解码等待时间(latency)以用于快速随机访问或快速信道改变时间的各种解决方案，以下更详细地说明。

作为简要概述，与节目(例如电视节目)的至少一部分相对应的未经压缩的数字化图片序列是包括片段的网格化、编码或排序功能的发送机或其它装置或系统的输入视频信号，其中每个片段包含一个或多个处理后的网格化图片。节目的图片可以源自节目提供商、相机、本领域普通技术人员公知的其它源等。每个图片按照给定网格化方案(lattice scheme)在发送机处被网格化或被二次采样。由图2示出一种示例网格化方案。示出(图1中的)输入视频信号11的图片60，该输入视频信号11是通过在图片60上映射不重叠的邻接的2x2采样矩阵(图2中加粗示出的一个示例矩阵)而被二次采样或在逻辑上被分割的，其中来自每个2x2采样矩阵(或者在此，矩阵)的每个像素被指派给各自的分区(partition)，即网格。例如，左上矩阵中的第一组像素包括像素00、01、10和11。所有西北(NW)像素(例如像素00)都包括第一网格V0，并且被指派给第一网格化图片LP0。所有东北(NE)像素(例如像素01)都包括第二网格V1，并且被指派给第二网格化图片LP1。所有西南(SW)像素(例如像素10)都包括第三网格V2，并且被指派给第三网格化图片LP2。所有东南(SE)像素(例如像素11)都包括第四网格V3并且被指派给第四网格化图片LP3。注意，不同的网格V0-V3在此也可以称为SE、SW、NE、NW网格化图片并且对应于各自的网格化视频表示SE、SW、NE、NW，网格化视频表示SE、SW、NE、NW可以被各自地分段成图片群组(GOP)的片段以供处理，或者在可替换实施例中，被分别地处理并被分段成GOP。

因此，网格V0被从像素00开始每隔一行每隔一列地指派每隔一个的像素，即V0被指派像素mn，其中m和n分别对应于行编号和列编号，并且是偶整数。对于V1，m是偶整数并且n是奇整数。对于V2，m是奇整数并且n是偶整数。类似地，对于V3，m和n是奇整数。当参考输入视频信号的图片序列时，网格V0-V3可被应用于连续的图片来获得可被相互分开地并且独立地处理的4个网格化视频表示。

一种实现方式涉及为了编排处理后的网格化图片的片段被包括在单个视频流中的次序的目的而在发送机12处以时间偏移间隔处理不同的片段，片段包含视频信号的一个或多个表示(在此称为网格化视频表示(LVR))的网格化图片中的一个或多个网格化图片。片段按照确定的次序在视频流的连续片段分布间隔(SDI)中被提供。每个连续的SDI包含多个不重叠的片段。每个网格化图片是通过以下方式获得的：从被叠加在输入视频信号的连续图片上的每个采样矩阵中选择对应的像素，或者在可替换实施例中，通过基于对应像素在采样矩阵中的位置来处理或过滤图片的信息而获得代表性像素值。输入视频信号的每个单独的网格化图片序列是视频信号的各自独立的表示或LVR。对片段在视频流中的次序和组织排列的选择可以基于各个片段的大小(例如片段中的多个压缩网格化图片的比特数)或者每个片段中的处理后的网格化图片的数目(即，每个片段的长度)，其进而可以是基于传输信道或网络的差错特性，诸如传输介质容易出现的突发差错的类型和持续时间。可替换地，或另外地，片段的长度可以基于减少用于随机访问操作或信道改变操作的时间量的希望或当经历损害或误差时减少这些操作中的时间量的目标。

对网格形状、大小以及在给定图片中的布置位置、LVR的数目以及它们的关系、片段中处理后的网格化图片的长度或数目和/或以SDI进行的片段排序和排列的选择影响丢失在给定图片中被显露的方式(例如，水平带、垂直带、对角带等等)。存在各种不同的丢失样式(pattern)，对这些样式的讨论对于理解所公开的实施例不是必要的，因此在此为简要起见被省略。

继续地，一种机制利用多个矩阵或网格(贯穿本公开，矩阵和网格可交换使用)来映射视频信号的图片或帧(贯穿本公开，图片和帧可交换使用)。为了本讨论的目的，矩阵可以是与之关联的任何像素或数据群组。像素可以包括与数据点相关联的一个或多个值，其中数据点可以是视频图片的最小可显示元素或部分。视频图片可以是用来辅助构建图像或其表示的任意数据集合。

例如，发送机将视频信号分离或二次采样成多个可标识LVR。这样的网格或LVR不应被与可伸缩视频编码方法的层混淆，这样的VLR也不应被与三维(3D)视频混淆，因为本公开中的表示(LVR)是从一个输入视频源诞生的，诸如由单个相机或单个相机角度提供的一个输入视频源。多个LVR的集合中每个LVR可以被相互独立地处理。这些网格中的每个网格被关联于或“被指派”来自视频信号的每个图片中的对应像素位置集合的像素数据，也被称为“采样区域”。每个LVR表示来自输入视频信号的各个网格化版本的像素信息，并且各个网格化图片被包括在对应的LVR内。每个提供一个不同网格化图片的被采样像素位置的集合被称为形成像素网格。源自输入视频信号的连续图片的各个网格化图片构成输入视频信号的对应LVR。每个LVR可以被处理成各自的处理后的网格化图片的序列，诸如压缩网格化图片序列，在此也称为处理后的LVR(PLVR)。在处理和/或压缩之前，每个LVR可以被分段成顺序的不重叠的网格化图片片段。可替换地，每个LVR可以被处理并且随后每个PLVR可被分段成处理后的网格化图片的片段。在各个实施例中，分段可以在处理LVR之前、之时或之后被执行。将来自多个LVR或PLVR的分段排列或排序到视频流中的连续不重叠SDI中在发送之前被执行。

在一个实施例中，各个处理后的(例如经压缩的)LVR被分段成压缩网格化图片(例如处理后的网格化图片)的不重叠邻接片段。每个片段包括按照视频编码规范(例如MPEG-2视频编码规范)的、按照发送次序的连续的压缩网格化图片。因此，片段中的连续的压缩网格化图片是以顺序的发送次序以不重叠的方式被提供的。PLVR的连续的片段展示出相同的发送次序连续性，就如同PLVR未被分段一样。

输入视频信号的每个单独的网格化图片序列是该视频信号的各自独立的表示。在一些实施例中，每个分别的LVR的图片可以独立于输入视频信号的其他LVR被处理或压缩。每个PLVR(例如压缩后的形式的每个LVR)可以在单个视频流中被提供，但是，其连续的片段中的一些片段也有可能全部的片段可以被该视频流中的其他PLVR的一个或多个片段分隔开。在一个实施例中，第一PLVR的所有连续的片段在单个视频流中以它们的顺序次序被提供，但是被不同PLVR的至少一个片段分隔开。在另一实施例中，视频流中的第一PLVR的连续片段被多个片段分隔开，这多个片段的每个片段分别对应于不同的PLVR。在又一实施例中，对于LVR完全集(以下进一步说明)，每个PLVR的连续片段在视频流中被提供，连续片段被多个片段分隔开，每个所提供的分隔片段分别对应于该LVR完全集的其它PLVR中的一个。

一个或多个PLVR的片段可以在视频流中被接收机(例如图1中的接收机14)接收。在一个实施例中，第一PLVR的所有片段在视频流中被接收，这些片段被其它PLVR的一个或多个片段分隔开。即，第一PLVR的连续片段被接收，连续片段之间具有其它PLVR的至少一个或多个片段。在又一实施例中，对于LVR完全集(以下定义)，每个PLVR的连续片段在视频流中被接收，这些连续片段被多个片段分隔开，每个接收到的分隔片段分别对应于该LVR完全集的其它PLVR中的一个。各个PLVR的连续片段可以在接收机14处被分离和被提取，并被接合成各个PLVR来将其压缩网格化图片独立地解码成解压缩形式，这些图片随后可以作为按照它们的输出次序的图片序列被输出。

在一些实施例中，输入视频信号的图片中的具有压缩形式的被指定作为非参考图片的一个或多个(在一个实施例中，所有)图片不被网格化成多个LVR，而输入视频信号的被指定作为参考图片的图片被网格化为多个LVR。在这样的实施例中，视频流中的每个连续的SDI具有多个片段，或者(p+nrs)个片段，其中p大于1并且等于包含压缩网格化图片的片段，并且nrs大于或等于1并且等于包含具有输入视频信号的全图片分辨率的压缩非参考图片的片段。视频流的连续不重叠SDI中的片段中的一个或多个片段(即p个片段)包含如下的处理后的网格化图片，这些处理后的网格化图片具有比输入视频信号的图片的分辨率小的图片分辨率；而其它一个或多个片段(即nrs个片段)包含如下的处理后的图片，这些处理后的图片是非参考图片并且具有与输入视频信号的图片的分辨率相等的图片分辨率。因此，在一个或多个压缩参考图片上，存在对SDI中的nrs个片段中的至少一个片段中的压缩非参考图片的依赖性，这一个或多个压缩参考图片中的每一个意欲通过对压缩形式的p个对应的网格化图片的完全集(以下进一步说明)的各个解压缩版本的合成而具有全图片分辨率，并且对于这一个或多个压缩参考图片，这p个压缩网格化图片中的每一个与这相应的p个压缩网格化图片片段被包括在相同的SDI中。

每个矩阵可以具有小的像素数n，例如在n＝4的情况下，在一个矩阵中存在4个像素。注意，在特定实施例中，n＝p，其中p表示生成的LVR的数目。因此，对应p个LVR被形成、被处理，并且它们的片段在通过网络或信道传送的视频流的连续不重叠SDI中被排序，以下更全面地讨论。

PLVR的每个片段可以包括一个或多个连续的处理后的网格化图片。压缩网格化图片可以是已被应用压缩算法或其它运算以减少用于表示该网格化图片的比特的数目的任意图片。给定PLVR中的连续的压缩网格化图片中的每一个对应于源自或得自输入视频信号的图片的各自的网格化图片。

网格化图片(例如二次采样后的图片)分别地对应于输入视频信号中该网格化图片所源自的图片。输入视频信号分别具有水平图片分辨率和垂直图片分辨率ip_H和ip_V，和像素总数ip_NP，ip_NP等于ip_H乘以ip_V。LVR中的每个图片分别具有水平图片分辨率和垂直图片分辨率lp_H和lp_V，使得lp_H＜ip_H并且lp_V＜ip_V。LVR中的像素数lp_NP等于lp_H乘以lp_V。

如果两个或更多个网格化图片源自输入视频信号的同一图片，则它们是对应的网格化图片。如果对应网格化图片的集合中的任意网格化图片具有的水平图片分辨率或垂直图片分辨率与该集合中的任意其它网格化图片的不同，则称这些对应网格化图片是非全等(non-congruent)对应网格化图片。全等对应网格化图方具有相同的图片分辨率。贯穿该说明书，术语“对应网格化图片”是指全等对应网格化图片，除非另外表明(例如表明是非全等对应网格化图片)。全等或非全等的处理后的对应网格化图片分别是压缩形式的全等或非全等的对应网格化图片。

贯穿本说明书，在已被压缩或被处理的对应网格化图片的上下文中提及对应网格化图片应被理解为压缩形式的(或处理后的形式)的对应网格化图片。例如，对接收机中接收的任意LVR的提及应被理解为是指接收的PLVR。除非另外指明，用于网格化图片的术语学同样适用于当网格化图片变成处理后的网格化图片时的网格化图片。例如，对应的处理后的网格化图片是处理后的形式的对应网格化图片。全等的或非全等的处理后的对应网格化图片可以分别是压缩形式的全等的或非全等的对应网格化图片。

对应网格化图片的完全集具有等于ip_NP的集总像素数，并且该集合的对应网格化图片的合成形成分辨率为ip_H乘以ip_V的图片，而不执行扩增(upscaling)或像素复制操作。非全等对应网格化图片的完全集和对应网格化图片的完全集一样，除了对应网格化图片中的至少一个具有与对应网格化图片集合中的其它网格化图片中的至少一个网格化图片不同的图片分辨率以外。类似的定义适用于处理后的网格化图片，因为它们只是处理后的形式的网格化图片。

如果满足以下全部条件，则输入视频信号的p个LVR的集合形成输入视频信号的完全表示集：

1.对于输入视频信号的每个图片，存在具有p个对应网格化图片的集合；

2.每个具有p个对应网格化图片的集合具有等于ip_NP的集总像素数；并且

3.每个具有p个对应网格化图片的集合的合成形成分辨率为ip_H乘以ip_V的图片，而不执行扩增或像素复制操作。

即，在LVR的完全集中，输入视频信号的每个连续图片被网格化成p个对应网格化图片，并且，执行这p个对应网格化图片上的网格化的相反操作即去网格化(de-latticing)导致图片分辨率为ip_H乘以ip_V的重建图片，并且其完全是利用从这p个对应网格化图片的去网格化中生成的像素填充的，而不必利用扩增或像素复制操作来临时提供缺失的像素值。非全等的LVR的完全集是类似的，除了输入视频信号的每个连续图片被网格化成p个非全等的对应网格化图片以外。除非另外指明，在本说明书中，应当假定输入视频信号的每个连续图片被网格化为相同的p网格结构。

PLVR的独立集是这样的集合，其中这p个PLVR中的每一个可以独立于该集合中的其他PLVR中被解压缩。PLVR的完全独立集遵循完全集属性和独立集属性。

PLVR的近乎独立集是这样的集合，其中，该集合的PLVR中除一个PLVR以外的每个PLVR都可以独立于该集合中的其他PLVR被解压缩。PLVR的完全近乎独立集是具有完全集属性的PLVR的近乎独立集，因此，对于每个图片，产生全图片分辨率ip_H乘以ip_V。

PLVR的部分独立集是这样的集合，其中并不是该集合中的所有PLVR都可以独立于该集合中的其他PLVR被解压缩，而是该集合中的PLVR中的至少两个PLVR能被独立地解压缩。

如果满足以下条件，则称具有p个PLVR的完全集具有R个可独立解码的PLVR：对于R＜p，该集合中的(p-R)个PLVR的每一个依赖于其他(p-1)个PLVR中的至少一个或多个PLVR的信息来进行其解压缩。

为了说明具体实施例，令图片(k，v)表示给定PLRV v的发送次序中的第k个压缩图片。对于等于正整数的nf(图片数)，如果满足以下条件，则称第一PLVR的nf个连续压缩图片的片段对应于第二PLVR的nf个连续压缩图片的片段：对于从1到nf的k的每个整数值，发送次序中的相应的第k个压缩图片是压缩形式的对应网格化图片。类似地，如果来自各自对应的PLVR的多个片段的所有可能的两两配对都是对应的片段，则称这多个片段是对应片段。对应片段必须具有相同的图片数nf并且按照发送次序，对于从1到nf的k的每个整数值，对应片段中的每个片段的第k个压缩图片必须是其他片段中的每个片段的相应第k个压缩图片的对应图片。换而言之，如果来自各自的PLVR的片段中的每个连续图片源自输入视频信号的相同图片，则这些片段是对应片段。

对应片段的完全集对应于PLVR的完全集。对应片段的完全集中的连续的对应处理后网格化图片(按照发送次序)是对应网格化图片的完全集。

对应片段或对应片段的完全集中的片段在视频流中可被相互分隔开，使得给定时间间隔期间的数据丢失将不会损坏与输入视频信号的同一图片相关联并源自该同一图片的所有处理后的网格化图片。因此，压缩网格化图片的缺失或损坏部分可以在接收机处经由包括线性或非线性插值或图片扩增在内的各种机制被隐藏。因此，该实施例融合差错纠正和差错隐藏来辅助有损信道或网络(诸如互联网协议(IP)分组交换网络)上的可复原的鲁棒视频传输。在此讨论的某些实施例在涉及经由分组交换网络的视频广播(也称为超限(over-the-top)视频传输)的应用中特别有用。

PLVR的各个片段根据一个或多个目的按照确定的次序和/或组织排列在视频流中被携带。在一些实施例中，顺次排序的片段的确定的次序和/或组织排列是意图用于差错可复原性目的的。在一些实施例中，片段的排序和/或组织排列是根据传输信道和/或网络的差错特性的。在其它实施例中，顺次排序的片段的确定的次序和/或组织排列是意图用于辅助快速随机访问或快速信道改变时间的。在又一些实施例中，顺次排序的片段的确定的次序和/或组织排列是意图用于以下两者的：差错可复原性理由和快速信道改变时间(或如同视频节目的随机访问)。

视频流的片段分布间隔(SDI)是满足所有以下条件的间隔：

1.包含与输入视频信号的处理后的视频表示相对应的多个顺次排序的不重叠片段；

2.包含源自输入视频信号的同一图片的不多于一个的图片；

3.SDI中的每个可能的两个连续片段的配对对应于输入视频信号的两个不同的处理后的视频表示；

4.SDI的图片输出跨度(span)(其是SDI中的所有图片的输出次序中的时间跨度，在此被称为SDI输出跨度)被该SDI中的输入视频信号的不同的处理后的视频表示的数目整除；

5.SDI输出跨度对应于时间邻接的图片输出跨度，在SDI输出跨度上，该SDI中的每个图片意图以其解压缩形式(或作为从其解压缩形式中得出的信息)被输出最多一次，除了在SDI中接收的对应“图片输出命令或信息”传达要重复各自的输出图片的字段或各自的输出图片来实现所预期的图片邻接输出以外。

步骤4和5假定SDI的预期内容无损害。步骤2表明SDI中的片段中的各个处理后的图片都源自输入视频信号的不同图片。即，SDI中的每个压缩图片分别对应于输入视频信号的一个图片。如步骤1中所表明的，SDI中顺次排序的片段是不重叠的。换而言之，在前一片段的信息未被完全提供之前，SDI中的每个连续片段的信息的第一部分在视频流中不被提供。

如本领域中公知的，编码视频流中的图片可以以与输出次序(即显示次序)不同的发送次序或解码次序被提供(被发送)。

网格化视频SDI(LVSDI)是这样的SDI：其中该SDI中的所有图片都是处理后的网格化图片。换而言之，视频流中的LVSDI是满足所有以下条件的间隔：

1.包含与输入视频信号的处理后的视频网格化表示对应的多个顺次排序的不重叠片段；

2.不包含对应的处理后的网格化图片；

3.SDI中的每个可能的两个连续片段的配对对应于两个不同的处理后的LVR；

4.LVSDI输出跨度被LVSDI中的不同处理后LVR的数目整除；

5.LVSDI输出跨度对应于时间邻接图片输出跨度，并且在该LVSDI输出跨度上，该LVSDI中的每个网格化图片意图以其解压缩形式(或作为从其解压缩形式中得出的信息)被输出最多一次，除了在LVSDI中接收的对应“图片输出命令或信息”传达要重复各自的输出图片的字段或各自的输出图片来实现所预期的图片邻接输出以外。

再一次，步骤4和5假定LVSDI的预期内容无损害。步骤2表明LVSDI中的片段中的各个处理后的网格化图片都源自输入视频信号的不同图片。

全等LVSDI是这样的LVSDI，其中该SDI中的所有图片都是处理后的网格化图片并且具有相同图片分辨率。非全等LVSDI包含至少一个这样的处理后的网格化图片，其具有与该LVSDI中的其他处理后的网格化图片的任一个的图片分辨率不同的图片分辨率。贯穿本说明书，除非另外表明(例如是非全等LVSDI)，否则LVSDI是指全等LVSDI。

完全表示的LVSDI(CRLVSDI)是这样的LVSDI，其包含来自p个PLVR的完全集的每个分别的PLVR的至少一个片段。记住LVSDI中的片段是所定义的非对应片段。

连续CRLVSDI的最小集MinC是视频流中的最小数目的邻接CRLVSDI，用于为每个CRLVSDI中的每个片段提供完全对应片段。

在一个实施例中，多个PLVR的片段按照第一时间次序在视频流中被提供(或被接收)，第一时间次序指定视频流中的每个连续SDI中所包括的一个或多个片段也有可能所有片段之间的时间关系。在一个实施例中，SDI是p个全等PLVR的完全集并且第一时间次序指定每个连续LVSDI中的p个非对应片段的次序，在此情况中LVSDI是CRLVSDI。此外，第二时间次序可以指定视频流中的每个p个连续CRLVSDI的集合(即，MinC＝p)上的每个p个对应片段的集合的次序。

在图3A中，8个CRLVSDI分别被编号为389、390、391、392、393、394、395和396。MinC等于4以获得完全对应片段的单个集合。应当注意，图3A中示出的每个CRLVSDI中的视频流中的片段的次序是从下向上的(或从最旧的到最新的，以下进一步讨论)。GOP4-NW 351、GOP4-NE 354、GOP4-SW 357和GOP4-SE 360构成完全对应片段，它们分别在分段分布间隔(例如CRLVSDI)390、391、392、393中，并且分别对应于PLVR 308、306、304、302。在GOP4-SE 360被提供或被接收时，其它3个对应片段预期已经(例如在图1的接收机14中)被提供或被接收并且GOP-4图片可以以全图片分辨率(即输入视频信号的图片分辨率)被输出。例如，接收机14可以在解码器34中执行对4个接收的GOP-4表示的解码并且随后在视频去网格化器42执行它们的去网格化或合成。同样，完全对应片段GOP5-NW 355、GOP5-NE 358、GOP5-SW361和GOP5-SE在CRLVSDI 391、392、393和394中被提供。因此，下一连续CRLVSDI的最小集合在上一集合的最后(p-1)个CRLVSDI上与前一连续CRLVSDI的集合重叠，其中在图3A中，p＝4。

续图3A，在对视频流的信道改变或随机访问操作之后，不迟于第p个CRLVSDI，完全的(或完整的)图片就变得可用于输出。

应当注意，在图3A中，在信道改变或随机访问操作之后，视频流可以在第一可用CRLVSDI处被访问并且解码可以利用下一(例如最旧的)PLVR(例如PLVR 302)开始，其中下一PLVR是在视频流中的下一CRLVSDI开始时被接收到的。在最坏的情况中，图片可以以输入视频信号的全分辨率的p分之一(例如在本示例中为四分之一)被输出，诸如当在GOP4-NW 351正在CRLVSDI 390内被传送的同时访问或调谐到视频流中时。在这样的情况中，与片段GOP2-SE 352对应的图片是最先从PLVR302到达接收机14处的，并且因此是最先被解压缩和输出的。因为GOP2-SE 352的图片表示不完全的图片数据，或者输入视频信号的全图片分辨率的四分之一，因此片段GOP2 SE中的压缩网格化图片在接收机14中被解压缩和去网格化并且随后利用优选的上采样方法被上采样。GOP3紧接在GOP2的处理后的网格化图片之后被处理和输出。因为GOP3-SW 353是在其对应片段GOP3-SE 356之前被提供或被接收的，因此所预期的全图片分辨率的信息的50％被贡献于与GOP3对应的输出图片。GOP4紧接在GOP3图片之后被处理和被输出。由于对应片段GOP4-SW 357和GOP4-NE 354是先前在视频流中被提供或被接收的，所以全图片分辨率的像素的75％被从三个对应的解压缩网格化图片的每个连续集合贡献于与GOP4对应的输出图片的重建。随后，GOP5可以使用来自4个(或p个)对应的解压缩网格化图片的连续集合的像素被输出，并且因此，GOP-5图片可以作为完整图片被输出而不依靠上采样操作来临时提供缺失信息。

在之前的示例中，在信道改变之后，图片保真度从自解压缩的PLVR信息提供的信息的1/4开始逐渐增大，并且全分辨率图片中的缺失像素的剩余像素利用上采样或像素复制方法被填充，这样增大至1/2、3/4、供用于图片重建的完全信息，随后不需要上采样或像素复制方法。

GOP2-SE的处理后的网格化图片或被解码或被上采样以用于输出的PLVR的任意单个片段提供图片保真度级别有限集合中的最低图片保真度级别。在此情况中，存在4(或p)个保真度级别，这些保真度级别对应于从解压缩后的对应网格化图片贡献的像素占输出图片的预期全分辨率的百分比。当4(或p)个解压缩的对应网格化图片的完全集可用于填充输出图片的预期全分辨率时导致最大像素量。当单个解压缩的网格化图片(即25％的信息)可用于重建输出图片的预期全分辨率时，导致最低图片保真度级别。当两个或三个解压缩的对应网格化图片可用时，预期全分辨率的信息的50％或75％分别被贡献给输出图片。

如果在GOP3-NE正在CRLVSDI 390内被传送的同时访问或调谐到视频流发生，则GOP2-SE通过将图片信息的1/4上采样至预期输出图片大小而首先被输出，如在前一示例中一样，通过贡献与GOP3对应的输出图片的预期像素全体的50％，提高的图片保真度的进展增大。通过对所贡献的50％的填充信息应用优选上采样方法获得的另50％的上采样像素信息导致全分辨率输出图片。然而，与前一示例不同的是，GOP-4图片可以使用来自4(或p)个PLVR的像素被输出，因为它们都可用于解压缩和去网格化。在该示例中，在第三个CRLVSDI而不是第四个CRLVSDI之后获得全图片重建。此外，图片保真度逐渐地从：

1.向输出图片贡献信息的1/4，其中输出GOP-2图片中的其余信息通过上采样获得，增大至

2.向输出图片贡献信息的1/2，其中输出GOP-3图片中的其余信息通过上采样获得，增大至

3.为GOP4图片的输出的重建贡献完整信息，随后不需要上采样或像素复制方法。

如果在GOP2-SW正在CRLVSDI 390中被传送的同时访问或调谐到视频流发生，则如之前所讨论的，GOP2-SE通过将图片信息的1/4上采样至预期图片大小而首先被输出。然而，在与GOP3对应的输出图片中，提高的图像保真度的进展增大至预期像素全体的75％，因为对应片段GOP3-SE、OP3-SW和GOP3-NE已被提供或接收。GOP-4图片可以使用来自4(或p)个PLVR的像素被输出，因为对应片段的完全集可用于解压缩和去网格化。在该示例中，在第三个CRLVSDI上并且不是通过4个CRLVSDI，获得全图片重建。此外，图片保真度从对输出图片的1/4信息贡献，逐渐增大为贡献信息的75％，再到随后不需要上采样和像素复制的全预期图片重建。

如果访问或调谐到视频流中不是在GOP1-SE正在CRLVSDI 390内被发送之前而是在此同时发生，则GOP2-SE首先被输出，但是由于GOP2-SW已被接收到这样的事实，现在具有预期像素信息的50％(并且其余通过上采样信息)。提高的图片保真度的进展在输出GOP-3图片时增大至预期像素全体的75％，并且随后当输出GOP-4图片时增大至全图片。在该示例中，在第三个CRLVSDI上并且不是通过4个CRLVSDI，再次获得全图片重建。然而，所重建的图片的图片保真度从对于GOP2图片为预期像素信息量的一半，逐渐增大至对于GOP3图片为预期信息的75％，到对于GOP4图片为全预期图片重建。

图3B与图3A类似，除了具有不同的PLVR排序以外，因此为了简要在此省略讨论。

注意FEC技术可以被应用于将要通过网络发送的给定视频流。对视频流应用FEC涉及向视频流添加修复符号的形式的冗余数据来减少或消除在某些类型的数据丢失的情况中重传数据的需要。修复符号辅助数据丢失的情况中在接收机处重建视频流。数据可能由于噪声、不同IP路由收敛时间、无线网络中的瑞利衰减等而被丢失。对视频流应用FEC也可以包括使用修复符号来纠正丢失的数据或视频流中的其它差错。

遗憾的是，由于许多通信系统的过多开销和带宽限制，某些传统的FEC系统在没有过多发送开销和接收缓冲延迟的情况下，常常不纠正或充分补偿大的数据丢失，诸如，以非限制性示例为例，大于500毫秒的突发相关丢失。这可以导致例如所传输的视频流中的不希望的消隐图片以及作为结果显示的视频信号中的对应黑屏。这样的问题可以通过在此讨论的某些实施例来解决。

为了清楚起见，在一些实施例中，各种公知组件，诸如视频放大器、网络卡、路由器、互联网服务提供商(IPS)、互联网协议安全性(IPSEC)集中器、媒体网关(MGW)、滤波器、多路复用器或解多路复用器、传输流等等，可以被包含，因此被从附图中省略。然而，有权使用本教导的本领域技术人员将知道要实现哪些组件以及如何实现它们来满足给定应用的需要。

为了本讨论的目的，电子地传输的数据可以是从第一位置经由电磁能量被传送到第二位置的任意数据。电子地传输的数据的示例包括：通过经由互联网协议(IP)的分组交换网、广播网(例如，陆地、有线或卫星)传送的数据，经由诸如公共交换电话网络(PSTN)之类的电路交换网络传送的数据，以及使用无线协议无线地传送的数据，无线协议诸如是码分多址(CDMA)、高级移动电话服务(AMPS)、WiFi(无线保真)、WiMAX(全球微波访问互操作性)和蓝牙协议。

一种示例方法包括：接收输入视频信号，该输入视频信号具有一个或多个连续的未压缩图片；将该输入视频信号的一个或多个连续图片中的每个图片分离成p个对应网格化图片的完全集；压缩得到的LVR的完全集的每个LVR的连续网格化图片来获得PLVR的完全集，随后将PLVR的完全集分段到邻接的不重叠对应片段中，并且随后按照第一时间次序来在视频流中的每个p个连续不重叠SDI的连续不重叠集合中对每个p个对应片段的连续集合进行排序和/或排列。在可替换实施例中，不是采用第一时间次序，而是分别对应于多个PLVR中的每一个PLVR的p个非对应片段根据CRLVSDI的定义并且还根据从SDI中的每个片段到该SDI中的下一不重叠片段维持图片的连续性，被排列在该视频流中的每个连续SDI中。即，片段在SDI内被排序使得从该SDI中的每个随后的片段输出的第一图片具有紧接在从该SDI中的前一片段输出的最后图片的呈现时间(即输出时间)之后的呈现时间或PTS(例如如在MPEG-2传输中所规定的)。这p个PLVR的每一个PLVR的连续片段的前述排序在连续SDI上被策略地排序，但是由于每个SDI包含多个片段，并且这些片段中的每个片段在SDI中不重叠，并且连续的SDI不重叠，因此在视频流中，同一PLVR的连续片段被其它PLVR的片段分隔开。此外，根据SDI的定义，对应片段也被其它PLVR的片段分隔开。因此，视频流中的片段排序是在发送之前被执行的，目的是辅助差错纠正和/或差错隐藏。

另一机制按序排列(sequence)(包括排序)视频节目的至少一部分的多个PLVR的对应片段，按序排列表示从视频节目诞生的多个PLVR的片段的非多路复用排序。这些按序排列的片段在所公开的实施例中在单个视频流中被提供给一个或多个接收机，诸如图4B中所示，以下进一步描述。贯穿本说明书，这样的单个视频流可以称为单个聚合视频流或聚合视频流，这是因为其包括多个PLVR的聚合片段。

另一机制采用：根据不同图片类型的成比例的比特分配或不同重要性级别的图片的成比例的比特分配来按序排列片段，从而不同数量的比特被分配用于不同的比特类型和/或具有不同相对图片重要性的图片(具有相同或不同图片类型)。

另一机制通过提升(promote)来自第一相对重要性或图片类型(例如最旧PLVR)的图片并降级(demote)来自一个或多个其它(不是最旧的)PLVR的第二相对图片重要性或图片类型的图片来提高差错可复原性。以下更详细地描述这些和其它机制。

图1是根据一个示例实施例的通信系统10的示图，该系统采用视频网格化、视频编码功能性，以及对各个处理后的网格化图片的序列序列化(在一些实施例中，包括排序和/或时间偏移)。在一些实施例中，片段可以在被输入到编码器20之前被排序，如上所述。通信系统10包括发送机12，发送机12与第一接收机(接收机1)14和第二接收机(接收机2)30通信。为了本讨论的目的，通信系统可以是包含相互通信或者以其它方式适于相互通信的一个或多个组件的任意设备或设备集合。在具体实施例中，公开了一种用于处理和发送视觉信息的装置。视觉信息可以是来自信息源的任意信息，诸如来自相机、从胶片扫描或被综合地创建来形成图像或其部分。术语“视觉信息”和“图像数据”在此可以交换使用。在具体实施例中，该装置包括用于将多个矩阵映射到输入视频信号的每个连续图片(例如图2的图片60)上的第一机构。

发送机12包括视频网格化模块或视频网格化器16，视频网格化器16被耦接到视频编码器20，视频编码器20又被耦接到序列化器18(在一个实施例中，其施加时间偏移并且对PLVR的各个片段进行排序)。注意，发送机12的设备的具体排列在一些实施例中可被重新安排，并且并不意图通过图1中的所示出的配置来针对所有实施例暗示具体的功能性次序。另外，发送机12的一个或多个组件的功能性在一些实施例中可以被组合在单个组件中，或者在一些实施例中被分布在驻留在发送机12之内和/或之外的这些或其它组件中的两个或更多组件中。发送机12包括未在图1中示出的各种组件，例如包括耦接到发送链的一个或多个视频压缩模块。发送链可以包括FEC模块。在一个实施例中，发送机12包括滤波能力。这样的滤波能力可以包括线性的、非线性的或者抗锯齿(anti-aliasing)滤波能力。

如果第一网格化图片和第二网格化图片两者都源自输入视频信号的同一图片，则第一网格化图片被称为对应于第二网格化图片。对应网格化图片在时间上被与同一时间实例或间隔对准以用于显示或输出目的，这是因为它们源自同一图片。

依赖于实施例，网格化图片或视频片段的序列化(包括排序和/或时间偏移)可以在它们的压缩之前、期间、或之后发生。

编码器20(例如驻留在编码器中的视频压缩功能性)按照视频编码规范的语法和语义来输出与p个LVR中的每一个LVR对应的连续压缩网格化图片。在一个实施例中，片段被顺次提供，其中每个片段由来自同一LVR的多个压缩图片组成。PLVR中的连续压缩网格化图片的发送次序可以与这些图片的显示或输出次序相等或不等。例如，在某些应用中，可以要求将来的参考图片(future reference picture)在具有更早显示或输出时间的图片之前被发送，但是那依赖于用于其重建的那个将来的参考图片的解码版本。编码器20实现这p个LVR的压缩以使得，在一个实施例中，对应的p个PLVR的每一个PLVR中的连续压缩网格化图片的相对发送次序相同。然而，在本实施例中，尽管这p个PLVR的每一个PLVR内的处理后的网格化图片的相对发送次序相同，但是如下所述，每个具有p个对应片段的集合是按照第二相对时间次序被发送的，第二相对时间次序是邻接片段的次序的被重新排序和/或被时间偏移的版本。

发送机12经由网络32耦接到第一接收机14和第二接收机30。网络32可以是互联网、无线网络或其它类型的网络或(一个或多个)通信信道。尽管在此描述了多个接收机或解码器，但是其它实施例可以使用单个解码器或接收机。

第一接收机14包括第一解码器(解码器1)34，第一解码器34被耦接到第一视频去网格化器(视频去网格化器1)42，第一视频去网格化器42又被耦接到第一丢失隐藏和等待时间补偿模块(LCALCM1)44。第一解码器34包括各种功能性，其包括第一接收链，第一接收链可以包括第一反向FEC模块(未示出)，并且还被耦接到驻留在第一解码器34中的第一视频解压缩模块(VDM)54。第一解码器34被耦接到第一视频去网格化器42，第一视频去网格化器42被耦接到第一LCALCM1 44。第二接收机30与第一接收机14类似，并且因此，为简要起见，在这里以及别处省略对相同组件的描述，应当理解，对应于解码器34、第一视频去网格化器42和LCALCM1 44的讨论同样适用于接收机30中的对应组件。

为了本讨论的目的，多个PLVR从发送机12作为单个视频流被输出，作为视频数据的部分(例如但不限于是顺次的不重叠的压缩网格化图片)被连续地发送。

在一个实施例中，多个分别的视频片段被以不重叠的方式排序和/或时间偏移(即按序排列)到单个视频流中，随后在单个传输信道上被发送。用于标识各个PLVR的分段的辅助信息被提供在视频流中或与之关联。辅助信息可以包括这样的信息，该信息指示压缩网格化图片的解码版本如何被装配成预期全图片分辨率的输出图片。

视频流中的或与之关联的辅助信息提供标识信息，该标识信息传达网格的空间关系以及PLVR的片段的相对时间次序。为了本讨论的目的，片段的相对时间次序可以指定连续SDI中的每个片段和/或视频流中的每个对应的处理后图片的开始、结束或完成的实际次序，并且还可以指定连续CRLVSDI的最小集合。由于片段或图片在SDI内或连续SDI的最小集合上相对于彼此被排序或定位以供发送，所以称它们的相对时间次序是相对的。

LCALCM1 44(和接收机30中的对应组件)是差错隐藏模块。为了本讨论的目的，差错隐藏模块可以是适于掩饰视频流中的损害的任意实体，视频流中的损害诸如是遗漏的数据、丢失的数据、被损害的数据或者还未被接收机接收到的数据，或者视频流的发送或接收中发生的其它差错。在此，损害是指遗漏的数据、丢失的数据、被损害的数据或者还未被接收机接收到的数据，或者视频流的发送或接收中发生的其它差错。

LCALCM1 44包括滤波能力，诸如实现对解码后的网格化图片的扩增的线性的、非线性的或抗锯齿滤波能力。LCALCM1 44中的滤波能力可以补偿丢失的数据、被损害的数据或未接收到的数据。例如，滤波能力可以被用来对第一PLVR中的解码网格化图片的至少一部分进行扩增来隐藏对应网格化图片中的损害。为了本讨论的目的，当导出或复制数据来补偿数据的损害时，称数据被扩增。

LCALCM1 44中的滤波能力可被用来扩增网格化图片(k，1)(诸如SW网格化图片)的解码版本中的至少一部分，该部分在空间上对应于网格化图片(k，2)(诸如NE网格化图片)的被损害部分。例如，参考图2，解码网格化图片(k，1)的扩增版本中的所生成的像素值中的一些或可能所有像素值被用来补偿网格化图片(k，2)的解码版本的至少一个被损害的部分的对应像素，或者如果网格化图片(k，2)被完全损害或不可解码则补偿整个网格化图片(k，2)。

在一个实施例中，当网格化图片(k，2)被损害时，单个解码的未被损害的网格化图片，例如格化图片(k，1)，在LCALCM1 44中被扩增来补偿网格化图片(k，2)中的相应一个或多个空间上对应的被损害部分。可替换地或另外地，当网格化图片(k，2)展现出一个或多个局部图片损害时，单个解码的未被损害的网格化图片，例如网格化图片(k，1)，的一个或多个部分在LCALCM1 44中被扩增来补偿网格化图片(k，2)中相应的在空间上对应的被损害部分。

在另一实施例中，p个PLVR和标识信息在第一接收机14处被接收。LCALCM1 44中的滤波能力被用来对(p-1)个未被损害的对应的压缩网格化图片的解码版本进行扩增来补偿对应的第p个压缩网格化图片中的一个或多个损害。为了本讨论的目的，p个接收到的PLVR中的每一个PLVR中的各自第k个压缩网格化图片是对应压缩网格化图片。这p个对应第k个压缩网格化图片的相对时间次序是由第一接收机14从接收的标识信息即辅助信息(诸如PTS)中确定的。这p个对应的压缩网格化图片可以由第一接收机14从这p个对应的压缩网格化图片(或对应的p个片段)的PTS或输出次序信息中确定的。这对应的p个压缩网格化图片按照它们的相对时间次序被第一解码器34解码。这p个对应的第k个压缩网格化图片的解码版本的空间关系也是由第一接收机14从相同的接收到的标识信息中确定的。

在可替换实施例中，这p个对应的第k个压缩网格化图片的解码版本的空间关系是由第一接收机14从与上述接收到的标识信息不同的附加的或不同的辅助信息中确定的。与发送机12的输入视频信号11具有相同空间分辨率的合成或组装输出图片是由第一视频去网格化器42按照从标识信息或从附加的或不同的辅助信息中确定的空间关系而形成的。(p-1)个对应的解码网格化图片中的一个或多个在LCALCM1 44中被各个扩增来补偿第p个PLRV的第k个压缩网格化图片中的一个或多个损害。类似地，当接收到的视频流中的两个对应的压缩网格化图片展现出损害时，(p-2)个对应的解码网格化图片中的一个或多个被各个扩增来补偿这些损害。

注意，图1中示出的模块之间的耦接和模块的分组用于说明目的。本领域技术人员可以在不偏离本教导的范围的情况下采用不同的耦接和分组。图1的各种模块的确切耦接和次序是依应用特定的，并且可以由本领域技术人员在不必进行过多实验的情况下容易地改变来满足给定应用的需要。

在发送机12处的操作中，视频网格化器16接收视频信号11作为输入。在本实施例中，输入视频信号是数字化的未被压缩的视频信号，其作为按照时间的显示或输出次序并且按照数字视频或视频接口规范的连续图片序列被摄取。数字视频或视频接口规范可以指定对像素时钟、图片格式、每秒的图片数、像素格式和/或连续图片的像素的扫描或串行次序、或其它属性或值的使用。输入视频的扫描格式可以对应于逐行扫描或隔行扫描的视频信号。称所产生的摄得视频信号包括或表示视频数据。确切的图片格式、每秒的图片数、像素格式和接收的视频数据的扫描格式可以是依应用特定的。对于不同的应用，可以使用不同类型的视频格式。

视频网格化器16可以是适于二次采样、标识、分离或标记视频信号的不同网格的任意硬件和/或软件设备、设备集合或其它实体。视频网格化器16包括电路和指令，其可以包括用于有选择地对输入视频信号的连续图片进行网格化从而将它们分离到不同网格化图片中的一个或多个软件和/或硬件例程。在图1的具体实施例中，视频网格化器16对每个输入图片进行采样来获得更小的网格化图片。这些网格化图片包括来自特定采样区域的像素信息，特定采样区域表示预定像素空间位置的集合，其中这些像素是从每个输入图片的矩阵中选出的。

在另一示例实施例中，输入视频信号的每个连续图片被分离到由视频网格化器16输出的p(例如，4)个不同网格中。

针对这p个网格化图片中的每一个选择的像素根据不重叠的邻接n个像素矩阵在图片上的映射而被散布在该图片上。例如，在每个矩阵的像素数(n)是4(n＝4)并且从输入视频信号中形成的LVR的数目(p)是4(p＝4)的一个操作模式中，具有水平方向640像素、垂直方向480像素的图片分辨率的输入图片被利用320乘240栅格的2x2矩阵来映射，因此，图片被划分到不同的4像素群组(矩阵)中。每个2x2矩阵包含依照下述相邻的含义的4个“相邻”或邻近的像素。2x2矩阵中的每个像素被分配给4个网格之一，这4个网格的每一个网格是经由4个LVR之一被传递的。注意，在不偏离本教导的范围的前提下，可以利用除2x2像素矩阵以外的不同大小和形状的矩阵来映射图片。

如果像素的位置或者在水平方向或者在垂直方向上与另一像素直接紧挨，则称该像素与该另一像素相邻或在空间上相邻。在可替换实施例中，如果像素成对角地紧挨，也可以认为是相邻的。例如，如果第一像素的至少一个角与第二像素的至少一个角相邻，则可以认为这两个像素是相邻的。

输入图片上的映射二维栅格的不重叠邻接矩阵中的每个矩阵对应于采样区域，其中采样区域表示矩阵的像素的位置。与映射矩阵对应的采样区域的形状可以是正方形的、长方形的、线性的或多边形的。在本具体实施例中，采样区域具有相对于图片的边缘所定义的水平或垂直边缘。

两个相邻的映射矩阵分离位于它们水平或垂直边缘上的相邻像素。在一个实施例中，图片中的每个映射矩阵与至少一个其它映射矩阵相邻。可替换地，图片中的每个映射矩阵与至少两个其它不同的映射矩阵相邻。可替换地，图片中的每个映射矩阵在水平方向上与至少一个其它映射矩阵相邻并且在垂直方向上与至少一个其它映射矩阵相邻。可替换地，图片中的每个映射内部矩阵与至少4个其它不同的映射矩阵相邻。内部矩阵的边界与图片的边界的任何部分都不一致或不相邻。

在一个实施例中，图片上的所有映射矩阵都具有相同形状和大小。在可替换实施例中，按照扫描次序的交替的映射矩阵的大小不同。在另一实施例中，按照扫描次序的交替的映射矩阵的形状不同。在另一实施例中，按照扫描次序的交替的映射矩阵在图片内的位置不同。在另一实施例中，按照扫描次序的交替的映射矩阵的形状和大小不同。在另一实施例中，按照扫描次序的交替的映射矩阵的形状和位置不同。在另一实施例中，按照扫描次序的交替的映射矩阵的大小和位置不同。在又一实施例中，按照扫描次序的交替的映射矩阵的大小、形状和位置不同。因此，在不偏离本教导的范围的情况下，按照扫描次序的连续的映射矩阵可以在形状和/或大小和/或位置方面不同。

在一个实施例中，图片上的映射矩阵不重叠。在可替换实施例中，图片上的映射矩阵重叠。因此，映射矩阵可以在空间上重叠或不重叠。

每个映射矩阵包含n个像素，这n个像素被视频网格化器16处理来形成p个网格，因此形成p个对应的网格化图片。在一个实施例中，映射矩阵中的像素数等于网格数(即n＝p)，并且网格化图片是全等的。在可替换实施例中，p小于n，并且n/p是整数，并且这p个网格具有相同的图片分辨率，从而产生p个全等LVR，这p个全等LVR也是LVR的完全集。即，视频网格化器16可以将来自每个映射矩阵的(n/p)个像素分布到这p个网格的每一个中。

在又一实施例中，p小于n，并且n除以p不等于整数，并且这p个网格中的至少一个网格具有与其它对应的网格化图片的相应图片分辨率不同的图片分辨率。因此，所得到的LVR是非全等的。

注意在某些实施例或实现方式中，视频网格化器16可以包括用于根据一个或多个预定标准来有选择地调节视频网格化器16所采用的网格化样式或映射矩阵的方法或指令。例如，网格化样式可以被选择以使得任何数据丢失都更容易基于人类感知的一个或多个特点而被隐藏或掩饰。例如，人类可能无法像他们能够感知到在显示画面上水平或垂直地发生的丢失像素数据那样容易地感知到沿图片或显示画面中的对角方向的像素发生的丢失像素数据的临时重建。因此，网格化样式可以被选择来使预定时间间隔内的数据丢失被强制为以水平线或垂直线以外的样式出现。

在图1的具体实施例中，视频网格化器16输出从输入视频信号11导出的p个分离的LVR，其可以是按照输入视频信号的连续图片的原有显示次序的、数字化未压缩图片的序列的形式。

输出的LVR被提供给编码器20。在一个实施例中，这p个分离的LVR被并行(即，同时)提供给编码器20来产生相应的PLVR。编码器20压缩LVR，因此将它们转换成相应的具有压缩片段的PLVR，每个PLVR对应于预定图片输出跨度或预定数目的按照发送次序的连续压缩网格化图片。例如，在一个实施例中，对应于相应LVR的每个片段对应于GOP。压缩片段被提供给序列化器18，序列化器18在视频流的一组p个连续的不重叠SDI上以不重叠的方式对这些片段进行排列和排序。对这些片段进行排列和排序包括：在这p个连续不重叠SDI的每一个中连续地(并且以不重叠的方式)对p个非对应片段进行排序，并且将每个集合的p个对应片段分离到相应集合的p个连续不重叠SDI中。该分离在视频流中的对应片段之间施加时间延迟，这是因为这样的事实，它们通过非对应片段被散置(interperse)。序列化器18中对p乘以p个片段(例如当p＝4时的16个片段)的排列和排序操作还满足所有以下条件：

(1)按时间持续次序在这p个连续不重叠SDI的每一个SDI中排列p个非对应片段，使得从自该SDI中的非对应片段输出的最后一个图片到自该SDI中的相继非对应片段输出的第一个图片存在图片输出连续性。

(2)按时间持续次序将p个非对应片段作为第一片段排列在这p个连续不重叠SDI的每一个中，使得从自一个SDI中的第一片段输出的最后一个图片到自相继SDI中的第一片段输出的第一个图片存在图片输出连续性，并且这p个连续不重叠SDI的所有p个第一片段来自同一PLVR。

除了以上两个排列和排序标准以外，在一个实施例中，视频流中所提供的所有可能的两个连续片段的配对都是非对应片段。

在视频流中被排列和排序的片段被提供用于发送或通过网络32被发送。

应当注意，与这p个PLVR的每一个PLVR对应的片段被按序排列到视频流的邻接不重叠SDI中，使得对于视频流中提供的所有可能的两个连续片段的配对，视频流中两个连续片段中的第二个的开始在完整提供连续片段的第一个之后。

在一个实施例中，每连续的一组p个对应片段的每个片段中的连续的处理后网格化图片的数目是固定的。在可替换实施例中，给定聚合视频信号的两个连续视频片段中的连续的处理后网格化图片的数目nf从第一数目变为第二数目。对于其它p-1个处理后的网格化视频表示的对应片段，也发生从第一连续图片数目到第二连续图片数目的改变。

发送机12的输入视频信号11可以包括一序列的数字化未压缩图片，其包括经由视频网格化器16利用各自包含n个像素的不重叠邻接矩阵来映射的视频图片。对于其中p＝n＝4的实施例，每个映射矩阵的每个像素被策略性地指派给由视频网格化器16输出的4个并行LVR中不同的一个，并且随后被编码器20处理，对应的压缩片段进一步被序列化器18处理。给网格的每个分发像素的值可以通过视频网格化器16中的滤波能力而从输入视频信号的对应像素值改变。

在可替换实施例中，由视频网格化器16输出的这p个LVR中给定的一个可以包括多个网格。在该情况中，通过分配不相等的采样矩阵样本数而获得不全等的对应网格化图片，输入视频信号的连续图片被网格化。

在一个实施例中，其中p＝n＝4并且其中每个图片被利用二维栅格的不重叠邻接2x2矩阵来映射，由视频网格化器16输出的4个网格化视频表示的第一网格化视频表示包括位于与一个或多个映射的2x2矩阵相对应的(一个或多个)像素位置集合中的(一个或多个)左上部分(西北，NW)中的一个或多个像素。第二网格化视频表示包括位于与映射的2x2矩阵相对应的(一个或多个)像素位置集合中的(一个或多个)右上部分(东北，NE)中的一个或多个像素。第三网格化视频表示包括位于与映射的2x2矩阵相对应的(一个或多个)像素位置集合中的(一个或多个)左下部分(西南，SW)中的一个或多个像素。第四网格化视频表示包括位于与映射的2x2矩阵相对应的(一个或多个)像素位置集合中的(一个或多个)右下部分(东南，SE)中的一个或多个像素。具体的2x2像素的映射跨输入视频信号的每个连续图片被有选择地重复，使得这4个网格化的视频表示的每一个都包括在输入视频信号的每个视频图片中每隔一行地每隔一个像素地选出的不同像素集合。

注意在不偏离本教导的范围的情况下，可以采用比4个像素和4个不同网格更多或更少的像素和网格。例如，视频网格化器16可以将输入视频信号网格化为两个(而不是4个)网格化视频表示，在一个实施例中，这两个网格化视频表示被并行输出给编码器20。

视频网格化器16提供辅助信息，该辅助信息标识视频流的连续SDI中的非对应片段的排列和排序以及对应片段在视频流的p个连续SDI上的排列和排序。辅助信息使得第一接收机14能够利用从视频流中的接收片段的一个或多个对应网格化图片的解压缩版本贡献的信息，来在恰当的输出时间重建预期的输出图片。经由辅助信息标识不同网格可以经由各种机制来实现，诸如：通过插入特定的标识分组；通过在传输流级、打包基本流级、编码视频层有选择地添加或更改分组头部；或者通过其它机制。可替换地，标识信息在传输流的分组头部或在分组有效载荷外面的数据字段中被提供。在另一实施例中，标识信息在打包基本流的分组头部中或在分组有效载荷外面的数据字段中被提供，其中打包基本流在传输流分组的有效载荷中被携带。在又一实施例中，标识信息在编码视频层的分组头部中或分组有效载荷外面的数据字段中被提供。

本领域技术人员，在本公开的上下文中，在获得本教导的情况下，在不偏离本教导的范围的情况下，可以容易地实现视频网格化和去网格化来满足给定实现方式的需要。

视频网格化器16可以包括用于将输入视频信号分离到多个网格化视频表示中的指令，其中每个网格化视频表示对应于从输入视频信号的一个或多个对应采样区域导出的一个或多个网格。

为了本讨论的目的，当预定数目的非对应片段被插入在视频流中的两个对应片段(例如GOP)之间时，称这两个对应片段的第一对应片段相对于与这两个对应片段的第二对应片段对应的第二片段(例如GOP)被时间偏移。因此，LVR的对应片段被相对于彼此时间偏移，以便例如辅助在预定数据丢失间隔的视频数据丢失的情况中的接收视频流中的差错隐藏。

序列化器18可以是适于如前所述在视频流的每个连续SDI内以不重叠的方式对p个的多个PLVR的每一个PLVR中的连续片段进行序列化(排序/排列和/或时间偏移)并且跨越连续的SDI排列它们的任何硬件和/或软件设备、设备集合或其它实体。序列化器模块18，在对片段进行序列化时，可以间接地施加时间偏移效果，从而不同PLVR的多个片段中的一个或多个片段相对于视频流中的一个或多个其它片段在时间上(或以其它方式)被偏移。

在本具体实施例中，片段排列和排序可以是按照传输信道的预定数据丢失间隔的大小或时间量的，其可被表示为值的范围。例如，作为一个示例实现方式，值的范围可以大于约500毫秒并且小于约2秒，等等。本领域普通技术人员应当明白，在本公开的上下文中，可以采用用于数据丢失间隔的其它值。数据丢失间隔可以是其间视频流中的数据展现出差错、被丢失、被损坏或以其它方式不可用的任意时间间隔。各种机制可以引起通信信道或网络中的数据丢失，包括突发错误、信号衰减或其它数据丢失机制。

由视频网格化器16输出的并行网格化视频表示被输入编码器20，其中视频压缩功能性可以包括用于压缩4个网格化视频表示的图片的指令。由编码器20采用的压缩算法的确切细节是依应用特定的并且是按照视频编码规范的，视频编码规范诸如是ISO/IEC MPEG-2视频(也称为ITU H.262)或者ISO/IEC MPEG-4部分10(也称为ITU H.264)。

在一个实施例中，编码器20输出压缩视频片段，其在序列化器18处被接收。按序排列的片段被提供给发送机12的发送链功能性，发送链功能性包括用来准备按序排列的片段以供通过网络32发送的各种模块和功能。例如，发送链功能性可以包括可应用于将由发送机12输出的按序排列的片段中的每个片段的前向纠错。

FEC涉及向视频流添加冗余数据来减少或消除在某些类型的数据丢失的情况中重传数据的需要。修复符号辅助在数据丢失的情况中在接收机处重建视频流。发送机12中的FEC功能性向作为聚合视频流的一部分被发送机12输出的每个片段添加足够的修复符号，来使得接收机14、30能够纠正FEC保护时间间隔(也称为FEC保护窗)内的聚合视频流(或其部分)的差错或数据丢失。一般，FEC保护时间间隔相比于由LCALCM 44实现的丢失隐藏间隔相对较小。

发送机12的发送链功能性的确切细节是依应用特定的。例如，当通过诸如互联网之类的分组交换网络进行传送时，发送链可以包括耦接到互联网服务提供商等的路由器和防火墙等。当通过无线网络进行传送时，发送链可以包括基带到IF(中频)转换器、自动增益控制、滤波、上变频器、数模转换器、双工器、天线等等。

网络32可以经由分组交换网络、电路交换网络、无线网络等来实现。可替换地，网络32可以利用发送机12与接收机14、30之间的直接通信链路来替代。

第一接收机14接收或以其它方式预订由发送机12经由网络32发送的视频流。

在本实施例中，解码器34的第一接收链包括反向FEC模块。反向FEC模块实现用于修复从发送机12接收的片段中的一个或多个中发生的某种数据丢失或损坏的指令。某种数据丢失或损坏对应于在称为FEC保护窗的预定数据丢失间隔内的数据丢失或损坏。现有的FEC模块、方法和技术可以被本领域技术人员在不必过多实验的情况下容易地改编来用于在此所讨论的实施例。第一解码器34的第一反向FEC模块还适于在片段通过网络32被发送之前由发送链的FEC模块起初对片段执行的不恰当的任何修改。这样的修改可以经由数据的更改、添加修复符号或二者的组合来实现。

解码器34包括第一视频解压缩模块(VDM)54，其包括用于对由发送机12提供的聚合视频流进行解压缩的一个或多个电路、例程或指令。这些指令可以包括分别由编码器20和序列化器18实现的视频压缩和序列化功能性所使用的处理的逆转。解码器34还配置有一个或多个比特缓冲器。在一个实施例中，解码器34配置有专用于每个分别的PLVR片段的比特缓冲器(BB)。例如，图1中的示例实施例中示出了专用于与SEPLVR对应的片段的BB_SE 46。图1中还示出了专用于与SW PLVR对应的片段BB_SW 48、专用于与NE PLVR对应的片段的BB_NE 50以及专用于与NW PLVR对应的片段的BB_NW 52。在一些实施例中，为每个分别的片段(例如SE、SW、NE和NW)分割的单个比特缓冲器被实现。解码器34按照定义的比特缓冲器管理策略来编排所缓冲的片段的解码，在一些实施例中，以针对预期输出图片的有限图片保真度级别来排列。有限图片保真度级别的范围可以从立即的部分分辨率解码跨越到定义的等待时间后的全分辨率解码、以及两者之间的渐变，以下进一步说明。

解压后的视频数据流随后被第一解码器34输出并且随后被第一视频去网格化器42去网格化。接收机14包括用于隐藏对应片段、处理以及用于组合解压缩的对应网格化图片用于以预期图片分辨率输出的能力和/或指令。在一些实施例中，视频去网格化功能性和解码功能性可以是在单个模块中(例如在解码器34中)找到的特征。

用于从在压缩形式的视频流中接收的p个解压缩的对应网格化图片的集合中重建供输出的连续图片的机制的确切细节是应用特定的。在一些实施例中，诸如标识PLVR(以及接收到的对应片段与非对应片段的关系)的标签或分组头部之类的关联的辅助信息被接收机14用来恰当地处理和重建PLVR的图片。该标识信息可以被视频网格化器16、编码器20或序列化器18添加，可以使得解码器或去网格化器42中的一个或多个能够管理比特缓冲器46-52，能够重新组合或隐藏接收片段，将接收的对应片段关联到每个相应的PLVR中，并且关联时间持续的非对应片段。这两种形式的关联被用来实现未降低图片保真度级别的输出图片的重建。

第一LCALCM1 44包括用于隐藏未被解码器34的反向FEC模块修复的视频流中的任意丢失的指令。此外，由于对应片段在视频流中被非对应片段分隔开，所以输出图片重建是相继利用不降低的或增大的保真度级别来控制的。

例如在电视或机顶盒终端上信道被改变之后，将具有缺失数据的初始图片的数目依赖于许多因素，包括视频流中的片段的大小或长度、视频流的每个连续SDI中的片段的数目、视频流的比特率，并且其中视频流的初始获取(例如调谐)关于属于第一接收到的SDI的第一片段跨度发生(如在参考图3A公开的调谐场景中所讨论的)。LCALCM1 44的输出可以被输入到视频处理的另一阶段、到显示设备、到存储器或到另一实体。

LCALCM1 44可以采用用于隐藏缺失或丢失信息的各种方法，例如在一个实施例中，经由插值处理来估计缺失的像素信息。插值处理可以包括在视频图片上展现出最少量的色彩亮度变化的方向上执行线性的或非线性的插值，和/或其组合。提供缺失的或损坏的像素信息是一种上采样。因此，可以通过使用非线性上采样在减小亮度和/或色度梯度的方向上填充像素来执行对缺失的或损坏的像素的上采样。

插值可以包括确定某些信息贯穿一个或多个解压缩的对应网格化图片在空间上如何变化或者贯穿具有连续输出时间的解压缩的非对应网格化图片在时间上如何变化，然后继续对像素信息进行插值来填充预期图片分辨率的输出图片中的缺失像素。各种类型的插值都可以。用于确定缺失像素信息的值的细节可以是应用特定的。

此外，尽管LCALCM1 44一般采用与给定图片相关联的像素信息来估计将要以其预期图片分辨率输出的图片内的丢失像素信息，但是实施例不限于此。例如，在某些实施例中，来自时间上相邻的图片的像素信息可被用来进一步估计给定图片中的丢失像素信息。

注意，在此所讨论的实施例不限于特定视频格式。不同的视频格式可以采用不同的编码器或解码器。此外，实施例不限于视频数据传输，因为在此所讨论的类似概念可以用于音频数据或其它类型的数据的鲁棒传输。本领域技术人员在获得本教导之后可以在不需要过多实验的情况下容易地修改系统10的模块来满足给定实现方式的需要。

已经提供了对其中实现某些实施例的示例环境的一般概述，现在关注图3A。VL系统的某些实施例解决包含多个PLVR的视频流的传输的启动等待时间(例如，对于快速信道改变)和总体丢失容限等问题。例如，发送期间的单个MPEG传输流的100msec的丢失可以导致I图片的丢失，伴随整个间隔的图片(例如GOP)的丢失。即，即使对于小的随机分组储运损耗，都可能丢失整个间隔的图片。

在一个实施例中，其中p＝4并且全等且独立的PLVR的完全集以连续CRLVSDI在视频流中被提供，并且其中具有4个CRLVSDI的连续集合包含十六(16)个片段，则可以在图3A中所图示的解码和比特缓冲策略的上下文中说明启动等待时间以及(在发送机12处)对视频流中的片段进行排序和排列的益处，图3A图示出PLVR的16个片段的接收(调谐到其中)和处理(例如解码)，其中每个PLVR具有1/4的图片分辨率。用于提供各个PLVR中的每个PLVR的片段的重复样式从如上所述的2x2网格方案的应用产生。符号SE、SW、NE和NW是指从其导出相应片段(GOP)的各个PLVR 302、304、306和308，如图3A中示出的每个GOP指定的后缀进一步指示的(例如GOP1(SE)是指对应于SE处理后的网格化视频表示的GOP)。如以上所说明的，PLVR 302、304、306和308对应于输入视频信号的相应LVR。SE PLVR 302包含解码器34处的输出图片的预期分辨率的图片信息的1/4(1/4分辨率)，并且其处理后(例如压缩后)的版本首先在聚合视频流中以按序排列的不重叠方式被发送，如上所述。因此，与SE PLVR 302相对应的分别GOP(例如GOP1(SE)、GOP2(SE)、GOP3(SE)和GOP4(SE))表示时间连续的1/4分辨率GOP，其中涉及其它处理后的网格化视频表示的GOP(分别针对SW、NE和NW的304、306和308)集总地表示其它3/4分辨率。应当注意，在图3A(和3B)中，一部分GOP被示出，并且向左和向右的更多GOP(在每一端用虚线指示)被暗示。在图3A中还包括对来自对应PLVR 302、304、306和308的哪些GOP是最旧的以及哪些是最新的的符号表示(在图3A和图3B的右手侧)。为了本讨论的目的，“最新”是指来自具有最新图片输出跨度或最大PTS(例如时间上最前)的GOP的那些图片。为了本讨论的目的，“最旧”是指来自具有更早图片输出跨度或最少或最小PTS(例如最当前)的GOP的那些图片。

在图3A中，示出每4个连续SDI 16个1/4分辨率GOP(片段)重复样式，并且以下在符号“<>”中示出它们的对应比特缓冲活动。在一个实施例中，如在本示例中一样，对于总共四(4)个比特缓冲器，一比特缓冲器专用于其相应PLVR。括号内用数字+N表示的相对时间基准可以描述如下：

GOP1(SE)(最旧的)(+0)<比特缓冲器(BB)_SE，移除GOP1，不留下任何东西>

GOP2(SW)(+1)<比特缓冲器(BB)_SW，不移除任何东西，留下GOP2>

GOP3(NE)(+2)<比特缓冲器(BB)_NE，不移除任何东西，留下GOP3>

GOP4(NW)(最新的)(+3)<比特缓冲器(BB)_NW，不移除任何东西，留下GOP4>-注意，这是GOP4集开始的点，表示GOP开始的时间(1/4分辨率)。

GOP2(SE)(最旧的)(+0)<比特缓冲器(BB)_SE，移除GOP2，不留下任何东西>

GOP3(SW)(+1)<比特缓冲器(BB)_SW，移除GOP2，留下GOP3>

GOP4(NE)(+2)<比特缓冲器(BB)_NE，不移除任何东西，留下GOP3、4>

GOP5(NW)(最新的)(+3)<比特缓冲器(BB)_NW，不移除任何东西，留下GOP4、5>

GOP3(SE)(最旧的)(+0)<比特缓冲器(BB)_SE，移除GOP3，不留下任何东西>

GOP4(SW)(+1)<比特缓冲器(BB)_SW，移除GOP3，留下GOP4>

GOP5(NE)(+2)<比特缓冲器(BB)_NE，移除GOP3，留下GOP4、5>

GOP6(NW)(最新的)(+3)<比特缓冲器(BB)_NW，不移除任何东西，留下GOP4、5、6>

GOP4(SE)(最旧的)(+0)<比特缓冲器(BB)_SE，移除GOP4，不留下任何东西>-注意这是GOP4集结束的点，表示GOP结束的时间(全分辨率)。

GOP5(SW)(+1)<比特缓冲器(BB)_SW，移除GOP4，留下GOP5>

GOP6(NE)(+2)<比特缓冲器(BB)_NE，移除GOP4，留下GOP5、6>

GOP7(NW)(最新的)(+3)<比特缓冲器(BB)_NW，移除GOP4，留下GOP5、6、7>

GOP在以上和以下为了说明性的非限制性的目的而被用作示例片段。

令DTS为解码时间戳，PTS为呈现时间戳，并且PCR为节目时钟基准或系统时钟，如MPEG-2传输规范(ISO/EC 13818-1)中所指定那样。在从发送机12发送的SDI的开头处接收到的GOP以与DTS-PCR相对应的初始缓冲延迟开始。继续该示例，每个后续GOP(例如GOP2(SW))在与DTS-(PCR-“一GOP跨度”)(即，DTS减去(PCR减去一GOP跨度的跨度))相对应的时间被发送或传输，接下来的GOP(例如GOP3(NE))在DTS-(PCR-“两GOP跨度″)时被发送，并且接下来的GOP(例如GOP4(NW))在DTS-(PCR-“三GOP跨度″)时被发送。“GOP跨度”是指GOP的呈现跨度。从不同的角度来看，并且参考图3A，调谐到SDI内的给定PLVR 302-380中给予了不同的发送延迟(和接收侧缓冲延迟)，其中该延迟用DTS-PCR+nSDI给出，其中n＝0、1、2等。例如，参考SDI 390，如果调谐到GOP2(SW)中，则在SDI 391中的GOP2(SE)352的发送之前发生DTS-PCR+1SDI的延迟(例如，被延迟SDI 390中的GOP2(SW))。在GOP3(NE)350处调谐到同一SDI 390中对于GOP3(SE)356的发送导致DTS-PCR+2SDI的延迟(例如被延迟GOP3(SW)353和GOP3(NE)350)。类似地，在GOP4(NW)处调谐到同一SDI 390中对于GOP4(SE)360的发送导致DTS-PCR+3SDI的延迟(例如GOP4(SW)357加GOP4(NE)354加GOP4(NW)351的延迟)。每个片段的每个I图片具有与其它3个对应片段中的对应I压缩网格化图片匹配的DTS和PTS。注意在该实施例中，对应网格化图片利用相同的图片类型或类似的压缩策略或目标被压缩，这是因为这4个PLVR的每一个是独立的PLVR。此外，缓冲器大小(或占用率)可以被比作阶梯步骤，其中最旧的PLVR 302的GOP最先被缓冲，并且随后来自接下来的PLVR 304的GOP在第一PLVR302的GOP之后被缓冲，等等。PLVR的片段在时间上越早被缓冲，它们可以越早进入服务。

如前所述，PLVR的片段在视频流中以顺次的不重叠的次序被提供，而不是被多路复用为多个流的集合。例如，根据图4A至图4B，如图4B中所示，在单个视频流中的多个连续的不重叠的SDI(例如391、392、393等)上，与SE PLVR 302相对应的片段或GOP 352(图4B)被插入流中，随后为与SW PLVR 304相对应的GOP 353，随后为与NE PLVR 306相对应的GOP 354，随后为与NW PLVR 308相对应的GOP 355，等等。因此，每个分别的SDI包括4个片段或GOP，它们在SDI内从最旧的片段(对应于SE PLVR 302)到最新的片段(对应NW PLVR 308)排序。这样的实现方式还将降低来自多个PLVR的I图片受单个相关的数据丢失事件影响的概率，因此提供更好的差错隐藏。

继续图4A的说明，示出按照连续的不重叠的次序的4个片段。每个片段象征性地表示包括示例GOP的十六(16，但不限于16)个处理后的网格化图片。第一片段GOP1(SE)表示有关SE PLVR 302的最旧的GOP。第二片段GOP2(SW)跟随在第一GOP1(SE)之后，表示与SW PLVR 304相对应的第二新的GOP。类似地，第三片段GOP3(NE)(对应于NE PLVR 306)跟随在第二GOP2(SW)之后，并且第四片段GOP4(NW)(对应于NW PLVR 308)跟随在第三GOP3(NE)之后，第四GOP4(NW)表示最新的GOP。在这样的片段顺次排序中，PCR是SDI390中所包括的所有4个片段的公共时钟基准。片段(GOP)中的每一个被分离和/或被分别提取，并且每个片段包含指定数目的处理后的图片，在在一个实施例中，该数目在SDI 390中的每个片段中是相等的，因此每个片段表示相同的时间持续图片输出跨度“a”(例如，相同的时间持续表示时间跨度)。例如，4个片段的整体图片输出跨度，即图4A中的SDI 390的SDI输出跨度，在一个实施例中，是1/2秒，并且每个SDI输出时间针对相应SDI中的4个片段被划分，导致用于每个片段的a＝1/8秒时间持续图片输出跨度，如图4A中所示。因此，在一个实施例中，每个SDI包括作为一个示例输出图片跨度的1/2秒的输出图片跨度。在可替换实施例中，视频流中的每个连续SDI的输出图片跨度是用SDI中的压缩网格化图片数目除以SDI中的片段数来指定的。注意在一些实施例中，那些片段的每个片段中的比特数不太可能是相等的，而是4个图片输出跨度是相等的(例如，a＝0.125秒)。即，编码器可以基于确定的编码策略来选择不为SDI中的各个非对应片段拨付相同数量的比特。例如，在一些实施例中，如以下更详细描述的，来自较新片段中的一个或多个片段的参考图片可以被提升为最旧的片段，导致最旧片段中具有更多数目的比特而参考图片被从其提升的最新片段中具有更少数目的比特。

在一个实施例中，对应片段中的每个压缩对应网格化图片连续集合还可以利用相同的图片类型、编码策略和/或相同级别的相对图片重要性被压缩。换而言之，如果最旧片段中的GOP包括发送次序序列I、B、B、B、P、B、B、B、P、B、B、B、P、B、B、B，则其它3个对应片段中的每一个片段中的GOP具有相同的序列。按照定义，对应的网格化图片具有相同的输出时间。此外，在一些实施例中，所有片段，非对应片段和对应片段都具有相同数目的压缩网格化图片，并且片段中的每个连续压缩网格化图片利用相同图片类型、编码策略和/或相同级别的相对图片重要性被压缩。在一些实施例中，对应片段中的图片重要性存在1∶1的对应关系。例如，考虑每个片段包含在发送时被排序的压缩图片序列，最旧片段中的第一个图片的相对重要性与该SDI内的第二个、第三个和第四个片段的第一个图片的相对重要性相同。

尽管描述了在视频流的SDI的每个片段中使用相同数量的图片(例如，16个压缩图片，或者在其它地方描述为12)，但是在一些实施例中，片段中的压缩图片的数目可以每SDI地不同(例如，下一SDI可以具有包含例如15个或20个图片的片段)。即，某些实现方式可以逐SDI改变SDI的图片输出跨度。可以保证这样的变化间隔的实现方式包括个人视频记录(PVR)应用、场景改变、拼接(例如由于源改变)、节目边界的实例化、可变场帧编码、可变重复率和/或不同类型的节目或呈现(例如高动作或运动场景，诸如飞车追逐、诸如体育之类的高动作节目、以及诸如新闻之类的低运动节目)。

在其它实施例中，“伪SDI”中的片段中的处理后网格化图片的数目是不同的，但是每个伪SDI中的每p个片段是每个p个连续伪SDI的集合中的对应片段的完全集的一部分。伪SDI可以不满足如上所述列出的SDI定义的第4个属性，这是因为SDI中的图片总数除以SDI中的片段数可以不等于整数。

另外，关于音频，通常音频是被与视频有偏移地发送的，这是因为视频通常具有长得多的延迟。在一个实施例中，音频被与每个连续SDI的最旧片段(例如，其最先被显示)相关联。即，由于最旧片段最先到期用于解码和呈现，所以其表示与当前呈现时间最接近的流。音频参考相同的公共PCR。在接收侧，存在被安排用于与DTS-PCR相对应的解码和呈现的第一压缩图片，并且当第一图片的PTS到来时，音频相当于让该PTS以使得当PTS在那儿时到期输出的音频就在那儿的方式被排序。

可以构想到以上的变形在所公开实施例的范围内。例如，可以实现比4个更少的PLVR，诸如3个PLVR，其中仅最旧的PLVR 302(在图3A中)包含I图片并且其它3个PLVR 304、306和308都不包含I图片。作为另一示例，可以采用3个PLVR，其中I图片被发送但不是在第4个PLVR上。

单个视频表示中的完整B图片具有压缩更高效的益处，并且作为最不重要的图片，不需要和通过给定间隔传播信息的其它图片那样受那么多的差错保护。因此，在一个实施例中，输入视频信号中的被指定为压缩形式的非参考图片的图片中的一个或多个(在一个实施例中，所有)图片不被网格化为多个LVR，而输入视频信号中的被指定为参考图片的图片被网格化为多个LVR。在这样的实施例中，视频流中的每个连续SDI具有多个片段或者(p+nrs)个片段，其中p大于1并且等于包含压缩网格化图片的片段，并且nrs大于或等于1并且等于包含具有输入视频信号的全图片分辨率的压缩非参考图片的片段。视频流的连续不重叠SDI中的片段中的一个或多个片段(即p个片段)中的压缩图片包含处理后的网格化图片，这些处理后的网格化图片具有比输入视频信号的图片的分辨率小的图片分辨率，而其它一个或多个片段(即nrs个片段)包含处理后的图片，这些处理后的图片是非参考图片并且具有与输入视频信号的图片的分辨率相等的图片分辨率。SDI中的nrs个片段的至少一个片段中的压缩非参考图片存在对一个或多个压缩参考图片的依赖性，这一个或多个压缩参考图片中的每一个意欲通过对压缩形式的p个对应网格化图片的完全集(以下进一步说明)的各个解压缩版本的合成而具有全图片分辨率，并且对于这一个或多个压缩参考图片，这p个压缩网格化图片中的每一个压缩网格化图片与相应的p个片段的压缩网格化图片被包括在相同的SDI中。

现在关注图5，其辅助图示出可被采用来提供分辨率可伸缩性(scalability)或差错隐藏的各种方案。示出一GOP，其包括编码器20(按图片之间的关系)以8x∶4x∶1x比率(例如，I＝8x、P＝4x并且B＝Ix)以相应图片的比特数进行的目标拨付，该8x∶4x∶1x比率反映了3个分别的目标的重要性级别。可以构想到的其它比特拨付在本实施例的范围内。编码器20利用给定编码策略被配置，从而编码器20根据向多个图片的每个图片拨付或配置成比例数目的比特(例如8∶4∶1或7∶3∶1等)的编码策略来提供PLVR，每个图片具有相对图片重要性。例如，相同图片类型可以具有不同图片重要性。比特的拨付(比特分配)，在一个实施例中，是基于相对于最不重要图片(例如B图片)的因数或比率的。每个压缩图片的目标大小包括与相对最不重要的图片的目标大小有关的比特数目或数量。

例如，I图片(例如I₁₃，I₂₅等)被利用8X示出来象征性地表示相对于最不重要的图片(例如B图片，诸如B₁₂)被拨付了更多比特的压缩图片。并且，P类型图片(例如P₁₆)被利用其中的4X示出来象征性地表示：比I图片少但比B图片多的比特被拨付给这样的图片。此外，GOP被示出各自具有12个图片，其中，4个片段的对应输出呈现时间在此示例中集总地表示0.5秒视频(即输出图片时间)。示例GOP(片段)具有如下序列：I、B、B、P、B、B、P、B、B、P、B、B，随后为具有相同排序的图片序列的下一片段。如上所述，每个片段表示相同的分辨率数量(例如1/4分辨率)，其中4个PLVR的组合被解码成它们的预期全图片分辨率，并且相同DTS值对应于4个对应片段的每个相应I图片。

编码器20的速率控制机制具有针对比特率的目标数字，以及编码策略，诸如将要压缩的合适比特数目、宏块级或逐图片的量化值调节等等。在MPEG-2中，存在三种图片类型，但是在AVC(ISO/IEC 14496：部分10)中，存在不是由图片(或切片)类型反映的更多重要性级别(例如，4、5、6等)。因此对于给定图片节奏或图片重复样式(例如每5个图片)，存在越来越复杂的相互依赖性(例如，在HD中可以具有多达四(4)个参考图片，在SD中具有多达六(6)个参考图片的图片)。另外，如果图片大小被减小，则可能存在更多数目的参考图片(例如1280x720P-60可以具有多达九(9)个参考图片——与1920x1088具有相同存储量)。参考图6A，其示出一示例GOP，其(按照显示次序)包括具有上述相互依赖性的I₁、B₂、B₃、B₄、P₅、B₆、B₇、B₈、P₉等等。在另一示例中，诸如图6B中所示的示例，示出示例GOP，其具有以下序列(上述相互依赖性)：I，B、B、B、B、B、B、B、P……P，其中与图6A的GOP相比，添加了另一B。因此，存在不同类型的比例，并且因此编码器20拨付所定义数目的比特。另外，存在不同的层次结构，诸如图6C中所示。回顾示例GOP，图片在GOP中越“古老”(grandparent)(即，来自那个图片的越多信息通过GOP传播)，则对那个图片施加越少的量化。换而言之，图片越重要，其压缩形式中有可能具有越多比特。在图6A中示出的示例GOP中，每隔一个图片(B₂、B₄等)是非参考(可丢弃)图片。在又一变形例中，诸如图6B中所示的变形例，I和B图片之间的所有3个B图片都是可丢弃的。从这些示例GOP显而易见的是，尽管可以存在类似的图片类型，但是比特比例是根据所传播的信息的层次结构的——例如可丢弃的图片是可忽略的，并且I图片可以具有更高数目的比特。因此，在一些实施例中，最不重要的图片，其可以是非参考图片，可以不是作为网格化图片而是以全图片分辨率在单个PLVR中被携带。

进一步说明，如果一个图片用作其它图片的参考图片，则可以认为它比其它图片更重要。实际上，可以基于图片类型、对于每个参考图片的依赖图片的总数、对于每个参考图片的依赖级别的数目以及其它因素，以重要性的层次结构来考察特定图片集合。I图片不依赖(即参考)其它图片。即时解码更新图片或IDR图片是这样的I图片，其强制使得仍然用作参考图片的所有先前解码的图片在IDR图片的解码之后不再用作参考图片。

用作其它类型的图片的参考图片的任意图片在本公开中称为不可丢弃图片，其中不用做任意其它图片的参考图片的图片是可丢弃图片。B图片从至少两个先前解码的参考图片中帧间预测(inter-predict)图片的一些部分。P图片允许图片的一些部分被从先前解码的参考图片中帧间预测出。例如，P图片的第一部分可以依赖于一个先前解码的参考图片，并且同一P图片的另一部分可以依赖于不同参考图片。

本领域技术人员应当明白一些图片将用作许多图片的参考图片。换而言之，许多不同图片可以依赖于同一参考图片。例如，任意特定I图片通常用作许多B图片和P图片的参考图片。

锚点图片(anchor picture)可以是I图片、IDR图片或特殊类型的FPP(前向预测图片)，其中FPP仅依赖于作为最近解码的锚点图片的单个参考图片。

在参考图片的上下文中，术语“依赖”或“依赖性”通常是指直接依赖性。以下是间接依赖性的示例。假定图片R1用作图片R2的参考，并且R2用作图片R3的参考。则R3间接地依赖于R1。本领域技术人员还应当认识到R3直接依赖于R2并且R2直接依赖于R1。

涉及图片的相对重要性的重要性标准可以使用以下的一个或任意组合的多个：

●图片类型：IDR、I、P或者B。

●参考或非参考图片。如上所述，非参考图片是可丢弃图片。

●参考图片的类型(例如，过去的、将来的或者双向参考的)。

●直接依赖于参考图片的图片的数目N。

●经由间接依赖性的信息传播的级别。

●其用作参考图片的期限(longevity)。

●信息传播的期限。

●根据用于携带AVC流的修改后的MPEG-2系统标准，在随机访问点(RAP)之后的第一图片。

●压缩图片的大小(比特数)。

●从图片的解码时间到其输出时间的延迟量。

AVC帧内图片或I图片不参考其它图片，但是通常被其它图片参考。与MPEG-2视频不同，AVC中的帧内压缩允许从正被压缩的图片的其它部分的解压缩版本来预测同一图片的区域。AVC“即时解码更新”图片或IDR图片是这样的I图片，其强制使得正被用作参考图片的所有先前解压缩的图片在IDR图片的解压缩之后不再被用作参考图片。允许AVC中的P图片和B图片包含帧内压缩后的部分。与在MPEG-2视频中一样，AVC中的P图片和B图片允许从“先前解压缩的”参考图片中帧间预测出图片的任何部分或有可能所有部分。此外，与MPEG-2视频类似，对AVC中P图片的任意部分的帧间预测被限制为一次使用最多一个参考图片。然而，与MPEG-2视频相对照，允许AVC P图片的每个不同的帧间预测部分从若干不同参考图片的任意一个中被预测出。与MPEG-2视频类似，对AVC中的B图片的任意部分的帧间预测被限制为使用最多两个参考图片。但是，尽管MPEG-2视频对于所有B图片都使用最多两个参考图片，然而在AVC B图片的每个不同的帧间预测部分上，允许使用若干不同参考图片的任意参考图片。

因此，AVC标准通过允许从多个不同参考图片(例如16个参考图片)中的“至多一个”任意参考图片中预测P图片的每个不同帧间预测部分来指定P图片。与MPEG-2视频标准或将帧间预测进一步限制为参考一个“预定的”过去参考图片的其他视频压缩规范不同，在AVC中没有这样的限制。例如，AVC P图片的第一部分可以依赖于一个参考图片并且另一部分可以依赖于不同参考图片。实际上，由AVC P图片的第一部分参考的图片可以是过去参考图片，并且第二部分可以依赖于将来参考图片。作为AVC中所允许的精致和复杂的图片相互依赖性的另一示例，第一AVCP图片可以依赖于4个将来参考图片，第二AVC P图片可以依赖于3个过去参考图片，并且第三AVC P图片可以依赖于两者，即多个过去参考图片和多个将来参考图片。

AVC标准还与MPEG-2视频标准不同地指定B图片。MPEG-2视频将B图片指定为双向图片，允许利用不多于两个参考图片的依赖性来压缩图片的任意部分，一个参考图片是“预定的”将来参考图片，并且另一个是“预定的”过去参考图片。相同的两个参考图片或它们中的任一者必需被用作用于预测B图片的任意部分的参考图片。另一方面，AVC B图片可以依赖于多个参考图片，例如多达16个参考图片，只要B图片的任意图片通过多个参考图片中的最多两个区域被预测即可。当B图片的区域通过两个区域被预测时，称其是被双预测(bi-predicted)出而不是双向预测出的。此外，与MPEG-2视频对照，允许AVC B图片被其它P图片或B图片用作参考图片。

在描述图片类型和图片重要性中暂时离开了主题，在若干差错可复原性场景的上下文中，再次关注图5。在一个场景中，如果在与特定处理后的网格化视频表示相对应的第一片段内存在差错，并且这样的差错发生在片段的中间，则I₁₃可以在差错发生的情况下一直被显示，并且最后的图片被重复直到到达I₂₅为止，在那儿处理可以正常继续。

在另一场景中，如果在I₁₃中发生损害，并且希望提供全分辨率(全部4个片段)，则在下一SDI开始之前存在延迟(对应于最旧的间隔)。在图5中示出的该示例中，延迟开始(对于4个片段假定1/2秒的输出图片时间则为大约1/2秒的输出图片时间延迟)。然而，如果延迟大得多(例如五(5)秒的输出图片时间)，则差错更明显。在一个实施例中，一种解决方案可以是提早地处理并重复输出图片直到时间基(其是实际的DTS并且是现在当前)到达为止，从而允许某一图片保真度级别的重放的开始，诸如具有真实的部分图片分辨率的输出图片。

(例如，在信道改变操作时)用于降低延迟的另一种方法是修改与最旧的PLVR(或每个SDI中的第一片段)相对应的间隔或GOP。在一个实施例中，最旧的片段的间隔或最旧的GOP(其对应于图3A中的PLVR SE302)被划分为二，如图5中所示(例如前半部分502和后半部分504，每一个具有其它PLVR中的12图片GOP的6个图片，并且每半部分具有定义数量的输出图片跨度)，并且如果后半部分504可以在其到期(在其DTS)之前被提供，则后半部分504可以插在第二片段508之后或其它地方(在第二片段中间)。

一种用于提高差错可复原性的方法是将给定片段中的I图片的频率增大为在最旧的片段中出现多于一次，因此如果第一I图片丢失，则处理可以在那个片段中的下一个I图片开始。注意，在图5中假定并表示了每种类型的编码图片的比特关系或比例(例如，I图片被拨付比P图片更多数目的比特(两倍数量)，并且P图片是B图片的4倍那么“肥”)。因此，存在图片间的比特分配中的比例。为了最小化信道改变时间(或如果正在写并且不是突发)，或为了最小化差错的影响，一种方法(图5中所示)是将后半部分504中的P图片(P₁₉)提升为I图片。通过这样做，针对给定图片的比特拨付从4x(相对于B图片)变为8x(相对于B图片)。结合该提升，需要恢复4x。一种恢复4x的机制是执行I图片的互逆(reciprocal)(例如将来自与其它3个处理后的网格化视频表示相对应的其它片段之一的8x降级为4x)。例如，I₄₉可以被降级为P类型图片。在一些实施例中，提升可以不是抵消(offset)(以比特率为代价或在一些实施例中同时维持比特率)。

降级不限于特定PLVR，但是提升一般在最旧的(例如SE)片段中实现并且降级在与其它PLVR对应的其它片段(例如NE、NW、SW)的一个或多个中或根据传输信道特性被实现。在一个实施例中，降级可以被实现为在其它3个(不是最旧的)片段间循环，或者在一些实施例中，循环可以在所有4个片段间进行。此外，尽管在与4个PLVR相对应的片段的上下文中进行了描述，但是也可以构想到PLVR的数目和/或GOP或间隔长度的变形。一般，存在：最旧PLVR中的具有第二最高重要性级别的K个图片(诸如MPEG-2视频中的P类型图片)提升为I图片，其中p是PLVR的数目(在本示例中例如为4)并且其中K＝p-2。另外，还存在最旧的片段如何被划分来提供p-2的关系。例如，一种方法是以相等的片段划分，如果存在四(4)个P类型图片，则这工作良好(因为一种方法可以是提升第二和第三P图片)。然而，在3个P图片的情况中，可能基于给定关系选择两个是恰当的。注意，在一个或多个实施例中，多个PLVR的存在使得提升和降级能够被实现。在一些实施例中，可以构想到不同的布置。例如，图5示出将最旧片段划分为1/2来作为一个示例。然而，在一些实施例中，片段可以被划分成其它部分，诸如1/3。此外，图5反映了每1/4地维护发送次序来作为一个示例实现方式。然而，在一些实施例中，可以构想到发送次序的变形，其中将最旧的PLVR划分成均匀片段。例如，鉴于上述变形，一种示例方法可以是按照重要性次序的发送次序(例如，“最新的”→“最旧的/3”→“第二最新的”→“最旧的/3”→“第二最旧的”→“最旧的/3”)。换而言之，对于某些实施例可以构想到划分和/或(例如发送次序的)重排序的变形，其中可以产生的某些益处包括快速开始益处和/或差错可复原性的保留或提高。

注意，在此所描述的一些实施例在多个PLVR之间维持1∶1的图片重要性对应关系，而其他实施例不这样做。例如，在一些提升/降级实施例中，诸如在与较新的处理后的网格化视频表示相对应的片段中，提供I图片的频率可以较低(即便仍然维持时间相关、相同数目的图片)，以便降低比特率或取回它。这样的实施例除了管理比特率以外，还维护图片的时间和数目的相互关系。因此，依赖于初始缓冲延迟的程度，提升和/或降级可以分布在片段之间，只要不违背DTS/PTS关系即可。

在一些实施例中，提升和降级操作导致来自被不同地编码或具有不同图片类型的PLVR的对应片段的图片的组合。例如，1/4的处理后的I网格化图片可以与来自另一PLVR的处理后的P网格化图片组合，导致不同级别或图片类型的组合。作为另一示例，可以允许来自PLVR的一个片段的B或P图片参考来自另一PLVR的片段的锚点图片，诸如当该PLVR不是独立的PLVR时。

图7的框图概念性地示出在PLVR的上下文中，编码器20(以及接收机14处的解码器34)的解码回路中的残差如何被处理。在一种实现方式(图7中未示出)中，并且使用4个PLVR示例但不限于4个PLVR，假定1/4分辨率参考网格化图片(例如I)或另一锚点图片。在解码全分辨率P或B图片时，其中P或B图片依赖于被扩增以用于重建的1/4分辨率I网格化图片(或其他锚点或参考网格化图片)，残差的相加(即全分辨率残差加上1/4分辨率锚点网格化图片)可以表示一种方法。在图7中示出的改进的实现方式中，1/4大小的参考网格化图片702在四等分的残差704被相加之前不被扩增。即，全残差被四等分(1/4分辨率残差704)，与参考图片702相加，然后被扩增706。不论参考图片是1/4分辨率、1/2分辨率还是3/4分辨率，只要残差被相应地缩放，后一实现方式都可工作。在一些实施例中，针对PLVR的至少一个PLVR的残差图片不是被网格化的(或分数的图片分辨率)。例如，如果存在影响参考图片的至少一部分的丢失，则相对于那个受影响的参考图片的随后残差是全分辨率的，使得能够从预期视觉数据进行重建。然而，参考图片包括分数分辨率，所以不是扩增分数分辨率参考图片并随后尝试匹配残差的加和，而是残差被缩减(downscale)、相加被执行，随后结果被扩增。在这两种方法中，在分辨率方面的结果近似相同，但是在视觉上，可以预见向部分分辨率锚点添加全分辨率残差无论如何会有差错，需要更多的计算成本。因此，在一个实施例中，一种方法实施例包括利用参考数据以其给定分辨率开始，相应地调节残差，随后缩放加和。

在接收机14、30处，在一个实施例中，不同的比特缓冲器管理策略基于缓冲器结构被实现(例如，如上所述处理后的网格化视频表示的每个分别片段有分离的比特缓冲器，或在一些实施例中，单个比特缓冲器用于与集合的PLVR相对应的片段)。比特缓冲器管理策略包括对DTS的依赖性、恒定比特率考虑、下溢等等。例如，在每个分别的处理后的网格化视频表示利用一个比特缓冲器的一个实施例中，一个比特缓冲器管理策略是允许该比特缓冲器到达零(快速排尽)以使能快速信道改变实现。即，如果比特缓冲器被允许到达零，则1/4大小图片使能初始缓冲延迟的四等分，但这不是唯一途径。在一些实施例中，发送机12(例如编码器20)可以提供有关缓冲规则的辅助信息，诸如所允许的缓冲器大小等等。

在一些实施例中，接收机被配置为提供图形用户界面(GUI)，图形用户界面向订户提供用来配置如下方式的选项，该方式是采用快速信道改变以及保真度和延迟之间的平衡的方式。例如，图8是可以经由用户设置菜单或其他配置画面调用的信道改变配置设置GUI 80(在此简称为GUI80)的屏幕示图。如图所示，GUI 80包括可以在屏幕上选择的若干选项(例如通过使用计算机技术中的运动图标、触摸屏或用该屏幕上的符号图标显示的代表性选择，诸如“A”、“B”或“C”或其它字母数字)，该屏幕画面暗示或建议订户在远程设备或直接在终端(电视、机顶盒、手持式通信设备等)上选择对应的按钮，使得用户能够激活给定选项。例如，所显示的选项包括使得订户能够等待更少并且以较低保真度迅速上升(ramp up)82，或者等待更长并且以全高保真度开始84。更多选项按钮图标86可被订户选择，导致调用并随后显示如图9中所示的第二菜单90。这样的选项可以结合信道改变GUI 80中的选择之一来实现，并且包括用于显示冻结图像92、低分辨率全运动图像94、全运动全分辨率图像96以及缓慢上升到显示速率的低分辨率慢运动图像98的选项。

注意，这4个PLVR在一个实施例中是可独立地解码的。在B图片被移交(relegate)给单个PLVR的实施例中，则所有PLVR中的独立解码是不可用的。

当与PLVR相对应的片段在接收设备(例如接收机14)处被接收并被缓冲时，多个解码策略中的一个可以被实现。例如，在调谐到包含这些片段的给定信道时，与SE PLVR相对应的片段在与其它3个网格化视频表示相对应的片段之前驻留在比特缓冲器中，并且因此一种策略应当是立即开始解码，所产生的重建图片的显示序列具有1/4分辨率(这是因为仅与SE PLVR相对应的片段已被缓冲)。解码之前的连续延迟间隔产生增大的分辨率(例如，如果来自SE和SW片段的图片被使用，则为1/2分辨率，如果对应于SE、SW和NE片段的图片被使用，则为3/4分辨率，并且如果解码被延迟直到所有对应片段都已经被缓冲为止，则为全分辨率)。分辨率的渐变是否可被观看者辨识的程度依赖于延迟间隔。例如，间隔越长，对由差错引起的丢失的容限越大，但是到全分辨率的启动等待时间越大。用于实现有关PLVR的片段的解码的一些示例策略包括以上暗示的阶段，即在其间渐变的1/4分辨率的冻结图像、全运动分辨率、和全运动全分辨率。

在一些实施例中，单个视频信号的多个处理后的表示作为单个视频流被递送。本领域普通技术人员在本公开的上下文中应当理解，在一些实施例中，这多个处理后的表示作为MPEG-2节目的多个多路复用流被递送。例如，在视频流的上下文中，NE流可以作为一个视频流被递送，NW流可以作为另一视频流被递送，等等。作为另一示例，视频节目的多个处理后的表示可以根据多个不同的流类型(利用不同PID)被递送，或在一些实施例中，如上所述作为单个流类型(利用单个PID)被递送。

可以构想到各种实施例在本公开的范围内。例如，第一方法，包括：接收单个视频流，其中该视频流包括单个视频信号的多个处理后的表示，其中该视频信号的多个处理后的表示(PPROTVS)中的每一个处理后的表示包括相应的压缩网格化图片的序列，其中PPROTVS中的每个处理后的表示的每个压缩网格化图片表示该视频信号的对应的分别图片，其中该视频信号的每个分别图片通过来自PPROTVS的每个处理后的表示的最多一个压缩网格化图片来表示，其中PPROTVS的对应片段相对于彼此被排序并被时间偏移来辅助差错隐藏，通过在各个对应片段之间散置非对应片段来施加时间偏移；以及在接收的视频流上提供差错隐藏。与第一方法的特征一起可以单独地或组合地包括以下特征的一个或多个，包括(a)其中排序基于传输信道的预定数据丢失间隔的大小、预定数据丢失间隔的时间量或二者的组合；(b)其中数据丢失间隔包括其间视频流中的数据展现出差错、被丢失、被损坏或不可用的时间间隔；(c)其中接收包括在第一连续多个不重叠片段分布间隔(SDI)的每一个SDI内接收对应片段的第一完全集的不多于一个的片段以及非对应片段中的一个或多个非对应片段，第一完全集的接收发生在连续持续的SDI的最小集上；(d)其中，响应于在SDI中的第一片段内的差错，大约从该片段内的该差错发生的相应位置处开始重复显示最旧片段的第一压缩网格化图片的解压缩版本，并且在与刚好在差错发生的位置之前的最后图片相对应的位置处结束，并且还包括重复显示最后的压缩网格化图片的解压缩版本直到下一连续SDI的解码开始为止，最旧片段对应于每个SDI中具有更早图片输出跨度的片段中的相应压缩网格化图片；(e)其中，响应于该SDI中的最旧片段的第一压缩网格化图片的差错，延迟解码直到下一连续SDI中的最旧片段的第一压缩网格化图片开始解码为止，该最旧片段对应于每个SDI中具有更早图片输出跨度的片段的相应压缩网格化图片；或者(f)其中，接收包括接收每个SDI中的最旧片段中的多于一个的压缩帧内编码网格化图片，以使得对第一压缩帧内编码网格化图片的损害导致解码在下一相继的压缩帧内编码网格化图片处开始，最旧片段对应于每个SDI中具有更早图片输出跨度的片段中的相应压缩网格化图片。

作为另一示例实施例，第一系统，包括：存储器，具有可执行指令；以及一个或多个处理器，被配置来执行所述指令，所述指令使得所述一个或多个处理器：接收视频流，其中该视频流包括单个视频信号的多个处理后的表示，其中该视频信号的多个处理后的表示(PPROTVS)中的每一个处理后的表示包括相应的压缩网格化图片的序列，其中PPROTVS的每个处理后的表示的每个压缩网格化图片表示该视频信号的对应的相应图片，其中该视频信号的每个相应图片通过来自PPROTVS的每个处理后的表示的最多一个压缩网格化图片来表示，其中PPROTVS的对应片段被相对于彼此排序和被时间偏移来辅助差错隐藏，时间偏移通过在各个对应片段之间散置非对应片段来施加；以及在接收的视频流上提供差错隐藏。与第一系统的特征一起，可以单独地或组合地包括以下特征的一个或多个，所述特征包括：(a)其中，这一个或多个处理器还被配置来基于传输信道的预定数据丢失间隔的大小、预定数据丢失间隔的时间量或二者的组合来对片段进行排序；(b)其中数据丢失间隔包括其间视频流中的数据展现出差错、被丢失、被损坏或不可用的时间间隔；(c)其中，这一个或多个处理器还被配置来其中在第一连续多个不重叠片段分布间隔(SDI)的每一个SDI内接收对应片段的第一完全集的不多于一个的片段以及非对应片段中的一个或多个非对应片段，第一完全集的接收发生在连续持续的SDI的最小集上；(d)其中，响应于在SDI中的第一片段内的差错，这一个或多个处理器还被配置来，大约从该片段内的该差错发生的相应位置处开始，在显示设备上重复显示最旧片段的第一压缩网格化图片的解压缩版本，并且在与刚好在差错发生的位置之前的最后图片相对应的位置处结束，并且还重复输出最后的压缩网格化图片的解压缩版本以用于在显示设备上显示，直到下一连续SDI的解码开始为止，最旧片段对应于每个SDI中具有更早图片输出跨度的片段中的相应压缩网格化图片；(e)其中，响应于该SDI中的最旧片段的第一压缩网格化图片的差错，这一个或多个处理器还被配置来，延迟解码直到下一连续SDI中的最旧片段的第一压缩网格化图片开始解码为止，该最旧片段对应于每个SDI中具有更早图片输出跨度的片段的相应压缩网格化图片；(f)其中，这一个或多个处理器还被配置来接收每个SDI中的最旧片段中的多于一个的压缩帧内编码网格化图片，以使得对第一压缩帧内编码网格化图片的损害导致解码在下一连续的压缩帧内编码网格化图片处开始，最旧片段对应于每个SDI中具有更早图片输出跨度的片段中的相应压缩网格化图片；(g)其中，响应于压缩网格化图片展现出一个或多个局部图片损害，这一个或多个处理器还被配置来扩增单个解码后的未被损害的网格化图片的一个或多个部分来补偿被损害的压缩网格化图片中的各个在空间上对应的被损害部分；(h)其中，对于p个对应片段，其中p等于PPROTVS的数目，这一个或多个处理器还被配置来扩增(p-1)个未受损害的对应的压缩网格化图片的解码版本来补偿对应的第p个压缩网格化图片中的一个或多个损害；(i)其中，对于p个对应片段，其中p等于PPROTVS的数目，并且其中响应于接收的视频流中的两个对应的压缩网格化图片展现出损害，这一个或多个处理器还被配置来，分别扩增(p-2)个对应的解码的网格化图片中的一个或多个图片来补偿损害；或者(j)其中，对于等于PPROTVS的数目的p，p个接收的PPROTVS中的每一个处理后的表示中的相应第k个压缩网格化图片是对应的压缩网格化图片，并且其中p个对应的第k个压缩网格化图片的相对时间次序由这一个或多个处理器从接收的辅助信息中确定，其中这p个对应的第k个压缩网格化图片的解码版本的空间关系由这一个或多个处理器从相同的接收的辅助信息中确定。

作为另一示例实施例，第二解码方法，包括：接收视频信号的多个表示，该视频信号包括与视频节目的至少一部分相对应的多个按序排列的图片，其中该视频信号的多个表示(PROTVS)中的两个或更多个表示包括相应的网格化图片的序列，并且其它PROTVS中的一个或多个表示包括相应的未网格化图片的序列；以及在单个视频流中，在多个连续的不重叠片段分布间隔(SDI)中提供PROTVS的压缩版本，其中每个SDI由多个不重叠的连续片段组成，这多个不重叠的连续片段的每一个片段源自集总PROTVS中的相应一个表示。与第二方法的特征一起可以单独地或组合地包括以下一个或多个特征，所述特征包括：(a)其中，其它PROTVS中的一个或多个表示包括该视频信号的被指定为压缩形式的非参考图片的多个按序排列的图片的一部分；(b)其中其它PROTVS中的一个或多个表示的未网格化图片具有与该视频信号的对应图片相等的图片分辨率；(c)其中PROTVS的两个或更多个表示各自包括该视频信号的多个按序排列的图片中各自的对应部分的网格化视频表示；(d)其中，PROTVS的两个或更多个表示的网格化图片具有比该视频信号的对应图片小的图片分辨率；(e)其中，提供还包括压缩PROTVS的图片，将压缩图片分段，以及在每个SDI内和多个SDI间对片段排序；或者(f)其中，在多个SDI中的至少一个SDI内，与多个片段中的至少一个片段相对应的压缩未网格化图片依赖于与多个片段中的至少一个片段相对应的一个或多个压缩的参考网格化图片。

作为另一示例实施例，第三方法，包括：接收单个视频流，其中该视频流包括单个视频信号的多个处理后的表示，其中该视频信号的多个处理后的表示(PPROTVS)中的两个或更多个处理后的表示包括相应的处理后网格化图片的序列并且其它PPROTVS的一个或多个处理后的表示包括相应的处理后未网格化图片的序列，其中PPROTVS的每一个处理后的表示在多个连续不重叠的片段分布间隔(SDI)中被接收，其中每个SDI由多个不重叠的连续片段组成，这多个不重叠的连续片段中的每一个片段都源自PPROTVS中的相应一个表示；以及提供接收的PPROTVS的重建版本以用于随后的显示。与第二系统的特征一起可以单独地或组合地包括以下特征中的一个或多个，所述特征包括：(a)其中，其它PPROTVS中的一个或多个表示包括压缩的非参考图片；(b)其中，其它PPROTVS中的一个或多个表示的处理后未网格化图片具有在重建形式中与该视频信号的对应图片相等的图片分辨率；(c)其中，PPROTVS中的两个或更多个表示各自包括该视频信号的多个按序排列的图片的各自的对应部分的处理后网格化视频表示；(d)其中，PPROTVS的两个或更多个表示的处理后网格化图片具有在重建形式中比该视频信号的对应图片更小的图片分辨率；(e)其中，提供还包括对PPROTVS的处理后的图片解压缩，在适当时对解压缩图片去网格化，以及将去网格化后的图片输出给显示设备；或者(f)其中，在这多个SDI的至少一个SDI内，与这多个片段的至少一个片段相对应的处理后的未网格化图片依赖于与这多个片段的至少一个片段相对应的一个或多个压缩参考网格化图片。

作为另一示例实施例，第二系统，包括：储存器，具有可执行指令；以及一个或多个处理器，被配置来执行指令，这些指令使得这一个或多个处理器：接收视频信号的多个表示，该视频信号包括与视频节目的至少一部分相对应的多个按序排列的图片，其中该视频信号的多个表示(PROTVS)中的两个或更多个表示包括相应的网格化图片的序列，并且其它PROTVS中的一个或多个表示包括相应的未网格化图片的序列；以及在视频流中，在多个连续的不重叠片段分布间隔(SDI)中提供的PROTVS的压缩版本，其中每个SDI由多个不重叠的连续片段组成，这多个不重叠的连续片段的每一个片段源自集总PROTVS中的相应一个表示。与第三系统的特征一起可以单独地或组合地包括以下一个或多个特征，所述特征包括：(a)其中，其它PROTVS中的一个或多个表示包括该视频信号的被指定为压缩形式的非参考图片的多个按序排列的图片的一部分；(b)其中其它PROTVS中的一个或多个表示的未网格化图片具有与该视频信号的对应图片相等的图片分辨率；(c)其中PROTVS的两个或更多个表示各自包括该视频信号的多个按序排列的图片中各自的对应部分的网格化视频表示；(d)其中，PROTVS的两个或更多个表示的网格化图片具有比该视频信号的对应图片小的图片分辨率；(e)其中这一个或多个处理器还被配置来压缩PROTVS的图片，将压缩图片分段，以及在每个SDI内和多个SDI间对片段排序。

作为另一示例实施例，第四方法，包括：接收单个视频信号的多个表示，其中这多个表示中的每个表示包括相应的网格化图片的序列，其中这多个表示中的每个表示的每个网格化图片都源自该视频信号的对应的各个图片，其中该视频信号的多个表示中的每个表示中的连续图片的次序对应于该视频信号中的连续图片的次序；处理这多个表示；将处理后的多个表示分离成多个片段，每个片段由来自处理后的多个表示中的一个处理后的表示的相应的处理后网格化图片的序列组成；按照第一时间次序和第二时间次序来在连续片段分布间隔(SDI)中排列这多个片段，这些连续SDI在视频流中被提供；以及在这多个片段中的一个或多个片段中提升处理后的网格化图片中的一个或多个处理后的网格化图片，该提升对应于图片重要性的增大。与第四方法的特征一起可以单独地或组合地包括以下特征中的一个或多个，这些特征包括：(a)其中，每个SDI中的多个片段中的一个片段包括最旧片段，最旧片段包括跟随在该最旧片段的第一部分之后的处理后的网格化图片的第二部分，其中该提升包括将该第二部分中的至少一个处理后的网格化图片从第一相对图片重要性提升为第二相对图片重要性；(b)其中，这至少一个处理后的网格化图片的提升包括相对于针对具有最少图片重要性的网格化图片的确定比特拨付，将针对这至少一个处理后的网格化图片的比特拨付增大定义的比特数量；(c)还包括降级这多个片段的片段中的至少一个片段的处理后的网格化图片中的至少一个处理后的网格化图片，该降级对应于被降级的网格化图片的相对图片重要性的减小；(d)其中降级包括将针对处理后的网格化图片中的这至少一个处理后的网格化图片的比特拨付减小定义量；(e)其中，对用于降级的处理后的网格化图片中的至少一个网格化图片的选择基于传输信道特性；(f)其中对这处理后的网格化图片中的至少一个网格化图片的选择基于所有不是最旧的片段之间的循环；(g)其中对这处理后的网格化图片中的一个处理后的网格化图片的选择基于最旧片段和不是最旧的片段之间的循环；或者(h)其中第一时间次序指定连续SDI的每个SDI中所包括的一个或多个片段之间的时间关系，并且其中第二时间次序指定每个p个对应片段的集合在每个p个连续SDI的集合上的次序，p个连续SDI的集合要在视频流中被提供，其中对应片段包括源自该视频信号的相同图片的处理后的网格化图片，并且其中，p是大于1的整数。

作为另一示例实施例，第五方法包括：接收单个视频信号的多个表示，其中这多个表示的每个表示包括相应的网格化图片的序列，其中这多个表示中的每个表示中的每个网格化图片都源自该视频信号的对应的各个图片，其中该视频信号的多个表示的每个表示中的连续图片的次序对应于该视频信号中的连续图片的次序；处理这多个表示；将处理后的多个表示分离成多个片段，每个片段由来自处理后的多个表示中的一个处理后的表示的相应的处理后的网格化图片的序列组成；按照第一时间次序和第二时间次序来在连续片段分布间隔(SDI)中排列这多个片段；以及修改SDI中的一个或多个SDI的最旧片段的长度。与第五方法的特征一起可以单独地或组合地包括以下特征中的一个或多个，这些特征包括：(a)其中修改包括将第一SDI的最旧片段逻辑地划分到其后跟随第一部分的第二部分中并且在第一SDI的下一最旧片段中提供该第二部分；(b)其中修改包括将第一SDI的最旧片段逻辑地划分到其后跟随第一部分的第二部分中并且在第一SDI的下一最旧片段完成之后提供该第二部分；(c)其中修改是响应于信道改变请求的接收的；或者(d)其中第一时间次序指定连续SDI中的每个SDI中所包括的一个或多个片段之间的时间关系，并且其中第二时间次序指定每个p个对应片段的集合在每个p个连续SDI的集合上的次序，p个连续SDI的集合在视频流中被提供，其中对应片段包括源自该视频信号的相同图片的处理后的网格化图片，并且其中，p是大于1的整数。

作为另一示例实施例，第三系统，包括存储器，具有可执行指令；和一个或多个处理器，被配置来执行指令，指令使得这一个或多个处理器：接收单个视频信号的多个表示，其中这多个表示中的每个表示包括相应的网格化图片的序列，其中这多个表示中的每个表示的每个网格化图片都源自该视频信号的对应的各个图片，其中该视频信号的多个表示中的每个表示中的连续图片的次序对应于该视频信号中的连续图片的次序；处理这多个表示；将处理后的多个表示分离成多个片段，每个片段由来自处理后的多个表示中的一个处理后的表示的相应的处理后的网格化图片的序列组成；按照第一时间次序和第二时间次序来在连续片段分布间隔(SDI)中排列这多个片段，这些连续SDI在视频流中被提供；以及在这多个片段中的一个或多个片段中提升处理后的网格化图片中的一个或多个处理后的网格化图片，该提升对应于图片重要性的增大。与第三系统的特征一起可以单独地或组合地包括以下特征中的一个或多个，这些特征包括：(a)其中，每个SDI中的多个片段中的一个片段包括最旧片段，最旧片段包括跟随在该最旧片段的第一部分之后的处理后的网格化图片的第二部分，其中这一个或多个处理器还通过指令被配置来将该第二部分中的至少一个处理后的网格化图片从第一相对图片重要性提升为第二相对图片重要性；(b)其中这一个或多个处理器还通过指令被配置来通过相对于针对具有最少图片重要性的网格化图片的确定比特拨付，将针对这至少一个处理后的网格化图片的比特拨付增大定义的比特数量来进行提升；(c)其中这一个或多个处理器还通过指令被配置来降级这多个片段的片段中的至少一个片段的处理后的网格化图片中的至少一个处理后的网格化图片，该降级对应于被降级的网格化图片的相对图片重要性的减小，其中降级包括将针对处理后的网格化图片中的这至少一个处理后的网格化图片的比特拨付减小定义量；(d)其中这一个或多个处理器还通过指令被配置来修改SDI中的一个或多个SDI的最旧片段的长度，其中修改包括将第一SDI的最旧片段逻辑地划分到其后跟随第一部分的第二部分中并且在第一SDI的下一最旧片段中提供该第二部分；或者(e)其中这一个或多个处理器还通过指令被配置来修改SDI中的一个或多个SDI的最旧片段的长度，其中修改包括将第一SDI的最旧片段逻辑地划分到其后跟随第一部分的第二部分中并且在第一SDI的下一最旧片段完成之后提供该第二部分。

作为另一示例实施例，第六方法，包括：提供单个视频信号的多个表示，该视频信号包括连续图片序列，其中这多个表示中的一个或多个表示包括相应的网格化图片的序列，其中这多个表示中的一个或多个表示中的每个网格化图片都源自该视频信号的对应的相应图片，其中该视频信号的多个表示中的这一个或多个表示中的连续网格化图片的次序对应于该视频信号中的连续图片的次序；基于预定编码策略来处理这多个表示，预定编码策略向多个处理后的网格化图片中的每个处理后的网格化图片锁定适当的相应比特数量，这多个处理后的网格化图片中的每个处理后的网格化图片具有相应图片重要性；以及在单个视频流中，在多个连续不重叠的排序的片段中提供多个处理后的网格化图片。与第六方法的特征一起可以单独地或组合地包括一些特征中的一个或多个，这些特征包括：(a)其中处理还包括基于图片类型来拨付多个处理后的网格化图片的多个片段中的一个以上片段的比特分配；(b)其中排序基于相应片段中的每个片段的大小；(c)其中，该大小基于为多个处理后的网格化图片分配的比特数；(d)其中适当的相应比特数量对于具有与第二处理后的网格化图片不同的相对图片重要性的第一处理后的网格化图片是不同的，该第一和第二处理后的网格化图片具有相同图片类型；(e)其中适当的相应比特数量对于与具有第二处理后的网格化图片不同的相对图片重要性的第一处理后的网格化图片是不同的，该第一处理后的网格化图片具有与第二处理后的网格化图片不同的图片类型；(f)其中适当的相应比特数量对于具有与第二处理后的网格化图片不同的图片类型的第一处理后的网格化图片是不同的；(g)其中提供这多个表示还包括从这多个表示中的每个表示提供对应网格化图片的序列，其中对应网格化图片序列的每个相应网格化图片源自该视频信号的相应图片；(h)其中提供对应网格化图片还包括提供非全等的对应网格化图片，其中对应网格化图片的一个集合的网格化图片中的至少一个网格化图片具有与对应网格化图片的至少另一集合的网格化图片中的一个网格化图片不同的水平图片分辨率或垂直图片分辨率中的一者或多者；(i)其中提供对应网格化图片还包括提供全等对应网格化图片，其中对应网格化图片的所有集合都具有相同图片分辨率；(j)其中各个对应片段中的相对图片重要性中存在1∶1的对应关系；(k)其中各个对应片段中的相对图片重要性中不存在1∶1对应关系；(l)在多个连续不重叠的排序的片段中提供多个处理后的网格化图片还包括在多个连续片段分布间隔(SDI)中对片段排序并提供这些片段，每个片段包括处理后的多个表示的处理后的网格化图片；(m)其中每个SDI的每个片段包含确定数目的处理后的网格化图片，在每个片段中，该确定的数目是相等的，每个片段表示相同的时间持续图片输出跨度；(n)其中分配给每个SDI的每个片段的比特数不相等；(o)其中分配给多个SDI中的第一SDI中的一个或多个片段的处理后的网格化图片的比特数与分配给这多个SDI中的第二SDI中的一个或多个片段的处理后的网格化图片的比特数不同；(p)其中该第一SDI中的一个或多个片段的输出图片跨度与第二SDI中的一个或多个片段的输出图片跨度不同；(q)其中相应比特数量的拨付是基于相对于最不重要的网格化图片的因数的并且其中每个处理后的网格化图片的目标大小包括与具有最小相对重要性的处理后的网格化图片的目标大小有关的比特数目或数量；或者(r)相应比特数量的拨付是基于所传播的信息的层次结构的，范围从该层次结构中与最低分配比特数量相对应的一端处的可丢弃图片到该层次结构中与最高比特数量相对应的另一端处的帧内编码图片。

作为另一示例实施例，第四系统，包括存储器，具有可执行指令；和一个或多个处理器，被配置来执行指令，指令使得这一个或多个处理器：提供单个视频信号的多个表示，该视频信号包括连续图片序列，其中这多个表示中的一个或多个表示包括相应的网格化图片的序列，其中这多个表示中的一个或多个表示中的每个网格化图片都源自该视频信号的对应的相应图片，其中该视频信号的多个表示中的这一个或多个表示中的连续网格化图片的次序对应于该视频信号中的连续图片的次序；基于预定编码策略来处理这多个表示，预定编码策略向多个处理后的网格化图片中的每个处理后的网格化图片锁定适当的相应比特数量，这多个处理后的网格化图片中的每个处理后的网格化图片具有相应图片重要性；以及在视频流中，在多个连续不重叠的排序的片段中提供多个处理后的网格化图片。

另一示例实施例包括第七方法，包括：接收单个视频流，其中该视频流包括视频信号的多个处理后的表示，其中该视频信号的多个处理后的表示(PPROTVS)中的每一个处理后的表示包括相应的处理后网格化图片的序列，其中PPROTVS中的每个处理后的表示的每个处理后网格化图片表示该视频信号的对应的相应图片，其中该视频信号的每个相应图片通过来自PPROTVS的每个处理后的表示的最多一个处理后网格化图片来表示，其中对应片段的完全集包括源自该视频信号的相同图片序列的处理后的网格化图片，对应片段的完全集在预定数目的连续片段分布间隔(SDI)中被接收，每个SDI由非对应片段和该完全集的对应片段中的一个对应片段组成；以及提供与该完全集相对应的重建图片的输出，输出图片包括如下的显示图片保真度，该显示图片保真度从基于上采样或像素复制的部分图片分辨率逐渐增大为无上采样或像素复制的、该视频信号的相应图片的全图片分辨率。与第七方法的特征一起可以单独地或组合地包括一些特征中的一个或多个，这些特征包括：(a)其中对于该视频信号的p个表示，提供还包括在没有上采样或像素复制的情况下不迟于第p个SDI提供全分辨率输出图片；(b)其中对于该视频信号的p个表示，提供还包括立即以1/p的部分图片分辨率提供完全集的输出图片；(c)其中提供还包括对处理后的网格化图片解压缩并对解压缩图片去网格化；(d)其中提供还包括以逐渐增大图片分辨率输出该完全集的去网格化图片并从一个连续SDI向下一SDI减小上采样或像素复制；(e)其中，每个SDI对应于时间连续图片输出跨度，其包括按照该SDI中的所有图片的输出次序的时间跨度；(f)其中对应片段和非对应片段的完全集包括按照顺次发送次序的压缩网格化图片；(g)其中，对于该视频信号的p个表示，提供还包括提供p个图片保真度级别，p个图片保真度级别对应于输出图片的预期全分辨率中从对应处理后的网格化图片的解压缩版本贡献的像素的百分比；(h)其中接收包括接收对应片段，对应片段每一个被非对应片段分隔开；或者(i)还包括使得用户能够选择显示图片保真度、图片保真度增大的方式或二者的组合。

另一示例实施例包括第五系统，包括存储器，具有可执行指令；和一个或多个处理器，被配置来执行指令，指令使得这一个或多个处理器：接收单个视频流，其中该视频流包括视频信号的多个处理后的表示，其中该视频信号的多个处理后的表示(PPROTVS)中的每一个处理后的表示包括相应的处理后网格化图片的序列，其中PPROTVS中的每个处理后的表示的每个处理后网格化图片表示该视频信号的对应的相应图片，其中该视频信号的每个相应图片通过来自PPROTVS的每个处理后的表示的最多一个处理后网格化图片来表示，其中对应片段的完全集包括源自该视频信号的相同图片序列的处理后的网格化图片，对应片段的完全集在预定数目的连续片段分布间隔(SDI)中被接收，每个SDI由非对应片段和该完全集的对应片段中的一个对应片段组成；以及提供与该完全集相对应的重建图片的输出，输出图片包括如下的显示图片保真度，该显示图片保真度从基于上采样或像素复制的部分图片分辨率逐渐增大为无上采样或像素复制的、该视频信号的相应图片的全图片分辨率。与第五系统的特征一起可以单独地或组合地包括一些特征中的一个或多个，这些特征包括：(a)其中对于该视频信号的p个表示，这一个或多个处理器还被配置来在没有上采样或像素复制的情况下不迟于第p个SDI提供全分辨率输出图片；(b)其中对于该视频信号的p个表示，提供还包括立即以1/p的部分图片分辨率提供完全集的输出图片；(c)其中这一个或多个处理器还被配置来对处理后的网格化图片解压缩并对解压缩图片去网格化，其中这一个或多个处理器还被配置来以逐渐增大图片分辨率输出该完全集的去网格化图片并从一个连续SDI向下一SDI减小上采样或像素复制；(d)其中这一个或多个处理器还被配置来按照时间连续图片输出跨度来输出SDI的每个SDI的重建图片，时间连续图片输出跨度包括按照SDI的每个SDI中的所有图片的输出次序的时间跨度；(e)其中这一个或多个处理器还被配置来按照顺次发送次序接收对应片段和非对应片段的完全集的压缩网格化图片；(f)其中，对于该视频信号的p个表示，这一个或多个处理器还被配置来提供p个图片保真度级别，p个图片保真度级别对应于输出图片的预期全分辨率中从对应处理后的网格化图片的解压缩版本贡献的像素的百分比；或者(g)其中这一个或多个处理器还被配置来接收对应片段，对应片段每一个被非对应片段分隔开。

另一示例实施例包括第六系统，包括存储器，具有可执行指令；和处理器，被配置来执行指令，指令使得处理器提供一个或多个图形用户界面(GUI)，GUI向订户提供用来将所希望的接收视频节目的图片保真度配置为提供所希望的图片保真度时的延迟的函数的一个或多个选项。与第六系统的特征一起可以单独地或组合地包括一些特征中的一个或多个，包括其中一个或多个GUI包括显示选项，这些显示选项包括以下选项中的一个或多个：与相对低的延迟和相对低的图片保真度相对应的第一选项，与相对长的延迟和相对高的图片保真度相对应的第二选项，与显示冻结图像相对应的第三选项，与显示低分辨率全运动图像相对应的第四选项，与显示全运动、全分辨率图像相对应的第五选项或与显示缓慢提升到显示速率的低分辨率、低运动图像相对应的第六选项。

另一示例实施例包括第八方法，包括：接收视频信号，该视频信号包括连续的图片序列；提供该视频信号的多个表示，其中这多个表示中的一个或多个表示包括相应的网格化图片的序列，其中这多个表示中的这一个或多个表示的每个网格化图片都源自该视频信号的对应的相应图片，其中该视频信号的多个表示中的这一个或多个表示中的连续网格化图片的次序对应于该视频信号中的连续图片的次序；以及响应于第一处理策略，在传输介质上的单个视频流中以处理后的形式提供这多个表示，其中对这多个表示中的至少一个表示的处理依赖于这多个表示中的另一个表示的处理；或者响应于第二处理策略，在传输介质上的单个视频流中以处理后的形式提供这多个表示，其中这多个表示是被相互分别地并且独立地处理。与第八方法的特征一起可以单独地或组合地包括一些特征中的一个或多个，这些特征包括：(a)其中根据第二处理策略，这多个表示中的所有表示都包括相应的网格化图片的序列，并且提供还包括提供处理后的多个表示，每一个处理后的表示在分布在多个连续不重叠的片段分布间隔(SDI)上的相应多个连续不重叠的片段中，其中这多个片段中的对应片段每一个被散置非对应片段，对应片段具有源自该视频信号的相同相应图片的连续的处理后的网格化图片；(b)其中对应片段的网格化图片利用相同图片类型被压缩；(c)其中对应片段的网格化图片利用类似压缩策略或目标被压缩；(d)其中根据第一处理策略，提供还包括在所有处理后的多个表示(除了处理后的多个表示中的最旧表示以外)中省略帧内编码型处理后的图片，其中最旧表示对应于具有最早图片输出跨度的处理后的图片；(e)其中根据第一处理策略，提供包括在处理后的多个表示中的至少一个表示中省略帧内编码型处理后的图片；(f)其中，省略包括从处理后的多个表示中的最新表示省略，其中最新表示对应于具有最新图片输出跨度的处理后的图片；(g)还包括在处理后多个表示中的至少一个表示中提供未网格化图片；或者(h)还包括提供辅助信息，辅助信息传达表明处理后的网格化图片的解码版本如何被组装成预期全图片分辨率的输出图片的信息。

另一示例实施例包括第七系统，包括存储器，具有可执行指令；和一个或多个处理器，被配置来执行指令，指令使得这一个或多个处理器：接收视频信号，该视频信号包括连续的图片序列；提供该视频信号的多个表示，其中这多个表示中的一个或多个表示包括相应的网格化图片的序列，其中这多个表示中的这一个或多个表示的每个网格化图片都源自该视频信号的对应的相应图片，其中该视频信号的多个表示中的这一个或多个表示中的连续网格化图片的次序对应于该视频信号中的连续图片的次序；以及响应于第一处理策略，在传输介质上的单个视频流中以处理后的形式提供这多个表示，其中对这多个表示中的至少一个表示的处理依赖于这多个表示中的另一个表示的处理；或者响应于第二处理策略，在传输介质上的单个视频流中以处理后的形式提供这多个表示，其中这多个表示是被相互分别地并且独立地处理。与第七系统的特征一起可以单独地或组合地包括一些特征中的一个或多个，这些特征包括：(a)其中根据第二处理策略，这多个表示中的所有表示都包括相应的网格化图片的序列，并且这一个或多个处理器还被配置来提供处理后的多个表示，每一个处理后的表示在分布在多个连续不重叠的片段分布间隔(SDI)上的相应多个连续不重叠的片段中，其中这多个片段中的对应片段每一个通过非对应片段被散置，对应片段具有源自该视频信号的相同相应图片的连续的处理后的网格化图片；(b)其中这一个或多个处理器还被配置来利用相同图片类型压缩对应片段的网格化图片；(c)其中这一个或多个处理器还被配置来利用类似压缩策略或目标压缩对应片段的网格化图片；(d)其中根据第一处理策略，这一个或多个处理器还被配置来从所有处理后的多个表示(除了处理后的多个表示中的最旧表示以外)省略帧内编码型处理后的图片，其中最旧表示对应于具有最早图片输出跨度的处理后的图片；(e)其中根据第一处理策略，这一个或多个处理器还被配置来在处理后的多个表示中的至少一个表示中省略帧内编码型处理后的图片；(f)其中，这一个或多个处理器还被配置来从处理后的多个表示中的最新表示省略，其中最新表示对应于具有最新图片输出跨度的处理后的图片；(g)其中这一个或多个处理器还被配置来在处理后多个表示中的至少一个表示中提供未网格化图片；或者(h)其中这一个或多个处理器还被配置来提供辅助信息，辅助信息传达表明处理后的网格化图片的解码版本如何被组装成预期全图片分辨率的输出图片的信息。

另一示例实施例包括第八系统，包括：用于接收视频信号的装置，该视频信号包括连续的图片序列；用于提供该视频信号的多个表示的装置，其中这多个表示中的一个或多个表示包括相应的网格化图片的序列，其中这多个表示中的这一个或多个表示的每个网格化图片都源自该视频信号的对应的相应图片，其中该视频信号的多个表示中的这一个或多个表示中的连续网格化图片的次序对应于该视频信号中的连续图片的次序；以及响应于第一处理策略，用于在传输介质上的单个视频流中以处理后的形式提供这多个表示的装置，其中对这多个表示中的至少一个表示的处理依赖于这多个表示中的另一个表示的处理；或者响应于第二处理策略，用于在传输介质上的单个视频流中以处理后的形式提供这多个表示的装置，其中这多个表示是被相互分别地并且独立地处理。与第八系统的特征一起可以单独地或组合地包括一些特征中的一个或多个，这些特征包括：其中根据第二处理策略，这多个表示中的所有表示都包括相应的网格化图片的序列，用于提供的装置还包括用于提供处理后的多个表示的装置，每一个处理后的表示在分布在多个连续不重叠的片段分布间隔(SDI)上的相应多个连续不重叠的片段中，其中这多个片段中的对应片段每一个通过非对应片段被散置，对应片段具有源自该视频信号的相同相应图片的连续的处理后的网格化图片，或者其中，根据第一处理策略，用于提供的装置还包括：用于在处理后的多个表示中的至少一个表示中省略帧内编码型处理后的图片的装置，其中用于省略的装置包括用于从处理后的多个表示中的最新表示省略，其中最新表示对应于具有最新图片输出跨度的处理后的图片；以及用于提供的装置包括在处理后多个表示中的至少一个表示中提供未网格化图片。

另一示例实施例包括第九方法，包括：接收单个视频流中的视频流，其中该视频流包括视频信号的处理后的多个表示，其中处理后的多个表示中的一个或多个表示(OOMOTPPR)包括相应的处理后的网格化图片的序列，其中OOMOTPPR中的每个处理后的网格化图片是从该视频信号的对应的各个图片导出的；并且响应于第一处理策略，对接收的OOMOTPPR解压缩，其中对OOMOTPPR中的至少一个处理后的表示的解压缩依赖于对OOMOTPPR中的另一处理后的表示的解压缩；或者响应于第二处理策略，对OOMOTPPR解压缩，其中OOMOTPPR是可分别地并且独立地解码的。与第九方法的特征一起可以单独地或组合地包括一些特征中的一个或多个，这些特征包括：(a)其中根据第二处理策略，所有这处理后的多个表示中的处理后的网格化图片利用相同图片类型被压缩；(b)其中，根据第二处理策略，处理后的多个表示的对应处理后网格化图片利用类似的压缩策略或目标被压缩；(c)其中，根据第一处理策略，在所有这处理后的多个表示中(除了处理后的多个表示中的最旧表示以外)都没有帧内编码型处理后的图片，其中最旧表示对应于具有最早图片输出跨度的处理后的网格化图片；(d)其中，根据第一处理策略，在处理后的多个表示中的至少一个表示中没有帧内编码型处理后的图片；(e)其中，处理后的多个表示中的至少一个表示包括处理后的多个表示中的最新表示，其中最新表示对应于具有最近图片输出跨度的处理后的图片；(f)其中接收还包括接收处理后的多个表示中的至少一个表示中的一个或多个未网格化图片；(g)其中，一个或多个未网格化图片源自该视频信号的被指定为压缩形式的非参考图片的一个或多个图片；(h)还包括接收辅助信息，该辅助信息指示处理后的网格化图片的解码版本如何被组装成预期全图片分辨率的输出图片；或者(i)还包括对解压缩的网格化图片去网格化，将去网格化的图片组装成预期图片分辨率的输出图片，并且将组装的图片输出给显示设备。

另一示例实施例包括第九系统，包括存储器，具有可执行指令；和一个或多个处理器，被配置来执行指令，指令使得这一个或多个处理器：接收单个视频流中的视频流，其中该视频流包括视频信号的处理后的多个表示，其中处理后的多个表示中的一个或多个表示(OOMOTPPR)包括相应的处理后的网格化图片的序列，其中OOMOTPPR中的每个处理后的网格化图片是从该视频信号的对应的相应图片导出的；并且响应于第一处理策略，对接收的OOMOTPPR解压缩，其中对OOMOTPPR中的至少一个处理后的表示的解压缩依赖于对OOMOTPPR中的另一处理后的表示的解压缩；或者响应于第二处理策略，对OOMOTPPR解压缩，其中OOMOTPPR是可分别地并且独立地解码的。与第九系统的特征一起可以单独地或组合地包括一些特征中的一个或多个，这些特征包括：(a)其中根据第二处理策略，这一个或多个处理器还被配置来接收利用相同图片类型被压缩后的所有这处理后的多个表示中的处理后的网格化图片；(b)其中，根据第二处理策略，这一个或多个处理器还被配置来接收利用类似的压缩策略或目标被压缩后的处理后的多个表示的对应的处理后网格化图片；(c)其中，根据第一处理策略，这一个或多个处理器还被配置来接收仅存在于处理后的多个表示中的最旧表示中的帧内编码型处理后的图片，其中最旧表示对应于具有最早图片输出跨度的处理后的网格化图片；(d)其中，根据第一处理策略，在处理后的多个表示中的至少一个表示中没有帧内编码型处理后的图片；(e)其中，处理后的多个表示中的至少一个表示包括处理后的多个表示中的最新表示，其中最新表示对应于具有最近图片输出跨度的处理后的图片；(f)其中这一个或多个处理器还被配置来接收处理后的多个表示中的至少一个表示中的一个或多个未网格化图片；(g)其中，这一个或多个未网格化图片源自该视频信号的被指定为压缩形式的非参考图片的一个或多个图片；(h)其中这一个或多个处理器还被配置来接收辅助信息，该辅助信息指示处理后的网格化图片的解码版本如何被组装成预期全图片分辨率的输出图片；或者(i)其中这一个或多个处理器还被配置来对解压缩的网格化图片去网格化，将去网格化的图片组装成预期图片分辨率的输出图片，并且将组装的图片输出给显示设备。

尽管在此主要关于视频数据的处理和传输讨论了某些实施例，但是实施例不限于此。例如，在不偏离本教导的公开的情况下，其它类型的数据，诸如音频数据、文本或者其它类型的数据，可以根据本教导被网格化、被排序和/或被时间偏移、并且被发送。

尽管在此已经关于从输入视频信号创建4个网格化视频表示讨论了各种实施例，但是实施例不限于此。

尽管本公开的处理可以被呈现为单个实体，诸如在单个机器上执行的软件、指令或例程，但是这样的软件、指令或例程可以容易地在多个机器上被执行。即，存在给定软件程序的多个实例，单个程序可以在分布式处理环境中的两个或更多处理器上执行，单个程序的各部分可以在不同物理机上执行，等等。此外，两个不同程序可以在单个机器或在不同机器上执行。

尽管已经关于VL系统和方法的具体实施例进行了讨论，但是VL系统和方法的这些实施例仅仅是说明性的而不是限制性的。本公开的实施例可以在任意两个处理或实体之间操作，处理或实体包括用户、设备、功能系统或硬件和软件的组合。例如，尽管网格化在此已经被描述为主要在视频图片上进行操作，但是视频的其它部分、布置或群组也可以经受网格化。例如，视频内容的图片群组(GOP)、图片、帧或其它层或部分可以经受网格化。

任意合适的编程语言都可以用来实现由各种网络实体采用的例程或其它指令。示例编程语言包括C、C++、Java、汇编语言等等。不同编程技术可以被采用，诸如过程式的或面向对象的。例程可以在单个处理设备或多个处理器上执行。例程可以在操作系统环境中或者作为占据系统处理的全部或大部分的独立例程而操作。

在在此的描述中，提供大量具体细节，诸如组件和/或方法的示例，来提供对本公开的实施例的透彻理解。然而，本领域技术人员将认识到，可以在没有这些具体细节的一个或多个的情况下或者利用其它装置、系统、配件、方法、组件、材料、部件等来实行本公开的实施例。在其它实例中，没有具体示出或详细描述公知的结构、材料或操作来避免使本公开的实施例的方面模糊。

“处理器”或“处理”包括处理数据、信号或其它信息的任何人、硬件和/或软件系统、机构或组件。处理器可以包括具有通用中央处理单元、多个处理单元、用于实现功能性的专用电路的系统，或其它系统。处理不必被限制于地理位置，或者具有时间限制。例如，处理器可以“实时”、“离线”、以“批量模式”等执行其功能。处理的部分可以由不同(或相同)处理系统在不同时间在不同位置处执行。计算机可以是与存储器通信的任意处理器。

贯穿本说明书对“一个实施例”、“实施例”、“具体实施例”或“实现方式”的提及是指结合被包括在本公开的至少一个实施例中但是不一定被包括在所有实施例中的实施例所描述的特定特征、结构或特性。因此，短语“在一个实施例中”、“在实施例中”或“在具体实施例中”在贯穿本说明书的不同地方的相应出现不一定都指相同实施例。此外，本公开的任意具体实施例的特定特征、结构或特性可以以任意合适的方式与一个或多个其它实施例结合。应当理解，鉴于在此的教导，在此描述或说明的本公开的实施例的其它变形例和修改例是可能的，并且应当认为它们是本公开的精神和范围的一部分。

本公开的实施例可以如下被被整体或部分实现：通过使用编程的通用数字计算机；通过使用专用集成电路、可编程逻辑器件、现场可编程门阵列、光学的、化学的、生物的、量子的或纳米工程系统或机构；等等。一般，本公开的功能可以通过本技术领域已知的任何手段来实现。可以使用分布式网络系统、组件和/或电路。通信或数据的传输可以是有线的、无线的或者通过任意其它手段的。

还将明白，在示图/附图中所描述的元素中的一个或多个也可以以更加分离或集成的方式实现，或者由于在某些情况中不可操作，由于根据特定应用是有用的，而甚至被移除或被提交。实现可以存储在计算机可读存储介质或设备中来允许计算系统执行上述方法中的任意方法的程序或代码也在本公开的精神和范围内。

另外，示图/附图中的任意信号箭头都应当仅被认为是示例，而不是限制性的，除非以其它方式特别地标注。例如，指示一个方向的通信的信号路径上的箭头并不使沿该通信路径的通信被限制于那一个方向称为必需。

此外，在此使用的术语“或”一般意图是指“和/或”，除非另外指明。另外，术语“包括”用来指“包括但不限于”。在由于呈现分离或组合的能力不清楚而预见用辞的地方，也应当认为组件和步骤的组合是注意得到的。

如在此的描述中以及贯穿随后的权利要求使用的“一个(a)”、“一个(an)”和“该”包括复数指代，除非上下文清楚地另外指明。此外，在此的描述中以及贯穿随后的权利要求使用的“在……中”的含义包括“在……中”和“在……上”，除非上下文清楚地另外指明。

以上对本公开的说明实施例的描述，包括在摘要中描述的内容，不意图是穷尽性的或者将本公开限制于在此所公开的精确形式。如相关技术领域的技术人员将认识和明白的，尽管本公开的具体实施例或示例在此被描述仅用于说明性目的，但是在本公开的精神和范围内可以有各种等同修改例。如所指示的，可以鉴于以上对本发明的说明实施例的描述来对本公开进行这些修改，并且它们被包括在本公开的精神和范围内。

因此，尽管在此已经参考本公开的特定实施例描述了本公开，但是修改、各种改变和替换的自由意图在前述公开中，并且将明白，在某些实例中，在不偏离所阐述的本公开的范围和精神的情况中，将可以在没有对应使用其它特征的情况下采用本公开的实施例的某些特征。因此，可以进行许多修改来使得特定情况和材料适合本公开的实质范围和精神。意图的是，本公开不限于以下权利要求中使用的特定术语以及作为用于执行本公开而构想的最佳实施方式公开的具体实施例，但是本发明将包括落在所附权利要求的范围内的任意和所有实施例和等同物。