根据参考部分的位置处理沉浸式视频内容的一部分的方法和设备

摘要

一种在客户端设备上处理沉浸式视频内容(10)的第一部分(13)(例如要显示的部分)的方法。为激励用户向沉浸式视频内容中的参考部分(20)看，该方法包括确定第一部分或第一部分的子部分(40，41)和至少一个参考部分之间的距离，以及处理第一部分或其子部分的视觉劣化版本，距离(42，43)越大，视觉劣化的级别越高。

说明书

技术领域

本公开涉及伪触觉反馈领域，尤其涉及用头戴式显示器(HMD)或移动设备(如平板或智能手机)消费沉浸式视频内容时的伪触觉反馈领域。

背景技术

沉浸式视频内容是为围绕用户显示而产生的视频内容，以使得用户感觉处于内容的中间。沉浸式视频内容通常以晶洞(geode)或腔洞(cave)形式呈现。在这种装置中，将内容全部地投射在墙壁屏幕上，用户转动他/她的头来发现内容。

头戴式显示器(HDM)是戴在头上或作为头盔一部分的显示设备，其具有位于一只眼睛(单眼式HDM)或每只眼睛(双眼式HDM)前方的小型显示光学器件。它们有利地适配为消费沉浸式内容。这种设备中仅显示视频的一部分。通过例如集成运动单元测量(包括陀螺仪)，根据用户头部姿势来更新视频内容的显示部分。

数十年前就首先提出了这种设备，但近期，特别是由于屏幕的发展，它们的价格和性能有了显著改变。这种设备的出现允许用户通过头部转动来观看4π球面度内容。如果该新特征可以表现为在内容沉浸方面的真实改善，当用户只观看一部分内容时，他/她可能没有看其在给定时刻应当观看的方向。事实上，由于用户可以注视他/她周围的所有事物时，他/她可能错过某些重要的解说重点，因为当解说事件发生时他/她正在观看另一部分内容。

根据背景技术，已知的是强制进行虚拟相机摇摄(panning)以使用户朝着他/她必须观看的方向观看是非常有效的解决方案。然而，众所周知，该解决方案的缺点是让大多数人感到不舒服，因此降低了用户的体验质量。

发明内容

本公开的目的是克服背景技术中存在的至少一个缺点。

具体地，本公开的目的是鼓励用户观看沉浸式视频内容的确定参考部分。

本公开涉及处理沉浸式视频内容的第一部分的方法，所述方法包括以下步骤：

-确定沉浸式视频内容的所述第一部分和至少一个参考部分之间的第一距离，

-处理所述第一部分的版本，所述版本被称为劣化版本，将视觉劣化应用于所述第一部分以获得劣化版本，所述劣化版本相对于视频内容在视觉上被劣化，第一距离越大，视觉劣化的级别越高。

根据具体特征，第一部分被分为子部分，确定每个所述子部分和所述至少一个参考部分之间的第二距离，第二距离越大，每个所述子部分的劣化级别越高。

有利地，劣化级别随时间增加。

根据具体特征，第一距离属于包括以下距离的组。

根据具体特征，第一部分被分为子部分，确定每个所述子部分和所述至少一个参考部分之间的第二距离，第二距离越大，每个所述子部分的劣化的级别越高。

本公开还涉及被配置用于处理沉浸式视频内容的第一部分的设备，所述设备包括：

-用于确定所述第一部分和至少一个参考部分之间的第一距离的装置，

-用于处理所述第一部分的版本的装置，所述版本被称为劣化版本，所述劣化版本相对于视频内容在视觉上被劣化，所述第一距离越大，劣化级别越高。

有利地，该设备还包括向显示设备发送所述劣化版本。

本公开还涉及被配置用于处理沉浸式视频内容的第一部分的设备，所述设备包括至少一个处理器，所述处理器被配置为：

-确定所述第一部分和至少一个参考部分之间的第一距离，

-处理所述第一部分的版本，所述版本被称为劣化版本，所述劣化版本相对于视频内容在视觉上被劣化，所述第一距离越大，劣化级别越高。

可选地，该设备还包括向显示设备发送所述劣化版本的发送器。

本公开还涉及一种计算机程序产品，所述计算机程序产品包括程序代码的指令，当程序在计算机上执行时，至少一个处理器执行上文提到的处理沉浸式视频内容的一部分的方法。

本公开还涉及(非暂时性)处理器可读介质，所述处理器可读介质中存储有指令，所述指令使处理器执行上文提到的处理沉浸式视频内容的一部分的方法。

附图说明

通过阅读参考附图的以下描述，将更好地理解本公开，并将清楚其它具体特征和优点，附图中：

图1示意性示出了根据本发明原理的具体实施例的沉浸式视频内容的第一部分；

图2示出了根据本发明原理的具体实施例的图1的第一部分的位置、沉浸式视频内容内的参考部分的位置、以及二者之间的第一距离；

图3A和3B示出了图2的第一距离和将应用于图1的第一部分的劣化级别之间的关系；

图4中，根据本发明原理的具体实施例，针对图1的第一部分的子部分，计算图3A和3B的劣化级别；

图5示出了根据本发明原理的具体实施例，根据图2的第一距离来处理图1的第一部分的方法；

图6示意性地示出了根据本发明原理的具体实施例，被配置为处理图1的第一部分的系统的结构，包括视频部分选择单元和图像劣化单元；

图7示出了根据具体实施例的被配置为处理图1的第一部分的系统的结构；

图8示出了根据具体实施例，在图6或图7的处理设备中实现的处理视频内容的一部分的方法。

具体实施方式

因此，现在将参考附图描述主题，其中，相似的附图标记可以用于始终表示相似的元件。在下文的描述中，为了解释的目的，阐述了许多具体细节，以提供对主题的透彻理解。可以理解，没有这些具体细节也可以实施主题实施例。

参考用部分式显示设备(如HMD)处理沉浸式视频内容的第一部分的方法的具体示例来描述本发明原理。第一部分的视觉质量被劣化。由于视觉劣化的级别随着第一部分和参考部分之间的距离而增加，用户会将他/她的头部转向参考部分而离参考部分更近，他/她的体验质量将更好。这种用户视觉体验质量的劣化具有激励他/她向较少劣化的参考部分观看的优点。

图1示出了沉浸式视频内容的具体实施例。沉浸式视频和矩形视频具有不同的性质。矩形视频内容可被认为是将位于用户前方的矩形框架中的每个平面坐标(x，y)关联到颜色表示的函数。沉浸式视频内容可被认为是将位于用户周围的球形框架中的每个极坐标(θ，φ)关联到颜色表示的函数。在这两种情形中，视频是通常被称为帧的图像的时间序列。表示帧的数据被组织为矩形(10)。对于矩形视频，转换是直接的。当数据的矩形和屏幕的矩形具有不同大小时，需要裁剪步骤。对于沉浸式视频内容的情形，需要投影映射功能，将数据矩形中的平面坐标关联到投影球面的极坐标。图1中，投影映射模式是圆柱式。沉浸式视频内容(10)被投影为用户(11)周围的圆柱。用户必须转动他/她的头部来观看内容。他/她的视场不能覆盖整个内容。根据一个变型，投影映射模式是球面式。在另一个变型中，投影映射模式是立方式。

在诸如HMD的部分式显示设备的情形中，仅显示沉浸式内容(10)的一部分(13)。该部分被称为第一部分，对应于用户的视场。在任意时刻，用户都使他/她的设备朝向确定了沉浸式视频内容的显示部分的方向(12)。

在观看环节(session)中的任意时刻，获得沉浸式视频内容的至少一个参考部分，该至少一个参考部分具有可注意到的兴趣点或重要性。该参考部分是视频图像的区域，其小于内容而且通常小于显示部分。通过任何已知的2D几何形描述格式来表示参考部分。例如，它是位于沉浸式视频内容的参考帧中的2D点。用于表示该参考部分的其他形状示例有矩阵和椭圆形(圆形是椭圆形的特例)。例如，用一个2D点、宽度和高端来描述矩形。对于椭圆形，则用一个中心和两个半径或者用两个中心和一个半径来描述。对参考部分的形状的描述不限于上述示例，还可以用任何2D表面描述(例如，可缩放向量图(SVG)或超文本标记语言5(HTML5)格式)来描述。

根据具体示例，内容创建者已在内容中标识了针对至少一个时间段的至少一个参考部分，作为解说的重点和他/她不希望观众错过的重点。因此，他/她想要激励观众朝着该参考部分的方向看。在该示例的第一变型中，从一个观看环节到另一个观看环节，参考部分的集合是相同的，而与关于用户的了解无关。根据该示例的补充性变型，参考部分的集合依赖于用户的资料，并且从一个用户到另一用户是不同。内容观看环节的条件(例如，一天中的时间)也是对参考部分的集合进行修改的参数。换句话说，一个沉浸式视频内容的参考部分的集合对于一个观看环节和另一观看环节来说是不同的。

根据另一个示例，通过感兴趣区域检测算法来确定一个或多个参考部分。该算法分析视频的图像，以自动形成估计对用户而言更感兴趣或更重要的一些区域。例如，该算法计算图像的显著图，以检测高显著性区域。该算法的另一个示例检测图像序列中的移动，以识别移动对象。根据一个变型，算法的参数依赖于用户资料或观看环节的条件。该变型中，一个沉浸式视频内容的参考部分的集合对于一个观看环节和另一观看环节来说是不同的。

普遍地，从服务器流传输或从存储在存储设备(例如，盘或存储棒)上的文件中读取视频内容数据。普遍地，用于传输沉浸式视频内容的链路可以是有线的(基于例如通用标准总线USB或高清多媒体接口HDMI)或无线的(例如，WiFi或蓝牙)。还可以由3D引擎根据位于3D场景中的虚拟相机的位置，从该3D场景的描述中来实时生成沉浸式视频内容。根据该示例，第一部分(13)对应于虚拟相机在任意时刻捕捉到的3D场景的一部分。

根据一个示例，普遍地，在沉浸式视频内容中、视频流数据中或视频文件中插入对参考部分的形状和时序(timing)的描述。在该示例的编码的另一个变型中，由第二服务器提供该描述，或者将该描述登记在单独的文件中。

图2示出了要显示的部分(13)是观看窗口的沉浸式视频内容(10)的示例。参考部分(20)被标识在第一部分之外。该示例中，参考部分采用椭圆形。参考部分可以对应于尚未发生的解说的重点。该情形中，本发明原理具有激励用户向预备发生的参考部分看的优点。

计算第一部分和参考部分之间的第一距离(21)。根据图2的示例，第一距离(21)是参考部分的中心和待显示部分的中心之间的欧氏距离。根据另一个示例，第一部分的每个点与参考部分的每个点相关联。针对所有这些点对计算距离，并且第一距离(31)对应于它们中的最短距离，如图3A和3B所示。根据该示例的变型，第一距离对应于所有这些距离的平均。

有利地，每当检测到参考部分的移动或显示部分的移动时，都计算第一距离。在另一个变型中，更频繁地，例如针对每个视频帧都计算第一距离。

根据具体实施例，同时获得多个参考部分。在具体变型中，第一距离是通过上文提出的示例之一获得每个参考部分和第一部分之间的最短的第一距离。根据另一个变型，第一距离是通过前述示例之一获得的第一距离的平均。

根据第一距离来劣化第一部分的视觉质量。如图3A和3B所示，第一距离越大，视觉劣化的级别越高。因此，降低了用户的体验质量。第一部分的这种视觉质量的劣化具有激励用户向较少劣化的参考部分观看的优点。

有利地，通过本领域技术人员已知的任何视觉劣化方法来获得第一部分的视觉劣化。该视觉劣化方法降低了用户的视觉体验质量。视觉劣化具有级别参数。根据一个变型，级别参数范围从0.0(完全没有修改)到1.0(第一部分的最差质量)。视觉劣化的示例是颜色下褪：图像颜色在级别0时不改变，逐渐变暗，直到在级别1变为黑色。该方法的补充性示例是颜色上褪：图像颜色逐渐变亮，直到白色。根据该视觉劣化方法的其他变型，上调或下调图像的颜色饱和度。图像模糊化和图像加噪是视觉劣化方法的其他示例。后一个示例包括引入图像的亮度信息和/或颜色信息的随机变化。引入的变化越大，加噪级别越高。在级别1，图像上表示的对象将不可识别。图像像素化(pixelating)和多个图像压缩方法是视觉劣化方法的其他示例。根据另一个变型，劣化级别参数例如从0到255，或者从-100到100。

根据另一个变型，对于给定的第一距离，劣化级别随时间而增加。例如，观看环节开始时没有参考部分，因为此时在解说中没有重点。稍后，标识出参考部分以激励用户向它看。如果用户在看其他地方，则被称为dist的第一距离较大。针对该第一距离dist，计算被称为lev的劣化级别。此时第一部分完全没有劣化。根据该实施例，为避免第一部分的视觉质量的突变，将视觉劣化的级别设置为非常低的值，例如0。然后，针对该第一距离dist，逐渐增加视觉劣化的级别，直到级别lev。劣化级别在达到级别lev后不再增加。例如，如果选定的劣化方法是颜色下褪，则第一部分将针对给定的第一距离dist而随时间变得越来越暗。只有第一距离的减小(例如，由于用户头部向参考部分移动)才能弱化这种效果。

图4示出了本发明原理的另一个实施例，其中第一部分被分为子部分。例如，第一部分的子部分具有一个像素大小且组织为规则网格。根据另一个示例，子部分是不同大小的六边形。图4中，第一部分(13)被分为矩形子部分(如40和41)。针对每个子部分计算第二距离(如42和43)。使用用于计算第一距离的任意方法来计算第二距离。图4中，子部分(40)比子部分(41)距离参考部分更远。子部分(40)的视觉劣化级别高于子部分(41)的视觉劣化级别。该示例中，子部分越靠近第一部分(13)的右侧和底部，劣化级别越高。这便产生了第一部分的视觉质量的梯度。该实施例(单独或与上文描述的视觉劣化级别的逐渐增加相组合)具有如同波浪般出现的优点，其驱使用户将他/她的目光朝向第一部分中较少劣化的子部分，不知不觉地将他/她的头部朝向参考部分。

有利地，为了保持一致性，使用相同的距离方法来计算每个子部分的第二距离。根据一个变型，针对至少两个子部分使用不同的距离计算方法。然而，该变型将导致距离集合和子部分劣化级别的不一致。

图6示意地示出了配置用于处理视频内容的第一部分的设备60的第一硬件实施例。设备(60)至少包括视频部分选择单元(61)、图像劣化单元(62)和控制器(63)。有利地，该系统连接到第一部分被发送至的显示设备(64)。根据具体实施例，设备(60)是HMD或平板或智能手机。该情形中，控制器之一是HMD的惯性传感器系统。惯性传感器系统包括例如三个陀螺仪，一个用于俯仰，一个用于偏转，一个用于翻滚。根据另一个实施例，控制器包括至少一个惯性测量单元(IMU)。在另一个示例中，设备(60)是机顶盒或个人电脑，控制器是操纵杆、操作板、鼠标、遥控器或键盘。在一些变型中，使用相机在空间中定位控制器设备。图像劣化单元(62)被配置为经由例如无线链路，接收和发送对表示为图像或图像序列的沉浸式视频的一部分加以表示的数据。根据另一个示例，图像劣化单元(62)被配置为经由例如根据USB或HDMI标准的有线链路来接收和发送数据。

图7示意性地示出了设备(70)的第二硬件实施例。该示例中，设备(70)包括通过地址和数据总线(76)彼此相连的以下元件，其中地址和数据总线还传输时钟信号：

-微处理器71(或CPU)，

-图形卡(72)，包括：

·若干图形处理器单元(或GPU)(720)，

·图形随机存取存储器(GRAM)(721)，

-ROM(只读存储器)类型的非易失性存储器(73)；

-随机存取存储器或RAM(74)，

-控制器(63)(例如，IMU)，

-一个或多个I/O(输入/输出)设备(75)，例如触觉接口、鼠标、网络摄像头等，以及；

-电源(77)。

有利地，设备(70)连接到显示屏类型的一个或多个显示设备(64)，直接连接到图形卡(72)以显示图形卡中计算的图像。

需要注意的是，存储器(721)、(73)和(74)的描述中使用的词语“寄存器”在每个所提及的存储器中是指低容量存储区域(一些二进制数据)和大容量存储区域(能够存储整个程序或表示所计算的或要显示的数据的全部或部分数据)。

当开启时，微处理器(71)加载并执行包含在RAM(74)中的程序的指令。

随机存取存储器(74)尤其包括：

-寄存器(740)中，负责开启设备(70)的微处理器(71)的操作程序，

-表示沉浸式视频内容的图像的数据(741)(例如，RGB数据或YUV数据)，

-表示与视频内容的时间戳相关联的参考部分的信息(742)。

根据一个具体实施例，实现本公开特定的以及下文所述的方法步骤的算法有利地存储在与实现这些步骤的设备(70)相关联的图形卡(72)的存储器GRAM(721)中。当开启并且将数据(741)和信息(742)加载到RAM(74)时，图形卡(72)的图形处理器(720)将这些参数加载到GRAM(721)，并使用例如HLSL(高级着色器语言)语言或GLSL(OpenGL着色语言)执行具有“着色器(shader)”型微程序形式的这些算法的指令。

随机存取存储器(721)尤其包括表示寄存器(7210)中的视频内容的显示部分的数据。

根据另一个变型，RAM(74)的一部分被CPU(71)分配用于算法的存储。然而，该变型导致在构成图像时的较大延时，因为必须通过总线(76)将数据从随机访问存储器(74)传输到图形卡(72)，而总线的传输能力通常劣于图形卡中将数据从GPU向GRAM(或从GRAM向GPU)传输的可用传输能力。

根据另一个变型，电源(77)在设备(70)的外部。

图5示意性地示出了根据非限制性有利实施例的在诸如设备(60)或(70)的处理设备中实现的方法的第一实施例。

该方法具有两个数据作为输入：表示沉浸式视频内容的一部分的第一部分(13)，以及该相同沉浸式视频内容的参考部分(20)。第一部分和参考部分与沉浸式视频内容的参考帧内对它们的位置和形状的描述相关联。

第一步骤(51)包括确定第一部分和参考部分之间的第一距离。根据一个有利变型，该第一距离是归一化在0.0和1.0之间的标量值。根据另一个变型，第一距离是按照像素测量的距离或者是按照角度或弧度测量的角距离。第二步骤(52)使用步骤(51)的结果。在步骤(52)，根据所提供的第一距离计算视觉劣化级别。第一距离越大，视觉劣化级别越高。根据该级别，在视觉上将第一部分的图像劣化。步骤(52)使用上文描述的任意视觉质量劣化方法。该步骤中产生第一部分的图像的劣化版本(53)。

图8示意性地示出了根据非限制性有利实施例的在堵如设备(60)或(70)的处理设备中实现的方法的第二实施例。

在初始化步骤(80)期间，更新处理设备(60)或(70)的不同参数。具体地，以任意方式初始化专用于控制器的参数。例如，如果设备(60)或(70)是HMD，则通过比较设备的位置与世界固定参考框架中的世界参考方向，确定三个角度的首个集合。该参考框架例如使用水平轴和竖直轴，并且方位角朝向例如北方或朝向关联的相机。初始时未标识参考部分。换句话说，在应用刚刚开始时，不存在激励用户去看的参考部分。

沉浸式视频内容与投影映射模式(例如，圆柱(如图1所示)、立方或球面)相关联。投影映射模式定义在其自身参考框架中的内容参考方向。根据一个变型，在初始化步骤(80)期间，建立该内容参考方向和选定的世界参考方向之间的对应关系。

在步骤(81)期间，根据控制器的参数，选择视频内容的第一部分。首次执行该步骤时，使用这些参数的默认值。在该步骤中使用控制器的参数来确定第一部分在沉浸式视频内容的帧中的位置。在显示器是设备(60)或(70)(如HMD)的固有元件的实施例中，一方面根据该位置，另一方面根据显示屏幕的特性(如形状和视场)，“切出”并选择沉浸式视频内容的第一部分。根据一个变型，当至少一个控制器检测到事件(82)时，执行该步骤。例如，如果用户正在用操纵杆浏览沉浸式视频内容，则当用户正在操作他/她的操作杆时，执行步骤(81)。根据另一个变型，如果设备(60)或(70)是HMD，当例如它的惯性测量单元检测到HMD的位置改变时，执行步骤(81)。根据另一个变型，针对例如沉浸式视频内容的每一帧，更频繁地执行步骤(81)。步骤(81)的执行自动引起下一步骤(83)的执行。

在步骤(83)期间，执行图5中示出的方法的两个步骤。确定第一部分和参考部分之间的第一距离，以及劣化第一部分的质量。在该步骤(83)，根据第一距离来计算劣化级别。第一距离越大，视觉劣化级别越高。如果不存在参考部分，将第一距离设置为零。因此，图像完全没有劣化。否则，计算要显示的部分和参考部分之间的第一距离。根据具体示例，该第一距离是在沉浸式视频内容的参考帧中第一部分的中心(如质心)和参考部分的中心(如重心)之间的最短欧氏距离。根据另一个实施例，该第一距离是第一部分的任意点和参考部分的任意点之间的最短距离。一旦计算出第一距离，根据以下原则选择劣化级别：第一距离越大，劣化级别越高。该选择依赖于选择用于图像的视觉劣化的措施。根据一个变型，使第一部分的颜色下褪。根据另一个变型，在要显示的部分中引入一些噪声，如图3A和3B所示。在步骤(83)，使用选定的劣化措施来视觉劣化显示部分。

参考部分可以在任意时刻改变(84)。例如，可以在内容数据流中获得这种改变。根据第二示例，可以从远程服务器获取该信息。根据第三示例，通过感兴趣区域检测算法来定义参考部分。该示例中，通过该算法分析沉浸式视频内容的图像序列，由此获得相应信息。有利地，用于该感兴趣区域检测算法的执行的程序存储在设备(70)的GRAM(621)的寄存器中，或者根据一个变型，被加载到RAM(64)的寄存器中。当检测到参考部分的改变时，执行步骤(83)。

根据另一个变型，针对给定的第一距离的劣化级别随时间而增加。例如，观看环节开始时没有参考部分，因为此时在解说中没有重点。稍后，标识出参考部分以激励用户向它看。如果用户在看其他地方，则被称为dist的第一距离较大。针对该距离dist，计算被称为lev的劣化级别。此时第一部分完全没有劣化。根据该实施例，为避免第一部分的视觉质量的突变，将视觉劣化的级别设置为非常低的值，例如0。然后，针对该第一距离dist，逐渐增加视觉劣化的级别，直到级别lev。劣化级别在达到级别lev后不再增加。例如，如果选定的劣化方法是像素化，针对给定的第一距离dist，第一部分的像素化程度随时间变得越来越大。例如，在设备(60)或(70)是HMD的示例中，只有用户头部朝着参考部分移动(即，控制器事件(63))，通过触发步骤(81)继而触发步骤(83)，才能弱化该效果。

根据另一个实施例，在步骤(83)，第一部分被分为子部分。根据一个变型，子部分具有一个像素的大小且组织为规则网格。根据另一个变型，子部分是大小不同的方块，方块的集合覆盖沉浸式视频内容的整个区域。在该步骤(83)，针对每个子部分计算第二距离。使用描述第一距离所用的距离之一来确定第二距离。根据一个变型，为了保持一致性，使用相同的距离来计算每个子部分的第二距离。步骤(83)的该变型单独实现，或者与视觉劣化级别逐渐增加的变型相组合地实现。

自然，本公开不限于上述实施例。

具体地，本公开不限于处理沉浸式视频内容的方法，还扩展到显示经处理的第一部分的任意方法以及实现该显示方法的任意设备。对生成第一部分和子部分所需的计算的实现不限于着色器类型的微程序中的实现，而是还扩展到采用任意程序类型的实现，比如可由CPU类型的微处理器执行的程序。本公开的方法的用途不限于实况应用，还扩展到任何其它应用，例如，用于在录音工作室中的被称为后期处理的处理。

可以例如用方法或过程、装置、软件程序、数据流或信号来实现本文所描述的实施方式。虽然仅在单个实现形式的上下文中进行讨论(例如，仅讨论方法或设备)，所讨论特征的实现还可以以其他形式来实现(如程序)。装置可以实现为例如适合硬件、软件和固件。所述方法可被实现于诸如处理器的装置中，所述处理器一般地称为处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备，比如智能电话、平板计算机、计算机、移动电话、便携式/个人数字助理(“PDA”)以及便于端用户之间的信息通信的其它设备。

这里所述的多种处理和特征的实现方案可以表现为多种不同设备或应用，具体地，例如，与数据编码、数据解码、视图生成、纹理处理以及其它图像和相关纹理信息和/或深度信息处理相关联的设备或应用。这些装置的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、笔记本电脑、个人电脑、手机、PDA、以及其他通信设备。应当清楚，设备可以是移动的，甚至安装在移动交通工具中。

此外，可通过由处理器执行的指令实现所述方法，而且这些指令(和/或通过实现产生的数据值)可存储在处理器可读介质上，比如集成电路、软件载体或其它存储设备，比如硬盘、压缩盘(“CD”)、光盘(比如DVD，其通常称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM”)、或只读存储器(“ROM”)。指令可形成在处理器可读介质上有形实施的应用程序。指令可位于例如硬件、固件、软件或其组合中。可以在例如操作系统、单独应用后两者组合中发现指令。因此，处理器可以被特征化为例如配置用于执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如，存储设备)的设备。此外，处理器可读介质可存储实现所产生的数据值，作为对指令的添加或替代。

本领域技术人员应清楚，实现方案可以产生被编排为携带例如所存储的或所传输的信息的多种信号。信息可以包括例如执行方法的指令，或通过描述的实施方式之一所产生的数据。例如，信号可以被编排为将用于写入或读取所述实施例的语义的规则携带为数护，或将由所述实施例写入的真实语义值携带为数据。这种信号可被格式化为例如电磁波(例如使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码或者调制具有已编码数据流的载波。信号承载的信息可以是例如模拟或数字信息。可以通过公知的多种不同有线或无线链路来传输该信号。信号可存储在处理器可读介质上。

已经描述了多个实现。但是应当理解，可以做出各种修改。例如，可以合并、增补、修改或去除不同实现方案的要素，以便产生其它实现方案。附加地，本领域技术人员将理解的是，其他结构或处理器可以替代那些公开的内容，并且所得到的实施方式将用至少基本相同的方式来执行至少基本相同的功能，以实现与所公开的实施方式基本相同的结果。因此，本申请还涵盖这些和其它实现方案。