传输视频内容的方法和设备以及接收视频内容的方法和设备

摘要

本公开涉及用于传输和接收包括三维(3D)数据的视频内容的方法和设备。通过多个资产传输视频内容的方法包括：识别通过资产传输的内容是否是子图片；当通过资产传输的内容是子图片时，生成包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息；并且传输子图片资产信息和内容。

说明书

技术领域

本公开涉及用于传输和接收包括三维(3D)数据的视频内容的方法和设备。

背景技术

虚拟现实是指用户和设备之间的接口，该接口在计算机中形成特定的环境或情况并使得使用计算机的用户好像在与真实环境和情况进行交互一样。虚拟现实技术允许用户通过被操纵的感官刺激来感受现实，并且可以被用在许多行业领域中，诸如游戏、教育、医学和新闻业。

近年来，随着人们对虚拟现实的兴趣增加，用于实现虚拟现实的技术也已经得到了积极的发展。特别地，已经积极地进行了对用于处理构成用于实现虚拟现实所必需的虚拟空间的图像的技术的研究。例如，随着与虚拟现实图像相关的技术的发展，用户可以观看360度图像而不是扁平图像。

发明内容

技术问题

在三维(3D)图像编码过程中，可以执行按区域打包以提高总体压缩效率或处理分辨率高于另一个区域的与特定视口对应的区域的分辨率。服务器可以从通过按区域打包生成的打包图片中生成多个子图片轨道(或多个资产)，并且仅传输与从多个轨道中选择的至少一个轨道相关的数据，以便减少与3D图像相关的数据的传输量。在这点上，为了防止在提供给用户的3D图像中生成孔，需要将关于渲染所需的最小子图片集的信息提供给终端。

问题的解决方案

根据本公开的一方面，一种通过多个资产传输视频内容的方法包括：识别通过资产传输的内容是否是子图片；当通过资产传输的内容是子图片时，生成包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息；并且传输子图片资产信息和内容。

根据本公开的另一方面，一种用于通过多个资产传输视频内容的服务器包括：通信接口；以及连接到通信接口的至少一个处理器，其中所述至少一个处理器被配置为控制通信接口以识别通过资产传输的内容是否是子图片，当通过资产传输的内容是子图片时生成包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息，并且传输子图片资产信息和内容。

根据本公开的另一方面，一种通过多个资产接收视频内容的方法包括：接收资产描述符；基于资产描述符来确定通过资产接收的内容是否是子图片；当通过资产接收的内容是子图片时识别包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息；并且基于子图片资产信息接收并渲染内容。

根据本公开的另一方面，一种设备包括：通信接口，被配置为通过多个资产来接收视频内容；以及连接到通信接口的至少一个处理器，其中所述至少一个处理器被配置为基于通过通信接口接收的资产描述符来确定通过资产接收的内容是否是子图片，当通过资产传输的内容是子图片时识别包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息，并且基于子图片资产信息接收并渲染内容。

附图说明

图1示出了根据本公开的实施例的用于传输与三维(3D)图像相关的数据的传输设备的一般数据处理过程。

图2是图示根据本公开的实施例的将3D图像投影为2D图像并打包投影的2D图像的方法的图。

图3图示了根据本公开的实施例的用于接收关于3D图像的数据的接收设备的一般数据处理过程。

图4和5是图示根据本公开的实施例的其中传输设备将全向图像划分并传输到多个子图片轨道的过程的图。

图6是根据本公开的实施例的用于传送关于3D图像的数据的系统的信号流程图。

图7是根据本公开的实施例的其中传输设备传输视频内容的方法的流程图。

图8是根据本公开的实施例的其中传输设备生成与视频内容相关的信息的方法的流程图。

图9是图示根据本公开的实施例的其中接收设备接收和处理视频内容的方法的流程图。

图10是图示根据本公开的实施例的其中接收设备接收和处理视频内容的方法的流程图。

图11是图示根据本公开的实施例的与内容一起传输的资产描述符的语法的图。

图12是根据本公开的实施例的列出用于传输虚拟现实内容的虚拟现实应用消息类型的表。

图13图示了根据本公开的实施例的与内容一起传输的子图片资产信息的语法。

图14是根据本公开的实施例的传输设备的框图。

图15是根据本公开的实施例的接收设备的框图。

具体实施例

最佳实施例

根据本公开的一方面，一种通过多个资产传输视频内容的方法包括：识别通过资产传输的内容是否是子图片；当通过资产传输的内容是子图片时，生成包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息；并且传输子图片资产信息和内容。

公开的实施例

在下文中，将通过参考附图详细描述本公开的实施例，以使本领域普通技术人员容易地执行实施例。但是，本公开可以以各种不同的形式来实施，并且不限于本文描述的实施例。而且，在附图中，为了清楚地描述本公开，省略了与描述不相关的本公开的方面。而且，在整个说明书中，相同的元件由相同的附图标记引用。

本公开的一个或多个实施例可以被描述为功能块组件和各种处理操作。这些功能块的全部或一部分可以由被配置为执行指定功能的任何数量的硬件和/或软件组件来实现。例如，可以用一个或多个微处理器或用用于某些功能的电路结构来实现本公开的功能块。而且，例如，可以用各种编程或脚本语言来实现本公开的功能块。可以用由一个或多个处理器执行的算法来实现功能块。此外，本公开可以采用根据相关技术的技术用于电子配置、信号处理和/或数据控制。

此外，附图中所示的连接线或连接器旨在表示各种元件之间的示例功能关系和/或物理或逻辑耦合。应当注意的是，在实际设备中可以存在许多替代或附加的功能关系、物理连接或逻辑连接。

在本说明书中，术语“图像”可以包括所有静止图像、移动图像、视频帧和/或视频流，并且可以包括2D帧和3D帧两者。例如，“图像”可以包括由点云表示的3D帧或360度全向媒体帧。

在整个说明书中使用的术语“图像”不仅用作术语“图像”本身，而且还用作描述在相关领域中可以已知的各种形式的视频图像信息的通用术语，诸如“图片”、“帧”、“场”或“切片”。例如，“图像”可以指构成视频内容的多个图片或多个帧之一，或者可以指包括多个图片或多个帧的整个视频内容。

在下文中，将参考附图详细描述本公开。

图1示出了根据本公开的实施例的用于传输与三维(3D)图像相关的数据的传输设备的一般数据处理过程。例如，根据实施例的传输设备可以是用于提供与3D图像相关的数据或服务的服务器。3D图像可以指动态图像和静态图像两者。此外，与3D图像相关的数据可以包括沉浸式媒体数据，该沉浸式媒体数据包括360度全向虚拟现实内容或与6个自由度相关的内容。

在图1的操作110中，传输设备可以获得3D图像。作为示例，传输设备可以通过拼接在各个方向上捕获的从多个相机获得的图像来生成3D图像。作为另一个示例，传输设备可以从外部接收与已经生成的3D图像相关的数据。例如，可以在球体、立方体、圆柱体或八面体中的任何一种中渲染3D图像。但是，本公开不限于3D图像的类型，并且可以生成或接收各种类型的3D图像。

在操作120中，传输设备可以通过将空间中的3D图像投影到2D平面上来生成2D图像。根据实施例的传输设备可以执行投影，其中将3D空间中的全向图像投影到确定格式的矩形图片上。

为了将3D图像投影为2D图像，可以使用等矩形投影(ERP)、八面体投影(OHP)、圆柱投影、立方体投影和相关技术领域中可用的各种投影方法中的任何一种。

在操作130中，传输设备可以打包投影的2D图像。打包(packing)可以指通过改变构成投影的2D图像的多个区域的至少一部分的位置、尺寸和方向来生成新的2D图像(即，打包的2D图像)。例如，对于打包，可以执行对于区域的调整尺寸、变换、旋转和/或重新采样(例如，根据区域内的位置的上采样、下采样和差分采样)等。

根据本公开的实施例的传输设备可以在投影的2D图像上执行按区域的打包。在按区域的打包过程中，传输设备可以改变构成投影的图像的区域的位置、尺寸和方向。此外，传输设备可以通过增加整体压缩效率或将与特定视口对应的区域的分辨率处理为高于其它区域的分辨率来处理图片的合成，使得可以基于用户的视点来使用图片进行处理，从而生成打包的图片。

图2是图示根据本公开的实施例的将3D图像210投影为2D图像220并打包投影的2D图像的方法的图。

例如，如图2中所示，3D图像210可以具有球形。根据实施例的传输设备可以通过利用ERP方法投影3D图像210来生成投影的2D图像220。传输设备可以将投影的2D图像220划分为多个区域221、222、223和224。在图2中，以将投影的2D图像220划分为四个区域的情况为例进行说明，但是本公开不限于图2中所示的示例。投影的2D图像220可以被划分为各种数量和各种形状。根据实施例，其中传输设备划分投影的2D图像220的方法可以不同地改变。

根据实施例的传输设备可以从投影的2D图像220生成打包的2D图像230。传输设备可以通过修改和/或重新布置投影的2D图像220的多个区域221、222、223和224来生成打包的2D图像230。打包的2D图像230的多个区域231、232、233和234可以分别顺序地与投影的2D图像220的多个区域221、222、223和224对应。本公开不限于图2中所示的示例，并且可以根据实施例执行各种修改和重新布置。

返回去参考图1，在操作140中，传输设备可以对打包的图片进行编码。对于编码，例如，可以使用各种视频编解码器方法，诸如高效视频编码(HEVC)、高级视频编码(AVC)等。

根据实施例的传输设备可以将打包的图片划分为多个区域。传输设备可以对打包的2D图像的多个区域单独执行编码。传输设备可以仅对打包的图片的多个区域当中的一个或多个要传输的区域执行编码。作为示例，可以对打包的图片的多个区域当中的两个或更多个区域的组图像执行编码。作为另一个示例，可以对整个打包的图片执行编码。

在操作150中，传输设备可以封装编码的数据。传输设备可以通过诸如将报头添加到划分的数据之类的处理来划分编码的数据并处理编码的数据以符合确定的传输协议。传输设备可以传输封装的数据。传输设备可以传输与该数据相关的附加数据和/或与封装的数据一起或与该数据分离地再现数据所必需的数据(例如，元数据)。

传输设备可以传输根据MPEG媒体传输(MMT)方法通过封装而生成的位流。根据实施例的传输设备可以生成与3D图像对应的多个轨道，并且将用于多个轨道中的一些或全部的数据传输到接收设备。多个轨道可以具有关于不同区域的数据，或者可以具有不同的质量水平。

图3图示了根据本公开实施例的用于接收关于3D图像的数据的接收设备的一般数据处理过程。

根据本公开的实施例的接收设备可以是能够向用户提供增强现实内容的AR设备或能够提供虚拟现实内容的VR设备。此外，接收设备可以指能够接收并再现关于3D图像的数据的所有类型的设备。

根据实施例的接收设备可以接收从传输设备传输的关于3D图像的数据。在图3的操作310中，接收设备可以对接收到的数据执行解封装。通过在操作310中的解封装，可以获得通过在图1中的操作140中的编码而生成的编码的数据。

在操作320中，接收设备可以对解封装的数据执行解码。可以在操作320中通过解码来重构打包的2D图像。

接收设备可以通过对解码的数据执行图像渲染来显示3D图像。具体而言，在操作330中，接收设备可以对解码的数据(即，打包的2D图像)执行拆包(unpacking)。通过在操作330中的拆包，可以重构通过图1中的操作120中的投影生成的2D图像。

为了执行拆包，接收设备可以在图1的操作130的拆包中对投影的2D图像的多个区域执行修改和/或重新布置的逆变换。为此，接收设备可以知道由传输设备执行的数据的打包方法。例如，可以预先在传输设备和接收设备之间知道打包方法。作为示例，传输设备可以通过诸如元数据之类的单独消息向接收设备传输关于打包方法的信息。作为另一个示例，关于打包方法的信息可以包括在通过封装生成并传输到接收设备的传输数据的报头中。

在操作340中，接收设备可以将拆包的2D图像投影为3D图像。根据实施例的接收设备可以使用在图1的操作120中使用的投影的逆投影来将2D图像投影为3D图像，但是不限于此。接收设备可以通过将拆包的2D图像投影为3D图像来生成3D图像。

在操作350中，接收设备可以通过显示设备显示在操作340中生成的3D图像的至少一部分。例如，接收设备可以从3D图像中仅提取和渲染与当前视场(FOV)对应的数据。

图4和5是图示根据本公开的实施例的其中传输设备将全向图像划分并传输到多个子图片轨道的过程的图。

如以上参考图1所述，根据实施例的传输设备可以生成与3D图像对应的多个轨道，并且将关于多个轨道中的一些或全部的数据传输到接收设备。多个轨道可以具有关于不同区域的数据。

例如，根据实施例的传输设备可以将通过图4的ERP方法投影的360度投影图片401关于多个区域划分为子图片402，并且通过多个子图片轨道相对于多个区域传输子图片402。子图片轨道可以与MMT技术中的多个资产对应。

资产(asset)是指用于携带编码的媒体数据的媒体处理单元(MPU)的逻辑组。一个资产可以包括共享相同资产ID的至少一个MPU。

如图4中所示，根据实施例的接收设备可以通过多个资产402中的至少一些资产来接收全向图像的至少一部分。在这种情况下，当接收设备独立执行渲染并显示单个子图片时，可以在提供给用户的3D图像中生成洞。因而，接收3D数据的接收设备需要接收指示3D图像的呈现所必需的最小资产集403的消息。

根据本公开的实施例的传输设备可以将关于用于呈现的最小资产集403的信息传输给接收设备。因而，当多个子图片构成一个合成图片时，根据本公开的实施例的传输设备将关于最小资产集403的信息传输到接收设备，从而防止接收设备独立地渲染单个子图片。因此，根据实施例的传输设备可以在传输内容之前定义用于呈现的最小资产集403。用于呈现的最小集合可以是整个合成图片或用于保护缓冲的固定集合。

根据实施例的传输设备可以通过根据接收设备的视口反馈动态地更新子图片资产信息来执行基于动态视口的保护获取。

如图5中所示，当通过12个资产传输全向图像510时，根据实施例的传输设备可以基于视口501来确定用于呈现的最小集合为4个资产。传输设备可以将指示与4个资产对应的数据需要与内容一起渲染的信息传输到接收设备。

此外，如图5中所示，当通过四个资产传输全向图像530时，根据实施例的传输设备可以基于视口502确定用于呈现的最小集合为2个资产。传输设备可以将指示与2个资产对应的数据需要被渲染的信息与内容一起传输到接收设备。

根据实施例的传输设备可以将与构成用于呈现的最小集合中包括的子图片的合成图片相关的子图片合成信息连同内容一起传输到接收设备。子图片合成信息可以包括关于至少一个子图片的覆盖范围、与子图片对应的资产的资产ID以及构成合成图片的子图片的数量中的至少一个的信息。接收设备可以基于从传输设备接收的信息来接收并渲染用于呈现的最小资产集中包括的子图片。可替代地，接收设备可以基于从传输设备接收的信息来渲染由子图片集构成的整个合成图片。资产的覆盖信息的总和可以由子图片资产信息消息提供。

图6是根据本公开的实施例的用于传送关于3D图像的数据的系统的信号流程图。

在操作S610中，根据本公开的实施例的传输设备可以向接收设备传输MPEG媒体运输(MMT)包装表(MPT)消息和子图片资产信息消息。MPT消息可以携带所有的MMT包装表或子集。MPT消息可以包括VR资产描述符。

根据ISO/IEC 23008-1指定的MMT技术定义了一种特定于应用的信令消息，该消息允许递送特定于应用的信息。可以通过MMT传输根据ISO/IEC23090-2指定的全向媒体格式(OMAF)内容。资产描述符可以存在于所有携带OMAF内容的资产中。特别地，为了传输多个资产子图片，可以在MMT信令中使用VR信息资产描述符。例如，为了流传输具有根据OMAF标准的格式的VR内容，可以定义特定于VR的资产描述符、立体声视频资产描述符和特定于VR应用的信令消息。

VR信息资产描述符可以描述哪种投影类型被用于生成VR内容、如何按区域打包VR内容以及子图片或合成图片在球体上覆盖哪些区域等。

此外，根据本公开的实施例的VR信息资产描述符可以包括用于向接收实体和VR应用通知包括生成合成图片所需的子图片的多个资产的信息。即，VR信息资产描述符可以被用于向接收设备指示由传输设备当前传输的内容包括在多个子图片资产中。

根据本公开的实施例的VR信息资产描述符可以包括子图片标志。子图片标志可以指示对应资产中的内容是否是子图片。

根据本公开的实施例的传输设备可以通过经由VR信息资产描述符传输子标志1来通知接收设备通过对应资产传输的内容是子图片。

例如，当子图片标志为1时，其可以指示与VR信息资产描述符对应的资产中的内容是子图片，并且可以指示不需要与构成合成图片的其它子图独立地渲染内容。

此外，传输设备可以将包括构成合成图片的其它子图片的信息在内的子图片资产信息与子图片一起传输。子图片资产信息可以被用于向接收设备指示由传输设备当前传输的内容包括在多个子图片资产中。子图片资产信息可以包括关于整个合成图片的覆盖范围信息、关于包括构成整个合成图片的子图片的资产的信息或每个子图片的覆盖范围信息中的至少一个的信息。

根据本公开的实施例，为了使接收设备将资产中的内容识别为子图片，可以在VR信息资产描述符中将子图片标志设置为1。在这种情况下，在识别出子图片标志之后，接收设备可以参考包括关于用于配置和渲染合成图片的相关资产的信息在内的相关消息。相关消息可以包括例如VR子图片资产信息消息。

在操作S620中，根据本公开的实施例的接收设备可以基于从传输设备接收的子图片资产信息来请求目标资产。根据本公开的实施例的传输设备可以响应于请求而传输目标资产。传输设备可以通过包括目标资产在内的多个资产来传输多个子图片。例如，接收设备可以请求传输设备通过基于子图片资产信息确定的资产来传输内容，并且可以响应于该请求而从传输设备接收内容。

根据本公开的实施例的接收设备可以不单独渲染每个子图片，而是可以一起渲染构成基于子图片资产信息确定的合成图片的子图片。

在操作S630中，根据本公开的实施例的传输设备可以从接收设备接收反馈信息。反馈信息可以包括关于视口、带宽、缓冲或延迟中的至少一个的信息。视口信息可以是指定视口的信息，视口是要由接收设备显示的区域。

在操作S640中，根据本公开的实施例的传输设备可以将基于反馈信息而更新的子图片资产信息传输到接收设备。例如，传输设备可以基于作为反馈信息而被接收的视口信息来确定包括构成合成图片的子图片的资产。传输设备可以将关于确定的资产的信息传输到接收设备。

在操作S650中，根据本公开的实施例的接收设备可以基于从传输设备接收的更新后的子图片资产信息来请求目标资产。根据本公开的实施例的传输设备可以响应于请求而传输目标资产。传输设备可以基于更新后的子图片资产信息通过包括目标资产在内的多个资产来传输多个子图片。

在下文中，将参考图7至10更详细地描述根据本公开的实施例的传输设备和接收设备的操作。

图7是根据本公开的实施例的其中传输设备传输视频内容的方法的流程图。根据本公开的实施例的传输设备可以传输根据由ISO/IEC定义的OMAF技术压缩的数据。

在操作S710中，根据本公开的实施例的传输设备可以识别通过资产传输的内容是否是子图片。资产可以指用于携带编码的媒体数据的MPU的逻辑组。

在操作S720中，当通过资产传输的内容是子图片时，根据本公开的实施例的传输设备可以生成子图片资产信息，该子图片资产信息包括关于与所述子图片一起构成合成图片的其它子图片的信息。

子图片可以指表示原始内容的空间子集的图片。当通过资产传输的内容是子图片时，接收内容的接收设备可以仅通过参考关于构成合成图片的其它子图片的信息连同对应的子图片来渲染内容。同时，当通过资产传输的内容是整个合成图片时，接收设备可以独立地渲染通过资产传输的内容。

子图片资产信息可以包括关于被图片覆盖的覆盖范围信息、资产的标识符以及由子图片资产信息描述的子图片视频资产的数量中的至少一个的信息。覆盖范围信息可以包括被通过资产传输的子图片覆盖的覆盖范围信息和被合成图片覆盖的覆盖范围信息。

在操作S730中，根据本公开的实施例的传输设备可以传输子图片资产信息和内容。

在传输子图片资产信息之前，根据本公开的实施例的传输设备可以传输资产描述符，该资产描述符包括指示通过资产传输的内容是否是子图片的信息。

例如，传输设备可以传输VR资产描述符，该VR资产描述符包括指示通过资产传输的内容是否是子图片的sub_picture标志。当通过资产传输的内容是子图片时，可以将sub_picture标志设置为1。当通过资产传输的内容是整个合成图片时，sub_picture标志可以设置为0。

根据实施例的接收设备可以基于从传输设备接收的子图片资产信息来请求目标资产。根据本公开的实施例的传输设备可以响应于请求而传输目标资产。例如，传输设备可以通过包括目标资产在内的多个资产来传输多个子图片。可替代地，传输设备可以通过目标资产传输整个合成图片。

同时，根据实施例的传输设备可以从接收设备接收反馈信息。例如，反馈信息可以包括视口信息、带宽信息、缓冲信息或延迟信息中的至少之一。根据实施例的传输设备可以基于反馈信息来更新子图片资产信息，并且将更新后的子图片资产信息传输到接收设备。

在下文中，将参考图8详细描述根据实施例的其中传输设备生成与视频内容相关的信息的方法。

在操作S810中，根据实施例的传输设备可以获得拼接的图片。根据实施例的传输设备可以获得通过拼接在各个方向上捕获的从多个相机获得的图像而生成的拼接的图片。

在操作S820中，根据实施例的传输设备可以确定是否要求多个子图片来表示拼接的图片。

当拼接的图片包括多个子图片时，在操作S820中，根据实施例的传输设备可以更新资产描述符。例如，传输设备可以将包括在资产描述符中的子图片标志更新为1。根据实施例的传输设备可以通过经由资产描述符传输子图片标志1来通知接收设备通过对应资产传输的内容是子图片。

在操作S850中，根据实施例的传输设备可以在拼接的图片包括多个子图片时生成子图片资产信息消息。

根据实施例的传输设备可以生成子图片资产信息，该子图片资产信息包括关于构成合成图片的其它子图片的信息，使得构成合成图片的子图片可以被一起渲染。例如，子图片资产信息消息可以包括关于整个合成图片的覆盖范围信息、关于包括构成整个合成图片的子图片的资产的信息(例如，构成合成图片的资产的数量和/或对应资产的ID等)或子图片的覆盖范围信息中的至少一个的信息。

当整个拼接图片作为单个图片被传输时，在操作S840中，根据实施例的传输设备可以将包括在资产描述符中的子图片标志更新为0。根据实施例的传输设备可以通过经由资产描述符传输子图片标志0来通知接收设备通过资产传输的内容是整个合成图片。

图9是图示根据本公开的实施例的其中接收设备接收并处理视频内容的方法的流程图。根据本公开的实施例的传输设备可以接收根据由ISO/IEC定义的OMAF技术压缩的数据。

在操作S910中，根据实施例，接收设备可以接收资产描述符。资产可以指用于携带编码的媒体数据的MPU的逻辑组。

接收设备可以通过至少一个资产来接收内容，并通过资产描述符接收关于通过每个资产接收的内容的信息。根据本公开的实施例的资产描述符可以包括指示通过资产接收的内容是否是子图片的信息。

在操作S920中，根据实施例，接收设备可以基于资产描述符来确定通过资产接收的内容是否是子图片。

例如，接收设备可以接收包括指示通过资产传输的内容是否是子图片的sub_picture标志的VR资产描述符。根据实施例，当sub_picture标志为1时，接收设备可以确定通过资产传输的内容是子图片。同时，当sub_picture标志为0时，接收设备可以确定通过资产传输的内容是整个合成图片。

在操作S930中，根据实施例，当通过资产接收的内容是子图片时，接收设备可以识别子图片资产信息，该子图片资产信息包括关于与所述子图片一起构成合成图片的其它子图片相关的信息。

子图片资产信息可以包括被图片覆盖的覆盖范围信息、资产的标识符或由子图片资产信息描述的子图片视频资产的数量中的至少一个。覆盖范围信息可以包括被通过资产接收的子图片覆盖的覆盖范围信息和被合成图片覆盖的覆盖范围信息。

在操作S940中，根据实施例，接收设备可以基于子图片资产信息来接收并渲染内容。

例如，根据实施例，接收设备可以接收并渲染与子图片和被配置为其它子图片的合成图片对应的内容。同时，根据实施例，当通过资产接收的内容是整个合成图片时，接收设备可以独立地渲染通过资产接收的内容。

同时，根据本公开的实施例的接收设备可以将反馈信息传输到传输设备。接收设备可以响应于反馈信息而接收更新后的子图片资产信息。例如，反馈信息可以包括视口信息、带宽信息、缓冲信息或延迟信息中的至少一个。

在下文中，将参考图10详细描述根据实施例的其中接收设备接收和处理视频内容的方法。

在操作S1010中，根据实施例的接收设备可以确定接收到的内容是否包括多个资产。接收设备可以基于从传输设备接收的资产描述符来确定通过资产接收的内容是否是子图片(即，内容是否是通过多个资产接收的)。

例如，当sub_picture标志为1时，接收设备可以确定接收到的内容包括多个资产。同时，当sub_picture标志为0时，接收设备可以确定内容是通过一个资产接收的。

在操作S1020中，当确定接收到的内容包括多个资产时，接收设备可以对子图片进行解码和缓冲。

在操作S1040中，根据实施例的接收设备可以基于子图片资产信息来获得与用于渲染的最小资产集对应的子图片。例如，子图片资产信息消息可以包括关于整个合成图片的覆盖范围信息、关于包括构成整个合成图片的子图片的资产的信息(例如，构成合成图片的资产的数量和/或对应资产的ID等)或子图片的覆盖范围信息中的至少一个的信息。

在操作S1030中，当确定接收到的内容包括一个资产时，根据实施例的接收设备可以对对应的内容进行解码。

在操作S1050中，根据实施例的接收设备可以渲染与最小资产集对应的图片。

例如，当确定接收到的内容包括多个资产时，接收设备可以一起渲染构成整个合成图片的子图片。同时，当确定接收到的内容包括一个资产时，接收设备可以独立地渲染通过对应资产接收的图片。

根据实施例，当子图片大于视口时，子图片标志可以是0或1。构成消息中指定的最小资产集的资产数量可以取决于消息而变化。例如，最小资产集可以相差180'或360'。

构成消息中指定的最小资产集的资产的数量可以由服务器根据带宽、内容等而被更新。因而，当未接收到指定的子图片集中的所有资产(即，消息中列出的所有资产)时，客户端(或再现设备)的再现会受到限制。因为针对每个资产指定了覆盖范围信息，所以可以通过布置资产的集合来tdut整个子图片集的覆盖范围信息。

同时，根据实施例，当子图片小于视口时，子图片标志始终为1。

当子图片标志为1时，子图片资产信息消息可以提供用于解码和渲染的指导。当接收设备的用户在观看与0至180度对应的3D图像之后向左移动时，接收设备可以接收300至120度的资产并执行解码和渲染。当子图片小于视口时，最小资产集不再是子图片，并且子图片资产信息消息可以提供资产的必要覆盖范围信息。

图11是图示根据本公开的实施例的与内容一起传输的资产描述符的语法的图。

如图11中所示，根据实施例的资产描述符可以包括sub_picture标志。子图片标志可以指示通过资产传输的内容是否是子图片。当通过资产传输的内容是子图片并且不应当独立于构成合成图片的其它子图片进行渲染时，可以将sub_picture标志设置为1。当通过资产传输的内容是整个合成图片时，sub_picture标志可以被设置为0。

图12是根据本公开的实施例的列出用于传输虚拟现实内容的虚拟现实应用消息类型的表。

关于OMAF VR内容的新资产描述符可以被定义为VR信息资产描述符。VR信息资产描述符可以存在于携带OMAF内容的所有资产中。

对于特定的VR信令消息，可以定义以下应用消息类型集。

VRViewDependentSupportQuery：(客户端使用这个命令来发现服务器是否支持依赖于视图的流传输。)

VRViewDependentSupportResponse：(服务器用其对于依赖于视图的流传输的支持能力的指示来应答。)

VRViewportChangeFeedback：(接收实体将当前视口的指示发送到发送实体。)

VRViewDependentAssetsInformation：(在确定与所请求的视口匹配的OMAF资产的集合后，发送实体发送这个消息，以通知客户端将要流传输到接收实体的新OMAF资产。)

VRViewportChangeFeedback和VRViewDependentAssetsInformation消息被一起使用，以支持OMAF资产的基于服务器的依赖于视图的流传输。(为了支持引导式渲染，其中渲染器遵循指示的感兴趣区域，或者遵循推荐的OMAF视口的定时的(timed)元数据轨道，定义了VRROIGuide应用消息类型。)

图13图示了根据本公开的实施例的与内容一起传输的子图片资产信息的语法。

根据本公开的示例性实施例的传输设备可以通过经由图11中所示的VR信息资产描述符传输子标志1来通知接收设备通过对应资产传输的内容是子图片。传输设备可以传输子图片资产信息，该子图片资产信息包括关于与所述子图片一起构成合成图片的其它子图片的信息。

子图片资产信息可以被用于向接收设备指示在多个子图片资产中包括由传输设备当前传输的内容。子图片资产信息可以包括关于整个合成图片的覆盖范围信息、关于包括构成整个合成图片的子图片的资产的信息以及每个子图片的覆盖范围信息中的至少一个的信息。

在图13中，message_id表示VRSub-pictureAsset信息消息的标识符。

version表示VRSub-pictureAsset信息消息的版本。

length表示VRSub-pictureAsset信息消息的长度(以字节为单位)，并从VRViewDependentSupportQuery消息的下一个字段的开始到最后一个字节进行计算。这个字段的值不应当等于0。

application_identifier将应用程序标识符表示为唯一标识应用程序以消费这个消息的内容的统一资源名称(urn)。

app_message_type为图12中提供的每个应用程序定义消息类型。

number_of_assets指定由这个描述符描述的子图片视频资产的数量。

asset_id_length以字节为单位指定子图片视频资产标识符的长度。

asset_id_byte包括子图片视频资产标识符的字节。

ContentCoverageInfoStruct()可以表示在图13的语法中当在number_of_assets循环之外时被合成图片覆盖的球体区域。可替代地，ContentCoverageInfoStruct()可以表示在图13的语法中在number_of_assets循环之内时被子图片资产覆盖的球形区域。

在下文中，将描述根据实施例的传输设备1400的配置。下文描述的传输设备1400的每种配置可以执行以上参考图7和8描述的方法的每个操作。冗余的描述被省略。

图14是根据实施例的传输设备1400的框图。

如图14中所示，根据实施例的传输设备1400可以包括通信接口1410、连接到通信接口1410的至少一个处理器1420以及存储器1430。但是，并非所有示出的组件都是必不可少的组件。传输设备1400可以由比图示的组件更多的组件来实现，并且传输设备1400可以由与图示的组件相比更少的组件来实现。例如，根据本公开的实施例的传输设备1400可以是用于提供与3D图像相关的数据或服务的服务器。

根据本公开的实施例的传输设备1400可以包括处理器1420，该处理器1420通过执行存储在存储器1430中的一个或多个指令来传输包括一系列3D图像的视频内容。

根据实施例的处理器1420可以识别通过资产传输到接收设备的内容是否是子图片。例如，当通过资产传输到接收设备的内容是子图片时，处理器1420可以将包括在资产描述符中的子图片标志更新为1。当通过资产传输到接收设备的内容不是子图片时，处理器1420可以将包括在资产描述符中的子图片标志更新为0。

当通过资产传输的内容是子图片时，处理器1420可以生成子图片资产信息，该子图片资产信息包括关于与所述子图片一起构成合成图片的其它子图片的信息。根据实施例的处理器1420可以生成并传输子图片资产信息，使得可以将构成合成图片的子图片一起渲染。

处理器1420可以控制通信接口1410传输子图片资产信息和内容。

同时，根据实施例的传输设备1400可以从接收设备接收反馈信息。例如，反馈信息可以包括视口信息、带宽信息、缓冲信息或延迟信息中的至少之一。根据实施例的传输设备1400可以基于反馈信息来更新子图片资产信息，并且将更新后的子图片资产信息传输到接收设备。

根据实施例的接收设备可以基于从传输设备1400接收的更新后的子图片资产信息来请求目标资产。根据本公开的实施例的传输设备1400可以响应于请求而传输目标资产。

在下文中，将描述根据实施例的接收设备1500的配置。以下描述的接收设备1500的每种配置可以执行以上参考图9和10描述的方法的每个操作。冗余的描述被省略。

图15是根据实施例的接收设备1500的框图。

如图15中所示，根据实施例的接收设备1500可以包括通信接口1510、连接到通信接口1510的至少一个处理器1520以及存储器1530。但是，并非所有示出的组件都是必不可少的组件。接收设备1500可以由比图示的组件更多的组件来实现，并且接收设备1500可以由与图示的组件相比更少的组件来实现。根据本公开的实施例的接收设备1500可以包括能够接收和再现3D图像数据的所有类型的设备。

根据本公开的实施例的接收设备1500可以包括处理器1520，该处理器1520通过执行存储在存储器1530中的一个或多个指令来传输包括一系列3D图像的视频内容。

根据实施例的处理器1520可以基于通过通信接口1510接收的资产描述符来确定通过资产接收的内容是否是子图片。

例如，接收设备可以接收包括指通过资产传输的内容是否是子图片的sub_picture标志的VR资产描述符。根据实施例，当sub_picture标志为1时，接收设备可以确定通过资产传输的内容是子图片。同时，当sub_picture标志为0时，接收设备可以确定通过资产传输的内容是整个合成图片。

当通过资产接收的内容是子图片时，处理器1520可以识别子图片资产信息，该子图片资产信息包括关于与所述子图片一起构成合成图片的其它子图片的信息。处理器1520可以基于子图片资产信息来接收并渲染内容。

例如，根据实施例，接收设备1500可以接收并渲染与子图片和包括其它子图片的合成图片对应的内容。同时，根据实施例，当通过资产接收的内容是整个合成图片时，接收设备1500可以独立地渲染通过资产接收的内容。

同时，根据本公开的实施例的接收设备1500可以将反馈信息传输到传输设备1400。接收设备1500可以响应于反馈信息而从传输设备1400接收更新后的子图片资产信息。例如，反馈信息可以包括视口信息、带宽信息、缓冲信息和延迟信息中的至少之一。

根据实施例的接收设备1500可以基于从传输设备1400接收的更新后的子图片资产信息来请求目标资产。根据本公开的实施例的传输设备1400可以响应于请求而传输目标资产。

同时，上述实施例可以被编写为在计算机中可执行的程序，并且可以在使用计算机可读介质来操作程序的通用数字计算机中实现。此外，可以通过各种手段将在上述实施例中使用的数据的结构记录在计算机可读介质上。此外，上述实施例可以以包括由计算机可执行的指令的记录介质的形式来实现，诸如由计算机执行的程序模块。例如，实现为软件模块或算法的方法可以作为计算机可以读取和执行的代码或程序指令存储在计算机可读记录介质中。

计算机可读介质是计算机可以访问的任何记录介质，并且可以包括易失性和非易失性介质以及可移动和不可移动介质。计算机可读介质可以包括磁存储介质，诸如ROM、软盘、硬盘等，并且可以包括光读取介质，诸如CD-ROM、DVD等，但不限于此。此外，计算机可读介质可以包括计算机存储介质和通信介质。

此外，可以在连接网络的计算机系统上分布多个计算机可读记录介质，并且可以由至少一个计算机执行存储在分布式记录介质中的数据，例如程序指令和代码。

本公开中描述的具体实施方式仅仅是示例，并且不以任何方式限制本公开的范围。为了说明书的简洁，可以省略对常规电子配置、控制系统、软件和系统的其它功能方面的描述。