使用2D-3D多维内容文件的多维内容服务提供系统、该服务提供方法以及该多维内容文件

摘要

本发明涉及使用2D-3D多维内容文件的多维内容服务提供系统以及该服务提供方法。本发明的多维内容提供系统向用户提供至少一个2D图像部分和至少一个3D图像部分相结合的多维内容，其信息处理方法包括以下步骤：A步骤，通过2D播放单元播放2D图像部分；B步骤，通过2D播放单元播放3D图像部分；C步骤，获取在所述B步骤中所播放的失真播放图像；D步骤，通过3D渲染(rendering)引擎对在所述C步骤中所获取的所述失真播放图像进行渲染处理；以及E步骤，将所述渲染处理后的图像提供给用户。

说明书

技术领域

本发明涉及使用2D-3D多维内容文件的多维内容服务提供系统以及该服 务提供方法，具体涉及能够通过单个播放单元来提供一个文件里同时包含2D 图像部分和3D图像部分的多维内容的、使用2D-3D多维内容文件的多维内 容服务提供系统以及该服务提供方法。

背景技术

以往，使用普通相机来拍摄不同角度的多个照片，制作成全景照片或者 图像的服务而言，即使具备能够进行拍摄的设备和能够观看它的特殊的看片 器，如果用户的电脑配置不高的话，视频本身就无法流畅地播放。然而，随 着能够更为方便地拍摄3D图像设备的出现，以及用户电脑配置的逐渐升级， 现如今的问题是到底能为用户提供多好的内容。

3D图像和2D图像分别带给用户的感染力是不同的。因此，若出现将2D 图像和3D图像复合在一个内容里的多维内容，则会受到大量用户的青睐。

另一方面，分别拍摄2D图像和3D图像，并通过能够分别观看的2D或 3D播放器以在一个结束的时间点上用另一播放器接着播放的方式进行播放 时，在连接的时间点上，即在不同类型的图像相互交替的时间点上所出现的 播放器的刷新现象所耗时间较长，因此会让用户误以为图像播放结束。

因此，有必要提供通过2D和3D图像的整合编辑而构成的多维内容。然 而，整合编辑方式有各种问题，例如，在进行整合编辑时，由于2D和3D图 像的大小不同而引起的在2D上下部分出现的黑色空白部分的控制问题、以及 判断播出2D和3D图像的时间点以控制3D渲染的问题等。

因此，迫切需要能够解决导入多维内容、构成多维内容、提供多维内容 服务的技术问题的方法。

一般来说，向用户提供图像(视频等)时，2D内容通过2D播放器来播 放给用户。而且，全景图像只能通过专门播放3D内容的3D播放器来提供。

此时，2D和3D内容并没有通过相同的播放单元来提供给用户，特别是 至少一个部分的2D图像部分与至少一个部分的3D图像部分整合于一个单一 文件的情况，未曾提供通过单个播放单元播放这种单一文件的服务。

特别是，如果在体育、音乐、电影、纪录片、教育、广告等各种内容中 提供将2D图像部和3D图像部结合在一起的内容的话，能给用户提供独特的 体验。因此，迫切需要开发出将2D图像部和3D图像部结合在一起的多维内 容的提供系统及其提供方法。

发明内容

所要解决的技术问题

本发明所要解决的第一个问题是提供多维内容提供系统。

本发明所要解决的第二个问题是提供多维内容提供系统的信息处理方 法。

本发明所要解决的第三个问题是提供多维内容文件。

解决问题的方法

为了实现本发明的目的，提供一种多维内容提供系统的信息处理方法， 向用户提供至少一个2D图像部分与至少一个3D图像部分相结合的多维内 容，其特征在于，包括以下步骤：A步骤，通过2D播放单元来播放2D图像 部分；B步骤，通过2D播放单元来播放3D图像部分；C步骤，获取在所述 B步骤中所播放的失真播放图像；D步骤，通过3D渲染(rendering)引擎对 在所述C步骤中所获取的所述失真播放图像进行渲染处理；以及E步骤，将 所述渲染处理后的图像提供给用户。

优选为，所述多维内容提供系统获取构成所述多维内容的所述2D图像部 分和所述3D图像部分各自的起始位置信息或者区间位置信息，在所述2D图 像部分的起始位置执行所述A步骤，在所述3D图像部分的起始位置执行所 述B步骤。

优选为，所述起始位置信息或所述区间位置信息存储在所述多维内容的 外部，或者包含在所述多维内容文件的标头中。

优选为，所述起始位置信息或者所述区间位置信息作为所述多维内容的 管理信息，存储在与存储有所述多维内容的存储装置相同的存储装置或存储 系统上，或者在播放所述多维内容之前通过有线或无线网络从提供所述起始 位置信息的第三系统接收。

优选为，所述起始位置信息或所述区间位置信息包括时间区间单位或起 始时刻，或者包括帧号区间单位或起始帧号。

优选为，进一步包括以下步骤：F步骤，获取所述2D图像部分和所述3D 图像部分的边界信息；G步骤，基于所获取的边界信息，从所述2D图像部分 和所述3D图像部分的边界部起在预设的边界范围内进行维度转换处理。

优选为，在所述C步骤中以帧单位获取位图图像，在所述D步骤中以帧 单位进行渲染处理。

优选为，在所述D步骤中以球体(sphere)型来进行渲染处理，或者以立 方体(cube)型来进行渲染处理。

优选为，所述多维内容提供系统在用户终端上驱动，所述E步骤中，提 供给包括在所述用户终端上或者通过有线或无线网络连接于所述用户终端的 至少一个显示装置，所述多维内容存储在所述用户终端上，或者从通过有线 或无线网络连接于所述用户终端的至少一个服务器实时提供。

优选为，将所述多维内容提供给所述用户终端的方法为，使用HTTP或 者RTMP中的任一协议，将多维内容图像信息从所述服务器传输至所述用户 终端。

优选为，将所述多维内容提供给所述用户终端的方法为，通过渐进式下 载方式或者实时流方式，将多维内容图像信息从所述服务器传输至所述用户 终端。

优选为，在所述E步骤中，将所述2D播放单元播放的声音信息与在所述 D步骤中经渲染处理的图像进行同步(sync)，以同时提供声音信息和图像信 息。

优选为，在所述E步骤中，将所述经过渲染处理的图像中的至少一个预 设区域作为显示给用户的观看画面区域而提供。

优选为，有关设定所述观看画面区域的信息存储在所述多维内容的标头 信息中，或者从提供所述多维内容的服务器接收，或是在所述多维内容提供 系统中进行设定或根据预设的观看画面区域设定规则来进行变更。

优选为，所述观看画面区域的设定，由所述用户进行设定，并且所述用 户能够在所述多维内容播放过程中对所述观看画面区域的设定进行变更。

优选为，所述观看画面区域的设定是所述用户指定或者变更用于设定观 看画面区域的观看区域方向，指定或者变更所述观看区域方向通过键盘输入、 小键盘输入、触摸输入、语音输入、动作输入中的任一种或多种输入来实现。

优选为，当所述观看画面区域的设定有变更时，所述多维内容提供系统 使用所变更的观看画面区域设定信息来变更在所述渲染处理后的图像中显示 给用户的观看画面区域。

优选为，当所述观看区域方向变更时，所述多维内容提供系统在所述渲 染处理后的图像上反映所变更的观看区域方向，从而连续地变更显示给用户 的观看画面区域。

优选为，当向用户提供所述2D图像部分的播放结果时，所述多维内容提 供系统进行控制以去除所述2D图像部分的预设空白区域后提供给用户。

优选为，所述边界信息使用构成所述多维内容的所述2D图像部分和所述 3D图像部分各自的起始位置信息或者区间位置信息，进行所述维度转换处理 是，以所述边界部为基准对预设的时间区间或预设的帧区间进行处理以呈现 淡入(fadein)或淡出(fadeout)效果。

为了实现本发明的目的，提供一种多维内容提供系统，向用户提供至少 一个2D图像部分与至少一个3D图像部分相结合的多维内容，其特征在于， 所述多维内容提供系统包括：2D播放部，播放2D图像部分和3D图像部分； 播放区间属性信息获取部，获取有关作为播放对象的图像部分是2D图像部分 还是3D图像部分的播放区间属性信息；失真图像获取部，获取由所述2D播 放部播放3D图像部分的结果；渲染部，使用3D渲染引擎来对所述失真图像 获取部所获取的失真图像进行渲染处理。

优选为，所述播放区间属性信息获取部获取构成所述多维内容的所述2D 图像部分和所述3D图像部分各自的起始位置信息或区间位置信息，或者获取 构成所述多维内容的所述2D图像部分和所述3D图像部分各自的时间区间对 应信息或帧区间对应信息。

优选为，所述播放区间属性信息获取部从所述多维内容文件的标头部、 或者独立于所述多维内容文件而存在于外部的播放区间属性信息文件、或者 从提供所述多维内容图像信息的多维内容提供服务器，获取所述起始位置信 息或所述区间位置信息或者所述时间区间对应信息或所述帧区间对应信息。

优选为，所述起始位置信息或所述区间位置信息或者所述时间区间对应 信息或所述帧区间对应信息包括时间区间单位或起始时刻，或者包括帧号区 间单位或起始帧号。

优选为，进一步包括维度转换处理部，该维度转换处理部获取所述2D图 像部分和所述3D图像部分的边界信息，并基于所获取的边界信息，从所述 2D图像部分与所述3D图像部分的边界部起在预设的边界范围内进行维度转 换处理。

优选为，所述失真图像为帧单位的位图图像，所述渲染部以帧单位进行 渲染处理。

优选为，所述渲染处理部以球体(sphere)型进行渲染处理，或者以立方 体(cube)型进行渲染处理。

优选为，所述多维内容提供系统在用户终端上驱动，所述用户终端为个 人电脑、智能手机、平板电脑、便携式电脑、游戏机、智能电视、信息亭终 端、能够进行通信并包括显示装置的终端、能够从外部获取多维内容文件且 内置显示装置或者能够通过有线或无线网络与显示装置进行通信的终端中的 至少一个。

优选为，用来驱动所述多维内容提供系统的用户终端使用HTTP或者 RTMP中的任一协议从至少一个多维内容提供服务器接收多维内容图像信息， 或者通过渐进式下载方式或者实时流方式从所述多维内容提供服务器接收所 述多维内容图像信息。

优选为，进一步包括同步处理部，使所述2D播放单元播放的声音信息与 经渲染处理的图像同步。

优选为，包括观看画面区域选择支持部，其支持所述用户进行调节以将 所述经过渲染处理的图像中的至少一个预设区域作为显示给用户的观看画面 区域而提供。

优选为，所述观看画面区域选择支持部用来支持所述用户对观看画面区 域进行设定，所述观看画面区域的设定是指定或者变更所述用户用于设定观 看画面区域的观看区域方向，指定或者变更所述观看区域方向通过键盘输入、 小键盘输入、触摸输入、语音输入、动作输入中的任一种或多种输入来实现。

优选为，当所述观看画面区域的设定有变更时，所述多维内容提供系统 使用所变更的观看画面区域设定信息来变更在所述渲染处理后的图像中显示 给用户的观看画面区域。

优选为，当所述观看区域方向变更时，所述多维内容提供系统在所述经 过渲染处理的图像上反映所变更的观看区域方向，从而连续地变更显示给用 户的观看画面区域。

优选为，所述边界信息使用构成所述多维内容的所述2D图像部分和所述 3D图像部分各自的起始位置信息或区间位置信息，进行所述维度转换处理是， 以所述边界部为基准对预设的时间区间或预设的帧区间进行处理以呈现淡入 或淡出效果。

为了实现本发明的目的，提供一种多维内容文件，其特征在于，包括： 文件标头部以及图像数据部；其中，所述图像数据部包括至少一个2D图像部 分以及至少一个3D图像部分，所述2D图像部分和所述3D图像部分至少交 替出现一次。

优选为，所述文件标头部中还包含播放区间属性信息。

优选为，所述播放区间属性信息还包括在所述图像数据部中对应于所述 2D图像部分和所述3D图像部分的图像数据的相关信息。

优选为，播放区间属性信息是所获取的有关所述2D图像部分和所述3D 图像部分各自的起始位置信息或者区间位置信息，或是有关所述2D图像部分 和所述3D图像部分各自的时间区间对应信息或者帧区间对应信息。

优选为，所述2D图像部分与所述3D图像部分无物理边界划分地相连接。 发明效果

利用本发明，可得到如下效果。

第一，能够将多维内容通过单个播放单元无失真地提供给用户。

第二，在3D图像中，能够使用户选择所需的3D图像部分的特定部分， 并将所选择的3D图像部分提供给用户。

第三，如果在体育、音乐、电影、纪录片、教育、广告等各种内容中提 供将2D图像部分和3D图像部分结合在一起的内容的话，能给用户提供独特 的体验。

附图说明

图1是用于提供本发明的多维内容的系统的结构的一实施例的示意图。

图2是用于提供本发明的多维内容的另一系统的结构的一实施例的示意 图。

图3是本发明的多维内容提供系统的一实施例的信息处理方法的一实施 例的示意图。

图4是本发明的多维内容提供系统的另一实施例的信息处理方法的一实 施例的示意图。

图5是本发明的多维内容提供系统的另一实施例的信息处理方法的一实 施例的示意图。

图6是用于提供本发明的多维内容的另一系统的结构的一实施例的示意 图。

图7是本发明的多维内容的一实施例的结构的一实施例的示意图。

图8是本发明的多维内容的另一实施例的结构的一实施例的示意图。

图9是示出对3D图像和2D图像进行概括比较的示意图。

图10是关于3D图像选择的示意图。

图11是在提供2D图像时提供除去黑色边框的图像的示意图。

具体实施方式

下面，参照附图更为详细地进行说明。

图1至图2是关于用于提供本发明的多维内容的结构的实施例的示意图。 包括本发明的多维内容提供系统1000的至少一个用户终端100通过有线或无 线网络500连接于至少一个多维内容提供服务器200。所述多维内容提供系统 1000包括多维内容提供引擎1100，该多维内容提供引擎1100从所述多维内 容提供服务器200下载多维内容文件，或者对存储在所述用户终端100上的 多维内容文件执行本发明的思想，或者对从所述多维内容提供服务器200所 获取的多维内容图像信息执行本发明的思想。

所述多维内容提供引擎1100包括：2D播放部1110，播放本发明的多维 内容；播放区间属性信息获取部1120，对于所述多维内容获取关于2D图像 部分和3D图像部分的信息；失真图像获取部1130，获取在所述2D播放部1110 播放所述多维内容中所包含的3D部分图像时所生成的失真图像；渲染部 1140，对所述失真图像进行渲染处理。另一方面，所述多维内容提供引擎1100 还可以包括同步处理部1150，该同步处理部1150使所述2D播放部播放的图 像与包含在所述多维内容中的声音信息同步后通过用户终端输出装置2000输 出地进行控制。而且，所述多维内容提供引擎1100还可以包括维度转换处理 部1160，该维度转换处理部1160能够使所述多维内容中的2D图像部分与3D 图像部分在相互转换成彼此时提供到用户显示装置2100上的图像质量得以提 高。进而，所述多维内容提供引擎1100还可以包括观看画面区域选择支持部 1170，该观看画面区域选择支持部1170支持用户在3D图像部分中设定和变 更想要观看的观看画面区域620。

所述多维内容提供系统1000所处理的图像信息可以大致有两种形式。第 一种形式可以是所述多维内容提供服务器200通过实时流方式或者渐进式下 载方式等传输到所述用户终端100上的多维内容图像信息；第二种形式可以 是存储有多维内容的多维内容文件形式。图1是所述多维内容提供引擎1100 对所述用户终端100的多维内容图像信息获取部1200通过从所述多维内容提 供服务器200的多维内容图像信息传输部220接收多维内容图像信息的方式 所获取的多维内容图像信息进行处理的方式的一实施例的示意图。图2是所 述用户终端100的多维内容文件获取部从所述多维内容提供服务器200的多 维内容文件传输部接收多维内容文件，并由所述多维内容提供引擎1100处理 所述多维内容文件的方式的一实施例的示意图。当然，所述用户终端100可 以包括图1及图2的全部功能，并且所述多维内容提供服务器200也可以包 括图1及图2的全部功能。所述用户终端100可以从任意多维内容提供服务 器200获取多维内容图像信息，而从其它多维内容提供服务器200获取多维 内容文件，且使至少一个多维内容文件通过USB或者附件等任何方式存储在 所述用户终端100上。另一方面，同一台多维内容提供服务器200也可以将 多维内容图像信息传输到用户终端100上，也可以同时将多维内容文件传输 到用户终端100上。因此，虽然未图示，本领域的技术人员能够明白，可以 构成图1及图2的发明思想相结合的混合形式。

本发明的多维内容文件以特殊方式构成。图7至图8示出了本发明的多 维内容文件构成形式的一实施例的结构。

多维内容文件包括多维内容标头部以及多维内容数据部。图7示出了常 规文件标头部，图8示出了本发明特有的多维内容标头部。图8的多维内容 标头部还可以包括常规文件标头部和多维内容播放区间信息标头部，该多维 内容播放区间信息标头部包含本发明的多维内容播放区间信息。由图7及图8 可知，本发明的多维内容数据部，特征在于，分别包括一个2D数据部和3D 数据部。在所述图7及图8中例示出多维内容包括3个2D数据部和2个3D 数据部。从播放对象的观点来看，所述2D数据部的图像信息对应于2D图像 部分，所述3D数据部的图像信息对应于3D图像部分。在图7及图8中，多 维内容数据部从2D图像部分开始，并以2D图像部分结束，然而本领域的技 术人员能够明白，也可以从3D图像部分开始，也可以以3D图像部分结束。 另一方面，2D图像部分与3D图像部分之间包括边界部，该边界部作为所述 2D图像部分与所述3D图像部分的边界。所述边界部与其认为是物理实体， 优选认为是概念性的，即、从2D图像部分进入到3D图像部分或者从3D图 像部分进入到2D图像部分的边界。

本发明的多维内容数据部，特征在于，2D图像部分与3D图像部分相互 交替，从图像部的播放观点来看，所述2D图像部分和所述3D图像部分与时 间区间或者帧区间相对应。

下面的表1说明了这些图像部分与时间区间或者帧区间之间的对应信息。

【表1】

附图标记 对应时间区间 对应帧号区间 410a T1～T2 Frame Number_a～Frame Number_b 420a T2～T3 Frame Number_b+1～Frame Number_c 410b T3～T4 Frame Number_c+1～Frame Number_d 420b T4～T5 Frame Number_d+1～Frame Number_e 410c T5～T6 Frame Number_e+1～Frame Number_f

在所述表1的对应帧号区间中，_a、_b、_c、_d、_e等表示帧号。

与附图标记410a相对应的2D图像部分，以播放时间为基准时，对应于 T1～T2之间，以图像的帧号区间为基准时，对应于FrameNumber_a～Frame Number_b。一般来说，T1、T2等时间按照秒单位或者比秒单位更小的时间单 位来计。在图像播放时，一般来说在正常的图像播放速度下播放时间1秒对 应于28帧或32帧的画面，然而也可以根据情况，对应于比这更多帧或者更 少帧的画面。将对应于最初3D图像部分的附图标记420a的帧号(Frame Number)的起始表示为FrameNumber_b+1。FrameNumber_b+1比其之前的 2D图像部分的最后帧号FrameNumber_b大1帧。当然，将对应于最初的3D 图像部分的附图标记420a的T2表示为比其之前的2D图像部分的最后时间 T2大1个最小时间表示单位也合理，然而即使将对应于最初3D图像部分的 时间区间用T2～T3表示，在表示时间区间变动方面，也足够能使本领域的技 术人员理解本发明的思想目的。所述T1等或FrameNumber_a等可以成为2D 图像部分的起始位置信息，而T2或FrameNumber_b+1等可以成为3D图像 部分的起始位置信息。

如表1的多维内容播放区间信息(在任意时间区间或者任意帧号区间对 应于2D图像部分或者3D图像部分的信息)，如图8所示，可以包含在本发 明的多维内容播放区间信息标头部中。在这种情况下，所述播放单元能够利 用这种多维内容播放区间信息来区分当前所播放的图像是2D图像还是3D图 像。

与所述多维内容播放区间信息存在于所述多维内容播放区间信息标头部 的情况不同，所述多维内容播放区间信息可以独立地存在于所述多维内容播 放区间信息标头部的外部。如图1所示，当所述播放区间属性信息获取部1120 通过所述多维内容提供服务器200的多维内容图像信息传输部220接收多维 内容图像信息时，可以从所述多维内容提供服务器200独立地接收有关所述 多维内容的多维内容播放区间信息，或者在传输所述多维内容图像信息时接 收有关所述多维内容的多维内容播放区间信息。通过拍摄所接收的多维内容 播放区间信息，所述多维内容提供引擎1100的失真图像获取部1130获取在 通过2D播放单元播放3D图像部分时所生成的失真图像，以支持所述渲染部 1140进行渲染处理。另一方面，如图2所例示，在获取所述多维内容文件时， 也可以与所述多维内容文件相独立地获取所述多维内容播放区间信息。通常 存在图像文件时，图像文件的字幕信息以smi文件的形式提供，同样，所述 多维内容播放区间信息也可以以这种独立的文件形式提供，而所述播放区间 属性信息获取部1120获取包含这些多维内容播放区间信息的播放区间属性信 息文件，用以执行本发明的思想。如图2所示，多维内容播放区间信息可以 存储在存储有单独的多维内容的多维内容文件部1300中。

包含有所述多维内容播放区间信息的文件中将包含有如表1的信息(包 含对应帧号区间信息更为合理)。这些文件的内容信息可以为如下。

<StartFrameNumber_a>

2D

<EndFrameNumber_b>

<StartFrameNumber_b+1>

3D

<EndFrameNumber_c>

<StartFrameNumber_c+1>

2D

<EndFrameNumber_d>

<StartFrameNumber_d+1>

3D

<EndFrameNumber_e>

<StartFrameNumber_d+1>

2D

<EndFrameNumber_f>

StartFrameNumber是起始帧号，而EndFrameNumber是结束帧号。

为了检测区间，需要对图像设定2D图像部分和3D图像部分分别以时间 (秒或者小于秒)单位或者帧单位从哪儿到哪儿播放多少。这些信息可以存 储在与多维内容相关的多维内容播放区间信息中，并且所存储的形式也可以 是xml文件形式。另一方面，在播放单元内例如所谓GTweenTimeline的对象 在图像播放到结束之间设定时间线以使实际图像流式传输播放时，可以从多 维内容提供服务器200以预设的秒单位或者小于秒的单位来实时获取图像的 元(meta)信息以判断当前进行的时间，也可以判断是否为与包含有多维内 容播放区间信息的xml中所设定的2D图像部分和3D图像部分的播放区间/ 播放时间区间相一致的时间/帧号。

接着，参照附图对本发明的思想进行更为详细的说明。图3是示出了本 发明的多维内容提供系统1000的一实施例的信息处理方法。所述多维内容提 供系统1000通过2D播放单元播放2D图像部分(S11)，认知开始播放3D图 像部分(S12)，并通过2D播放单元播放3D图像部分(S13)，以帧单位获取 所播放的位图图像(S14)，通过3D引擎来对所获取的位图图像进行渲染 (S15)，并逐帧输出所渲染的图像(S16)，以使所输出的渲染图像与声音同 步而提供(S17)。

本发明的多维内容提供系统1000，特征在于，无论是2D图像部分还是 3D图像部分均通过一个2D播放单元播放。若通过同一个2D播放单元播放 3D图像部分，则会生成失真图像。

当所述播放区间属性信息获取部1120获取到在特定时间点上所播放的图 像部分为3D图像部分时，所述多维内容提供引擎1100并不立即将所播放的 3D图像部分输出到用户终端输出装置2000。所述失真图像获取部1130获取 失真位图图像，该失真位图图像为通过2D播放部1110播放的3D图像部分的 播放结果的图像。

所述渲染部1140的所述渲染处理部1142对渲染对象图像获取部1141所 获取的渲染对象图像、即所获取的失真位图图像进行渲染处理。所获取的失 真位图图像以帧单位进行，渲染也是以帧单位的位图图像作为对象进行。

渲染处理方法可以有球体型(spheretype)和立方体型(cubetype)两种 类型。首先说明以spheretype(圆/球体型)来渲染画面的方法。该方法对球 体进行渲染，因此能够看到更为细致的画面。然而由于是球体型，因此在表 现直线较多的内容时会出现线部分变得不够光滑的情况。然后说明cubetype， 是使用立方体在其六个面上渲染纹理(texture)位图(bitmap)数据的方法。 如果是水平线和垂直线较多的视频的情况，该方法比spheretype能够将直线 表现为一直线。然而，只拍摄一次就能得到结果的方法是不可能的，需要分 别拍摄各个面以进行渲染。

例如，若使用papervision3D程序，则可以将以位图数据捕获的帧单位的 位图数据转换为使得Sphere(球体)对象以球体型进行渲染。此时，如果所 转换的数据小于30帧，则实际在papervision3D上通过渲染引擎的 QuadrantRenderEngine对象以球体型逐帧地对画面进行3D渲染。渲染后的图 像通过渲染图像提供部1143提供到渲染部1140的外部。

本发明的同步处理部1150使所述2D播放单元所播放的声音信息与渲染 处理后的图像同步，以便能够一同提供声音信息和图像信息的进行控制。与 失真图像的生成或者渲染处理相独立的，在后台通过所述2D播放单元连续地 播放2D图像部分或者3D图像部分。此时，由于通过2D播放单元播放的失 真图像会伴随渲染处理，因此所需的时间长于通过通常的2D播放单元提供 2D图像部分的播放图像的时间。因此，通过2D播放单元播放3D图像部分 时的语音或者声音等和提供所述渲染处理后的图像时需要进行同步处理。对 渲染处理后的图像和通过2D播放单元播放3D图像部分的同时所生成的声音 (语音等)信息的具体同步方法，对于本领域人员来说是显而易见的，因此 省略详细说明。

接着，参照图4对本发明的维度转换处理部1160进行说明。

在显示2D图像部分和3D图像部分的过程中，由于该2D图像部分与3D 图像部分的转换过程中的各种原因(尤其是进行播放的电脑的配置)等，在 播放过程中用户的显示屏上出现如画面不连续的现象等，给用户带来麻烦。 因此，需要一种画面从2D图像转换到3D图像时等不给用户带来麻烦的转换 或切换方式。

所述维度转换处理部1160获取所述2D图像部分和所述3D图像部分的 边界信息(S21)，并基于所获取的边界信息，从所述2D图像部分和所述3D 图像部分的边界部起在预设的边界范围内进行维度转换处理(S22)。所述维 度转换处理部1160的边界信息获取部1161获取边界部的相关信息，并在边 界部的附近进行维度转换处理。

在播放2D图像部分和3D图像部分的过程中，在边界部分实际发生的事 项为球体(sphere)对象和平面(plane)对象之间的转换。此时，如果在转换 过程中加入淡入或淡出(fadein/out)处理的逻辑，就能实现自然的画面转换。 如此，维度转换处理部将体现淡入淡出效果的对象，在从2D图像部分变更为 3D图像部分的瞬间/边界部或者从3D图像部分变更为2D图像部分的瞬间/边 界部，增加相当于在该边界部附近或边界部前后预设的时间/帧的量，或者进 行替换，从而在变更时看不到画面不连续部分。

接着，参照图5至图6，对本发明的观看画面区域选择支持部1170进行 说明。

所述多维内容提供引擎1100可以将所述渲染处理后的图像的至少一个预 设区域作为显示给用户的观看画面区域620而提供。设定这些观看画面区域 620，由所述用户来进行设定，优选为，所述用户能够在所述多维内容播放过 程中对所述观看画面区域620的设定进行变更。当然，有关设定这些观看画 面区域620的信息可以存储在所述多维内容的标头信息中，或者从提供所述 多维内容的多维内容提供服务器200接收，或者是在所述多维内容提供系统 1000中进行设定，或者也可以根据预设的观看画面区域设定规则进行变更。

图5示出并非由用户而是从外部设定观看画面区域620的方式的示意图。 所述观看画面区域选择支持部1170获取用于设定显示给用户的观看画面区域 620的信息(S31)，再使用所获取的观看画面区域620设定信息来获取对应于 观看画面区域620的3D部分图像信息(S32)。

图6示出了所述观看画面区域选择支持部1170的信息处理方法的一实施 例的示意图。所述观看画面区域选择支持部1170从用户获取有关用户想要观 看的3D图像部分的选择信息(S41)，并获取所获取到的选择信息的3D图像 部分(S42)。

在播放3D图像部分的过程中，用户可以通过设定观看画面区域620来观 看自己想要方向的3D图像。所述观看画面区域620的设定是所述用户指定或 者变更用于设定观看画面区域620的观看区域方向，而指定或变更所述观看 区域方向，优选通过键盘输入、小键盘输入、触摸输入、语音输入、动作输 入中的至少一种输入来实现。优选为，当通过这种输入变更所述观看画面区 域620的设定时，所述多维内容提供系统1000使用所变更的观看画面区域设 定信息来变更在所述渲染处理后的图像中显示给用户的观看画面区域620。例 如，在所述图10中将观看画面区域620指定为左侧方向时(在显示在用户终 端100上的选择3D图像630画面上用手指等进行将画面从右侧推向左侧等的 动作)，可以从显示抱着小狗的成年人和小孩子的当前画面(显示在630的图 像)控制成在所述3D图像610中显示位于当前观看画面区域620左侧的图像 (例如，位于大人推着婴儿车的那一侧的图像)。

如果利用本发明的思想，尤其是3D图像部分以将从多个摄像机镜头获取 的图像合并显示在一个画面上的方式构成的情况，当用户为了变更观看画面 区域620而移动方向时，能够提供对应于所移动方向的图像。即，可以在一 个摄像机上具备用于获取对应于上下左右前后方向中的两个以上方向的图像 的多个镜头，且从这些镜头所获取的每个图像被合并形成一个3D图像。并且， 图像被合并时，可以对通过特定镜头获取的图像进行控制或者编辑，使其配 置在3D图像的特定的位置或者区域。在这种情况下，在用户当前所观看的画 面下按下左侧按键或者向左侧方向触摸时，可以将位于当前所观看的图像左 侧的图像作为新的观看画面区域而提供给用户。这类似于直视的人向左转头 看向左侧时位于左侧方向的光景映入眼帘的情况。此时，优选为，当所述观 看区域方向变更时，所述多维内容提供系统1000在所述渲染处理后的图像上 反映所变更的观看区域方向而连续地变更显示给用户的观看画面区域。

本发明的3D图像的一例可以是全景图像。可以在一个摄像机上具备用于 获取对应于上下左右前后方向中的两个以上方向的图像的多个镜头，并将从 这些镜头所获取的每个图像进行合并而形成所述全景图像，或者可以使用多 个摄像机，并将从各摄像机所获取的图像进行合并而形成一个全景图像。在 这种情况下，所述3D图像部分可以是全景图像部分。

图10示出了关于如上所述的选择观看画面区域620的本发明思想的概念 图。由图10可知，用户观看的3D图像部分为实际正在播放的3D图像部分 中的一部分。在图10中示出了如下的本发明的思想概念，在实际正在播放的 3D图像部分、即3D图像610中，将框型的观看画面区域620内的被选择图 像作为提供给用户的选择的3D图像630。此时，如果用户想从自己正在观看 的画面变更观看方向，则设定变更方向，则向用户提供位于所变更的方向侧 的、对应于预设尺寸(例如，横向n*竖向m的尺寸)的另一图像。

此时，成为所述渲染部140的渲染对象的可以是对所述3D图像部分整个 的播放结果，然而也可以只对提供给所述用户的观看画面区域620进行渲染。 在前一种情况下，所述观看画面区域选择支持部1170选择观看画面区域620 的结果，在所渲染的图像中发挥作用(带来所选择的观看画面区域)，而在后 一种情况下，则可以在被渲染目标图像、即失真图像中发挥作用。

接着，参照图9及图11对本发明的空白处理部1180进行说明。图9示 出了本发明的3D图像和2D图像的一实施例的比较例。由图9及图11可知， 在2D中2D图像660的外周存在黑色的边框部650。所述多维内容提供系统 1000的空白处理部1180可以在播放2D图像时除去所述2D图像部分的空白， 而只将实际图像提供给用户。虽然2D图像和3D图像其制作方法有可能不同， 但有时两种图像均以2400×1200像素(pixel)的一般2D图像的形式构成一个 单一文件(如图9所例示，可以看出，将包括3D图像610和2D图像660的 边框部650的外缘作为基准时，具有相同的像素数)。此时，由于单个文件以 相同的分辨率制作而成，因此会发生2D图像在全高清(FullHD)分辨率下 以上下各留60像素、左右各留240像素余量的方式制作的情况。因为2D部 分图像的图像中在2400×1200的尺寸下除了被播放的1920×1080的中心部之 外，存在框架型的黑色边框部650。在多维内容图像中，由于在2D图像部分 始终存在该黑色边框，因此所述多维内容提供系统1000可以检测该部分的黑 色并将其作为元数据自动记录在视频标头中，或者进行信息处理，以记录如 表1的时间表值。其结果，在播放所述多维内容时，也可以读取该时间表值 并以其作为基准，从而容易地实现图像转换。

可举例说明本发明的空白处理部1180的信息处理如下。在播放2D图像 部分时，可以通过papervision3D库(library)中的称为CameraObject3D类 (class)(该类是播放3D对象时用于指定缩放(zoom)、焦距(focus)等部 分)来调节图像的实际大小。此时，在2D图像部分的播放区间内，当开始播 放2D图像部分时，若将camera.z(设定缩放的函数)设定为-200等，则图像 被放大(zoomin)，控制为向用户不显示所述空白(黑色边框)。图11示出了 本发明的空白处理部1180的信息处理对象(660以及650)与进行空白处理 后的结果图像670之间的对比。

从所述多维内容提供服务器200向包含有所述多维内容提供系统1000的 用户终端100传输图像信息的方法可以利用各种方法。传输时的通信协议优 选使用HTTP或者RTMP中的任一个。并且，将所述多维内容提供给用户终 端100的方法，优选为从所述多维内容提供服务器200通过渐进式下载 (progressivedownload)方式或者实时流(livestreaming)方式向所述用户终 端100传输所述图像信息。

使用HTTP协议的渐进式下载方式使用在网页浏览器中使用的基本协议， 使用80端口，是下载服务图像时进行一定程度的缓冲而播放图像的方法。

RTMP协议为进行实时流图像传输时所使用的协议，使用1935端口，是 通过实时传送的标头元数据值在用户指定的时间点上进行设定的post缓冲而 播放的方法。优选基本上能够实时接收图像标头值的RTMP(实时流)方式。

在表2中对渐进式下载方式和实时流方式的特性进行了比较。

【表2】

【产业上的利用可能性】

本发明能够广泛利用于体育、音乐、电影、纪录片、教育、广告等各种 内容相关业务以及图像相关产业。

附图标记

100：用户终端

200：多维内容提供服务器

210：多维内容文件管理部

220：多维内容图像信息传输部

221：多维内容串流提供部

222：多维内容渐进式下载提供部

310：多维内容标题部

310a：常规文件标题部

310b：多维内容播放区间信息标题部

320：多维内容数据部

410：2D图像部分

410a、410b、410c：个别的2D图像部分

420：3D图像部分

420a、420b、420c：个别的3D图像部分

430：边界部

430a、430b、430c：个别的边界部

610：3D图像

620：观看画面区域

630：选择3D图像

650：边框部

660：2D图像

670：进行空白处理后的图像

1000：多维内容提供系统

1100：多维内容提供引擎

1110：2D播放部

1120：播放区间属性信息获取部

1130：失真图像获取部

1140：渲染部

1142：渲染图像获取部

1141：渲染处理部

1143：渲染图像提供部

1150：同步处理部

1160：维度转换处理部

1161：边界信息获取部

1170：观看画面区域选择支持部

1171：观看画面区域选择获取部

1180：空白处理部

1200：多维内容图像信息获取部

1300：多维内容文件部

1310：多维内容文件

1320：多维内容播放区间信息

2000：用户终端输出装置

2100：显示装置

2200：声音输出装置