首页> 中国专利> 立体视觉影像再现装置及立体视觉影像显示装置

立体视觉影像再现装置及立体视觉影像显示装置

摘要

视频平面生成部根据流数据,对左眼用与右眼用视频平面的对进行解码,在三维显示模式下,交替输出该对的视频平面,在伪二维显示模式下,将该对的视频平面中的某一方重复输出。图像平面生成部对应于OSD应被感知的深度,生成OSD的水平方向上的显示位置不同的左眼用与右眼用图像平面的对,并交替输出该对的图像平面。伪二维显示控制部对平面生成部在从图像平面生成部未输出该对的图像平面期间,指示三维显示模式,在输出期间指示伪二维显示模式。加法部将来自视频平面生成部的视频平面与来自图像平面生成部的图像平面各一个合成为一个帧并输出。

著录项

  • 公开/公告号CN102150433A

    专利类型发明专利

  • 公开/公告日2011-08-10

    原文格式PDF

  • 申请/专利权人 松下电器产业株式会社;

    申请/专利号CN200980135022.6

  • 申请日2009-09-09

  • 分类号H04N13/04;

  • 代理机构永新专利商标代理有限公司;

  • 代理人黄剑锋

  • 地址 日本大阪府

  • 入库时间 2023-12-18 03:04:41

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2014-04-09

    授权

    授权

  • 2011-11-23

    实质审查的生效 IPC(主分类):H04N13/04 申请日:20090909

    实质审查的生效

  • 2011-08-10

    公开

    公开

说明书

技术领域

本发明涉及一种立体视觉影像的显示技术,尤其涉及使屏幕显示(OSD)立体重叠于该立体视觉影像上的技术。

背景技术

立体视觉影像的显示技术有望视为下一代的显示技术,近年来,其开发急速推进。在该显示技术中,基本上利用“人根据两眼视差来感知物体的立体形状及深度”的事实(例如参照非专利文献1)。具体地,首先从一个场景摄影相同的被写体的位置在水平方向上稍有不同的两个视频帧。接着,将这些视频帧之一投影到视听者的左眼,与此同时,将另一投影到右眼。此时,该视听者根据映入各眼的视频帧间的被写体的些许位移,感知该被写体的立体形状及深度。

如上述例子所示,在立体视觉影像的显示技术中,一般一个场景的显示中需要左眼用与右眼用两个视频帧。因此,立体视觉影像的每一定的显示时间的数据量一般比现有的二维影像大。因此,在立体视觉影像的记录再现中,蓝光盘(BD)等大容量光盘及其驱动器是不可或缺的。

这里,现有的二维影像的显示装置及光盘驱动器一般具有OSD功能。所谓“OSD功能”例如是指在显示装置的画面上以图形影像来显示画面的明亮度及音量等设定画面、表示“再现开始”及“停止”等动作状态的信息、或再现对象的标题及章节的选择画面的功能。这些图形影像称为“OSD”。另外,例如在从读出专用BD(BD-ROM盘)再现高画质影像的装置中,可根据该BD中记录的应用程序在该高画质影像上重叠描绘图形影像(例如参照专利文献1)。影像内容的提供商通过使该再现装置描绘弹出显示或动画片等,可实现更高功能的图形用户界面(GUI)。因此,期望立体视觉影像的显示装置及再现装置也具有同样的OSD功能及图形描绘功能。

作为具有这种功能的立体视觉影像显示装置,例如已知可将鼠标游标的立体视觉影像重叠描绘于其他立体视觉影像上的装置(例如参照专利文献2)。该显示装置生成鼠标游标的画面上的位置在水平方向上稍有不同的两种图形影像,并将其中之一重叠显示于左眼用影像,将另一个重叠显示于右眼用影像。这里,当鼠标游标与立体视觉影像中的其他物体以相同视觉方向同时显示时,该显示装置使鼠标游标的左眼用与右眼用影像间的位移量相比该物体的位移量变化规定量。由此,看起来鼠标游标比该物体更靠前。

现有技术文献

专利文献

专利文献1:国际公开第2005/119675号小册子

专利文献2:日本特开2004-354540号公报

非专利文献

非专利文献1:Lenny Lipton,“Foundations of the Stereoscopic Cinema”,Van Nostrand Reinhold,New York,1982

发明概要

发明要解决的问题

OSD及弹出显示通常是应比其他影像优先被视听者感知的信息。因此,在现有的二维影像的显示技术中,OSD等通常重叠于其他影像中的物体、字幕或图形要素之上,以隐藏这些物体、字幕或图形要素的方式显示。立体视觉影像的显示技术中也一样,将OSD等应显示成比其他立体视觉影像优先被视听者感知。

作为这种显示技术,例如考虑上述鼠标游标的显示技术的应用。即,考虑将OSD等的左眼用与右眼用影像间的位移量,相比与该OSD相同视觉方向上显示的物体中最前面显示的物体的位移量变更规定量。但是,立体视觉影像中的物体的深度一般多种多样且宽范围变化。因此,OSD等的深度当如上所述根据其他物体等的深度相对决定时,一般按立体视觉影像的每个场景变动。该变动存在反倒看不清OSD等的危险性。尤其当设定画面及弹出显示的视觉辨认性下降时,存在利用其的GUI的操作性受损的危险性。

另一方面,还考虑将OSD等的左眼用与右眼用影像间的位移量维持为恒定值,从而保持OSD等的深度恒定的情况。但是,当在该恒定深度之前显示的物体的视觉方向上显示OSD等时,由视听者看起来像该OSD等陷入该物体中。这不仅成为使该OSD等的视觉辨认性下降的原因,而且还可能成为视听者的眼睛疲劳的原因,所以不好。

发明内容

本发明以上述问题的解决为目的,具体地,其目的在于,提供一种能够进一步提高OSD及弹出显示的视觉辨认性的立体视觉影像的再现装置及显示装置。

用于解决问题的手段

本发明实施方式的立体视觉影像再现装置具备视频平面生成部、图像平面生成部、伪二维显示控制部及加法部。视频平面生成部根据流数据,对左眼用与右眼用视频平面的对进行解码。视频平面生成部还具备交替输出该对的视频平面的三维显示模式、以及将该对的视频平面中的某一方重复输出的伪二维显示模式,以这两个模式中的、某一个被指示的动作模式来输出视频平面。图像平面生成部对应于OSD或弹出显示应被感知的深度,生成OSD或弹出显示的水平方向上的显示位置不同的左眼用与右眼用图像平面的对,交替输出该对的图像平面。伪二维显示控制部在从图像平面生成部未输出该对的图像平面的期间,向视频平面生成部指示三维显示模式,在从图像平面生成部输出该对的图像平面的期间,向视频平面生成部指示伪二维显示模式。加法部在每当从视频平面生成部输出一个视频平面、且从图像平面生成部输出一个图像平面时,将该一个视频平面与该一个图像平面合成为一个帧并输出。

这里,所谓“OSD”是指再现装置自身、尤其是其固件使显示装置显示的图形要素及其组合中的、表示该再现装置的设定内容或动作状态、或再现对象的流数据或有关其提供源的信息的图形要素及其组合。再现装置通过OSD显示的信息例如包含“再现开始”、“停止”、“暂停”、“快进”或“后退”等动作状态、以及再现中的标题名、再现时间、或字幕或声音的语言或输出形式等再现信息。

另一方面,所谓“弹出显示”是指由再现装置执行的应用程序使显示装置显示的图形要素及其组合。弹出显示例如包含弹出菜单等图形用户界面(GUI)画面。该GUI画面例如包含再现对象的标题、章节、或场景的选择画面、及字幕或声音的语言或输出形式的选择画面。

在该立体视觉影像再现装置中如上所述,视频平面生成部对于视频平面的输出,具备三维显示模式和伪二维显示模式这两种动作模式。并且,在向画面输出OSD或弹出显示的期间,视频平面生成部的动作模式切换为伪二维显示模式,重复输出左眼用与右眼用视频平面对中的某一方。因此,在画面中立体显示OSD等的期间,二维显示流数据所表示的影像。这样,能够进一步提高OSD等的视觉辨认性。

本发明上述实施方式的立体视觉影像再现装置还可以具备OSD加工部和动作模式选择部。OSD加工部对OSD进行如下加工,该加工用于在左眼用与右眼用帧的对表示的立体视觉影像中的、应被感知为比该OSD更靠前的部分中,不产生在所述对的一方被该OSD遮住且在另一方未被遮住的区域。动作模式选择部根据用户的设定或来自应用程序的指示,选择使伪二维显示控制部进行动作的模式与使OSD加工部进行动作的模式中的某一个模式。由此,能够使用户或应用程序选择将内容的影像/字幕与OSD一起作为二维影像和立体视觉影像中的哪一个来显示。并且,在将内容的影像/字幕与OSD一起作为立体视觉影像来显示的动作模式中,通过上述加工,正确感知OSD与立体视觉影像之间的深度差异。这里,该加工包含将OSD的水平方向的宽度扩展到帧整体的处理、或至少将与立体视觉影像重叠的OSD的部分为半透明的处理。此外,该加工在立体视觉影像的深度比OSD深度更靠前时,还可包含如下处理。该处理为:在左眼用图像平面上,OSD的右端部重叠于立体视觉影像时,在该右端部的右侧附加带,在右眼用图像平面上,OSD的左端部重叠于立体视觉影像时,在该左端部的左侧附加带。通过这些加工,在将内容的影像/字幕与OSD一起作为立体视觉影像来显示的动作模式中,也能够进一步提高OSD的视觉辨认性。

本发明实施方式的立体视觉影像显示装置具备影像信号接收部、显示部、OSD平面生成部、伪二维显示控制部及加法部。影像信号接收部接收影像信号,从该影像信号中提取左眼用与右眼用视频帧的对。影像信号接收部还具备交替输出该对的视频帧的三维显示模式和将该对的视频帧中的某一方重复输出的伪二维显示模式,以这些模式中的、某一个被指示的动作模式来输出视频帧。显示部包含显示面板,根据从影像信号接收部输出的视频帧,以像素单位调节显示面板的亮度。由此,显示部在显示面板中再现该视频帧所示的影像。OSD平面生成部对应于OSD应被感知的深度,生成该OSD的水平方向上的显示位置不同的左眼用与右眼用OSD平面的对,交替输出该对的OSD平面。伪二维显示控制部在从OSD平面生成部未输出该对的OSD平面的期间,向影像信号接收部指示三维显示模式,在从OSD平面生成部输出该对的OSD平面的期间,向影像信号接收部指示伪二维显示模式。加法部在每当从影像信号接收部输出一个视频帧、且从OSD平面生成部输出一个OSD平面时,将该一个视频帧与该一个OSD平面后并输出。

这里,所谓“OSD”是指显示装置使显示面板显示的图形要素及其组合中的、表示该再现装置的设定内容或显示的影像或有关其提供源的信息的图形要素及其组合。由显示装置利用的OSD例如包含显示面板的亮度、色调、分辨率或更新速率等设定画面及音量的设定画面。

该立体视觉影像显示装置如上所述,影像信号接收部对于视频帧的输出具备三维显示模式和伪二维显示模式这两种动作模式。并且,在向画面输出OSD的期间,影像信号接收部的动作模式切换为伪二维显示模式,重复输出左眼用与右眼用视频帧对中的某一方。因此,在画面中立体显示OSD的期间,二维显示视频帧所表示的影像。这样,能够进一步提高OSD的视觉辨认性。

发明效果

如上所述,本发明可提供一种能够进一步提高OSD及弹出显示的视觉辨认性的立体视觉影像的再现装置及显示装置。

附图说明

图1是表示本发明实施方式1的立体视觉影像显示系统的示意图。

图2是表示基于图1所示的系统的立体视觉影像显示的原理的示意图。

图3是表示利用右眼用影像与左眼用影像之间的位移量来使视听者感知的立体视觉影像的深度的示意图。

图4是表示图1所示的光盘中记录的数据构造的示意图。

图5是表示以HDMV模式与BD-J模式分别在显示装置的画面中显示的影像的示意图。(a)表示以HDMV模式再现的影像的一场面。(b)表示以BD-J模式再现的影像的一场面。

图6是按再现时间顺序表示构成AV流文件的多个基本流的示意图。

图7是表示构成AV流文件的各基本流的TS包的排列的示意图。

图8是表示剪辑信息文件的数据构造的示意图。

图9是表示播放列表文件的数据构造的示意图。

图10是表示播放项目信息的数据构造的示意图。

图11是表示根据播放列表信息再现的AV流文件的各部分的示意图。

图12是表示图1所示的再现装置的硬件构成的框图。

图13是表示重叠于二维影像上的OSD及弹出显示的示意图。(a)表示再现开始的OSD G1。(b)表示暂停的OSD G2。(c)表示快进的OSD G3。(d)表示画面的明亮度的设定画面的OSD G4。(e)表示音量的设定画面的OSDG5。(f)表示再现对象的章节选择画面的弹出显示G6。

图14是图12所示的控制部的功能框图。

图15是图14所示的再现部的功能框图。

图16是将光盘插入光盘驱动器中之后由再现装置执行的播放列表再现处理的流程图的第1部分。

图17是将光盘插入光盘驱动器中之后由再现装置执行的播放列表再现处理的流程图的第2部分。

图18是将光盘插入光盘驱动器中之后由再现装置执行的播放列表再现处理的流程图的第3部分。

图19是将光盘插入光盘驱动器中之后由再现装置执行的播放列表再现处理的流程图的第4部分。

图20是将光盘插入光盘驱动器中之后由再现装置执行的播放列表再现处理的流程图的第5部分。

图21是图15所示的平面移位引擎执行的平面移位的流程图。

图22是表示图15所示的平面移位引擎执行的对图形平面的平面移位的示意图。

图23是表示图15所示的平面移位引擎执行的对OSD平面的平面移位的示意图。

图24是涉及再现装置执行的OSD平面的控制的流程图。

图25是涉及再现装置执行的BD-J平面的控制的流程图。

图26是基于图14所示的再现模式控制API的处理的流程图。

图27是表示从图14所示的视频平面存储器输出到加法部的视频平面串的示意图。

图28是表示从图14所示的平面移位引擎输出到加法部的视频平面串的示意图。

图29是表示从图14所示的平面移位引擎输出到加法部的OSD平面串的示意图。

图30是表示根据由图27-29所示的各平面串合成的视频帧串来再现的立体视觉影像的示意图。

图31是涉及本发明实施方式2的再现装置执行的OSD平面的控制的流程图。

图32是表示在OSD的深度之前显示的物体上原样重叠显示OSD时的立体视觉影像的示意图。

图33是用于说明本发明实施方式2的OSD加工(A)的示意图。(a)表示加工(A)得到的左眼用视频帧。(b)表示加工(A)得到的右眼用视频帧。(c)示意地表示通过(a)、(b)所示的视频帧的对在显示装置的画面上看到的立体视觉影像。

图34是用于说明本发明实施方式2的OSD加工(B)的示意图。(a)表示加工(B)得到的左眼用视频帧。(b)表示加工(B)得到的右眼用视频帧。(c)示意地表示由(a)、(b)所示的视频帧的对在显示装置的画面上看到的立体视觉影像。

图35是用于说明本发明实施方式2的OSD加工(C)的示意图。(a)表示加工(C)得到的左眼用视频帧。(b)表示加工(C)得到的右眼用视频帧。(c)示意地表示由(a)、(b)所示的视频帧的对在显示装置的画面上看到的立体视觉影像。

图36是本发明实施方式3的再现装置进行的OSD平面移位量的变更处理的流程图。

图37是表示本发明实施方式4的显示装置的硬件构成的框图。

图38是表示制造者专用命令(VSC)的格式的示意图。

图39是图37所示的信号处理部的功能框图。

具体实施方式

以下,参照附图说明本发明的优选实施方式。

《实施方式1》

图1是表示本发明实施方式1的立体视觉影像显示系统的示意图。如图1所示,该系统包含再现装置100、显示装置200、液晶快门眼镜300、遥控器400及光盘500。

光盘500例如是BD-ROM盘,包含立体视觉影像的内容。特别地,将左眼用与右眼用双方的视频流与音频流一起,多路复用于一个流数据。

再现装置100搭载于例如依照BD-ROM方式的光盘驱动器110。再现装置100利用该光盘驱动器110,从光盘500中读出立体视觉影像的流数据,解码为视频数据/音频数据。特别地视频数据包含左眼用与右眼用双方的视频帧。再现装置100还通过HDMI(High-Definition Multimedia Interface:高清晰度多媒体接口)线缆600连接于显示装置200。再现装置100将视频数据/音频数据变换为HDMI方式的影像信号/声音信号,通过HDMI线缆600传送给显示装置200。特别地,在影像信号上时分多路复用左眼用与右眼用双方的视频帧。

显示装置200例如是液晶显示器。此外,也可以是等离子体显示器及有机EL显示器等前面板显示器或投影仪。显示装置200根据影像信号在画面201上再现影像,根据声音信号,从内置的扬声器发生声音。特别地在画面201上交替再现左眼用与右眼用影像。显示装置200还搭载左右信号发送部202,利用其以红外线或无线将左右信号LR发送给液晶快门眼镜300。左右信号LR表示该时刻画面201中显示的影像是左眼用与右眼用的哪一个。显示装置200根据附带于影像信号的控制信号,识别左眼用视频帧与右眼用视频帧,使左右信号LR的波形的切换与帧的切换同步。

液晶快门眼镜300包含两个液晶显示面板301L、301R和左右信号接收部302。各液晶显示面板301L、301R构成左右各透镜部分。左右信号接收部302接收左右信号LR,根据其波形变化,将信号发送到左右液晶显示面板301L、301R。各液晶显示面板301L、301R根据该信号,使光以其整体均匀透过或遮断。特别地,当左右信号LR表示左眼用影像显示时,左眼侧的液晶显示面板301L使光透过,右眼侧液晶显示面板301R遮断光。当左右信号LR表示右眼用影像显示时与其相反。这样,两个液晶显示面板301L、301R与帧的切换同步,交替使光透过。结果,当视听者戴上液晶快门眼镜300看画面201时,左眼用影像仅映射到该视听者的左眼,右眼用影像仅映射到其右眼。此时,对于该视听者而言,映射到各眼中的影像间的差异被感知为对一个立体物体的两眼视差,所以该影像看起来是立体的。

遥控器400包含操作部以及发送部。操作部包含多个按钮。各按钮对应于电源的开关、或光盘500的再现开始或停止等、再现装置100或显示装置200的各功能。操作部检测用户执行的各按钮的按下,将确定该按钮的信号传递给发送部。发送部以红外线或无线IR将该信号通知给再现装置100或显示装置200。由此,用户可远程操作再现装置100或显示装置200。

<立体视觉影像显示的原理>

图2是表示上述系统执行的立体视觉影像显示的原理的示意图。如图2中实线所示,当显示装置的画面201中显示右眼用影像IMR时,左眼侧的液晶显示面板301L遮断光,右眼侧的液晶显示面板301R使光透过。由此,右眼用影像IMR仅被视听者的右眼看到。相反,如图2中虚线所示,当画面201中显示左眼用影像IML时,左眼侧的液晶显示面板301L使光透过,右眼侧的液晶显示面板301R遮断光。由此,左眼用影像IML仅被视听者的左眼看到。这里,右眼用影像IMR与左眼用影像IML中,画面201上的水平方向的位置相差位移量SH。因此,连结从右眼视点VPR至右眼用影像IMR之间的视线VLR与连结从左眼视点VPL至左眼用影像IML之间的视线VLL在从画面201向前方或后方离开的位置交叉。在图2的例子中,该交叉的位置比画面201靠前箭头DP所示的距离。当帧速率足够高时,在右眼用影像IMR的残像残留在右眼中的状态下,左眼用影像IML被左眼捕捉。此时,由视听者看起来在右眼视线VLR与左眼视线VLL交叉的位置,两影像IMR、IML浮起而作为一个立体视觉影像IMS。即,使视听者将仅被右眼看到的影像IMR与仅被左眼看到的影像IML之间的位移错觉为对一个立体物体的两眼视差。由此,能够使该视听者以与画面201不同的深度DP感知立体视觉影像IMS。

图3是表示利用右眼用影像IMR与左眼用影像IML之间的变位量SH来使视听者感知的立体视觉影像IMS的深度DP的示意图。图3的(a)中,左眼用影像IML相对于右眼用影像IMR向右变位变位量SH1。此时,右眼VPR的视线VLR与左眼VPL的视线VLL在比画面201靠前距离DP1处交叉。因此,由视听者看起来立体视觉影像IMS比画面201靠前距离DP1。在图3的(b)中,左眼用影像IML相对于右眼用影像IMR向左变位变位量SH2。此时,右眼VPR的视线VLR与左眼VPL的视线VLL在比画面201靠后距离DP2处交叉。因此,由视听者看起来立体视觉影像IMS比画面201靠里距离DP2。这样,通过调节左眼用影像IML相对于右眼用影像IMR的变位方向、大小,可调节被视听者感知的立体视觉影像IMS的深度。

<光盘500的数据构造>

图4是表示在光盘500是BD-ROM盘时,记录在其中的数据构造的示意图。如图4所示,在BD-ROM盘500上的数据记录区域的最内周部,设置BCA(Burst Cutting Area)。对于BCA,仅允许光盘驱动器110的访问,禁止应用程序的访问。由此,将BCA例如用于著作权保护技术。在BCA外侧的数据记录区域中,从BD-ROM盘500内周向外周以螺旋状形成称为轨道(track)的区域500A。轨道500A从内周侧起依次包含导入区域501、卷区域502及导出区域503。参照图4,轨道500A横向拉伸,描绘成内周侧置于左侧,外周侧置于右侧。导入区域501设置在BCA的紧外周侧。在导入区域501中,记录有卷区域502中记录的数据的尺寸及物理地址等访问卷区域502所需的信息。导出区域503设置在BD-ROM盘500的最外周部,表示卷区域502的末端。卷区域502设置在导入区域501与导出区域503之间。在卷区域502中记录影像及声音等的应用数据。

作为对卷区域502的文件系统,例如采用UDF(Universal Disc Format:统一光盘格式)或ISO9660。将卷区域502作为一个逻辑地址空间来管理。并且,整理为卷区域502中记录的数据构成目录及文件。由此,这些数据能够以目录单位或文件单位来访问。

图4中还示出卷区域502中记录的数据的目录构造504。该目录构造504中,在根(ROOT)目录510的正下方设置证书(CERTIFICATE)目录511以及BD电影(BDMV)目录512。CERTIFICATE目录511中存储BD-ROM盘500中记录的内容的认证信息。BDMV目录512中存储构成该内容的主体的流数据。

对CERTIFICATE目录511特别设置应用证书文件(app.discroot.crt)511A。该文件511A为BD-ROM盘500中记录的内容的提供商(下面称为内容提供商。)固有的文件。应用证书文件511A是所谓的数字证书,用于Java(注册商标)应用程序的认证。这里,Java应用程序是基于Java的字节代码程序,由安装在再现装置100中的Java虚拟机(参照后述),从BD-ROM盘500中读出后执行。具体地,应用证书文件511A当由Java虚拟机从BD-ROM盘500中读出Java应用程序时用于其署名验证。在署名验证中,执行该Java应用程序有无篡改及其提供源的确认。由此,例如可使Java虚拟机仅起动内容提供商允许的Java应用程序,或对Java应用程序有选择地赋予对再现装置100内的各存储装置的访问权限。

BDMV目录512中设置索引文件(index.bdmv)512A以及电影对象文件(MovieObject.bdmv)512B。在BDMV目录512中还设置播放列表(PLAYLIST)目录513、剪辑信息(CLIPINF)目录514、流(STREAM)目录515、BD-J对象(BDJO)目录516、Java档案(JAR)目录517及元(META)目录518。在PLAYLIST目录513中设置播放列表文件(000001.mpls)513A。在CLIPINF目录514中设置剪辑信息文件(000001.clpi)514A,在STREAM目录515中设置音频/视频(AV)流文件(000001.m2ts)515A。在BDJO目录516中设置BD-J对象文件(XXXXX.bdjo)516A。在JAR目录517中设置JAR文件(YYYYY.jar)517A。在META目录518中设置XML(Extensible Markup Language)文件(ZZZZZ.xml)518A。下面,依次说明这些文件。

《索引文件512A》

索引文件512A包含索引表。索引表包含“快速播放”、“顶部菜单”、及“标题”等项目。对各项目,与电影对象和BD-J对象中的某一个建立了对应。每当通过用户的操作或应用程序调用标题或菜单时,再现装置100的控制部参照索引表的对应的项目,从光盘500中调用对应于该项目的对象。控制部还根据调用的对象,执行程序。具体地,对项目“快速播放”指定了当将光盘500插入光盘驱动器110时应调用的对象。对项目“顶部菜单”指定了例如通过用户的操作输入“返回菜单”等指令时用于使显示装置200显示菜单的对象。对项目“标题”指定了例如通过用户的操作指定再现对象的标题时、用于从光盘500再现对应于该标题的流数据的对象。

《电影对象文件512B》

电影对象文件512B一般包含多个电影对象。各电影对象包含导航指令的排列。导航指令是使再现装置执行与一般DVD播放器执行的再现处理一样的再现处理的命令。导航指令例如包含对应于标题的播放列表文件的读出命令、从播放列表文件所示的AV流文件再现流数据的再现命令、及向其他标题的迁移命令。再现装置100的控制部例如根据用户的操作,调用各电影对象,按排列的顺序执行该电影对象中包含的导航指令。由此,再现装置100与一般的DVD播放器一样,在显示装置200中显示菜单,使用户选择指令,按照该指令,使标题的再现开始/停止、向其他标题的切换等再现的影像的进行动态变化。这样,将基于电影对象的再现装置100的动作模式称为HDMV(High Definition Movie)模式。

《BD-J对象文件516A》

BD-J对象文件516A包含一个BD-J对象。BD-J对象是用于使安装于再现装置100的Java虚拟机执行标题的再现处理及图形影像的描绘处理的程序。BD-J对象包含应用管理表和参照对象的播放列表文件的识别信息。应用管理表表示应使Java虚拟机实际执行的Java应用程序的列表。应用管理表中特别将应用ID与图符定位符建立了对应。应用程序ID表示执行对象的Java应用程序的标识符。图符定位符表示对应于各Java应用程序的图符的数据的地址。参照对象的播放列表文件的识别信息是用于识别与再现对象的标题对应的播放列表文件的信息。Java虚拟机根据用户的操作或应用程序来调用各BD-J对象,根据该BD-J对象中包含的应用管理表,执行Java应用程序的信号化。由此,再现装置100使标题的再现影像的进行动态变化,或使显示装置200将图像影像与标题的影像独立地显示。这样,将基于BD-J对象的再现装置100的动作模式称为BD-J模式。

图5是表示以HDMV模式与BD-J模式分别在显示装置的画面210中显示的影像的示意图。图5的(a)表示以HDMV模式再现的影像的一场面。HDMV模式下的再现影像一般与从DVD再现的影像一样,一个内容的影像显示于画面201的整体中。另一方面,图5的(b)表示以BD-J模式再现的影像的一场面。在BD-J模式中,可与从光盘500再现的影像一起,使再现装置100内的Java虚拟机描绘图形影像。如图5的(b)所示,在画面201中,可同时显示电影的影像SCN、该电影的题目TL、及进行该电影的解说的猫头鹰的动画片影像CR。

《JAR文件517A》

JAR文件517A存储根据BD-J对象执行的Java应用程序的主体。这些Java应用程序除了使Java虚拟机执行标题的再现处理的Java应用程序外,还包含使Java虚拟机执行图形影像的描绘处理的Java应用程序。JAR文件517A还包含与各Java应用程序对应的图符的数据。这些图符由Java应用程序用作图形影像内的一要素。各Java应用程序由称为“xlet”的小程序和数据构成。Java虚拟机根据BD-J对象,从JAR文件517A中将需要的xlet及数据下载到内置存储器的堆栈区域(也称为工作存储器。)并执行。

《AV流文件515A》

AV流文件515A是构成内容主体的流数据,多路复用视频流及音频流等多个基本流。例如,当内容是基于立体视觉影像的电影时,各基本流表示该电影的立体视觉影像、声音或字幕。图6是按再现时间顺序表示构成AV流文件515A的多个基本流的示意图。参照图6,AV流文件515A包含两种主视频流VL、VR、两种主音频流A1、A2及两种图形流PG1、PG2。两种主视频流中,左眼用视频流V1表示电影的左眼用主影像,右眼用视频流V2表示右眼用主影像。各主音频流A1、A2表示电影的主声音。在两种主音频流A1、A2之间,声音的语言不同。另外,输出方式也可不同。各图形流PG1、PG2以图形影像来表示电影的字幕。在两种图形流PG1、PG2之间,字幕的语言不同。

在AV流文件515A中,作为多路复用多个基本流的方式,采用MPEG-2传输流(TS)形式。即,在AV流文件515A内,各基本流分割成多个TS包。由于向各TS包分配了按每个基本流不同的包ID(PID),所以各TS包所属的基本流通过PID来识别。例如图6所示,向左眼用视频流V1分配0x1011作为PID,向右眼用视频流V2分配0x1012作为PID,向主音频流A1、A2分配0x1100至0x111F中的某一个作为PID,向图形流PG1、PG2分配0x1200至0x121F中的某一个作为PID。

图7是表示构成AV流文件515A的各基本流的TS包的排列的示意图。左眼用视频流551A、右眼用视频流551B、音频流554及图形流557分别首先变换为PES(Packetized Elementary Stream:包基本流)包的串552、555、558,接着变换为TS包的串553、556、559。接着,向各TS包单独附加头。将该附加了头的TS包称为源包。最后,各源包560依次排成一列,构成1个AV剪辑文件515A。这里,如图7所示,源包560从开头起按顺序被附加序号。将该序号称为源包号码(SPN:Source Packet Number)。SPN用作AV剪辑文件515内的各TS包的地址。

例如,根据视频流551A、551B如下得到TS包的串553。首先,将左眼用视频流551A中包含的左眼用视频帧551L与右眼用视频流551B中包含的右眼用视频帧551R交替变换为PES包552。各PES包552包含PES头与PES有效载荷。各视频帧551L、551R以MPEG-2、MPEG-4AVC或VC-1等编码方式压缩为一个图片,存储在各PES有效载荷中。另一方面,各PES头中存储同一PES包的PES有效载荷中存储的图片的显示时刻(PTS:Presentation Time-Stamp:出现时间标记)。PTS是指应从再现装置100内的解码器输出由该解码器根据一个基本流解码的一帧的数据的时刻。接着,各PES包552一般变换为多个TS包553。TS包553是固定长度的包,包含TS头和TS有效载荷。TS头包含对应的TS有效载荷中存储的视频流551A或551B的PID。各PES包552一般被分割后存储在多个TS有效载荷中。最后,向各TS包553赋予头,将各TS包变换为源包560。

同样,在从音频流554变换的PES包555中,LPCM(Linear Pulse Code Modulation:线性脉冲编码调制)方式的音频数据以规定的编码形式压缩后存储在PES有效载荷中,该数据的PTS存储在PES头中。这里,作为音频流554的编码形式,利用AC-3、杜比数字+(Dolby Digital Plus:“杜比数字”是注册商标)、DTS(Digital Theater System:数字化影院系统,注册商标)或DTS-HD LBR。在从图形流557变换的PES包558中,图形数据以规定的编码形式压缩后存储在PES有效载荷中,该数据的PTS存储在PES头中。

《剪辑信息文件514A》

图8是表示剪辑信息文件514A的数据构造的示意图。CLIPINF目录514中设置的剪辑信息文件514A与STREAM目录515中设置的AV流文件515A一对一对应。剪辑信息文件514A规定对应的AV流文件515A内的SPN与PTS之间的对应关系。剪辑信息文件514A还表示在对应的AV流文件515A内多路复用的各基本流的属性。

如图8所示,剪辑信息文件514A包含流属性信息541与入口映射表542。流属性信息541中,与AV流文件515A内的各基本流有关的属性信息同该基本流的PID建立了对应。属性信息的细节在视频流、音频流及图形流之间不同。例如,对应于视频流的PID的属性信息包含压缩中利用的编解码器的识别信息、各图片的分辨率与纵横比及帧速率。另一方面,对应于音频流的PID的属性信息包含压缩中利用的编解码器的识别信息、信道数量、语言及采样频率。这些属性信息在再现装置100内用于解码器的初始化。

入口映射表542按每个基本流规定SPN与PTS之间的对应关系。例如图8所示,入口映射表542按每个视频流的PID包含入口映射543。入口映射543中,将该视频流内的各图片群(GOP)的开头、即各帧内图片(I图片)的PTS544与包含该I图片的源包的SPN545建立了对应。再现装置100通过参照入口映射543,可从AV流文件515A中确定包含视频流中包含的帧中的、任意PTS中的帧的源包。例如,在快进再现及后退再现等特殊再现中,再现装置100从AV流文件515A中选择入口映射543中记述的各SPN545的源包,并发送给解码器。由此,有选择地再现I图片。

入口映射表542中,视频流以外的基本流也一样,入口映射将指定的数据部分的PTS与SPN建立对应。因此,再现装置100通过参照该入口映射,可确定各基本流内的任意PTS所对应的AV流文件内的源包。

《播放列表文件513A》

图9是表示播放列表文件513A的数据构造的示意图。如图9所示,播放列表文件513A包含播放列表信息530。播放列表信息530以其再现时刻、即PTS来规定AV流文件515A的再现路径、即该AV流文件515A中再现对象的部分。播放列表信息530包含一个以上的播放项目信息531、532、533、维度识别标志534及图形平面移位量535。

各播放项目信息531-533以其再现区间、即再现开始时刻与再现结束时刻的对来规定AV流文件515A中应连续再现的部分。播放项目信息531-533分配有连续编号。该连续编号表示由各播放项目信息531-533规定的AV流文件515A的各部分的再现顺序。该连续编号还用作各播放项目信息531-533的标识符、即播放项目ID。

维度识别标志534表示播放项目信息531-533规定的再现路径的显示维度。由维度识别标志534表示的显示维度有二维与三维两种。所谓“显示维度为二维”意味着再现路径的影像为通常的二维影像,所谓“显示维度为三维”意味着再现路径的影像为立体视觉影像。

图形平面移位量535表示图形流PG1、PG2表示的图形影像、尤其是字幕应被感知的深度。这里,如图3所示,图形影像的深度由映射到左眼的该影像与映射到右眼的该影像之间的位移量决定。因此,图形平面移位量535具体如下所示定义。各图形流PG1、PG2在包含显示对象的图形影像的数据的同时,包含表示该图像影像在视频帧内的显示位置的参数。图形平面移位量535由以这些参数所表示的显示位置为基准的相对变位量的对来定义。该对中的一方涉及左眼用视频帧,另一方涉及右眼用视频帧。该对的大小相等,符号、即变位方向相反。图3所示的右眼用影像IMR与左眼用影像IML之间的变位量SH1、SH2相当于图形平面移位量535表示的变位量的对之差。

图10是表示播放项目信息531的数据构造的示意图。其他播放项目信息532、533的数据构造也一样。如图10所示,播放项目信息531包含参照剪辑信息571、再现开始时刻572、再现结束时刻573及流选择表574。参照剪辑信息571是用于识别参照AV流文件515A时所需的剪辑信息文件514A的信息。再现开始时刻572与再现结束时刻573表示AV流文件515A中再现对象的部分的开头与末尾的各PTS。流选择表574表示从再现开始时刻572至再现结束时刻573之间、可由再现装置100内的解码器从AV流文件515A中选择的基本流的列表。

如图10所示,流选择表574包含多个流入口580。流入口580包含流选择序号581和流识别信息582。流选择序号581是流入口80的连续编号。流识别信息582表示多路复用于AV流文件515A上的基本流中的某一个的PID。该PID所表示的基本流可在从再现开始时刻572至再现结束时刻573之间从AV流文件515A中选择。

图11是表示根据播放列表信息530再现的AV流文件515A的各部分CL1、CL2、CL3的示意图。图11所示的时间轴MP表示内容的再现时间。内容的再现如下所示,利用播放列表信息、剪辑信息文件及AV流文件的组合。

再现装置100从图9所示的播放列表信息530中,按播放项目ID的顺序,参照播放项目信息#1 531、播放项目信息#2 532、播放项目信息#3 533。例如当参照播放项目信息#1 531时,首先从该参照剪辑信息571(参照图10)所表示的剪辑信息文件514A的入口映射表542(参照图8)中,检索对应于再现开始时刻IN1的PTS#1 544。接着,将对应于该PTS#1 544的SPN#1 545确定为开始地址SP1。同样,将对应于再现结束时刻OUT1的SPN确定为结束地址EP1。接着,利用剪辑信息文件514A的流属性信息541(参照图8),从播放项目信息#1 531的流选择表574(参照图10)中登录的基本流中,检测再现装置100与显示装置200双方均可再现的基本流。此时,例如若再现装置100与显示装置200双方均可对应于多个输出形式的音频数据,则可检测出多个音频流。这样,当检测到多个虽然种类相同但属性不同的基本流时,选择这些基本流中具有最小流选择序号581的基本流,将该选择到的基本流的PID582设定给解码器。但是,当维度识别标志534表示的显示维度为三维时,若再现装置100与显示装置200均可对应于立体视觉影像显示,则将左眼用视频流VL的PID“0x1011”与右眼用视频流VR的PID“0x1012”双方设定给解码器。另一方面,若再现装置100与显示装置200均不对应于立体视觉影像显示,则仅将左眼用视频流VL的PID设定给解码器。结果,由解码器从AV流文件515A内的地址范围SP1-EP1的部分CL1中提取指定的PID的基本流,解码应在从再现开始时刻IN1至再现结束时刻OUT1的再现区间PI1中再现的流数据。同样,在播放项目信息#2 532规定的再现区间PI2中,由解码器根据AV流文件515A内的地址范围SP2-EP2的部分CL2来解码指定的PID的基本流,在播放项目信息#3 533规定的再现区间PI3中,由解码器根据AV流文件515A内的地址范围SP3-EP3的部分CL3来解码指定的PID的基本流。

《XML文件518A》

XML文件518A包含与光盘500中记录的内容有关的各种信息。这些信息例如包含光盘500的识别信息、内容提供商的识别信息、内容中包含的标题的列表、有关各标题的信息、在画面上显示标题的列表时利用的缩略影像。另外,XML文件518A不是内容再现所必需的信息,也可以省略。

<再现装置100的硬件构成>

图12是表示再现装置100的硬件构成的框图。参照图12,再现装置100包含光盘驱动器110、本地存储器120、操作部130、网络接口140、总线150、控制部160、再现部170及HDMI发送部180。光盘驱动器110、本地存储器120、操作部130及网络接口140可通过总线150与控制部160及再现部170通信。另外,控制部160与再现部170可通过总线150彼此通信。

光盘驱动器110向插入到内部的光盘500照射激光,根据该反射光的变化,读取光盘500中记录的数据。光盘驱动器110尤其可对应于BD-ROM盘。当由控制部160指示了读出数据时,光盘驱动器110从光盘500的卷区域502(参照图4)读出数据,并传送给本地存储器120、控制部160或再现部170。

本地存储器120是可改写的大容量存储装置,例如从外部网络800上的服务器装置900下载并保存追加内容。追加内容例如是应追加到或应置换光盘500中记录的原始内容的内容。追加内容例如包含副声音、与原始字幕不同语言的字幕、优惠影像、应用程序的更新版。本地存储器120此外也可保存由控制部160根据应用程序利用的参数及表等。图12中,本地存储器120包含卡读写器111和HDD 112。卡读写器111可对插入到内部的存储卡700读写数据。HDD112内置于再现装置100中。此外,虽然图12中未示出,但也可将外带的HDD通过规定的接口连接于总线150,用作本地存储器120。

操作部130接收并解读从遥控器400以红外线等无线发送的指令,将该指令的内容通知给控制部160。操作部130此外还检测再现装置100的前面板(front panel)中设置的按钮的按下,并通知给控制部160。

网络接口140可通信地连接于外部网络800与总线150之间。由此,控制部160可通过网络接口140与网络800上的服务器装置900通信。

控制部160是微机系统,包含CPU160A、ROM160B及RAM160C,它们由内部总线160D彼此连接。在ROM160B中,记录有用于控制再现装置100的基本动作的程序(固件)。固件包含连接于总线150上的各要素110-140、170的设备驱动器。CPU160A例如对应于电源接通而从ROM160B中读出固件并执行。由此,不仅控制各要素110-140、170的初始化,还整备Java平台、即BD-J对象的执行环境。RAM160C对CPU160A提供作业区域。控制部160利用这些要素160A-C的组合,执行固件及应用程序,据此来控制其他要素。

控制部160特别地从记录在光盘500或本地存储器120中的内容中读出期望的标题,并使再现部170再现。具体地,控制部160首先从光盘500或本地存储器120中读出与再现对象的标题对应的播放列表信息,即当前播放列表信息,据此选择再现对象的AV流文件,即当前AV流文件。控制部160接着指示光盘驱动器110或本地存储器120读出当前AV流文件并提供给再现部170。

另一方面,控制部160根据当前播放列表信息,确认维度识别标志所表示的显示维度。当该显示维度为“二维”时,控制部160对再现部170指定显示维度为“二维”。当该显示维度为“三维”时,控制部160还确认再现装置100与显示装置200能否对应于立体视觉影像显示。若再现装置100与显示装置200中的至少一个不对应于立体视觉影像显示,则控制部160对再现部170指定显示维度为“二维”。若再现装置100与显示装置200均可对应于立体视觉影像显示,则控制部160对再现部170指定显示维度为“三维”。与此同时,控制部160从当前播放列表信息中读出图形平面移位量,并与规定的OSD平面移位量一起传递给再现部170。这里,OSD平面移位量表示OSD应被感知的深度。具体地,OSD平面移位量与图形平面移位量一样,由左眼用与右眼用的各视频帧的、相对于OSD基准位置的相对变位量来定义。

控制部160此外还根据当前播放列表信息来选择应从当前AV流文件分离的基本流的PID,并指定给再现部170。特别地,当对再现部170指定显示维度为“二维”时,选择的PID组包含一个主视频流的PID。另一方面,当对再现部170指定显示维度为“三维”时,选择的PID组包含左眼用与右眼用两种主视频流的PID。

控制部160还具备OSD功能。即,控制部160根据由操作部130受理的用户的操作、或来自应用程序的指示,将对应的OSD的图形数据发送给再现部170。

控制部160还具备弹出显示功能。即,控制部160根据用户的操作或来自应用程序的指示,调用用于控制弹出显示的BD-J对象。控制部160还根据该BD-J对象来执行应用程序。该应用程序使控制部160生成弹出显示的图形数据,并发送给再现部170。

图13是表示重叠于二维影像上的OSD及弹出显示的示意图。图13的(a)所示的OSD G1表示再现开始。图13的(b)所示的OSD G2表示再现的暂停。图13的(c)所示的OSD G3表示快进。图13的(d)所示的OSD G4表示画面的亮度的设定画面。图13的(e)所示的OSD G5表示音量的设定画面。图13的(f)所示的弹出显示G6表示再现对象的章节的选择画面。

控制部160在对再现部170指定显示维度为“三维”后、将OSD的图形数据重新发送给再现部170时,使再现部170将显示维度切换为“伪二维”,并且,使图形平面移位量变更为0。在发送该OSD的图形数据之后,控制部160根据规定时间的经过,用户的操作或来自应用程序的指示,向再现部170发送OSD的删除命令。例如对于图13的(a)所示的OSD G1,根据规定时间的经过,发送删除命令。对于图13的(b)所示的OSD G2,根据用户的“暂停”状态的解除操作,发送删除命令。对于图13的(c)所示的OSD G3,在由应用程序指示了再现区间到达播放列表信息所表示的再现路径的末端时,发送删除命令。对于图13的(d)、(e)所示的OSD G4、G5也一样。控制部160使再现部170将显示维度返回到“三维”。

在控制部160对再现部170指定显示维度为“三维”之后、应用程序使控制部160向再现部170发送弹出显示的图形数据时,应用程序通过控制部160,使再现部170将显示维度切换为“伪二维”,且使图形平面移位量变更为0。应用程序还使控制部160向再现部170发送BD-J平面移位量。这里,BD-J平面移位量表示弹出显示应被感知的深度。具体地,BD-J平面移位量与图形平面移位量一样,由左眼用与右眼用各视频帧的、相对于弹出显示的基准位置的相对变位量来定义。

应用程序在使控制部160发送弹出显示的图形数据之后,根据用户的操作,使控制部160向再现部170发送弹出显示的删除命令。例如,对于图13的(f)所示的弹出显示G6,当通过用户的操作受理了表示期望章节的信息时,应用程序使控制部160向再现部170发送弹出显示的删除命令。应用程序进而通过控制部160使再现部170将显示维度返回到“三维”。

再现部170从光盘驱动器110或本地存储器120读入当前AV流文件。再现部170此时从该文件中分离由控制部160事先指定的PID的基本流。再现部170还对被分离的各基本流进行解码。由此,根据视频流生成视频平面,根据音频流生成音频数据,根据图形流生成图形平面。再现部170接着将视频平面与图形平面各一个合成为一个视频帧。并且,由该视频帧构成视频数据VD,并与音频数据AD一起输出。

再现部170对于视频平面的生成处理,按不同显示维度,具备三种动作模式,即“二维显示模式”、“三维显示模式”及“伪二维显示模式”。

当将显示维度指定为了“二维”时,动作模式设定为“二维显示模式”。在该动作模式下,再现部170首先从当前AV流文件中分离指定的PID所表示的一个主视频流。再现部170接着对被分离的视频流中包含的图片组解码为非压缩的视频帧组,将各视频帧依次利用为视频平面。

当将显示维度指定为了“三维”时,动作模式设定为“三维显示模式”。在该动作模式下,再现部170首先从当前AV流文件中分离指定的两种PID所表示的二个主视频流,即左眼用与右眼用视频流。再现部170接着将被分离的各视频流中包含的图片组解码为非压缩的视频帧组。再现部170进而将左眼用与右眼用视频帧交替利用为一个视频平面。

当将显示维度指定为了“伪二维”时,动作模式设定为“伪二维显示模式”。在伪二维动作模式下,到图片的解码处理为止,与“三维显示模式”完全同样地进行。但是,在伪二维显示模式下,与三维显示模式不同,只有每一个左眼用视频帧重复两次利用为视频平面,而右眼用视频帧被废弃。

在三维显示模式下,再现部170进而交替生成图形流表示的图形影像、尤其是字幕的水平方向上的显示位置不同的左眼用与右眼用图像平面。这里,再现部170利用图形平面移位量,决定这些图形平面间的图形影像的变位量。左眼用图形平面与左眼用视频帧合成,右眼用图形平面与右眼用视频帧合成。再现部170将合成后的左眼用与右眼用视频帧交替输出给显示装置200。由此,当前AV流文件表示的影像/字幕再现为立体视觉影像。

在伪二维显示模式下,图形平面移位量变更为0。因此,再现部170将生成的图形平面原样重复利用两次。即,图形流表示的图形影像在水平方向上的显示位置不被变更。再现部170还如上所述,仅将左眼用视频帧利用为视频平面。另一方面,再现部170利用OSD平面移位量,交替生成左眼用与右眼用OSD平面。在这些OSD平面之间,OSD的水平方向上的显示位置不同。同样,再现部170利用BD-J平面移位量,交替生成左眼用与右眼用BD-J平面。在这些BD-J平面之间,弹出显示的水平方向上的显示位置不同。再现部170还对图形平面与左眼用视频平面的相同组合,交替合成左眼用OSD平面/BD-J平面和右眼用OSD平面/BD-J平面。通过该合成得到的左眼用与右眼用视频帧交替输出到显示装置200。结果,OSD/弹出显示再现为立体视觉影像,另一方面,当前AV流文件表示的影像/字幕再现为二维影像。

控制部160和再现部170安装在彼此不同的芯片上。另外,两者也可安装在单一芯片上。另外,关于控制部160和再现部170的各功能细节,将在后面叙述。

HDMI发送部180由HDMI线缆600连接于显示装置200。HDMI发送部180从再现部170接收视频数据VD,将其变换为HDMI形式的影像信号。特别地,在影像信号上时分多路复用了左眼用与右眼用双方的视频帧。另一方面,HDMI发送部180从再现部170接收音频数据AD,将其变换为HDMI形式的声音信号。HDMI发送部180还将变换后的影像信号及声音信号与同步信号及附带数据多路复用,通过HDMI线缆600发送给显示装置200。另外,HDMI发送部180也可以组装到再现部170中。另外,声音信号也可以输出到音响系统等外附于显示装置200的放大器或扬声器。

<控制部160的内部构成的细节>

图14是控制部160的功能框图。如图14所示,控制部160包含总线接口161、用户操作检测模块162、虚拟文件系统163及再现控制部164。控制部160通过执行组装到其内部的固件,实现各功能部161-164。

总线接口161通过总线150将控制部160内的各功能部与图12所示的各要素110-140、170可通信地连接。总线接口161特别根据来自虚拟文件系统163的指示,从光盘驱动器110读入光盘500上的原始内容,从本地存储器120读入追加内容。

用户操作检测模块162接收来自操作部130的通知INT,根据该通知INT,识别用户进行的操作的内容。用户操作检测模块162还将表示该操作内容的操作信号U0发送给再现控制部164。这里,该操作内容例如包含光盘驱动器110中的光盘500的插入/拔出、及遥控器400或再现装置100的前面板的再现/停止/快进/后退等按钮的按下。

虚拟文件系统163管理再现控制部164对光盘500及本地存储器120的文件访问。特别地,虚拟文件系统163根据光盘500上的原始内容的数据构造504(参照图4)与本地存储器120内的追加内容的数据构造,构筑虚拟包(package)。由此,应用程序中不区分光盘500上的原始内容与本地存储器120内的追加内容,而记述为相同虚拟包上的内容。

虚拟文件系统163还根据来自再现控制部164的命令COM,从虚拟包中读出索引文件IF,传递给再现控制部164。之后,虚拟文件系统163根据来自再现控制部164的命令COM及来自用户操作检测模块162的操作信号U0,管理对虚拟包的文件访问。例如,虚拟文件系统163从虚拟包中读出再现对象的脚本信息,即当前的脚本信息DS、SS,传递给再现控制部164。这里,脚本信息包含动态脚本信息DS与静态脚本信息SS。动态脚本信息DS包含电影对象文件、BD-J对象文件及JAR文件。静态脚本信息SS包含播放列表文件和剪辑信息文件。虚拟文件系统163还根据来自再现控制部164的命令COM,使光盘驱动器110或本地寄存器120向再现部170提供当前AV流文件。

再现控制部164执行固件,整备应用程序的执行环境,进而在该环境下,从动态脚本信息DS中读出应用程序并执行。由此,再现控制部164根据应用程序,控制由再现装置100内的各要素进行的流数据的再现处理。

具体地,当来自用户操作检测模块162的操作信号U0表示光盘500向光盘驱动器110的插入时,再现控制部164首先从该光盘500中读出索引文件IF,并参照其中的索引表中的项目“快速播放”,确定由该项目指定的对象。再现控制部164接着从光盘500中调用该对象,作为当前的动态脚本信息DS,并根据该对象,执行应用程序。例如也可以是,当该应用程序要求构筑虚拟包时,再现控制部164首先确认对光盘500上的BDMV目录511(参照图4)中记录的原始内容的追加内容是否保持在本地寄存器120中。若未保持,则再现控制部164控制网络接口140,从服务器装置900向本地存储器120传送追加内容。再现控制部164接着通过命令COM指示使用了该追加内容的虚拟包的构筑。

再现控制部164接着使虚拟文件系统163从该虚拟包中读出索引文件IF。之后,再现控制部164根据来自用户操作检测模块162的操作信号U0,从索引文件IF内的索引表中选择一个项目。再现控制部164还将与该项目指定的对象关联的文件组决定为当前的动态脚本信息DS,并以命令COM向虚拟文件系统163请求该动态脚本信息DS。接着,再现控制部164根据该动态脚本信息DS,将一个播放列表文件与其参照的剪辑信息文件决定为当前的静态脚本信息SS,并以命令COM向虚拟文件系统163请求该静态脚本信息SS。再现控制部164接着根据该静态脚本信息SS选择当前AV流文件,并以命令COM指定给虚拟文件系统163。

另一方面,再现控制部164根据当前静态脚本信息SS内的当前播放列表信息,确认维度识别标志表示的显示维度。再现控制部164还根据该显示维度的值、及再现装置100与显示装置200是否可对应于立体视觉影像显示,对再现部170指定显示维度为二维或三维。当指定显示维度为三维时,再现控制部164从当前播放列表信息中读出图形平面移位量,与OSD平面移位量一起传递给再现部170。再现控制部164还向再现部170指定应从当前AV流文件分离的基本流的PID。

如图14所示,再现控制部164包含动态脚本存储器1641、静态脚本存储器1642、模式管理模块1643、HDMV模块1644、BD-J模块1645、AV再现库1646及OSD控制模块1647。

动态脚本存储器1641与静态脚本存储器1642均是控制部160内的RAM160C的一区域(参照图12)。动态脚本存储器1641从虚拟文件系统163接收并存储当前的动态脚本信息DS,即电影对象文件、BD-J对象文件或JAR文件。这些文件由HDMV模块1644或BD-J模块1645处理。静态脚本存储器1642从虚拟文件系统163接收并存储当前的静态脚本信息SS,即当前播放列表文件及剪辑信息文件。该静态脚本信息SS由AV再现库1646参照。

模式管理模块1643从虚拟文件系统163接收并保持索引文件IF。模式管理模块1643还利用该索引文件IF来管理再现装置100的动作模式。具体地,模式管理模块1643根据来自用户操作检测模块162的操作信号U0,从索引文件IF内的索引表中选择一个项目,并根据该项目指定的对象的种类,向HDMV模块1644或BD-J模块1645分配当前的动态脚本信息DS。具体地,当该对象为电影对象时,当前的动态脚本信息DS分配到HDMV模块1644,当该对象为BD-J对象时,当前的动态脚本信息DS分配到BD-J模块1645。前者的动作模式是HDMV模式,后者的动作模式是BD-J模式。模式管理模块1643还在来自用户操作检测模块162的操作信号U0表示动作模式切换时,或由各模块1644、1645要求切换动作模式时,在两个模块1644、1645之间切换动态脚本信息DS的分配目的地。

模式管理模块1643包含分配器(dispatcher)1643A。分配器1643A从用户操作检测模块162接收操作信号U0,从中选择适合当前的动作模式的操作信号U0,并传递给动态脚本信息DS的分配目的地的模块1644或1645。例如,当操作信号U0表示快进再现/后退再现时,若为HDMV模式,则分配器1643A将该操作信号U0传递给HDMV模块1644,若为BD-J模式,则传递给BD-J模块1645。另一方面,当操作信号U0表示光盘500向光盘驱动器110插入时,分配器1643A通过AV再现库1646,以命令COM向虚拟文件系统163指示读出索引文件IF。读出的索引文件IF由模式管理模块1643保持。另外,分配器1643A根据操作信号U0所表示的操作内容,将该操作信号U0还传递给OSD控制模块1647。

HDMV模块1644是虚拟的DVD播放器,与一般的DVD播放器执行的再现处理同样地控制从光盘500的再现标题的再现处理。具体地,HDMV模块1644从动态脚本存储器1641内的动态脚本信息DS中读出电影对象,并按排列顺序执行其中包含的导航指令。由此,HDMV模块1644按顺序指示AV再现库1646各导航指令所示的处理。

BD-J模块1645是Java平台,特别包含Java虚拟机。BD-J模块1645从动态脚本存储器1641内的动态脚本信息DS中读出BD-J对象,将其变换为控制部160内的CPU160A(参照图12)用的本机码(native code),并传递给AV再现库1646。由此,BD-J模块1645指示AV再现库1646该BD-J对象所表示的标题的再现处理。BD-J模块1645还根据BD-J对象,使网络接口140执行与服务器装置900的通信,将追加内容从服务器装置900下载到本地存储器120。

另外,BD-J模块1645根据操作信号U0,执行用于控制弹出显示的Java应用程序。该Java应用程序利用AV再现库1646中具备的应用程序接口(API),生成弹出显示及动画片影像等图形数据GD1。弹出显示例如包含图13的(f)所示的章节的选择画面G6等GUI用对话画面及菜单。动画片影像等例如包含图5的(b)所示的电影的影像SCN、电影的题目TL及猫头鹰的影像CR。图形数据GD1中利用JFIF(JPEG)或PNG等光栅数据。Java应用程序还使BD-J模块1645通过总线接口161及总线150向再现部170发送图形数据GD1。关于基于Java应用程序的弹出显示的控制细节,将在后面叙述。

AV再现库1646根据来自各模块1644、1645的指示,指示AV再现处理或播放列表再现处理。所谓“AV再现处理”是作为光盘再现装置的基本处理,沿袭基于一般DVD播放器及CD播放器的再现处理。具体地,AV再现处理例如包含再现处理的开始及停止、暂停及其解除、静止图像功能的解除、快进与后退、声音的切换、字幕的切换及角度的切换。另一方面,“播放列表再现处理”主要指依照静态脚本信息SS的标题的再现处理。即,在播放列表再现处理中,根据当前播放列表信息,选择当前AV流文件,以命令COM指定给虚拟文件系统163。播放列表再现处理此外还包含虚拟包的构筑处理、及从虚拟包向各脚本存储器1641、1642传送脚本信息DS、SS的传送处理。AV再现处理及播放列表再现处理的各功能作为API安装到AV再现库1646中。AV再现库1646通过执行按照指示的处理的API,通过虚拟文件系统163,向光盘驱动器110、本地存储器120及再现部170等发送命令COM。由此,AV再现库1646实现指示的处理。

AV再现库1646还包含寄存器1646A、维度判定部1646B及再现模式控制API 1646C。

寄存器1646A存储表示再现装置100及显示装置200在当前时刻的设定状态的参数、表示可设定的状态的参数以及表示初始设定的参数。表示当前时刻的设定状态的参数例如包含解码对象的音频流及图形流的各流选择序号、及当前播放列表信息及播放项目信息的各标识符。表示可设定的状态的参数例如包含可选择的声音/字幕的语言种类及音频数据的编码方式的种类。AV再现库1646根据来自各模块1644、1645的指示,参照寄存器1646A。由此,从各播放项目信息的流选择表中登录的基本流中,检测再现装置100与显示装置200双方均可再现的基本流。AV再现库1646还选择检测到的基本流中具有最小的流选择序号的基本流,将该流选择序号存储在寄存器1646A中。与此同时,从剪辑信息文件514A内的流属性信息541(参照图8)中读出该流选择序号所示的基本流属性中的编码形式及语言种类等规定的属性,存储在寄存器1646A中。AV再现库1646还向再现部170指定选择到的基本流的PID。此时,AV再现库1646将编码形式的种类等、选择的基本流的解码处理所需的信息从寄存器1646A传送给再现部170。

维度判定部1646B根据当前播放列表信息,确认维度识别标志表示的显示维度。当该显示维度为“二维”时,维度判定部1646B将显示维度决定为“二维”。当该显示维度为“三维”时,维度判定部1646B再访问寄存器1646A,确认再现装置100与显示装置200能否对应于立体视觉影像显示。若再现装置100与显示装置200中的至少一个不对应于立体视觉影像显示,则维度判定部1646B将显示维度决定为“二维”。若再现装置100与显示装置200均可对应于立体视觉影像显示,则维度判定部1646B将显示维度决定为“三维”。维度判定部1646B将表示如此决定的显示维度的维度信号DIM通过总线接口161及总线150发送给再现部170。与此同时,维度判定部1646B从当前播放列表信息中读出图形平面移位量GS,与规定的OSD平面移位量OS一起传递给再现部170。

再现模式控制API 1646C对应于来自各模块1644、1645、1647的调用,由AV再现库1646执行。由此,首先,检查再现部170的动作模式。当该动作模式是“三维显示模式”时,AV再现库1646再根据再现模式控制API1646C,使再现部170暂时保存已设定的图形平面移位量与BD-J平面移位量,之后,将上述移位量均再设定为0。这里,作为保存区域,利用再现部170内的存储器或控制部160内的RAM160C。AV再现库1646还根据再现模式控制API1646C,通过总线接口161及总线150向再现部170发送表示显示维度是“伪二维”的维度信号DIM。由此,AV再现库1646使再现部170将其动作模式切换为“伪二维显示模式”。另一方面,当调用了再现模式控制API1646C时的再现部170的动作模式是“伪二维显示模式”时,AV再现库1646利用维度信号DIM,使再现部170将其动作模式切换为“三维显示模式”。AV再现库1646再根据再现模式控制API1646C,使再现部170从保存区域还原图形平面移位量与BD-J平面移位量。

OSD控制模块1647根据操作信号U0或来自其他模块1644、1645的指示,生成对应的OSD的图形数据GD2,并通过总线接口161及总线150传递给再现部170。OSD控制模块1647进而调用再现模式控制API1646C,若再现部170的动作模式是“三维显示模式”,则切换为“伪二维显示模式”。在发送图形数据GD2之后,根据规定时间的经过、新的操作信号U0的接收或来自其他模块1644、1645的指示,OSD控制模块1647向再现部170发送OSD删除命令RQ2。此时,OSD控制模块1647进而调用再现模式控制API1646C,将再现部170的动作模式从“伪二维显示模式”返回到“三维显示模式”。

Java应用程序如下执行弹出显示的控制。Java应用程序使BD-J模块1645生成对应的弹出显示的图形数据GD1及BD-J平面移位量BS,通过总线接口161及总线150发送给再现部170。Java应用程序进而通过BD-J模块1645调用再现模式控制API1646C。由此,若再现部170的动作模式是“三维显示模式”,则切换为“伪二维显示模式”。在发送图形数据GD1及BD-J平面移位量BS之后,根据新的操作信号U0的接收,Java应用程序利用API向再现部170发送弹出显示的消除命令RQ1。Java应用程序此时进而调用再现模式控制API1646C。由此,再现部170的动作模式从“伪二维显示模式”返回到“三维显示模式”。

<再现部170的内部构成的细节>

图15是再现部170的功能框图。参照图15,再现部170包含总线接口171、轨道缓冲器172A、显示维度存储部172B、分路器(demultiplexer)173、左右标志存储部173A、视频解码器174A、图形解码器174B、音频解码器174C、渲染引擎(rendering engine)175、视频平面存储器176、图像平面存储器177、平面移位引擎178和加法部179。图像平面存储器177包含OSD平面存储器177A、BD-J平面存储器177B及图形平面存储器177C。这些功能部安装在单一芯片上。另外,也可以是几个功能部安装在不同的芯片上。

总线接口171通过总线150将再现部170内的各功能部可通信地连接于图12所示的光盘驱动器110、本地存储器120及控制部160上。总线接口171特别根据来自虚拟文件系统163的指示,将当前AV流文件CL从光盘驱动器110或本地存储器120传送给轨道缓冲器172A。

轨道缓冲器172A是内置于再现部170中的先入先出(FIFO)存储器。轨道缓冲器172A、172B从总线接口171读入AV流文件CL并暂时保持。

显示维度存储部172B可改写地保存表示显示维度的标志。该标志包含表示显示维度是“二维”的标志、表示显示维度是“三维”的标志、及表示显示维度是“伪二维”的标志。显示维度存储部172B每当通过总线接口171及总线150从控制部160接收维度信号DIM时,确立对应于其表示的显示维度的标志,解除其他标志。

分路器173首先从AV再现库1646接收应从当前AV流文件CL分离的基本流的PID。分路器173接着从轨道缓冲器172A中以源包单位读出当前AV流文件CL,并从各源包中取出TS包。分路器173再从该TS包的TS头中读取PID,与分离对象的基本流的PID进行对照。当二者一致时,分路器173提取该TS包,按不同PID收集。分路器173根据如此收集到的TS包,还原PES包,按不同PID,发送给3种解码器174A-C中的某一个。例如,当TS包的PID是0x1011或0x1012时,根据该TS包还原的PES包发送到视频解码器174A。当PID为0x1100至0x111F中的某一个时,PES包发送到音频解码器174C。当PID为0x1200至0x121F中的某一个时,将PES包发送到图形解码器174C。

这里,多路复用于当前AV流文件CL的信息有时包含例如图形流中包含的涉及导航按钮(Navigation Button)等GUI用图形部件的信息、由应用程序用作动态脚本信息的信息。分路器173在从当前AV流文件CL分离了这种信息时,通过总线接口171,将该信息SYS传送给动态脚本存储器1641(参照图14)。

当应从当前AV流文件CL分离的基本流的PID中包含左眼用视频流的PID“0x1011”与右眼用视频流的PID“0x1012”双方时,分路器173每当根据PID为0x1011或0x1012的TS包还原PES包并发送给视频解码器174A时,还将表示该PID为0x1011与0x1012中的哪一个的左右信号L/R发送给左右标志存储部173A。

左右标志存储部173A可改写地保存左右标志。左右标志表示由视频解码器174A根据处理中的PES包而解码的视频平面是左眼用与右眼用中的哪一个。例如确立了左右标志的状态表示该视频平面是左眼用,左右标志被解除的状态表示该视频平面是右眼用。此时,左右标志存储部173A在左右信号L/R表示左眼用视频流的PID“0x1011”时,确立左右标志,在左右信号L/R表示右眼用视频流的PID“0x1012”时,解除左右标志。这样,左右标志存储部173A每当接收左右信号L/R时,使左右标志的状态变化,即“翻转(flip)”。

视频解码器174A对于解码对象的主视频流,从AV再现库1646接收编码形式的种类等解码处理所需的信息。视频解码器174A还访问显示维度存储部172B,确认显示维度。根据该信息及显示维度,视频解码器174A决定解码处理的种类。之后,视频解码器174A从分路器173接收主视频流的PES包,并存储在内部的缓冲器中。与此并行地,视频解码器174A从该缓冲器中读出PES包,去除PES头,从剩余的PES有效载荷中取出编码后的图片,解码为非压缩的视频帧。

视频解码器174A如下所述,按不同显示维度,具备三种动作模式,即“二维显示模式”、“三维显示模式”及“伪二维显示模式”。这些动作模式相当于再现部170的上述三种动作模式。视频解码器174A访问显示维度存储部172B,确认显示维度,并根据该显示维度,选择动作模式。

当显示维度为二维时,视频解码器174A转移到“二维显示模式”。在二维显示模式下,视频解码器174A依次将非压缩的图片在原始PES头中记述的PTS所示的时刻写入到视频平面存储器176中。

当显示维度为三维时,视频解码器174A转移到“三维显示模式”。在三维显示模式下,分路器173按不同PID,将PES包分配给视频解码器174A内的两个缓冲器。由此,左眼用与右眼用视频流的PES包分离到不同的缓冲器。视频解码器174A还从两个缓冲器中交替取出PES包,将其中包含的图片解码为非压缩的视频帧。每当解码出一个非压缩的视频帧时,视频解码器174A访问显示维度存储部172B,确认显示维度。若显示维度维持在三维,则视频解码器174A首先将非压缩的视频帧在原始PES头中记述的PTS所示的时刻写入到视频平面存储器176中。即,将左眼用与右眼用视频帧交替写入到视频平面存储器176中。另一方面,视频解码器174A识别各非压缩的视频帧是从哪个缓冲器内的PES包解码出的,即该视频帧是左眼用与右眼用的哪一个。视频解码器174A进而利用切换信号PTD将该识别结果传递给视频平面存储器176。

另一方面,当显示维度变更为伪二维时,视频解码器174A从“三维显示模式”转移到“伪二维显示模式”。在伪二维显示模式下,视频解码器174A首先与三维显示模式一样,从两个缓冲器中交替将各图片解码为非压缩的视频帧,相应于对应的PTS所示的时刻,将各视频帧交替写入到视频平面存储器176中。另一方面,视频解码器174A固定切换信号PTD的状态,以使无论各非压缩的视频帧是从哪个缓冲器内的PES包解码出的,均表示该缓冲器是分配到左眼用视频流的PES包的缓冲器,即该视频帧是左眼用。

图形解码器174B从分路器173接收图形流的PES包,从该PES包中取得被编码的图形数据,解码为非压缩的数据。图形解码器174B还在该PES包中记述的PTS所示的时刻,将非压缩的图形数据写入到图形平面存储器177C中。

音频解码器174C对于解码对象的主音频流,从AV再现库1646接收编码形式的种类等解码处理所需的信息。并且,根据该信息,音频解码器174C决定解码处理的种类。之后,音频解码器174C从分路器173接收主音频流的PES包,存储在内部的缓冲器中。与此并行地,音频解码器174C从该缓冲器中读出PES包,从该PES包中去除PES头,从剩余的PES有效载荷中取出编码后的LPCM方式的音频数据,解码为非压缩的数据。音频解码器174C还在该TS包中记述的PTS所示的时刻输出该非压缩的音频数据AD。

渲染引擎175具备Java2D或OPEN-GL等软件,根据通过BD-J模块1645的来自Java应用程序的指示,生成图形影像的数据,并将该数据写入BD-J平面存储器177B中。渲染引擎175特别在从BD-J模块1645接收到弹出显示的图形数据GD1时,根据该图形数据GD1生成BD-J平面,并写入BD-J平面存储器177B中。渲染引擎175还在从OSD控制模块1647接收到OSD的图形数据GD2时,根据该图形数据GD2生成OSD平面,并写入OSD平面存储器177A中。渲染引擎175另外在通过BD-J模块1645从Java应用程序接收到弹出显示的删除命令RQ1时,删除BD-J平面存储器177B上的BD-J平面。另一方面,渲染引擎175在从OSD控制模块1647接收到OSD的删除命令RQ2时,删除OSD平面存储器177A上的OSD平面。

视频平面存储器176是再现部170中内置的存储器中确保的二维排列的数据区域。视频平面存储器176特别包含两个该排列。各排列的尺寸与一个视频帧的尺寸相等。另外,在排列的各要素中存储有一个图片数据。图片数据由颜色坐标值与α值(不透明度)的组合构成。颜色坐标值由RGB值或YCrCb值表示。向视频平面存储器176内的各排列,由视频解码器174A写入一个个非压缩的视频帧。由各视频帧构成表示电影的主影像的一个视频平面。

特别地,当显示维度为“三维”或“伪二维”时,从视频解码器174A向视频平面存储器176内的各排列交替写入非压缩的视频帧。另一方面,视频平面存储器176从视频解码器174A接收切换信号PTD,并根据其状态,从两个排列中的某一个输出视频平面。当显示维度为“三维”时,每当非压缩的视频帧被写入到各排列时,切换信号PTD的状态发生变化。因此,从各排列交替输出视频平面。另一方面,当显示维度为“伪二维”时,固定切换信号PTD的状态,以表示非压缩的视频帧是左眼用视频平面。因此,仅从被写入左眼用视频帧的排列输出视频平面,被写入右眼用视频帧的排列内的视频平面被废弃。

OSD平面存储器177A、BD-J平面存储器177B及图形平面存储器177C均是再现部170中内置的存储器中确保的二维排列的数据区域。各排列的尺寸与一个视频帧的尺寸相等。另外,在排列的各要素中存储有一个图片数据。图片数据由颜色坐标值与α值(不透明度)的组合构成。颜色坐标值由RGB值或YCrCb值表示。在图形平面存储器177C中,由被图形解码器174B写入的非压缩的图形数据构成包含应重叠于主影像上显示的图形影像、尤其是电影的字幕在内的一个图形平面。在OSD平面存储器177A中,由被渲染引擎175写入的图形数据构成包含应重叠于主影像上显示的OSD在内的一个OSD平面。在BD-J平面存储器177B中,由被渲染引擎175写入的图形数据构成包含应重叠于主影像上显示的弹出显示及动画片影像等的一个BD-J平面。

平面移位引擎178利用对图像平面存储器177的平面移位量,即OSD平面移位量、BD-J平面移位量及图形平面移位量,对各平面存储器177A-C进行“平面移位”。这里,各平面移位量是表示在各平面存储器177A-C中构成的平面中包含的图形影像的深度的量,具体地,由左眼用与右眼用各视频帧中相对于该图形影像的基准位置的相对变位量来定义。在两个视频帧中的变位量之间,大小相等,符号、即变位方向相反。平面移位量保存在平面移位引擎178中内置的存储器中。

平面移位是将二维影像显示用平面变换为立体视觉影像显示用的处理。具体地,平面移位引擎178执行以下动作。在各平面存储器177A-C中每当被写入一个平面时,平面移位引擎178访问左右标志存储部173A,确认左右标志的状态。当左右标志的状态表示左眼用视频平面时,平面移位引擎178从与处理对象的平面对应的平面移位量中选择左眼用视频帧的变位量。当左右标志的状态表示右眼用视频平面时,选择右眼用视频帧的变位量。平面移位引擎178还使用选择的变位量对各平面进行处理,并传递给加法部179。在该处理前后的平面之间,图形影像的水平方向的位置相差该变位量。这样,当利用左眼用视频帧的变位量时,生成左眼用平面,当利用右眼用视频帧的变位量时,生成右眼用平面。另外,关于该处理的细节,将在后面叙述。

当显示维度存储部172B根据维度信号DIM将显示维度设定为三维时,与此同时,平面移位引擎178接收图形平面移位量GS与OSD平面移位量OS。之后,在图形平面存储器177C中每当被写入一个图形平面时,平面移位引擎178利用图形平面移位量GS对该图形平面进行平面移位。由此,生成图形流所表示的图形影像、尤其是字幕的水平方向的显示位置不同的左眼用与右眼用图形平面,并交替输出。

平面移位引擎178还从BD-J模块1645接收BD-J平面移位量BS。之后,在BD-J平面存储器177B中每当被写入一个BD-J平面时,平面移位引擎178利用BD-J平面移位量BS对该BD-J平面进行平面移位。由此,生成BD-J平面包含的图形影像的水平方向的显示位置不同的左眼用与右眼用BD-J平面,并交替输出。

在AV再现库1646起动了再现模式控制API1646C时,平面移位引擎178根据来自AV再现库1646的指示,保存已设定的图形平面移位量以及BD-J平面移位量,之后将这些量均变更为0。这里,作为保存区域,利用平面移位引擎178内的存储器或RAM160C。之后,由于图形平面移位量为0,所以相对于图形平面存储器177C上的图形平面的平面移位实质上停止。因此,平面移位引擎178各重复两次输出图形流所表示的图形影像、尤其是字幕的水平方向上的显示位置相同的图形平面。关于BD-J平面也一样。

另一方面,在OSD平面存储器177A中每当被写入一个OSD平面时,平面移位引擎178利用OSD平面移位量OS对该OSD平面进行平面移位。由此,生成OSD的水平方向上的显示位置不同的左眼用与右眼用OSD平面,并交替输出。

另外,平面移位引擎178在从BD-J模块1645接收到新的BD-J平面移位量BS时,之后在BD-J平面存储器177B中每当被写入一个BD-J平面,则利用新的BD-J平面移位量BS对该BD-J平面进行平面移位。此时,该BD-J平面包含弹出显示。因此,生成该弹出显示的水平方向上的显示位置不同的左眼用与右眼用BD-J平面,并交替输出。

之后,在AV再现库1646再次起动了再现模式控制API1646C时,平面移位引擎178根据来自AV再现库1646的指示,从保存区域还原图形平面移位量和BD-J平面移位量。由此,平面移位引擎178对图形平面重新开始利用图形平面移位量GS的平面移位。即,再次交替输出左眼用与右眼用图形平面。同样,平面移位引擎178对BD-J平面再次开始利用BD-J平面移位量BS的平面移位。由此,再次交替输出左眼用与右眼用BD-J平面。

加法部179将从平面移位引擎178输出的OSD平面、BD-J平面或图形平面、与从视频平面存储器176输出的一个视频平面合成,生成一个视频帧。并且,由该视频帧构成视频数据VD并输出。尤其当显示维度是三维时,加法部179将左眼用图形平面、左眼用BD-J平面及左眼用视频平面合成为左眼用视频帧,将右眼用图形平面、右眼用BD-J平面及右眼用视频平面合成为右眼用视频帧。这样,交替输出左眼用与右眼用视频帧。另一方面,当显示维度是伪二维时,加法部179对图形平面与左眼用视频平面的相同组合,交替合成左眼用OSD平面/BD-J平面与右眼用OSD平面/BD-J平面。这样,生成左眼用与右眼用视频帧,并交替输出。

<基于再现装置100的播放列表再现处理的流程>

图16-20是将光盘500插入到光盘驱动器110中之后由再现装置100执行的播放列表再现处理的流程图。这里,例如假设随着向再现装置100的电源接通,控制部160根据固件来结束各功能部的初始化的状态,特别为再现控制部164已整备应用程序的执行环境的状态。在该初始化中,AV再现库1646还在寄存器1646A中保存有关再现装置100及显示装置200的各设定的参数、特别为可对应的立体视觉影像显示的方式。下面,按图16-图20所示的步骤的顺序,说明再现装置100如何利用上述构成要素来实现播放列表再现处理。

步骤S1:操作部130检测光盘500向光盘驱动器110的插入,将表示该情况的通知INT发送给用户操作检测模块162。用户操作检测模块162根据该通知INT,向再现控制部164发送操作信号U0。再现控制部164中,分配器1643A根据该操作信号U0,将该插入通知给OSD控制模块1647。分配器1643A还通过AV再现库1646,以命令COM向虚拟文件系统163指示索引文件IF的读出。另外,模式管理模块1643参照该索引文件IF内的索引表中的项目“快速播放”,确定由该项目指定的对象。这里,假设该对象是BD-J对象,且伴随虚拟包构筑的情况。在该情况下,模式管理模块1643通过AV再现库1646,指示虚拟文件系统163,将该BD-J对象传送给动态脚本存储器1641。另一方面,分配器1643A将光盘500向光盘驱动器110的插入还通知给BD-J模块1645。

OSD控制模块1647根据该通知,将表示光盘的插入的OSD的图形数据GD2传递给再现部170。再现部170根据该图形数据GD2,生成OSD平面。这里,在再现部170的初始状态下,动作模式通常是二维显示模式。另外,在该时刻,还未生成视频平面。因此,该OSD平面原样利用于视频数据VD并被输出。该视频数据VD还通过HDMI发送部180及HDMI线缆600发送到显示装置200。由此,该OSD作为二维影像显示于显示装置200的画面中。在从发送图形数据GD2起经过规定时间后,OSD控制模块1647向再现部170发送OSD的删除命令RQ2。由此,由于再现部170使OSD平面的输出停止,所以该OSD从显示装置200的画面中删除。

BD-J模块1645根据来自分配器1643A的通知,从动态脚本存储器1641中读出BD-J对象。BD-J模块1645还根据该BD-J对象,执行Java应用程序。该Java应用程序首先使BD-J模块1645访问本地存储器120,使其确认对光盘500中记录的原始内容的追加内容是否保存于本地存储器120中。若未被保持,则Java应用程序也可使BD-J模块1645控制网络接口140,从服务器装置900向本地存储器120下载追加内容。若追加内容保存在本地存储器120中,则Java应用程序通过BD-J模块1645使虚拟文件系统163根据光盘500上的原始内容的总线和本地存储器120内的追加内容的总线来构筑虚拟包。

步骤S2:分配器1643A通过AV再现库1646,向虚拟文件系统163发送命令COM。根据该命令COM,虚拟文件系统163从虚拟包、即光盘500或本地存储器120向模式管理模块1643传送索引文件IF。

步骤S3:模式管理模块1643参照索引文件IF内的索引表中的项目“快速播放”,确定由该项目指定的对象(下面称为快速播放的对象。)。模式管理模块1643还对根据该对象的种类,将当前的动态脚本信息DS分配给HDMV模块1644或BD-J模块1645。由此,分配目的地的模块1644或1645从该动态脚本信息DS中读出快速播放的对象,并据此执行程序。

步骤S4:当基于快速播放的对象的处理是播放列表再现处理时,各模块1644、1645向AV再现库1646指示该播放列表再现处理。AV再现库1646根据该指示,以命令COM要求虚拟文件系统163读出当前播放列表文件。虚拟文件系统163根据该命令COM,从虚拟包中读出当前播放列表文件,并作为当前的静态脚本信息SS而存储在静态脚本存储器1642中。

步骤S5:AV再现库1646从当前的静态脚本信息SS中读出当前播放列表信息。维度判定部1646B根据当前播放列表信息,确认维度识别标志表示的显示维度。当该显示维度是“二维”时,处理前进到步骤S10(参照图17)。当该显示维度是“三维”时,处理前进到步骤S6。

步骤S6:维度判定部1646B访问寄存器1646A,确认显示装置200能否对应于立体视觉影像显示。当显示装置200不对应于立体视觉影像显示时,处理前进到步骤S20(参照图18)。当显示装置200可对应于立体视觉影像显示时,处理前进到步骤S30(参照图19)。

《播放列表信息所表示的显示维度是二维时的二维显示模式》

图17是当前播放列表信息所表示的显示维度是二维时的二维显示模式的流程图。

步骤S10:维度判定部1646B决定显示维度为“二维”,并通过维度信号DIM向显示维度存储部172B指定该显示维度。显示维度存储部172B根据该维度信号DIM,确立与其所表示的显示维度、即二维对应的标志。

步骤S11:维度判定部1646B对于平面移位引擎178,将图形平面移位量GS和OSD平面移位量OS均指定为0。由此,平面移位引擎178实质上使对图形平面与OSD平面的平面移位均停止。因此,再现部170将图形平面与OSD平面均作为二维影像输出。

步骤S12:AV再现库1646依次参照当前播放列表信息中的各播放项目信息。由此,从各流选择表中登录的基本流中,检测出再现装置100与显示装置200双方可再现的基本流。AV再现库1646还选择检测到的基本流中具有最小流选择序号的基本流,并将其PID指定给分路器173。此时,AV再现库1646从寄存器1646A向再现部170内的各解码器传送选择的基本流的解码处理所需的信息。各解码器根据该信息,决定解码处理的种类。视频解码器174A还访问显示维度存储部172B,确认显示维度是二维,并转移到二维显示模式。

步骤S13:AV再现库1646根据当前播放列表信息中的各播放项目信息,选择当前AV流文件,并指定给虚拟文件系统163。虚拟文件系统163使光盘驱动器110或本地存储器120向再现部170内的总线接口171提供当前AV流文件。总线接口171将该当前AV流文件CL传送给轨道缓冲器172A。

步骤S14:分路器173首先以源包单位从轨道缓冲器172A中读出当前AV流文件CL,并从各源包中取出TS包。分路器173接着利用该TS包的TS头中包含的PID,按不同PID收集分离对象的TS包。分路器173进而从收集到的TS包,还原PES包,按不同PID发送给各解码器174A-C。视频解码器174A从接收到的PES包中,取出被编码的图片,解码为非压缩的视频帧。视频解码器174A进而将该非压缩的视频帧依次写入到视频平面存储器176中。图形解码器174B从接收到的PES包中,取出被编码的图形数据,将其解码为非压缩的图形数据后,写入到图形平面存储器177C中。音频解码器174C从接收到的PES包中取出被编码的音频数据,将其解码为非压缩的音频数据。与上述各解码器的动作并行地,渲染引擎175在从OSD控制模块1647接收到图形数据GD2时,根据该图形数据GD2,在OSD平面存储器177A中生成OSD平面,在从BD-J模块1645接收到图形数据GD1时,根据该图形数据GD1,在BD-J平面存储器177B中生成BD-J平面。

步骤S15:由于相对于各平面存储器177A-C的平面移位量均为0,所以平面移位引擎178将各平面存储器177A-C上的平面原样输出给加法部179。加法部179将从平面移位引擎178输出的OSD平面、BD-J平面或图形平面、与从视频平面存储器176输出的视频平面合成为一个视频帧。由该视频帧构成视频数据VD,与非压缩的音频数据AD一起输出。HDMI发送部180将这些视频数据VD与音频数据AD变换为HDMI形式的影像信号与声音信号,通过HDMI线缆600,发送给显示装置200。显示装置200根据该影像信号,在画面中再现二维影像,并根据该声音信号,从内置的扬声器发生声音。

步骤S16:分路器173确认构成当前AV流文件CL的源包中的未处理的源包是否残留于轨道缓冲器172A中。若残留,则处理从步骤S14开始重复,若未残留,则播放列表再现处理结束。

《显示装置200不对应于立体视觉影像显示时的二维显示模式》

图18是显示装置200不对应于立体视觉影像显示时的二维显示模式的流程图。图18所示的步骤S20-26本质上与图17所示的步骤S10-16一样。因此,下面除了与步骤S10-16不同的点外,简化各步骤的说明,关于细节,引用上述的说明。

步骤S20:维度判定部1646B将显示维度指定为“二维”,与之对应,显示维度存储部172B确立对应于二维的标志。

步骤S21:维度判定部1646B对平面移位引擎178,将图形平面移位量GS与OSD平面移位量OS均指定为0。

步骤S22:AV再现库1646根据当前播放列表信息,选择基本流。这里,对于主视频流,从选择对象中排除右眼用视频流。将选择的基本流的PID与解码处理所需的信息一起指定给分路器173。各解码器根据该信息,决定解码处理的种类。视频解码器174A进而确认显示维度是二维,转移到二维显示模式。

步骤S23:AV再现库1646根据当前播放列表信息,选择当前AV流文件。与之对应,虚拟文件系统163及总线接口171从光盘驱动器110或本地存储器120向轨道缓冲器172A传送该当前AV流文件CL。

步骤S24:分路器173根据轨道缓冲器172A内的当前AV流文件CL,按不同PID收集分离对象的TS包,并还原为PES包,并传递给各解码器174A-C。视频解码器174A根据PES包,解码视频帧,并依次写入到视频平面存储器176中。图形解码器174B也同样根据PES包对图形平面进行解码,并写入到图形平面存储器177C中。音频解码器174C根据PES包,解码音频数据。渲染引擎175利用来自OSD控制模块1647的图形数据GD2,在OSD平面存储器177A中生成OSD平面,利用来自BD-J模块1645的图形数据GD1,在BD-J平面存储器177B中生成BD-J平面。

步骤S25:平面移位引擎178将各平面存储器177A-C上的平面原样输出给加法部179。加法部179将从平面移位引擎178输出的平面和从视频平面存储器176输出的视频平面合成为视频帧。由该视频帧构成视频数据VD,与非压缩的音频数据AD一起输出。HDMI发送部180将这些视频数据VD与音频数据AD变换为HDMI形式的影像信号与声音信号并发送给显示装置200。显示装置200根据该影像信号,在画面中再现二维影像,并根据该声音信号,从内置的扬声器发生声音。

步骤S26:若构成当前AV流文件CL的源包中的未处理的包残留于轨道缓冲器172A中,则处理从步骤S24开始重复,若未残留,则播放列表再现处理结束。

《三维显示模式》

图19-20是三维显示模式的流程图。下面说明的各步骤中,步骤S30-33、S40、S41由图19示出,步骤S42-49由图20示出。

步骤S30:维度判定部1646B将显示维度决定为“三维”,通过维度信号DIM向显示维度存储部172B指定该显示维度。显示维度存储部172B根据该维度信号DIM,确立对应于其所表示的显示维度、即三维的标志。

步骤S31:维度判定部1646B从当前播放列表信息中读出图形平面移位量GS,并与规定的OSD平面移位量OS一起传递给再现部170。平面移位引擎178将这些平面移位量GS、OS保存在内置存储器中。

步骤S32:AV再现库1646依次参照当前播放列表信息中的各播放项目信息。由此,从各流选择表中登录的基本流中,检测再现装置100与显示装置200双方可再现的基本流。AV再现库1646还选择检测到的基本流中具有最小流选择序号的基本流,并将其PID指定给分路器173。这里,指定的PID组包含左眼用视频流的PID与右眼用视频流的PID双方。AV再现库1646进而从寄存器1646A向再现部170内的各解码器传送选择的基本流的解码处理所需的信息。各解码器根据该信息,决定解码处理的种类。视频解码器174A进而访问显示维度存储部172B,确认显示维度是三维,转移到三维显示模式。

步骤S33:AV再现库1646根据当前播放列表信息中的各播放项目信息,选择当前AV流文件,并指定给虚拟文件系统163。虚拟文件系统163使光盘驱动器110或本地存储器120向再现部170内的总线接口171提供当前AV流文件。总线接口171将该当前AV流文件CL传送给轨道缓冲器172A。

步骤S40:分路器173首先以源包单位从轨道缓冲器172A中读出当前AV流文件CL,并从各源包中取出TS包。分路器173接着利用该TS包的TS头中包含的PID,按不同PID收集分离对象的TS包。分路器173进而根据收集到的TS包,还原PES包,按不同PID发送给各解码器174A-C。视频解码器174A将接收到的PES包交替分配给两个缓冲器,由此,左眼用与右眼用视频流的PES包分离到不同的缓冲器。视频解码器174A还从两个缓冲器交替解码非压缩的视频帧。图形解码器174B从接收到的PES包中,取出被编码的图形数据,解码为非压缩的图形数据。音频解码器174C从接收到的PES包中取出被编码的音频数据,将其解码为非压缩的音频数据。

步骤S41:分路器173每当将PES包发送给视频解码器174A时,将左右信号L/R发送给左右标志存储部173A。左右标志存储部173A根据该左右信号L/R,确立或解除左右标志。由此,与该PES包对应的原来的TS包所表示的PID每当在“0x1011”与“0x1012”之间切换时,左右标志翻转,即切换其状态。

步骤S42:视频解码器174A将非压缩的视频帧交替写入到视频平面存储器176内的两个排列中。

步骤S43:视频解码器174A每当向视频平面存储器176写入一个非压缩的视频帧时,访问显示维度存储部172B,确认显示维度。若显示维度维持在“三维”,则处理前进到步骤S44。若显示维度被变更为“伪二维”,则处理前进到步骤S45。

步骤S44:视频解码器174A维持“三维显示模式”。视频解码器174A特别地识别非压缩的视频帧是左眼用与右眼用中的哪一个。视频解码器174A进而通过切换信号PTD向视频平面存储器176传递该识别结果。此时,每当对视频平面存储器176内的各排列写入了视频帧时,切换信号PTD的状态变化。视频平面存储器176接收该切换信号PTD,相应于该状态变化,从两个排列向加法部179交替输出左眼用与右眼用视频平面。之后,处理前进到步骤S46。

步骤S45:视频解码器174A从“三维显示模式”转移到“伪二维显示模式”。视频解码器174A特别地固定切换信号PTD的状态,以使无论各非压缩的视频帧是左眼用与右眼用中的哪一个,均表示该视频帧是左眼用。此时,视频平面存储器176仅从由视频解码器174A写入了左眼用视频帧的排列向加法部179输出视频平面,废弃写入了右眼用视频帧的排列内的视频平面。之后,处理前进到步骤S46。

步骤S46:图形解码器174B将非压缩的图形数据写入到图形平面存储器177C中。若渲染引擎175从OSD控制模块1647接收了图形数据GD2,则根据该图形数据GD2,在OSD平面存储器177A中生成OSD平面,并若从BD-J模块1645接收了图形数据GD1,则根据该图形数据GD1,在BD-J平面存储器177B中生成BD-J平面。

步骤S47:平面移位引擎178利用OSD平面移位量、BD-J平面移位量及图形平面移位量,对各平面存储器177A-C进行平面移位。关于平面移位的流程,将在后面叙述。

步骤S48:加法部179将从平面移位引擎178输出的OSD平面、BD-J平面或图形平面、与从视频平面存储器176输出的视频平面合成为一个视频帧。由该视频帧构成视频数据VD,与非压缩的音频数据AD一起输出。HDMI发送部180将这些视频数据VD与音频数据AD变换为HDMI形式的影像信号与声音信号,通过HDMI线缆600发送给显示装置200。显示装置200根据该影像信号,在画面中再现各视频帧,并根据该声音信号,从内置的扬声器发生声音。显示装置200进而利用该影像信号所附带的控制信号,使左右信号LR的波形切换与左眼用视频帧及右眼用视频帧之间的切换同步。由此,液晶快门眼镜300使两个液晶显示面板301L、301R与帧的切换同步而交替地透射光。结果,对于戴上液晶快门眼镜300的视听者而言,在显示装置200的画面上再现的影像中的左眼用视频帧与右眼用视频帧之间沿水平方向变位的部分立体地呈现为对应于该变位量的深度。

具体地,当步骤S43中视频解码器174A维持“三维显示模式”时,在左眼用视频帧与右眼用视频帧之间,视频平面与图形平面均不同。因此,内容的影像与字幕均再现为立体视觉影像。另一方面,在步骤S43中视频解码器174A从“三维显示模式”转移到了“伪二维显示模式”时,在左眼用视频帧与右眼用视频帧之间,视频平面与图形平面均相同。因此,内容的影像与字幕均再现为二维影像。但是,由于左眼用视频帧与右眼用视频帧之间,OSD平面或BD-J平面不同,所以OSD或弹出显示再现为立体视觉影像。尤其是由视听者看起来OSD或弹出显示相比于内容的影像及字幕中的任一个都靠前。

步骤S49:分路器173确认构成当前AV流文件CL的源包中未处理的源包是否残留于轨道缓冲器172A中。若残留,则处理从步骤S40开始重复,若未残留,则播放列表再现处理结束。

《基于平面移位引擎178的平面移位的流程》

图21是平面移位引擎178进行的平面移位的流程图。在图20所示的步骤S47中,按顺序执行以下步骤。

步骤S50:平面移位引擎178访问左右标志存储部173A,确认左右标志的状态。当左右标志的状态表示左眼用视频平面时,处理前进到步骤S51L。当左右标志的状态表示右眼用视频平面时,处理前进到步骤S51R。

步骤S51L:平面移位引擎178从与处理对象的平面、即OSD平面、BD-J平面或图形平面对应的平面移位量中,选择左眼用视频帧的变位量。平面移位引擎178进而对处理对象的平面的左侧附加幅度与该变位量相等的带状区域,从处理对象的平面的右端部去除相同幅度的带状区域。这样,处理对象的平面变换为左眼用平面。在该左眼用平面中,与处理对象的平面相比,图形要素、即OSD、弹出显示或字幕的位置比原来的位置向右移动了该变位量。左眼用平面由平面移位引擎178保持。

步骤S51R:平面移位引擎178从与处理对象的平面对应的平面移位量中,选择右眼用视频帧的变位量。平面移位引擎178进而对处理对象的平面的右侧附加幅度与该变位量相等的带状区域,从处理对象的平面的左端部去除相同幅度的带状区域。这样,处理对象的平面变换为右眼用平面。在该右眼用平面中,与处理对象的平面相比,图形要素的位置比原来的位置向左移动了该变位量。右眼用平面由平面移位引擎178保持。

步骤S52:平面移位引擎178将保持的左眼用或右眼用平面输出给加法部179。

《对图形平面的平面移位》

图22是表示平面移位引擎178执行的对图形平面的平面移位的示意图。例如,假设图形平面存储器177C上的图形平面GPL包含表示字幕“Ilove you”的图形要素STL的情况。这里,在该图形平面GPL中的图形要素STL以外的部分将α值设定为0,即透明。另外,图形平面移位量由以原来的图形平面GPL内的图形要素STL的显示位置为基准的相对变位量的对GSL、GSR来定义。该对GSL、GSR大小相等,符号、即变位方向相反。例如,当设右向的变位为正时,左眼用视频帧中的变位量GSL为正,右眼用视频帧中的变位量GSR为负。

平面移位引擎178首先确认左右标志的状态。当左右标志的状态表示左眼用视频平面时,平面移位引擎178使用左眼用视频帧的变位量GSL,改写原来的图形平面GPL。由此,将幅度等于该变位量GSL的带状区域ST1L附加于原来的图形平面GPL的左侧,将相同幅度的带状区域ST1R从原来的图形平面GPL的右端部去除。如此改写后的左眼用图形平面LGPL中,平面左端与图形要素STL之间的距离DL比原来的图形平面GPL中的距离D0长变位量GSL。即,图形要素STL的位置比原来的图形平面GPL内的位置向右移动变位量GSL。

当左右标志的状态表示右眼用视频平面时,平面移位引擎178使用右眼用视频帧的变位量GSR,改写原来的图形平面GPL。由此,将幅度等于该变位量GSR大小的带状区域ST2R附加于原来的图形平面GPL的右侧,将相同幅度的带状区域ST2L从原来的图形平面GPL的左端部去除。如此变换后的右眼用图形平面RGPL中,平面左端与图形要素STL之间的距离DR比原来的图形平面GPL中的距离D0短变位量GSR的大小。即,图形要素STL的位置比原来的图形平面GPL内的位置向左移动变位量GSR的大小。

这样,平面移位引擎178根据一个图形平面GPL,生成左眼用图形平面LGPL和右眼用图形平面RGPL,交替输出给加法部179。其间,图形要素STL沿水平方向变位与图形平面移位量所表示的变位量的对GSL、GSR之差相等的距离GSL-GSR(GSR<0)。该变位被感知为两眼视差,由此由视听者看起来字幕“I love you”比画面更靠前。

《对OSD平面的平面移位》

图23是表示平面移位引擎178执行的对OSD平面的平面移位的示意图。例如,假设OSD平面存储器177A上的OSD平面OPL包含表示再现信息的OSD GE的情况。这里,再现信息是有关再现中的影像的信息,例如包含“再现(PLAY)”及“暂停”等再现状态、该影像的场景的标题及从再现开始时刻起的经过时间。并且,该OSD平面OPL中,OSD GE以外的部分将α值设定为0,即透明。另外,OSD平面移位量由以原来的OSD平面OPL内OSD GE的显示位置为基准的相对变位量的对OSL、OSR来定义。该对OSL、OSR大小相等,符号、即变位方向相反。例如,当设右向的变位为正时,左眼用视频帧中的变位量OSL为正,右眼用视频帧中的变位量OSR为负。

平面移位引擎178首先确认左右标志的状态。当左右标志的状态表示左眼用视频平面时,平面移位引擎178使用左眼用视频帧的变位量OSL,改写原来的OSD平面OPL。由此,将幅度等于该变位量OSL的带状区域ST3L附加于原来的OSD平面OPL的左侧,将相同幅度的带状区域ST3R从原来的OSD平面OPL的右端部去除。如此改写后的左眼用OSD平面LOPL中,平面左端与OSD GE之间的距离D1L比原来的OSD平面OPL中的距离D1长变位量OSL。即,OSD GE的位置比原来的OSD平面OPL内的位置向右移动变位量OSL。

当左右标志的状态表示右眼用视频平面时,平面移位引擎178使用右眼用视频帧的变位量GSR,改写原来的OSD平面OPL。由此,将幅度等于该变位量OSR的大小的带状区域ST4R附加于原来的OSD平面OPL的右侧,将相同幅度的带状区域ST4L从原来的OSD平面OPL的左端部去除。如此变换后的右眼用OSD平面ROPL中,平面左端与OSD GE之间的距离D1R比原来的OSD平面OPL中的距离D1短变位量OSR的大小。即,OSDGE的位置比原来OSD平面OPL内的位置向左移动变位量OSR的大小。

这样,平面移位引擎178根据一个OSD平面OPL,生成左眼用OSD平面LOPL和右眼用OSD平面ROPL,并交替输出给加法部179。其间,OSD GE沿水平方向变位与OSD平面移位量所表示的变位量的对OSL、OSR之差相等的距离OSL-OSR(OSR<0)。该变位被感知为两眼视差,由此由视听者看起来OSD GE比画面靠前。

<基于再现装置100的OSD平面的控制>

图24是有关再现装置100执行的OSD平面的控制的流程图。再现装置100与上述播放列表再现处理并行而监视用户的操作及来自应用程序的指示,每当检测该操作及指示时,将对应的OSD描绘于OSD平面上。生成的OSD平面在播放列表再现处理中合成到视频帧并输出到显示装置200。下面,按图24所示的步骤的顺序来说明再现装置100执行的OSD平面的控制。

步骤S60:操作部130检测来自遥控器400的指令、或再现装置100的前面板中设置的按钮的按下,将对应于该指令或该按钮的通知INT发送给用户操作检测模块162。用户操作检测模块162根据该通知INT,向分配器1643A发送操作信号U0。分配器1643A将该操作信号U0传递给OSD控制模块1647。此外,HDMV模块1644或BD-J模块1645根据应用程序,将有关OSD显示的指示传递给OSD控制模块1647。

步骤S61:OSD控制模块1647根据该操作信号U0或指示,生成表示对应于该内容的OSD的图形数据GD2,传递给渲染引擎175。

步骤S62:OSD控制模块1647调用再现模式控制API1646C。由此,若再现部170的动作模式是“三维显示模式”,则切换为“伪二维显示模式”。关于再现模式控制API1646C的处理流程,将在后面叙述。

步骤S63:渲染引擎175对从OSD控制模块1647接收到的图形数据GD2进行解码,并写入到OSD平面存储器177A中。这样,生成OSD平面。

步骤S64:在发送图形数据GD2之后,根据规定时间的经过、新的操作信号U0的接收或来自其他模块1644、1645的指示,OSD控制模块1647向渲染引擎175发送OSD的删除命令RQ2。

步骤S65:渲染引擎175根据该删除命令RQ2,删除OSD平面存储器177A中保持的OSD平面OPL。由此,停止从平面移位引擎178输出OSD平面。

步骤S66:OSD控制模块1647调用再现模式控制API1646C。由此,再现部170的动作模式从“伪二维显示模式”返回到“三维显示模式”。关于再现模式控制API1646C的处理流程,将在后面叙述。

<基于再现装置100的BD-J平面的控制>

图25是有关再现装置100执行的BD-J平面的控制的流程图。与上述播放列表再现处理并行地,当通过用户的操作及来自应用程序的指示而被要求弹出显示时,再现装置100中,首先BD-J模块1645从光盘500中读出用于控制该弹出显示的BD-J对象,并根据该BD-J对象,执行Java应用程序。接着,该Java应用程序使BD-J模块1645将弹出显示用的图形数据描绘于BD-J平面上。这样,将生成的BD-J平面在上述播放列表再现处理中合成到视频帧,输出给显示装置200。下面,按图25所示的步骤的顺序来说明再现装置100执行的BD-J平面的控制。

步骤S70:操作部130检测来自遥控器400的指令、或再现装置100的前面板中设置的按钮的按下,将对应于该指令或该按钮的通知INT发送给用户操作检测模块162。用户操作检测模块162根据该通知INT,向分配器1643A发送操作信号U0。当该操作信号U0要求弹出显示时,分配器1643A将该操作信号U0传递给BD-J模块1645。此外,HDMV模块1644根据应用程序,向BD-J模块1645要求弹出显示。或者,BD-J模块1645自身根据应用程序判断为需要弹出显示。

步骤S71:BD-J模块1647根据该操作信号U0或指示,从光盘500中读出用于控制该内容所要求的弹出显示的BD-J对象。BD-J模块1647进而根据该BD-J对象,执行Java应用程序。由此,该Java应用程序使BD-J模块1645生成弹出显示用的图形数据GD1,发送给渲染引擎175。

步骤S72:Java应用程序调用再现模式控制API1646C。由此,若再现部170的动作模式是“三维显示模式”,则切换为“伪二维显示模式”。关于再现模式控制API1646C的处理流程,将在后面叙述。

步骤S73:Java应用程序使BD-J模块1647根据弹出显示应被感知的深度,生成BD-J平面移位量BS,并发送给平面移位引擎178。

步骤S74:渲染引擎175解码从BD-J模块1645接收到的图形数据GD1,并写入到BD-J平面存储器177B中。这样,生成BD-J平面。

步骤S75:在发送图形数据GD1之后,通过用户的操作接收到新的操作信号U0时,Java应用程序利用API,向渲染引擎175发送弹出显示的删除命令RQ1。

步骤S76:渲染引擎175根据该删除命令RQ1,删除BD-J平面存储器177B中保持的BD-J平面。由此,停止从平面移位引擎178输出BD-J平面。

步骤S77:Java应用程序调用再现模式控制API1646C。由此,再现部170的动作模式从“伪二维显示模式”返回到“三维显示模式”。关于再现模式控制API1646C的处理流程,将在后面叙述。

<基于再现模式控制API1646C的处理的流程>

图26是基于再现模式控制API1646C的处理的流程图。再现模式控制API1646C在图24所示的步骤S62、S66中,由OSD控制模块1647调用,在图25所示的步骤S72、S77中,由Java应用程序调用。调用出的再现模式控制API1646C由AV再现库1646执行。由此,按以下所述的步骤的顺序执行再现部170的动作模式的切换及与之相伴的处理。

步骤S80:AV再现库1646访问显示维度存储部172B,确认表示显示维度的各标志的状态。由此,检查再现部170的动作模式。当确立了表示三维的标志时,再现部170的动作模式是“三维显示模式”。此时,处理前进到步骤S81。当确立了表示伪二维的标志时,再现部170的动作模式是“伪二维显示模式”。此时,处理前进到步骤S84。当确立了表示二维的标志时,再现部170的动作模式是“二维显示模式”。此时,处理结束。

步骤S81:AV再现库1646使平面移位引擎178暂时保存已设定的图形平面移位量与BD-J平面移位量。

步骤S82:AV再现库1646使平面移位引擎178将图形平面移位量与BD-J平面移位量均设定为0。

步骤S83:AV再现库1646向显示维度存储部172B发送表示显示维度是“伪二维”的维度信号DIM。显示维度存储部172B根据该维度信号DIM,解除表示显示维度是“三维”的标志,确立表示显示维度是“伪二维”的标志。之后,处理结束。

步骤S84:AV再现库1646向显示维度存储部172B发送表示显示维度是“三维”的维度信号DIM。显示维度存储部172B根据该维度信号DIM,解除表示显示维度是“伪二维”的标志,确立表示显示维度是“三维”的标志。

步骤S85:AV再现库1646使平面移位引擎178从保存区域还原图形平面移位量与BD-J平面移位量。之后,处理结束。

<伴随视频解码器174A的动作模式切换的视频平面的变化>

图27是表示从视频平面存储器176输出给加法部179的视频平面串CVPL1-3的示意图。图27所示的时间轴表示在再现部170内用作PTS的基准的时钟、即STC(System Time Clock),相当于再现时间。首先,假设在第1期间T1,显示维度维持为“三维”,视频解码器174A以“三维显示模式”动作的情况。在第1期间T1,从视频平面存储器176交替输出左眼用视频平面LVPL与右眼用视频平面RVPL,所以从视频平面串CVPL1再现立体视觉影像VV1。

例如,在时刻P1,假设用户按下遥控器400的按钮而指示显示再现信息的情况。此时,操作部130检测该按下,将对应的通知INT发送给用户操作检测模块162。进而,用户操作检测模块162根据该通知INT,向分配器1643A发送操作信号U0,分配器1643A将该操作信号U0传递给OSD控制模块1647。OSD控制模块1647根据该操作信号U0,调用再现模式控制API1646C。由此,从AV再现库1646发送表示显示维度是“伪二维”的维度信号DIM。显示维度存储部172B根据该维度信号DIM,解除表示显示维度是“三维”的标志,确立表示显示维度是“伪二维”的标志。即,显示维度从“三维”切换为“伪二维”。视频解码器174A检测该标志的变化,从“三维显示模式”转移到“伪二维显示模式”。因此,以后视频解码器174A仅将左眼用视频帧写入到视频平面存储器176中。这样,在时刻P1之后的第2期间T2,从视频平面存储器176仅输出左眼用视频平面LVPL,所以从视频平面串CVPL2再现二维影像VV2。

假设在时刻P1之后,例如在时刻P2,用户再次按下遥控器400的按钮等而指示了删除再现信息的情况。此时,操作部130检测表示该指示的操作,将对应的通知INT发送给用户操作检测模块162。并且,根据该通知INT,用户操作检测模块162向分配器1643A发送操作信号U0,分配器1643A将该操作信号U0传递给OSD控制模块1647。OSD控制模块1647根据该操作信号U0,调用再现模式控制API1646C。由此,从AV再现库1646发送表示显示维度是“三维”的维度信号DIM。显示维度存储部172B根据该维度信号DIM,解除表示显示维度是“伪二维”的标志,确立表示显示维度是“三维”的标志。即,显示维度从“伪二维”返回到“三维”。视频解码器174A检测该标志的变化,从“伪二维显示模式”返回到“三维显示模式”。因此,以后视频解码器174A将左眼用与右眼用视频帧交替写入到视频平面存储器176中。这样,在时刻P2之后的第3期间T3,左眼用视频平面LVPL与右眼用视频平面RVPL交替从视频平面存储器176输出,所以从视频平面串CVPL3再现立体视觉影像VV3。

<伴随显示维度切换的图形平面的变化>

图28是表示从平面移位引擎178输出给加法部179的图形平面串CGPL1-3的示意图。图28所示的时间轴表示STC。图28中,与图27一样,假设在显示维度维持为三维的状态下,用户在时刻P1按下遥控器400的按钮而指示显示再现信息,在时刻P2指示删除该显示的情况。此时,再现期间以时刻P1、P2为界分离成三个期间T1、T2、T3,在各期间中显示维度分别被维持在三维、伪二维、三维。

在时刻P1以前的第1期间T1,平面移位引擎178使用图形平面移位量,继续对如图22所示的图形平面GPL进行平面移位。由此,左眼用图形平面LGPL与右眼用图形平面RGPL交替从平面移位引擎178输出。因此,在第1期间T1,从图形平面串CGPL1再现字幕STL的立体视觉影像VG1。

在时刻P1用户按下遥控器400的按钮而指示显示再现信息时,按照与图27的情况一样的步骤,OSD控制模块1647调用再现模式控制API1646C。由此,AV再现库1646使平面移位引擎178暂时保存已设定的图形平面移位量,之后将其重新设定为0。因此,之后,平面移位引擎178实质上停止对图形平面GPL的平面移位,重复输出字幕STL的水平方向上的显示位置相同的图形平面GPL。结果,在第2期间T2,从图形平面串CGPL2再现字幕STL的二维影像VG2。

在时刻P2用户指示了删除再现信息的显示时,按照与图27的情况一样的步骤,OSD控制模块1647调用再现模式控制API1646C。由此,AV再现库1646使平面移位引擎178从保存区域还原图形平面移位量。由此,平面移位引擎178对图形平面GPL再次开始使用图形平面移位量的平面移位。即,左眼用图形平面LGPL与右眼用图形平面RGPL再次从平面移位引擎178交替输出。结果,在第3期间T3,从图形平面串CGPL3再现字幕STL的立体视觉影像VG3。

<OSD平面的控制>

图29是表示从平面移位引擎178输出给加法部179的OSD平面串COPL的示意图。图29所示的时间轴表示STC。图29中,与图27一样,假设在显示维度维持为三维的状态下,用户在时刻P1指示显示再现信息,在时刻P2指示删除该显示的情况。此时,再现期间以时刻P1、P2为界分离成三个期间T1、T2、T3,在各期间中显示维度分别被维持在三维、伪二维、三维。

在第1期间T1,由于OSD平面存储器177A不包含OSD平面,所以从平面移位引擎178不输出OSD平面。

在时刻P1用户指示了显示再现信息时,按照与图27的情况一样的步骤,OSD控制模块1647从分配器1643A接收操作信号U0。OSD控制模块1647根据该操作信号U0,生成表示再现信息的OSD GE的图形数据GD2,并传递给渲染引擎175。渲染引擎175解码该图形数据GD2,写入到OSD平面存储器177A中。这样,生成OSD平面OPL。此时,平面移位引擎178利用OSD平面移位量对该OSD平面OPL进行平面移位。由此,生成OSDGE的水平方向上的显示位置不同的左眼用OSD平面LOPL与右眼用OSD平面ROPL,交替从平面移位引擎178输出。结果,在第2期间T2,从OSD平面串COPL再现OSD GE的立体视觉影像VO。

在时刻P2用户指示了删除再现信息的显示时,按照与图27的情况一样的步骤,OSD控制模块1647从分配器1643A接收操作信号U0。OSD控制模块1647根据该操作信号U0,向渲染引擎175发送OSD的删除命令RQ2。渲染引擎175根据该删除命令RQ2,删除OSD平面存储器177A中保持的OSD平面OPL。由此,停止从平面移位引擎178输出OSD平面,所以在第3期间T3,OSD从视频帧中消失。

<伴随OSD的显示的立体视觉影像的变化>

图30是表示通过根据图27-29所示的各平面串合成的视频帧串再现的立体视觉影像的示意图。图30所示的时间轴表示STC。另外,各时刻P1、P2及各期间T1、T2、T3均与图27-29所示的相同。

在第1期间T1显示维度维持为三维。从视频平面存储器176向加法部179交替输出左眼用视频平面LVPL与右眼用视频平面RVPL。另一方面,从平面移位引擎178向加法部179交替输出左眼用图形平面LGPL与右眼用图形平面RGPL。加法部179将左眼用视频平面LVPL与左眼用图形平面LGPL各一个合成为一个左眼用视频帧,将右眼用视频平面RVPL与右眼用图形平面RGPL各一个合成为一个右眼用视频帧。加法部179通过交替重复这些合成,交替输出左眼用与右眼用的视频帧。结果,在第1期间T1的影像SCN1中,内容的影像与字幕均再现为立体视觉影像。

在时刻P1用户指示了显示再现信息时,显示维度从三维切换为伪二维。由此,从视频平面存储器176向加法部179仅输出左眼用视频平面LVPL。另一方面,从平面移位引擎178向加法部179重复输出字幕STL的水平方向上的显示位置相同的图形平面GPL。因此,在第2期间T2的影像SCN2中,内容的影像与字幕均再现为二维影像。但是,从平面移位引擎178向加法部179还交替输出左眼用OSD平面LOPL与右眼用OSD平面ROPL。结果,在第2期间T2的影像SCN2中,仅OSD GE再现为立体视觉影像,特别是由视听者看起来OSD GE比内容的影像及字幕的任何一个都靠前。

在时刻P2用户指示了删除再现信息的显示时,显示维度从伪二维返回到三维。由此,再次从视频平面存储器176向加法部179交替输出左眼用视频平面LVPL与右眼用视频平面RVPL,从平面移位引擎178向加法部179交替输出左眼用图形平面LGPL与右眼用图形平面RGPL。另一方面,由于OSD平面OPL被删除,所以停止从平面移位引擎178向加法部179输出OSD平面。加法部179将左眼用视频平面LVPL与左眼用图形平面LGPL各一个合成为一个左眼用视频帧,将右眼用视频平面RVPL与右眼用图形平面RGPL各一个合成为一个右眼用视频帧。加法部179通过交替重复这些合成,交替输出左眼用与右眼用的视频帧。结果,在第3期间T3的影像SCN3中,内容的影像与字幕再次再现为立体视觉影像。

另外,当由BD-J模块1645执行的Java应用程序使再现部170从“三维显示模式”转移到“伪二维显示模式”后进行弹出显示时,图30所示的立体视觉影像的变化除了OSD GE被置换为弹出显示以外,其他一样。

<根据本发明实施方式1的立体视觉影像再现装置的效果>

在再现装置100中如上所述,再现部170对立体视觉影像显示具备“三维显示模式”和“伪二维显示模式”两种动作模式。在三维显示模式下,根据内容解码左眼用与右眼用双方的视频帧,交替用作视频平面。在伪二维显示模式下,左眼用与右眼用视频帧均被根据内容解码,但其中的仅某一方作为视频平面重复利用,另一方被废弃。该再现装置100进而在立体视觉影像的显示期间中向显示装置200输出OSD或弹出显示时,使再现部170从三维显示模式转移到伪二维显示模式。另一方面,再现装置100使再现部170输出OSD及弹出显示的图形影像,作为立体视觉影像。由此,在显示装置200的画面中,在OSD及弹出显示作为立体视觉影像来显示的期间,内容的影像显示为二维影像。结果,能够进一步提高OSD及弹出显示的视觉辨认性。

再现装置100中,仅通过向视频平面存储器176A的右眼用视频帧的写入及其停止之间的切换来实现“三维显示模式”与“伪二维显示模式”之间的切换。因此,该切换能够比“三维显示模式”与“二维显示模式”之间的切换更高速地实现。因此,在将内容的影像与OSD及弹出显示进行合成的处理的期间,不必插入所谓的“黑画面”。结果,能够进一步提高再现装置100的操作性。

<变形例>

(1)在图6所示的例子中,左眼用与右眼用主视频流VL、VR多路复用于一个AV流文件515A上。此外,左眼用与右眼用主视频流也可以分离为不同的两个AV流文件。此时,立体视觉影像用的播放列表信息包含用于同时参照这两个AV流文件的信息。由此,虚拟文件系统163使光盘驱动器110或本地存储器120向轨道缓冲器172A并行传送这两个AV流文件。分路器173从这些AV流文件中交替读出PES包,并发送给视频解码器174A。此外,也可以是,再现部170具备两个轨道缓冲器172A与分路器173的对,使各对单独处理上述两个AV流文件。再现部170还可具备两个视频解码器174A与视频平面存储器176的对,使各对并行生成左眼用视频平面与右眼用视频平面。

(2)作为加法部179的构成,可利用公知的构成。例如,也可以是将从视频平面存储器176输出的视频平面、与从平面移位引擎178输出的OSD平面、BD-J平面及图形平面一次合成的构成。此外,加法部179也可由如下两个部分构成。首先,第一部分将视频平面与图形平面进行合成。接着,第二部分向第一部分的合成结果合成OSD平面或BD-J平面。并且,加法部179也可与平面移位引擎178一体化。此时,平面移位引擎178的对各平面的平面移位与加法部179的平面间的合成被作为一连串的处理来执行。

(3)在实施方式1中,如图9所示,作为表示内容的影像的显示维度的信息,即用于识别二维影像用的AV流文件和立体视觉影像用AV流文件的信息,维度识别标志534记录在播放列表信息530中。该信息此外例如也可记录在各播放项目信息531-533、剪辑信息文件514A或播放列表再现处理用的对象文件512B、516A中。

(4)在实施方式1中,如图9所示,图形平面移位量535记录在播放列表信息530中。图形平面移位量此外也可记录在各播放项目信息531-533、剪辑信息文件514A、索引文件512A、播放列表再现处理用的对象文件512B、516A、XML文件518A或AV流文件515A中。当图形平面移位量记录在索引文件512A及对象文件512B、516A等的动态脚本信息或XML文件518A中时,维度判定部1646B也可在比图16所示的步骤S5更早的阶段、例如步骤S3,从动态脚本信息或XML文件518A中读出图形平面移位量,传递给平面移位引擎178。由此,在内容整体中图形平面移位量相同时,由于不必对每个播放列表再现处理重新设定图形平面移位量,所以可减轻再现装置100的负担。另一方面,也可以是,在图形平面移位量记录在AV流文件515A中时,将其与图形流所表示的图形要素、特别是字幕在帧内的坐标值一起表现为表示其深度的“Z值”。此时,图形解码器174B从解码后的图形数据中读出图形平面移位量,传递给平面移位引擎178。

(5)在实施方式1中,多路复用于AV流文件515A上的图形流A1、A2是二维影像用。此时,每当图形解码器174C根据该图形流解码一个图形平面时,由平面移位引擎178根据该一个图形平面生成立体视觉影像用的一对图形平面。在利用这种平面移位的立体视觉影像显示方式中,再现装置所要求的运算量比利用左眼用与右眼用一对平面的立体视觉影像显示方式小。因此,利用平面移位的立体视觉影像显示方式有利于便携电话等存储器容量较小或图形功能较低的电子设备。此外,也可以一开始就向AV流文件515A多路复用立体视觉影像用图形流的对、即左眼用与右眼用图形流。此时,图形解码器174C与视频解码器174A一样,具备“三维显示模式”和“伪二维显示模式”两种动作模式。在三维显示模式下,交替生成左眼用与右眼用图形平面,在伪二维显示模式下,仅生成左眼用图形平面。由此,与图30一样,在OSD或弹出显示作为立体视觉影像来显示的期间,图形平面所表示的图形、特别为字幕显示为二维影像。

(6)在实施方式1中,OSD控制模块1647生成OSD的图形数据GD2作为二维影像用。此时,每当由渲染引擎175根据该图形数据GD2生成一个OSD平面时,平面移位引擎178根据该一个OSD平面生成立体视觉影像用的一对OSD平面。此外,OSD控制模块1647也可生成OSD的图形数据GD2作为立体视觉影像用,即,以左眼用与右眼用的对来生成。此时,渲染引擎175交替利用左眼用与右眼用的OSD的图形数据,交替生成左眼用与右眼用OSD平面。由此,与图29一样,OSD显示为立体视觉影像。BD-J模块1645的弹出显示用的图形数据也一样。

(7)在图16-20的例子中,按照索引文件512A内的索引表的项目“快速播放”中被参照的对象,执行播放列表再现处理。即,该播放列表再现处理在光盘500插入到光盘驱动器110中之后执行。播放列表再现处理此外也可按照索引表的其他项目中被参照的对象来执行。该项目例如在操作部130检测到用户按下再现按钮时,与之对应地由模式管理模块1643参照。此时执行的播放列表再现处理在步骤S2之后与图16-20所示的一样进行。

(8)在实施方式1中,图形平面移位量、OSD平面移位量及BD-J平面移位量均由以视频帧内的规定位置为基准的相对变位量的对来定义。但是,各平面移位量也可以以其他方式来定义。各平面移位量例如也可以由平面移位前后的视频帧内的绝对坐标之差来定义。另外,各平面移位量由图片数量等不取决于平面移位引擎178的种类的共同的单位来表现。此时,平面移位引擎178执行从图片数量向位数的换算等、用于将平面移位量变换为硬件中可利用的值的运算处理。此外,平面移位量也可一开始就以位数等硬件可原样利用的单位来表现。

(9)在实施方式1中,平面移位量由大小相等、符号不同的变位量的对来定义。此外,该对之间大小也可不同。另外,平面移位量例如也可仅由左眼用视频平面中的变位量来定义。此时,平面移位引擎178根据左右标志的状态,使平面移位量的符号反转后利用。

(10)如图22、23所示,在平面移位引擎178执行的平面移位中,字幕STL及OSD GE等的图形要素的尺寸维持为一定。此外,也可以是,平面移位引擎178对于处理对象的平面,与平面移位一起进行定标处理,由此使变位对象的图形要素的尺寸根据平面移位量来变化。特别地,使其尺寸以越是靠前显示的影像则映射得越大的方式变化。此时,在通过平面移位产生的立体视觉影像中,与实际的三维空间的光景一样,相同尺寸的物体越是靠前,则看起来越大。因此,视听者更难以从这些立体视觉影像感到不谐调感,所以字幕及OSD等的视觉辨认性进一步提高。

(11)在实施方式1中,控制部160从当前播放列表信息中读出图形平面移位量后原样传递给再现部170。此外,控制部160也可以根据显示装置200的画面的分辨率及尺寸,调节图形平面移位量。由此,防止左眼用与右眼用视频帧间的图形影像的变位量超过被视听者感知为相同物体的两眼视差的范围。结果,可防止该图形影像不是呈现为立体影像,而是呈现为双重影像的现象,所以字幕及OSD等的视觉辨认性进一步提高。

(12)在实施方式1中,每当分路器173从左眼用与右眼用视频流的TS包中复原PES包并发送给视频解码器174A时,使左右标志存储部173A翻转左右标志。此外,也可以在每当加法部179向显示装置200输出合成结果的一个视频帧时,使左右标志存储部173A翻转左右标志。

(13)在图27所示的平面移位中,写入到图像平面存储器177中的一个平面通过利用左眼用视频帧中的变位量而改写为左眼用平面,通过利用右眼用视频帧中的变位量而改写为右眼用平面。此外,也可以是写入到图像平面存储器177中的一个平面首先被原样用作例如左眼用平面,接着通过使用了左眼用与右眼用双方视频帧的变位量之差的平面移位,改写为右眼用平面。此时,平面移位量也可以一开始就由该差来定义。

(14)在图6所示的AV流文件515A中,左眼用视频流V1的PID是“0x1011”,右眼用视频流V2的PID是“0x1012”。另外,在图20所示的步骤S45中,写入到视频平面存储器176中的右眼用视频帧不输出到加法部179,而被废弃。其中,“左眼用”与“右眼用”之间的区别不是本质的,设定也可相反。

(15)在图18所示的步骤S22中,显示维度为二维的播放列表再现处理中,AV再现库1646从选择对象中排除右眼用视频流。此时,能否将从选择对象中排除的视频流变更为左眼用,因左眼用与右眼用视频流的编码方式而不同。当各视频流彼此被独立编码了时,即两流间的帧间相关未利用于编码时,也可代替右眼用视频流而从选择对象中排除左眼用视频流。另一方面,当两流间的帧间相关利用于编码时,从选择对象中仅能排除不能单独解码的视频流。此时,在播放项目信息531-533内的流选择表中,对不能从选择对象中排除的视频流分配比另一方视频流小的流选择序号。

(16)图24所示的步骤S62、S66中的OSD控制模块1647进行的再现模式控制API1646C的调用、及图25所示的步骤S72、S77中的Java应用程序执行的再现模式控制API1646C的调用均在图26所示的步骤S80的显示维度的确认之前执行。此外,也可以在再现模式控制API1646C的调用之前执行显示维度的确认,当显示维度为二维以外的维度时,实际调用再现模式控制API1646C,此时,进而在步骤S80中确认了显示维度为二维时,AV再现库1646也可以向各模块1645、1647通知显示维度的设定错误。

(17)在实施方式1中,视频解码器174A监视显示维度存储部172B内的标志状态,根据其变化,切换与解码后的视频帧的输出处理有关的动作模式。此外,视频解码器174A也可以根据显示维度存储部172B内的标志变化,跳过对一个缓冲器内的PES包的解码处理。与此不同地,也可以是分路器173监视显示维度存储部172B内的标志状态,根据其变化,切换应发送给视频解码器174A的视频流的PID。具体地,例如在显示维度维持为三维的期间,分路器173将左眼用与右眼用双方的视频流的PID保持为向视频解码器174A的发送对象的流的PID。另一方面,当显示维度切换到伪二维时,分路器173从向视频解码器174A的发送对象的流的PID中排除右眼用视频流的PID。即便如此,在显示维度切换到了伪二维的期间,也可以使视频平面存储器176仅保持左眼用视频平面。

(18)在实施方式1中,对一个视频平面存储器176内的不同排列单独生成左眼用与右眼用视频平面。此外,左眼用与右眼用视频平面也可以交替覆盖相同的排列。此时,在伪二维显示模式下,视频解码器174A首先在每解码一个非压缩的视频帧时,识别该非压缩的视频帧是从哪个缓冲器内的PES包解码的。若该缓冲器是被分配给左眼用视频流的PES包的缓冲器,则视频解码器174A将该视频帧写入到视频平面存储器176中。相反,若该缓冲器是被分配给右眼用视频流的PES包的缓冲器,则视频解码器174A废弃该视频帧。这样,在显示维度维持在伪二维的期间,在视频平面存储器176中仅写入左眼用视频帧。

(19)在实施方式1中,视频平面存储器176根据切换信号PTD的状态来选择两个排列中的某一个,从中向加法部179输出视频平面。也可以与之不同,加法部179监视显示维度存储部172B内的标志状态,根据其变化来选择视频平面存储器176内的两个排列中的某一个,从中读出视频平面。具体地,例如在显示维度维持在三维的期间,加法部179从两个排列中交替读出视频平面。另一方面,当显示维度切换到伪二维时,加法部179仅从保持左眼用视频平面的排列中各读出两次相同的视频平面。这样也能够在显示维度切换到了伪二维的期间,从视频平面存储器176向加法部179仅提供左眼用视频平面。

(20)再现模式控制API1646C也可将图26所示的流程图整体构成为一连串的程序,或构成为将显示维度从三维切换为伪二维时的API与相反从伪二维返回到三维时的API的组合。另外,也可构成为步骤S80执行的判断由调用源的各模块1645、1647来执行,再现模式控制API1646C接收该判断得到的显示维度的值,作为参数。

(21)在实施方式1中,在显示维度为伪二维期间,仅是OSD及弹出显示显示为立体视觉影像。此外,也可在显示维度为伪二维期间,将OSD平面移位量及BD-J平面移位量均设定为0,将OSD及弹出显示也显示为二维影像。此时,由于内容的影像/字幕显示为二维影像,所以不损害OSD及弹出显示的视觉辨认性。并且,对于未戴上液晶快门眼镜的人,也能够呈现画面的显示、特别为OSD及弹出显示。

(22)再现部170还可以还具备背景平面存储器。背景平面存储器与其他平面存储器一样,是再现部170中内置的存储器中确保的二维排列的数据区域。背景平面存储器中,例如由渲染引擎175应作为背景而合成于视频帧的静止图像来构成背景平面。该静止图像例如由光盘500或本地存储器120提供。之后,与图形平面一样处理背景平面。即,在显示维度维持在三维的期间,通过平面移位引擎178执行的平面移位来处理背景平面。由此生成的左眼用与右眼用背景平面交替地从平面移位引擎178输出到加法部179,与左眼用与右眼用的各视频平面一起交替合成到左眼用与右眼用视频帧。因此,背景平面表示的背景影像在画面中立体显示。另一方面,当显示维度切换为伪二维时,平面移位引擎178实质上停止对背景平面的平面移位,将相同的背景平面各重复两次输出给加法部179。此时,相同的背景平面与相同的左眼用视频平面合成两次,分别作为左眼用与右眼用视频帧输出到显示装置200。因此,背景影像在画面中二维显示。这样,OSD或弹出显示的视觉辨认性也不因背景图像而受损害。

(23)在实施方式1中,再现装置100从光盘500中再现立体视觉影像。此外,再现装置100也可以具备调谐器,使用调谐器来接收通过地面波广播、卫星广播或线缆广播分发的立体视觉影像用流数据,与上述AV流文件一样再现。调谐器根据接收到的广播波,解调视频流,判断该视频流是否是立体视觉影像用。调谐器还将该判断结果作为显示维度,通知给维度判定部1646B。另一方面,图形平面移位量也可作为附带于上述流数据上的数据而包含于广播波中。此时,调谐器根据广播波,解调图形平面移位量,传递给平面移位引擎178。

《实施方式2》

在根据本发明实施方式2的再现装置中,与实施方式1的结构不同,可选择将内容的影像/字幕与OSD一起作为立体视觉影像显示的动作模式。其他特征、例如光盘上的数据构造、再现装置的硬件构成及控制部与再现部的各构成与实施方式1一样。因此,在下面的说明中,描述与实施方式1的特征不同的实施方式2的特征,此外,对与实施方式1的特征相同的特征,援引实施方式1中的说明。

再现装置100根据用户的操作或来自应用程序的指示,使显示装置200显示规定的选择画面。该选择画面的显示由OSD控制模块1647或BD-J模块1645执行。用户利用该选择画面,可选择在OSD等的向画面的输出中,将内容的影像/字幕作为二维影像与立体视觉影像中的哪个来显示。当选择了将内容的影像/字幕显示为二维影像时,AV再现库1646将再现模式控制API1646C有效化。另一方面,当选择了将内容的影像/字幕显示为立体视觉影像时,AV再现库1646将再现模式控制API1646C无效化。再现模式控制API1646C的有效/无效的区别记录在寄存器1646A中。

图31是有关再现装置100执行的OSD平面的控制的流程图。再现装置100与播放列表再现处理并行而监视用户的操作及来自应用程序的指示,每当检测该操作及指示时,将对应的OSD描绘于OSD平面上。生成的OSD平面在播放列表再现处理中合成到视频帧后输出到显示装置200。

下面,按照图31所示的步骤的顺序来说明再现装置100执行的OSD平面的控制。另外,图31所示的步骤中,步骤S60-S66与图24所示的完全一样。因此,这些步骤的细节援引图24的说明。

步骤S60:操作部130检测遥控器400或前面板的按钮的按下。与之对应,将操作信号U0通过用户操作检测模块162及分配器1643A发送给OSD控制模块1647。此外,HDMV模块1644或BD-J模块1645根据应用程序,将有关OSD的显示的指示发送给OSD控制模块1647。

步骤S90:OSD控制模块1647根据该操作信号U0或指示,访问寄存器1646A,确认再现模式控制API1646C的有效/无效。当再现模式控制API1646C有效时,处理前进到步骤S61。当再现模式控制API1646C无效时,处理前进到步骤S91。

步骤S61:OSD控制模块1647生成对应于操作信号U0或指示的内容的OSD的图形数据GD2,传递给渲染引擎175。

步骤S62:OSD控制模块1647调用再现模式控制API1646C,使再现部170从三维显示模式转移到伪二维显示模式。

步骤S63:渲染引擎175利用来自OSD控制模块1647的图形数据GD2,生成OSD平面。

步骤S64:在发送图形数据GD2之后,对应于经过规定时间等,OSD控制模块1647向渲染引擎175发送OSD的删除命令RQ2。

步骤S65:渲染引擎175按照该删除命令RQ2,删除OSD平面。

步骤S66:OSD控制模块1647调用再现模式控制API1646C,将再现部170从伪二维显示模式返回到三维显示模式。由此,处理结束。

步骤S91:OSD控制模块1647首先选择对应于操作信号U0或指示的内容的OSD的图形数据。OSD控制模块1647接着进行该图形数据的“加工”。通过该加工,使得在左眼用与右眼用视频帧的对所表示的立体视觉影像中的被感知为比OSD靠前的部分中,不产生该对的一方被该OSD隐蔽且另一方未被隐蔽的区域。关于该加工的必要性及细节,将在后面叙述。在该加工之后,OSD控制模块1647将OSD的图形数据GD2传递给渲染引擎175。

步骤S92:渲染引擎175解码从OSD控制模块1647接收到的图形数据GD2,写入到OSD平面存储器177A中。这样,生成OSD平面。

步骤S93:在发送图形数据GD2之后,根据规定时间的经过、新的操作信号U0的接收或来自其他模块1644、1645的指示,OSD控制模块1647向渲染引擎175发送OSD的删除命令RQ2。

步骤S94:渲染引擎175按照该删除命令RQ2,删除OSD平面存储器177A中保持的OSD平面。由此,停止从平面移位引擎178输出OSD平面。由此,处理结束。

<步骤S91中OSD加工的必要性>

当OSD平面移位量维持为一定时,被视听者感知的OSD的深度保持一定。另一方面,内容的立体视觉影像中各种物体的深度多种多样且宽范围变动。因此,有可能沿比OSD的深度更靠前显示的物体的视向显示OSD。

图32是表示在比OSD的深度更靠前显示的物体IM上原样重叠显示OSD GE时的立体视觉影像SV的示意图。图32的(a)表示该立体视觉影像SV的显示中利用的左眼用视频帧FRL。(b)表示该立体视觉影像SV的显示中利用的右眼用视频帧FRR。(c)示意地表示在显示装置200的画面201上看到的该立体视觉影像SV。另外,在图32的(a)、(b)中,各视频帧FRL、FRR的中心线C由点划线表示。

比较图32的(a)与(b),左眼用视频帧FRL的左端与OSD GEL之间的距离D1L比右眼用视频帧FRR的左端与OSD GER之间的距离D1R长。因此,如图32的(c)所示,立体视觉影像SV中,看起来OSD GE比画面201靠前第1距离DP1。另一方面,左眼用视频帧FRL的左端与物体IML之间的距离D2L比右眼用视频帧FRR的左端与物体IMR之间的距离D2R长。因此,如图32的(c)所示,立体视觉影像SV中,看起来物体IM比画面201靠前第2距离DP2。这里,在左眼用视频帧FRL与右眼用视频帧FRR之间,物体IML、IMR的变位量D2L-D2R比OSD GEL、GER的变位量D1L-D1R大,所以在立体视觉影像SV中,看起来物体IM比OSD GE靠前。即,第2距离DP2比第1距离DP1大。但是,如图32的(a)、(b)所示,各视频帧FRL、FRR中,各OSD GEL、GER遮住各物体IML、IMR的一部分地显示。因此,在立体视觉影像SV中,看起来物体IM被切除了与OSD GE重叠的部分。

进一步比较图32的(a)、(b),右眼用视频帧FRR中邻接于OSD GER左侧而呈现的物体IMR上的带状区域GHA,在左眼用视频帧FRL中被OSDGEL的左端部遮住而看不到。这意味着“尽管在立体视觉影像SV中看起来物体IM比OSD GE靠前,但图32的(c)所示的物体IM上的带状区域GH2被视听者的右眼看到,左眼看不到”。相反,也可以认为“视听者的左眼会看到原本被物体IM上的带状区域GH2挡住而看不到的OSD GE上的区域GH1”。结果,由于视听者不能正确感知该区域GH1、GH2的深度,所以各区域看起来不自然地弯曲,或闪变。若这种区域过大,则还存在由视听者看起来该OSD GE不自然地陷入该物体IM中的危险性。这不仅成为使该OSD GE的视觉辨认性降低的原因,而且成为视听者的眼睛疲劳的原因,所以不优选。因此,有必要加工OSD GEL、GER,以使在左眼用视频帧FRL与右眼用视频帧FRR中都不产生如上述区域GHA等区域。

<步骤S91中OSD的加工细节>

步骤S91中执行的OSD的加工是使得在左眼用与右眼用视频帧中都不产生图32的(b)所示的区域GHA那样区域的处理。该区域包含于左眼用与右眼用视频帧的对所表示的立体视觉影像中的、应被感知为比OSD靠前的部分中,在该对的一方被OSD遮住,在另一方未被遮住。

作为该加工,以下三种(A)-(C)有效。(A)将OSD的水平方向上的幅度扩展到帧整体。(B)使至少与立体视觉影像重叠的OSD的部分半透明。(C)当立体视觉影像的深度比OSD的深度靠前时,在左眼用图像平面上,在OSD的右端部重叠于立体视觉影像时,对该右端部的右侧附加带,在右眼用图像平面上,在OSD的左端部重叠于立体视觉影像时,对该左端部的左侧附加带。下面,依次说明这三种加工(A)-(C)。

(A)图33是用于说明上述加工(A)的示意图。图33的(a)表示通过加工(A)得到的左眼用视频帧FRL。(b)表示通过加工(A)得到的右眼用视频帧FRR。(c)示意地表示通过(a)、(b)所示的视频帧FRL、FRR的对在显示装置200的画面201上看到的立体视觉影像SVA。另外,在图33的(a)、(b)中,各视频帧FRL、FRR的中心线C由点划线表示。另外,图32的(a)、(b)所示的加工前的OSD GEL、GER由虚线表示。

参照图33的(a),在左眼用视频帧FRL中,OSD GAL的水平方向的长度、即宽度WL比加工前的WO扩展,特别地调节得比视频帧的宽度FW短差DAL。并且,扩展后的OSD GAL配置成其右端与视频帧FRL的右端基本一致。这里,该差DAL与图32所示的左眼用视频帧FRL与右眼用视频帧FRR之间的OSD GEL、GER的变位量D1L-D1R相等:DAL=D1L-D1R。另一方面,参照图33的(b),在右眼用视频帧FRR中,OSD GAR的宽度WL比加工前的WO扩展,特别地调节得比视频帧的宽度FW短差DAL。并且,扩展后的OSD GAR配置成其左端与视频帧FRR的右端基本一致。如图33的(a)、(b)所示,在左眼用视频帧FRL与右眼用视频帧FRR之间,扩展后的OSD GAL、GAR沿水平方向变位变位量DAL=D1L-D1R。因此,如图33的(c)所示,立体视觉影像SVA中,扩展后的OSD GAE的深度看起来与图32的(c)所示的OSD GE相同,即,比画面201靠前第1距离DP1。但是,扩展后的OSD GAE看起来宽度与画面201的整体大致相同。

另一方面,左眼用视频帧FRL与右眼用视频帧FRR之间的物体IML、IMR的变位量D2L-D2R与图32的(a)、(b)所示的相等。因此,如图33的(c)所示,在立体视觉影像SVA中,物体IMA的深度看起来与图32的(c)所示的物体IM的相同,即,比画面201靠前第2距离DP2。即,在图33的(c)中,与图32(c)一样,物体IMA看起来比OSD GEA靠前。这里,如图33的(a)、(b)所示,各视频帧FRL、FRR中,显示为各OSD GEL、GER遮住各物体IML、IMR的相同区域。因此,立体视觉影像SVA中,物体IMA看起来该区域被OSD GEA切掉。但是,图33的(a)、(b)中,与图32的(a)、(b)不同,在任一视频帧FRL、FRR的物体IML、IMR上均不产生仅视听者的单只眼能看到的区域。因此,视听者可正确感知物体IMA与OSD GEA之间的深度差异。

(B)图34是用于说明上述加工(B)的示意图。图34的(a)表示通过加工(B)得到的左眼用视频帧FRL。(b)表示通过加工(B)得到的右眼用视频帧FRR。(c)示意地表示通过(a)、(b)所示的视频帧FRL、FRR的对呈现在显示装置200的画面201上的立体视觉影像SVB。另外,在图34的(a)、(b)中,各视频帧FRL、FRR的中心线C由点划线表示。

参照图34的(a)、(b),在任一视频帧FRL、FRR中,OSD GBL、GBR及物体IML、IMR的配置均与图32的(a)、(b)所示的配置相等。但是,各视频帧FRL、FRR中,OSD GBL、GBR中与物体IML、IMR重叠的区域TRL、TRR的α值被设定为比1足够小的正值、例如0.5。即,将各区域TRL、TRR设定为半透明。

这里,OSD控制模块1647按如下步骤决定应半透明的区域TRL、TRR。OSD控制模块1647访问视频平面存储器176,检查视频平面中与OSD平面内的OSD GBL、GBR的图形数据相同的地址范围的视频数据。由此,若从该地址范围检测到包含应被感知为比OSD GBL、GBR靠前的物体IML、IMR的视频数据在内的区域TRL、TRR,则OSD控制模块1674将该区域TRL、TRR决定为应半透明的区域。

加法部179按照Porter-Duff规则,将表示物体IML、IMR的各视频平面、与包含一部分半透明的OSD GBL、GBR的各OSD平面进行合成即α合成。因此,如图34的(a)、(b)中带点区域所示,在合成后的各视频帧FRL、FRR中,透过OSD GBL、GBR的区域TRL、TRR而看到隐蔽于其下方的物体IML、IMR的部分。

图34的(a)、(b)所示的左眼用视频帧FRL与右眼用视频帧FRR之间的OSD GBL、GBR的部位量及物体IML、IMR的变位量分别与图32的(a)、(b)所示的变位量相等。因此,在图34的(c)所示的立体视觉影像SVB中,与图32的(c)的立体视觉影像SV一样,看起来物体IMB比OSD GEB靠前。但是,图34的(a)、(b)中,与图32的(a)、(b)不同,在任一视频帧FRL、FRR中,均透过OSD GBL、GBR而看到物体IML、IMR的整体。结果,在图34的(c)中,与图32的(c)不同,视听者透过物体IMB的区域TRA而看到位于其后面的OSD GEB的部分TRB。因此,视听者正确感知物体IMA与OSD GEA之间的深度差异。

(C)图35是用于说明上述加工(C)的示意图。图35的(a)表示通过加工(C)得到的左眼用视频帧FRL。(b)表示通过加工(C)得到的右眼用视频帧FRR。(c)示意地表示通过(a)、(b)所示的视频帧FRL、FRR的对呈现在显示装置200的画面201上的立体视觉影像SVC。另外,在图35的(a)、(b)中,各视频帧FRL、FRR的中心线C由点划线表示。

参照图35的(a)、(b),在任一视频帧FRL、FRR中,OSD GEL、GER及物体IML、IMR的配置均与图32的(a)、(b)所示的配置相等。但是,图35的(b)中,与图32的(b)不同,在OSD GER的左侧附加了黑带STR。由此,图32的(b)中邻接于OSD GER左侧而呈现的物体IMR上的带状区域GHA在图35的(b)中被黑带STR遮住而看不到。即,在图35的(a)、(b)中,与图32的(a)、(b)不同,在邻接于OSD GEL、GER左侧的物体IML、IMR上不产生仅视听者的右眼能看到的区域。

这里,OSD控制模块1647按如下步骤配置黑带STR。OSD控制模块1647访问视频平面存储器176,检查视频平面中与OSD平面内的OSDGEL、GER的图形数据相同的地址范围的视频数据。由此,若从该地址范围检测到包含应被感知为比OSD GEL、GER靠前的物体IML、IMR的视频数据的区域,则OSD控制模块1647还检查该物体IML、IMR的视频数据的地址范围中邻接于OSD GEL、GER的左侧或右侧的区域。由此,若在该邻接的区域内检测到仅在左眼用与右眼用中的某一方的视频平面中不在OSD GEL、GER的图形数据的地址范围的区域GHA,则OSD控制模块1647在该区域GHA中配置黑带STR。

从图35的(a)、(b)可知,视听者的左眼看不到黑带STR,右眼能看到。因此,如图35的(c)所示,立体视觉影像SVC中,该黑带STR看起来像在物体IMC与OSD GEC之间沿深度方向延伸的侧壁SW。结果,由于视听者明确看到物体IMC与OSD GEC之间的边界,所以可正确感知两者间的深度差异。

如上所述,通过加工(A)-(C)中的任一个,都能够在左眼用与右眼用视频帧FRL、FRR的对所表示的立体视觉影像SVA-SVC中的应被感知为比OSD GEA-GEC靠前的部分IMA-IMC中,不产生在该对的一方被OSD遮住且在另一方未被遮住的区域、即图32的(b)所示的区域GHA。结果,即便在将内容的影像/字幕与OSD一起显示为立体视觉影像时,也能够进一步提高OSD的视觉辨认性。

<变形例>

(1)在加工(A)中,也可以事先判断OSD是否比内容的立体视觉影像中沿相同视向显示的物体中的任何一个都靠前显示。并且,也可以仅在该判断为否定时,执行加工(A)。

(2)在加工(C)中,附加于OSD左右的带STR的颜色也可以是黑色以外的颜色,或是两种颜色以上的混合色。另外,也可以对该带添加样式。

(3)也可以与实施方式2的OSD控制模块1647一样,BD-J模块1645通过加工弹出显示,可将内容的影像/字幕与该显示一起显示为立体视觉影像。

(4)在实施方式2中,OSD控制模块1647执行加工(A)-(C)。此外,也可以由平面移位引擎178或加法部179进行加工(A)-(C)。

(5)在实施方式2中,再现装置100也可使用调谐器,接收由地面波广播、卫星广播或线缆广播分发的立体视觉影像用流数据,与AV流文件一样再现。

(6)在实施方式2中,通过OSD的加工(A)-(C),当在内容的立体视觉影像中沿比OSD的深度更靠前显示的物体的视向显示OSD时,也良好地维持该OSD的视觉辨认性。此外,也可以决定OSD平面移位量,以使OSD在内容的立体视觉影像中至少比沿相同视向显示的任何一个物体都靠前显示。例如,内容提供商事先调查在内容的立体视觉影像中最靠前显示的物体的深度,决定OSD平面移位量,以使OSD的深度比该物体深度更靠前。这里,当OSD的显示范围受到限制时,只要仅在该范围内调查立体视觉影像中各种物体的深度即可。决定了的OSD平面移位量记录在索引文件、对象文件、播放列表文件、剪辑信息文件、AV流文件或XML文件中。此时,再现装置只要从内容中读出OSD平面移位量并设定给平面移位引擎178即可。此外,也可以将表示在内容的立体视觉影像中最靠前显示的物体的深度的信息记录在索引文件、对象文件、播放列表文件、剪辑信息文件、AV流文件或XML文件中。此时,再现装置首先从内容中读出该信息,接着决定OSD平面移位量,以使OSD比该信息所表示的深度更靠前,并设定给平面移位引擎178。

再现装置还可以使HDMI发送部180将如上所述决定的OSD平面移位量通知给显示装置200。此时,显示装置200在对画面的明亮度的设定画面等的OSD进行立体视觉影像化时,将该OSD平面移位量用于平面移位。由此,可将该OSD显示于比内容的立体视觉影像中的物体更靠前。另外,HDMI发送部180也可在OSD平面移位量的通知中利用HDMI线缆600内的CEC(Consumer Electronics Control:消费电子控制)线。关于基于CEC线的通信,在实施方式4的说明中有所触及。

(7)在实施方式2中,也可以在每当从当前播放列表信息中读出图形平面移位量535时,决定OSD平面移位量,以使OSD的深度比该图形平面移位量535所表示的深度靠前。由此,在沿与图形流所表示的图形影像、特别为字幕相同的视向显示OSD时,不必对OSD进行上述加工(A)-(C)。

《实施方式3》

本发明实施方式3的再现装置与实施方式1不同,能够使用户手动调节OSD的深度。其他特征、例如光盘上的数据构造、再现装置的硬件构成及控制部与再现部的各构成与实施方式1相同。因此,在下面的说明中,描述与实施方式1的特征不同的实施方式3的特征,此外,关于与实施方式1的特征相同的特征,援引实施方式1中的说明。

OSD控制模块1647根据操作信号U0或来自其他模块1644、1645的指示,生成对应的OSD的图形数据GD2,传递给再现部170。之后,根据规定时间的经过、新的操作信号U0的接收或来自其他模块1644、1645的指示,OSD控制模块1647向再现部170发送OSD的删除命令RQ2。在实施方式3中,在从图形数据GD2的发送时刻至删除命令RQ2的发送时刻的期间中,OSD控制模块1647从用户受理OSD的深度的变更指示。该变更例如与音量的变更一样,通过每当用户按下遥控器400或前面板的规定按钮、则OSD控制模块1647每次以规定量增减OSD平面移位量来实现。

图36是OSD平面移位量的变更处理的流程图。该变更处理由OSD控制模块1647在从OSD的图形数据GD2的发送时刻至其删除命令RQ2的发送时刻的期间、即图24所示的步骤S64中执行。下面,按图36所示的步骤的顺序来说明该变更处理。

步骤S100:OSD控制模块1647监视相对于图形数据GD2的发送时刻的经过时间,并判断是否从该时刻起经过了规定时间、例如5秒。这里,该规定时间也可以根据OSD的种类来变更。当已经过了规定时间时,处理前进到步骤S107。当还未经过规定时间时,处理前进到步骤S101。

步骤S101:OSD控制模块1647确认有无来自分配器1643A的新的操作信号U0、及有无来自HDMV模块1644或BD-J模块1645的依据应用程序的指示。当受理该操作信号U0或该指示中的某一个时,处理前进到步骤S102。若未接收到该接收信号U0及该指示中的任何一个时,处理从步骤S100开始重复。

步骤S102:OSD控制模块1647判断该操作信号U0或该指示的内容是否表示OSD的深度的变更指示。当该判断为肯定时,处理前进到步骤S103。当该判断是否定时,处理前进到步骤S105。

步骤S103:OSD控制模块1647判断该操作信号U0或该指示所示的OSD的深度的变更方向。当该变更方向是向面前拉出OSD的方向时,OSD控制模块1647使例如图23所示的OSD平面移位量OSL、OSR中的、左眼用视频帧中的变位量OSL增加规定量,使右眼用视频帧中的变位量OSR减少规定量。当上述变更方向为向深处推回OSD的方向时,与其相反。这里,对两个变位量OSL、OSR的增减量相等。之后,处理前进到步骤S104。

步骤S104:OSD控制模块1647将变更后的OSD平面移位量传递给平面移位引擎178。之后,处理前进到步骤S106。另一方面,平面移位引擎178对写入到OSD平面存储器177A中的OSD平面,利用变更后的OSD平面移位量,进行平面移位。由此,由视听者看起来OSD的深度向指示的方向变更。

步骤S105:步骤S102中由OSD控制模块1647调查的操作信号U0还从分配器1643A传递到在该时刻被分配了动态脚本信息的HDMV模块1644或BD-J模块1645。另外,步骤S102中由OSD控制模块1647调查的来自应用程序的指示反映执行该程序的模块1644或1645的处理。即,当该操作信号U0或该指示的内容是OSD的深度的变更指示以外的指示时,由模块1644或1645执行对应于该内容的处理。之后,处理前进到步骤S106。

步骤S106:OSD控制模块1647访问HDMV模块1644或BD-J模块1645,确认是否还需要等待用户的新的操作或来自应用程序的新的指示。当需要时,处理从步骤S100开始重复。当不需要时,处理前进到步骤S107。

步骤S107:OSD控制模块1647向渲染引擎175发送OSD的删除命令RQ2。之后,处理前进到图24所示的步骤S65。

实施方式3的再现装置与实施方式1一样,在使显示装置200将OSD显示为立体视觉影像的期间,使内容的影像显示为二维影像。由此,能够进一步提高OSD的视觉辨认性。并且,如上所述,能够使用户手动调节OSD的深度。由此,能够使OSD的视觉辨认性符合用户的嗜好。

<变形例>

(1)OSD控制模块1647也可以将变更后的OSD平面移位量保持在本地存储器120等、再现装置100内置的非易失性存储装置中。由此,变更后的OSD平面移位量即便在再现装置100的电源断开后也并被丢失,所以能够使电源再次接通的再现装置100再现暂时调节后的OSD的深度。

(2)实施方式3的再现装置与根据实施方式2的再现装置一样,也可选择将内容的影像/字幕与OSD一起显示为立体视觉影像的动作模式。在该动作模式下,在变更后的OSD的深度变得比图形平面移位量所示的字幕的深度深时,也可以进行实施方式2的OSD的加工。

(3)在实施方式3中,再现装置也可使用调谐器来接收通过地面波广播、卫星广播或线缆广播分发的立体视觉影像用流数据,并与AV流文件一样再现。

《实施方式4》

本发明实施方式4的显示装置与图1所示的显示装置200一样,与本发明实施方式1的再现装置100、液晶快门眼镜300、遥控器400及光盘500一起构成立体视觉影像显示系统。实施方式4的显示装置还可接收地面波广播、卫星广播或线缆广播,根据由这些广播分发的立体视觉影像用流数据,再现立体视觉影像。

实施方式4的显示装置例如是液晶显示器。此外,也可以是等离子体显示器及有机EL显示器等前面板显示器或投影仪。该显示装置与图1所示的显示装置200一样,由HDMI线缆600连接于再现装置100上。当由再现装置100从光盘500中再现立体视觉影像的内容时,显示装置通过HDMI线缆600从再现装置100接收HDMI方式的影像信号/声音信号。显示装置还连接有天线。显示装置根据由该天线接收到的广播波,解调立体视觉影像用的影像信号/声音信号。显示装置根据来自再现装置100或天线的影像信号/声音信号,在画面上再现影像,从内置的扬声器发生声音。特别地由于在影像信号上时分多路复用了左眼用与右眼用双方的视频帧,所以在画面上交替再现左眼用与右眼用影像。另一方面,显示装置将左右信号LR发送给液晶快门眼镜300。左右信号LR的波形与帧的切换同步而变动。由此,液晶快门眼镜300使两个液晶显示面板301L、301R与帧的切换同步而交替使光透射。结果,在画面上交替显示的左眼用与右眼用影像由戴上液晶快门眼镜300的视听者看起来是一个立体影像。

<显示装置的硬件构成>

图37是表示实施方式4的显示装置210的硬件构成的框图。参照图37,显示装置210包含调谐器211、HDMI端子212、HDMI接收部213、CEC接口部214、操作部215、左右信号发送部216、总线217、控制部218、信号处理部219、显示部220及声音输出部221。调谐器211、HDMI接收部213、CEC接口部214、操作部215、左右信号发送部216及信号处理部219可通过总线217与控制部218进行通信。

调谐器211连接于天线AT。调谐器211通过该天线AT,接收地面波广播及卫星广播等广播波。调谐器211还根据该广播波,解调影像/声音的流数据STD1,直接传递给信号处理部217。另外,调谐器211也可连接于有线广播站,从其接收有线广播。

HDMI端子212是基于HDMI标准的端子,提高HDMI线缆600连接于再现装置100上。HDMI端子212通过HDMI线缆600从再现装置100接收影像信号/声音信号,将这些信号传递给HDMI接收部212。另一方面,HDMI端子212通过HDMI线缆600内的CEC线从再现装置100接收控制信号,即CEC消息,传递给CEC接口部214。

HDMI接收部212将从HDMI端子212传递来的影像信号/声音信号变换为视频流/音频流STD2。变换后的各流数据直接传递到信号处理部217。

CEC接口部214解读从HDMI端子212传递来的CEC消息,通过总线217将该内容传递给控制部218。这里,CEC消息中特别具有称为“制造者专用命令(VSC:Vendor Specific Command)”的种类。CEC接口部214从CEC消息中提取VSC,并从中读出OSD平面移位量,传递给控制部218。

使用CEC线的通信功能按HDMI标准版本1.2a标准化。由HDMI线缆彼此连接的多个电子设备通过该线缆内的CEC线交换CEC消息。由此,这些电子设备可彼此联系。特别地,VSC是各电子设备的制造源(Vendor)对自身的产品群赋予了独自的联系功能的命令。可利用VSC的各电子设备包含制造者(Vendor)ID。制造者ID是对该电子设备的制造源分配的固有的标识符。各电子设备通过HDMI线缆与其他电子设备交换VSC,由此可确定制造者ID与自身共同的电子设备。之后,仅在制造源共同的电子设备之间交换VSC,由此实现该制造源独自的联系功能。

图38是表示VSC230的格式的示意图。参照图38,VSC230从开头起依次包含发送源/目的地信息231、制造者命令标志(Vendor Command)232、及制造者专用信息(Vendor Specific Data)233。发送源/目的地信息231与制造者命令标志232不限于VSC,还共同包含于一般CEC消息中。发送源/目的地信息231是1字节长度的数据,表示该CEC消息的发送源与目的地。制造者命令标志232是1字节长度的数据,由单独表示CEC消息种类的标志集合构成。尤其是VSC230中,确立制造者命令标志232中的表示是VSC的标志。制造者专用信息233是1字节长度至14字节长度的可变长数据。制造者专用信息233的数据构造可由各电子设备的制造源作为VSC230的有效载荷来独自定义。再现装置100在该制造者专用信息233中记录OSD平面移位量。CEC接口部214提取了VSC230时,从该制造者专用信息233中读出OSD平面移位量。

将说明返回到图37。CEC接口部214还通过总线217从控制部218接受指示,并按照该指示,生成CEC消息,通过HDMI端子212传递给再现装置100。由此,例如再现装置100或显示装置210起动时,将显示装置210可对应的影像/声音的输出方式及编码方式的种类等、特别为可对应的立体视觉影像显示方式的种类通知给再现装置100。

操作部215从遥控器400接收通过红外线等无线发送的指令IR并解读,将其内容通知给控制部218。操作部215此外检测显示装置210的前面板中设置的按钮的按下,通知给控制部218。

左右信号发送部216将左右信号LR通过红外线或无线发送给液晶快门眼镜300。左右信号LR表示在该时刻显示于画面中的影像是左眼用与右眼用的哪一个。左右信号发送部216通过总线217访问信号处理部219,由此识别从信号处理部219输出到显示部220的左眼用视频流与右眼用视频流。左右信号发送部216还利用该识别结果,使左右信号LR的波形切换与帧的切换同步。

控制部218是微机系统,包含CPU218A、ROM218B、及RAM218C,它们经内部总线218D彼此连接。在ROM218B中记录有显示装置210的固件。CPU218A例如对应于电源接通而从ROM218B中读出固件并执行。RAM218C对CPU218A提供作业区域。控制部218利用这些要素218A-C的组合,执行固件,据此控制其他要素211-216、219。

控制部218访问信号处理部219,确认从调谐器211或HDMI接收部212传递到信号处理部219的流数据的显示维度。当该显示维度是“二维”时,控制部218使左右信号发送部216停止。当该显示维度是“三维”时,控制部218使左右信号发送部216起动。

控制部218还具备独自的OSD功能。基于该功能的OSD例如包含与图13的(d)所示的画面的明亮度的设定画面G4、及图13的(e)所示的音量的设定画面G5一样的画面。控制部218根据由操作部215受理的用户的操作,生成对应的OSD图形数据,通过总线217传递给信号处理部219。特别地当显示维度为“三维”时,控制部218事先从CEC接口部214接收OSD平面移位量,传递给信号处理部219。在显示维度维持为“三维”的期间受理了用户的操作时,控制部218首先使信号处理部219将显示维度切换为“伪二维”。控制部218接着生成对应于该操作内容的OSD的图形数据,传递给信号处理部219。关于显示维度设定为“伪二维”时的信号处理部219的动作,将在后面叙述。

控制部218在发送OSD的图形数据之后,根据规定时间的经过或用户的操作,向信号处理部219发送OSD的删除命令。控制部218在发送删除命令的同时,还使信号处理部219将显示维度返回到“三维”。这样,控制部218使信号处理部219在向画面输出OSD的期间将显示维度维持在“伪二维”。

信号处理部219在从调谐器211或HDMI接收部212接收到流数据时,首先从中分离视频流、音频流、同步信号及附带数据。信号处理部219接着解析附带数据,识别接收到的视频流的显示维度是“二维”与“三维”中的哪一个。当显示维度为“二维”时,信号处理部219将视频流中包含的各视频帧依次用作视频平面。当显示维度为“三维”时,在视频流中分时交替多路复用左眼用与右眼用视频帧。信号处理部219将这些左眼用与右眼用视频帧交替用作视频平面。进而,根据视频平面生成视频数据VD,与同步信号SYNC一起输出给显示部220。结果,视频数据VD所表示的影像再现为立体视觉影像。另一方面,与这些输出一起,根据音频流生成音频数据AD,输出给声音输出部221。信号处理部219此外解析附带数据,识别生成的视频平面是左眼用与右眼用的哪一个,并将结果与显示维度一起保存在内置存储器中。

信号处理部219可按照来自控制部218的指示,将显示维度设定为“伪二维”。当显示维度为“伪二维”时,尽管在视频流中交替多路复用左眼用与右眼用视频帧,信号处理部219仍仅将每个左眼用视频帧重复两次用作视频平面,废弃右眼用视频帧。这样,在显示维度为“伪二维”的期间,仅生成左眼用视频平面。

当显示维度为“三维”时,信号处理部219事先由控制部218提供OSD平面移位量。当显示维度从“三维”切换到“伪二维”时,信号处理部219首先从控制部218接收OSD的图形数据,根据该图形数据生成OSD平面。信号处理部219接着利用OSD平面移位量对该OSD平面进行平面移位。由此,交替生成OSD的水平方向上的显示位置不同的左眼用与右眼用OSD平面。信号处理部219还向相同的左眼用视频平面交替合成左眼用OSD平面与右眼用OSD平面。通过该合成得到的左眼用与右眼用视频帧交替输出到显示部220。结果,OSD再现为立体视觉影像,另一方面,视频流表示的影像再现为二维影像。

控制部218与信号处理部219安装在彼此不同的芯片上。此外,两者也可安装在单一芯片上。另外,关于信号处理部219的细节,将在后面叙述。

显示部220包含液晶显示面板。显示部220根据视频数据VD中包含的各视频帧,以像素单位调节液晶显示面板的亮度。由此,该视频帧所示的影像再现于显示面板中。

声音输出部221包含扬声器。声音输出部221将音频数据AD变换为适于该扬声器的输出形式的声音信号,并发送给扬声器。由此,从该扬声器发生该音频数据AD所表示的声音。另外,扬声器也可以是音响系统等外带于显示装置210上的结构。

<信号处理部219的细节>

图39是信号处理部219的功能框图。参照图39,信号处理部219包含总线接口2191、显示维度存储部2192A、左右标志存储部2192B、影像信号接收部2193、渲染引擎2194、视频平面存储器2195、OSD平面存储器2196、平面移位引擎2197及加法部2198。这些功能部安装在单一芯片上。此外,几个功能部也可以安装在不同的芯片上。

总线接口2191可通过总线217将信号处理部219内的各功能部可通信地连接于控制部218上。

显示维度存储部2192A可改写地保存表示显示维度的标题。该标志包含表示显示维度是“二维”的标志、表示显示维度是“三维”的标志、及表示显示维度是“伪二维”的标志。显示维度存储部2192A确立与由影像信号接收部2193指示的显示维度对应的标志,解除其他标志。显示维度存储部2192A还在每次通过总线接口2191及总线217从控制部218接收维度信号DIM时,确立对应于其所表示的显示维度的标志,解除其他标志。

左右标志存储部2192B可改写地保存左右标志。左右标志表示从影像信号接收部2193输出到视频平面存储器2195的视频平面是左眼用与右眼用中的哪一个。例如,左右标志确立的状态表示该视频平面是左眼用,解除了左右标志的状态表示该视频平面是右眼用。此时,左右标志存储部2192B在由影像信号接收部2193通知了“该视频平面是左眼用”时,确立左右标志,在通知了“该视频平面是右眼用”时,解除左右标志。

影像信号接收部2193从调谐器211或HDMI接收部212接收流数据。此时,影像信号接收部2193首先从接收到的流数据中分离视频流、音频流、同步信号及附带数据。影像信号接收部2193接着解析附带数据,识别接收到的视频流的显示维度是“二维”与“三维”中的哪一个。识别出的显示维度通知到显示维度存储部2192A。

影像信号接收部2193如下所述,按不同显示维度,具备三种动作模式,即“二维显示模式”、“三维显示模式”及“伪二维显示模式”。

当显示维度是二维时,影像信号接收部2193转移到“二维显示模式”。在二维显示模式下,影像信号接收部2193将视频流中包含的各视频帧依次写入到视频平面存储器2195中。

当显示维度是三维时,影像信号接收部2193转移到“三维显示模式”。这里,在视频流中分时交替多路复用了左眼用与右眼用视频帧。在三维显示模式下,影像信号接收部2193首先每当从该视频流中抽出一个视频帧时,访问显示维度存储部2192A,确认显示维度。若显示维度维持在三维,则影像信号接收部2193将该视频帧原样写入到视频平面存储器2195中。影像信号接收部2193进而解析附带数据,识别该视频帧是左眼用与右眼用中的哪一个,将结果通知给左右标志存储部2192B。影像信号接收部2193对各视频帧重复这一连串的动作。由此,在显示维度维持在三维的期间,将左眼用与右眼用视频帧交替写入到视频平面存储器2195中。

另一方面,当显示维度变更为了伪二维时,影像信号接收部2193从“三维显示模式”转移到“伪二维显示模式”。在伪二维显示模式下,影像信号接收部2193首先解析附带数据,识别从视频流中抽出的视频帧是左眼用与右眼用中的哪一个。若该视频帧是左眼用,则影像信号接收部2193将该视频帧写入到视频平面存储器2195中。相反,若该视频帧是右眼用,则影像信号接收部2193废弃该视频帧。这样,在显示维度维持为伪二维的期间,向视频平面存储器2195中仅写入左眼用视频帧。但是,影像信号接收部2193将根据附带数据识别的结果原样通知给左右标志存储部2192B。因此,每当从视频流中抽出一个视频帧时,无论其是否写入到了视频平面存储器2195中,左右标志存储部2192B都翻转左右标志。

影像信号接收部2193此外从音频流中取出音频数据AD,与同步信号SYNC一起输出。

渲染引擎2194从控制部218接收OSD图形数据GD,使用其生成OSD平面,写入到OSD平面存储器2196中。渲染引擎2194还在从控制部218接收到OSD的删除命令RQ时,删除OSD平面存储器2196上的OSD平面。

视频平面存储器2195与OSD平面存储器2196均是信号处理部219中内置的存储器中确保的二维排列的数据区域。各排列的尺寸与一个视频帧的尺寸相等。另外,在排列的各要素中存储一个图片数据。图片数据由颜色坐标值与α值的组合构成。颜色坐标值由RGB值或YCrCb值表示。在视频平面存储器2195中,由通过影像信号接收部2193写入的视频帧构成一个视频平面。OSD平面存储器2196中,由通过渲染引擎2194写入的图形数据OS构成包含OSD的一个OSD平面。

平面移位引擎2197从控制部218接收OSD平面移位量OS,并利用其对OSD平面存储器2196进行平面移位。OSD平面移位量OS保存在平面移位引擎2197中内置的存储器中。平面移位的细节援引实施方式1中的说明。

当显示维度存储部2194A按照来自影像信号接收部2193的指示将显示维度设定为三维时,与此同时,平面移位引擎2197接收OSD平面移位量。之后,平面移位引擎2197在每当向OSD平面存储器2196写入一个OSD平面时,利用OSD平面移位量对该OSD平面进行平面移位。由此,生成OSD的水平方向上的显示位置不同的左眼用与右眼用OSD平面,从平面移位引擎2197交替输出给加法部2198。

之后,渲染引擎2194按照来自控制部218的OSD的删除命令RQ,删除OSD平面存储器2196上的OSD平面。由此,OSD从画面消失。之后,平面移位引擎2197使对OSD平面的平面移位停止而待机,直到渲染引擎2194生成新的OSD平面为止。

加法部2198在显示维度维持为伪二维的期间,将从平面移位引擎2197输出的一个OSD平面与从视频平面存储器2195输出的一个视频平面合成,而生成一个视频帧。并且,由该视频帧构成视频数据VD,输出到显示部220。加法部2198特别将从平面移位引擎2197交替输出的左眼用及右眼用OSD平面与相同的左眼用视频平面合成。通过该合成得到的左眼用与右眼用视频帧从加法部2198交替输出到显示部220。

在实施方式4的显示装置210中如上所述,影像信号接收部2193关于视频帧的输出具备三维显示模式以及伪二维显示模式两种动作模式。并且,在OSD输出到画面的期间,影像信号接收部2193的动作模式切换到伪二维显示模式,重复输出左眼用与右眼用视频帧的对中的某一方。因此,当OSD在画面中立体显示的期间,视频帧表示的影像被二维显示。这样,能够进一步提高OSD的视觉辨认性。

<变形例>

(1)显示装置210也可以例如通过HDMI线缆连接于实施方式2的变形例(6)的再现装置上,从该再现装置中获得用于至少在相同视向上将OSD显示为比内容的立体视觉影像中的任何一个物体都更靠前的OSD平面移位量。显示装置210在将画面的亮度的设定画面等固有的OSD进行立体视觉影像化时,将该OSD平面移位量用于平面移位。显示装置210此时也可以变更该OSD平面移位量,以将OSD显示得更靠前。由此,可将OSD的立体视觉影像显示为比内容的立体视觉影像中的任何一个物体都靠前。

(2)在实施方式4中,在显示维度为伪二维的期间,仅有OSD显示为立体视觉影像。此外,在显示维度为伪二维的期间,OSD平面移位量也可以设定为0,从而OSD也显示为二维影像。此时,由于内容的影像/字幕也显示为二维影像,所以OSD的视觉辨认性不受损害。并且,未戴上液晶快门眼镜的人也能够看到画面的显示、特别为OSD。

(3)在实施方式4中,HDMI线缆600用于从再现装置100向显示装置210传输流数据。并且,其CEC线用于从再现装置100向显示装置210传输OSD平面移位量。此外,在再现装置100及显示装置210分别具备红外线通信(IrDA)、蓝牙(Bluetooth:注册商标)或TCP/IP等通信功能时,也可使用这些功能来传输流数据及OSD平面移位量。

工业实用性

本发明涉及立体视觉影像的再现技术及显示技术,如上所述,在输出OSD及弹出显示时,将视频平面生成部的动作模式从三维显示模式切换为伪二维显示模式,或加工OSD。像这样,本发明在工业上明显是实用的。

符号说明

STC  再现部的内部时钟

T1  显示维度为“三维”的第1期间

P1  用户按下遥控器的暂停按钮的时刻

T2  显示维度为“伪二维”的第2期间

P2  用户进行暂停的解除操作的时刻

T3  显示维度返回到“三维”的第3期间

SCN1  第1期间T1中的立体视觉影像

SCN2  第2期间T2中的立体视觉影像

SCN1  第3期间T3中的立体视觉影像

GE  表示暂停中的OSD

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号