控制设备使AV数据与文本字幕数据同步的方法

摘要

一种记录有被渲染的与音频/视频(AV)数据的再现同步输出的文本字幕数据的信息存储介质，以及一种再现所述文本字幕数据和AV数据的方法和设备。所述信息存储介质包括与AV数据同步输出的字幕数据和指示字幕数据的输出开始时间和/或输出结束时间的输出时间信息。

说明书

本申请是申请日为2005年2月19日、申请号为200580005501.8、发明名称为“记录有与AV数据同步的文本字幕数据的信息存储介质以及再现方法和设备”的发明专利申请的分案申请。

                        技术领域

本发明涉及字幕，更具体地讲，涉及一种记录/再现介质的包括被渲染的与音频/视频(AV)数据同步输出的文本字幕数据的信息存储介质。本发明还涉及一种再现方法以及一种使用该再现方法的设备。

                        背景技术

为了在再现音频/视频(AV)数据期间显示字幕，包含字幕数据的呈现图形流被形成位图数据，然后与视频流和音频流一起复用，从而创建AV数据。由于这种位图格式的字幕数据与视频流和音频流一起复用，所以可以平滑地与视频流同步再现这种位图格式的字幕数据。然而，这些技术的问题是位图格式的字幕数据较大，并且对最大比特率内可复用的字幕的数量有限制。在应用特定的信息存储介质时定义所述最大比特率。

除了位图格式的字幕数据以外，还有文本字幕数据。设计文本字幕数据来消除在创建和编辑位图格式的字幕数据时的困难。然而，文本字幕数据单独存在，而没有与视频流一起复用。结果，不像包含传统的位图格式的字幕数据的呈现图形流，仅使用打包的基本码流(PES)包的头中定义的呈现时间标记(PTS)很难将文本字幕数据与视频流同步。此外，当跳到随机位置并再现该随机位置处的数据时，也很难将文本字幕数据与视频流再同步。

                        发明公开

                      技术解决方案

本发明提供了一种记录/再现设备的记录有文本字幕数据的信息存储介质，以及一种在视频流的正常或特技播放期间与视频流同步再现文本字幕数据的方法和设备，在所述信息存储介质中，指定了每个字幕项的输出开始时间和输出结束时间。

                      有益的效果

根据本发明的方面，不仅在正常播放期间可以与AV流同步再现文本字幕数据，而且在特技播放(诸如跳到AV流的其它部分、静止帧、慢动作、快速播放)期间也可以与AV流同步再现文本字幕数据。

                       附图说明

图1A至图1E示出根据本发明一方面的将视频流、音频流和其它流复用为源包以构造AV流并将该AV流存储在信息存储介质中的过程；

图2是根据本发明一方面的再现AV流的设备的示意性方框图；

图3A和图3B示出根据本发明一方面的将构成存储在信息存储介质中的AV流的源包输入到再现AV流的设备的操作；

图4A至图4C示出根据本发明一方面的当具有一个到达时间时钟(ATC)序列的源包被输入到再现AV流的设备时再现AV流的设备的系统时钟(STC)的变化；

图5示出根据本发明一方面的用于指定存储在信息存储介质中的AV流的再现次序和再现位置的导航信息与AV流之间的关系；

图6A和图6B是根据本发明一方面的用于解释文本字幕数据的问题的示图；

图7A和图7B示出根据本发明一方面的添加其中应该显示字幕的引用播放项信息的再现字幕的方法；

图8A和图8B示出根据本发明一方面的通过基于总时间分配PTS来记录文本字幕的第二种再现字幕的方法；

图9示出根据本发明一方面的每个播放项所指示的时间信息和播放列表的总时间之间的关系；和

图10是根据本发明一方面的用于再现文本字幕数据和AV数据的设备的示意性方框图。

                        最佳方式

根据本发明的一方面，一种记录/再现设备的信息存储介质包括与音频/视频(AV)数据同步输出的字幕数据和指示所述字幕数据的输出开始时间和/或输出结束时间的输出时间信息。

根据本发明的一方面，所述信息存储介质还可包括指示AV数据的播放项信息，字幕数据的输出应该与所述AV数据同步。

根据本发明的另一方面，通过参考所述播放项信息的系统时钟(STC)来创建所述输出时间信息。

根据本发明的另一方面，通过参考包括在指示AV数据的播放列表中的总时间来创建所述输出时间信息，字幕数据的输出应该与所述AV数据同步。

根据本发明的另一方面，一种再现文本字幕数据和AV数据的方法，该方法包括：读取输出时间信息，所述输出时间信息指示与AV数据同步输出的字幕数据的输出开始时间和/或输出结束时间；根据所述输出时间信息输出字幕数据。在所述输出字幕数据的步骤中，还可读取指示AV数据的信息，字幕数据的输出应该与所述AV数据同步。

根据本发明的另一方面，一种再现AV数据和文本字幕数据的设备包括：AV数据处理单元、输出时间信息提取单元和字幕输出单元。AV数据处理单元显示AV数据。输出时间信息提取单元读取输出时间信息，所述输出时间信息指示与AV数据同步输出的字幕数据的输出开始时间和/或输出结束时间。字幕输出单元根据所述输出时间信息读取字幕数据，并与AV数据同步输出读取的字幕数据。

根据本发明的一方面，所述输出时间信息提取单元还读取指示AV数据的信息，字幕数据的输出应该与所述AV数据同步。

                      具体实施方式

现在将详细描述本发明的实施例，其示例在附图中示出。在附图中，相同的标号始终表示相同的部件。以下通过参照附图来描述实施例以解释本发明。

图1A至图1E示出根据本发明一方面的将视频流、音频流和其它流复用为源包以构造音频/视频(AV)流并将该AV流存储在信息存储介质中的过程。参照图1A，AV流至少包括视频流、音频流和包含位图格式的字幕数据的呈现图形流。AV流还可包括用于特定用途的由制造商制作的其它数据流。每个数据流，诸如视频流、音频流或其它数据流被称为基本流。这些基本流被打包成图1B所示的打包的基本码流(PES)。

每个PES包括PES头和PES包数据。在PES头中记录stream_ID信息以在视频数据、音频数据和其它数据、诸如PES包的解码时间标记(DTS)和呈现时间标记(PTS)的时间信息和其它信息中识别PES包数据的类型。

复用这种视频PES、音频PES和其它数据的PES以构造图1C所示的188字节的MPEG(运动图像专家组)-2传输流(TS)包。188字节的MPEG-2 TS包包括记录有关于净荷数据的信息的MPEG-2 TS头。MPEG-2 TS头包括：指示净荷数据的类型的包ID信息、包括用于设置再现AV流的设备的系统时钟(STC)的节目时钟基准(PCR)的适配字段和其它信息。STC是用于对PES包解码的DTS和用于输出PES包的PTS的基准时间。

将4字节的头加到188字节的MPEG-2 TS包以构造如图1D所示的源包，一组这样的源包构成AV流。源包的头包括复制允许信息和到达时间标记(ATS)，所述复制允许信息包含用于防止非法复制源包的内容保护信息，所述ATS指示源包到达再现AV流的设备的时间。构造的AV流被记录在图1E所示的信息存储介质中。应该理解，所述信息存储介质可以是光学介质(诸如CD、DVD、蓝光盘)、磁介质(诸如DVR、闪存、硬盘驱动器)、磁光介质或其它介质。

图2是根据本发明一方面的再现AV流的设备的示意性方框图。如图2所示，读取单元210从记录有AV流的信息存储介质读取如以上参照图1A至图1E所述而构造的AV流。此外，读取单元210根据源包的头中记录的ATS将源包发送给解复用单元220。解复用单元220从接收的源包去除头来重构MPEG-2 TS包。在MPEG-2 TS包的头中包括PCR信息的情况下，解复用单元220基于PCR信息设置再现AV流的设备的STC计数器250，并且解复用单元220基于包ID信息将MPEG-2 TS包分为视频流、音频流或其它数据流之一，从而重构相应数据流的PES包。STC计数器250根据对系统时钟的计数而连续增加，然后，被不定期地重置为某一值，该值不根据PCR逐渐增加，相反，该值由PCR指示。应该理解，所述设备还可记录数据，并且只要所述设备接收传输流，就不需要在所有方面都包括读取单元。

当包括在PES包的头中的DTS与所述再现AV流的设备的STC计数器250相同时，按照这种方式重构的PES包被发送给视频解码器230和音频解码器240。当PTS与STC计数器250的值相同时，输出解码的视频数据或解码的音频数据。此时，在特定时刻输出的视频流单元被称为视频呈现单元(VPU)，在特定时刻输出的音频流单元被称为音频呈现单元(APU)。此外，包含将通过视频解码器230解码以创建VPU的数据的视频流单元被称为视频访问单元(VAU)，包含将通过音频解码器240解码以创建APU的数据的音频流单元被称为音频访问单元(AAU)。

换句话说，记录在信息存储介质上的源包被解复用为将在特定时间被解码的VAU和AAU。然后，当记录在相应的访问单元中的DTS与STC计数器250的值基本上相同时，VAU和AAU被发送给视频解码器230和音频解码器240。从而，创建VPU和APU。当相应的呈现单元的PTS与STC计数器250的值相同时，输出创建的VPU和APU。音频流的PTS可指示AAU输入到音频解码器240或者从音频解码器240输出的时间。尽管不是在所有方面都需要，但是可以缓冲VAU和/或AAU以将VAU和AAU与STC计数器同步。

像视频流或音频流一样，用于位图格式的字幕数据的呈现图形流也被形成为访问单元和呈现单元，每个单元的DTS和PTS与STC计数器250同步操作。DTS和PTS与STC计数器250的同步操作实现了呈现图形流与位图格式的字幕数据之间的再现同步。

图3A和图3B示出将构成存储在信息存储介质中的AV流的源包输入到再现AV流的设备的操作。参照图3A，AV流包括多个源包。ATS信息包括在每个源包的头中，所述ATS信息是关于每个源包被输入到再现AV流的设备的时间的时间信息。此外，如图3B所示，再现AV流的设备的到达时间时钟(ATC)计数器被重置到首先输入到再现AV流的设备的源包的ATS。在首先输入的源包之后输入的源包的头中所包括的ATS与ATC计数器的计数进行比较，并且源包在其ATS与ATC计数器的计数相同的时刻被输入到再现AV流的设备。此时，如果源包的ATS不中断地连接，那么这些源包具有相同的ATC序列。通常，一个AV流包括一个ATC序列，但是也可以包括多个ATS序列。

图4A至图4C示出当具有一个ATC序列的源包被输入到再现AV流的设备时再现AV流的设备的STC的变化。参照图4A，包括在一个ATC序列中的源包根据其ATS被顺序输入到再现AV流的设备，然后被重构为MPEG-2TS包。此时，如果PCR信息包括在MPEG-2 TS包的头中，那么如图4B和图4C所示，再现AV流的设备使用PCR信息来重置其STC。STC序列指示由STC控制的MPEG-2 TS包序列，STC根据包括在MPEG-2 TS包的头中的PCR信息连续增加。

一个ATC序列包括至少一个STC序列。在这种情况下，当STC序列变成另一STC序列，即，当在新的STC序列的第一MPEG-2 TS包中发生STC中断时，应该记录用于重置STC的PCR信息。

参照图4A至图4C，当再现具有一个ATC序列的AV流时，使用0作为再现AV流的起始点的总时间逐渐增加，而STC序列#0、#1和#2具有不同的STC值。

在视频流、音频流和呈现图形流的情况下，即使在STC序列中发生中断并且STC被重置，由于视频流、音频流和呈现图形流被复用为一个AV流，所以每个数据流的DTS和PTS也可由控制相应的时间信息的STC序列中的STC处理。然而，因为文本字幕数据与AV流分开存在或者因为由于文本字幕数据可通过多个AV流被存储这一事实而导致可能存在多个ATC序列，所以在特定的STC序列中不包括文本字幕数据。结果，文本字幕数据不能通过使用基于STC的PTS来具有输出开始时间和输出结束时间。

图5示出用于指定存储在信息存储介质中的AV流的再现次序和再现位置的导航信息与AV流之间的关系。参照图5，AV流、包括关于AV流的属性信息的片段信息以及指示AV流的再现次序的导航信息包括在信息存储介质中。所述导航信息包括关于包括在信息存储介质中的至少一个标题的标题信息和包括根据每个标题再现的AV流的再现次序的至少一个播放列表。

参照图5，播放列表包括至少一个播放项，所述至少一个播放项包括指示将被再现的AV流的引用信息。播放项包括：Clip_info_file，指示包括关于将被再现的AV流的属性信息的片段信息；ref_to_STC_id，指示包括AV流中播放项所指示的AV流的STC的STC序列的编号，以及IN_time和OUT_time信息，指示在播放项所指示的STC序列中的播放项的开始和结束。

以下，将描述从具有如上所述的数据结构的信息存储介质再现AV流的过程。选择将被再现的标题所指示的播放列表，并且如果正常播放包括在选择的播放列表中的播放项，那么从上开始顺序选择所述播放项。另一方面，如果随机访问包括在选择的播放列表中的播放项，那么从指定的播放项中顺序选择播放项。

如果首先选择了播放项#0，那么基于包括在播放项#0中的Clip_info_file＝1信息选择片段信息#1。基于包括在播放项#0中的ref_to_STC_id＝0信息，在片段信息#1所指示的AV流的ATC序列中选择STC序列#0。基于包括在该播放项中的IN_time＝in 1和OUT_time＝out 1信息，从对应于STC序列#0的STC所指示的in 1位置到out 1位置再现AV流。

接下来，如果选择了播放项#1，那么基于包括在播放项#1中的Clip_info_file＝2信息选择片段信息#2。基于包括在播放项#1中的ref_to_STC_id＝0信息，在片段信息#2所指示的AV流的ATC序列中选择STC序列#0。基于包括在播放项#1中的IN_time＝in 2和OUT_time＝out 2信息，从对应于STC序列#0的STC所指示的in 2位置到out 2位置再现AV流。因此，应该理解，接下来的任何播放项，诸如播放项#3将以相同的方式被再现。

换句话说，选择播放列表，并从选择的播放列表中选择播放项以搜索将被再现的AV流的位置。在根据ATS将从找到的位置开始的AV流发送给再现AV流的设备之后，使用发送的数据中包括PCR信息的MPEG-2 TS包来重置再现AV流的设备的STC。VAU和AAU在包括在每个访问单元中的PTS与STC相同的时刻开始被解码。在该时刻对VAU和AAU解码创建了VPU和APU。当每个呈现单元的PTS与STC相同时，输出创建的VPU和APU。

此外，为了使再现AV流的设备显示对应于视频数据的字幕，文本字幕数据定义了输出开始时间和输出结束时间(begin，end)以输出在文本字幕数据中定义的每个字幕项。此时，当AV流中的视频流和音频流中的基于STC的PTS用作在文本字幕数据中定义的每个字幕项的输出开始时间和输出结束时间(begin，end)的属性信息时，顺序定义的字幕项的输出开始时间和输出结束时间(begin，end)不是连续地增加，并且特定的时间范围重叠。这里，应该理解，输出开始时间和输出结束时间的顺序定义与一个文本字幕中的再现次序一致。结果，不能够识别字幕项之间的排序关系。

此外，在不同的字幕项之间可以使用相同的输出开始时间和输出结束时间(begin，end)。因而，当选择并再现播放列表时，如果跳到随机位置并再现该随机位置处的数据而不是正常的顺序再现，那么基本上不可能准确地搜索与视频流相同位置处的字幕项。

以下，将描述用于解决文本字幕数据的上述问题的方法。在本发明的一方面，以标记语言形式制作的文本字幕数据被当作结构化文本字幕数据的示例，但是根据本发明的其它方面，文本字幕数据可以具有二进制形式的结构。通过给二进制数据序列的每个特定字节赋予含义来获得二进制形式的结构，从而结构化文本字幕数据。换句话说，以下述方式来结构化文本字幕数据：最初的几个字节指示关于字幕项1的信息，接下来的几个字节指示关于字幕项2的信息。然而，应该理解，可以用另外的替换方法来结构化文本字幕数据。

图6A和图6B是用于解释文本字幕数据的问题的示图。参照图6A和图6B，字幕610的字幕项对应于STC序列#0，其中，字幕“text 1”的(begin，end)是(10，12)，字幕“text 2”的(begin，end)是(20，22)。字幕620的字幕项对应于STC序列#1，其中，字幕“text 3”的(begin，end)是(17，19)，字幕“text 4”的(begin，end)是(25，27)，字幕“text 5”的(begin，end)是(30，33)。字幕630的字幕项对应于STC序列#2，其中，字幕“text 6”的(begin，end)是(5，8)，字幕“text7”的(begin，end)是(25，27)。

在正常播放的情况下，每个字幕的输出次序是610、620，然后是630，但是每个字幕项的(begin，end)不保持为常数。结果，不能仅使用(begin，end)信息来识别字幕之间的排序关系。此外，字幕“text 4”和字幕“text 7”具有相同的(begin，end)。按照这种方式构造的文本字幕数据应该与视频数据同步输出。如果没有从视频流的第一播放项开始进行正常播放，而是在再现视频流期间跳到对应于STC序列#2的时间“25”的位置并进行再现，那么处理文本字幕数据的解码器不能够确定字幕“text 4”和“text 7”中的哪个是对应于当前视频数据的位置的字幕项。

因而，为了与视频流同步输出定义在文本字幕数据中的每个字幕项，使用下面两种方法：

(1)每个字幕项还包括对应的字幕项与其一起显示的引用播放项信息，基于STC创建的PTS被分配为(begin，end)。

(2)基于包括至少一个AV流的播放列表的总时间创建的PTS被分配给每个字幕项的输出开始时间和输出结束时间(begin，end)，其中，相应字幕数据的再现应该与所述至少一个AV流同步。

在这两种方法中，可包括输出开始时间信息(begin)和输出结束时间信息(end)之一而不是包括它们两者来作为时间信息。

图7A和图7B示出根据本发明一方面的添加其中应该显示字幕的引用播放项信息的再现字幕的方法。参照图7A和图7B，字幕710的字幕项包括在STC序列#0中，STC序列#0由播放项#0指示。字幕720的字幕项包括在STC序列#1中，STC序列#1由播放项#1指示。此外，字幕730的字幕项包括在STC序列#2中，STC序列#2由播放项#2指示。基于STC创建的PTS用作每个字幕项的(begin，end)。

在这种情况下，字幕710的字幕项使用附加信息<PlayItem_number＝0>来指定使用字幕710的字幕项的播放项的编号。因而，由字幕710的字幕项用作(begin，end)的PTS基于根据播放项#0所指示的STC序列#0的STC被创建，并且应该根据STC被控制。

类似地，字幕720的字幕项和字幕730的字幕项使用附加信息<PlayItem_number＝1>和<PlayItem_number＝2>来指定使用字幕720和730的字幕项的播放项的编号，从而解决参照图6所描述的问题。此外，包括在文本字幕数据中的引用播放项信息可以单独包括在每个字幕项中。

图8A和图8B示出根据本发明一方面的通过基于总时间分配PTS来记录文本字幕的第二种再现字幕的方法。根据图8A和图8B，记录总时间以存储AV流的运行时间的单独的存储空间被分配给从根据本发明的信息存储介质再现AV流的设备。这样，再现AV流的设备具有播放器状态寄存器(PSR)作为存储再现所需的信息的空间，当选择播放列表以再现AV流时，存储总时间的寄存器被设置为0，随着播放列表所指示的AV流的再现的进行，寄存器顺序地增加。换句话说，寄存器在选择的播放列表的第一播放项的IN_time被设置为0，并顺序增加直到相应播放项的OUT_time。一旦下一个播放项被选择，存储在寄存器中的总时间就从相应播放项的IN_time顺序增加。

图9示出每个播放项所指示的时间信息和播放列表的总时间之间的关系。参照图9，X指示用于再现PlayItem_id＝0所指示的播放项的时间间隔，Y指示用于再现PlayItem_id＝1所指示的播放项的时间间隔，Z指示用于再现PlayItem_id＝2所指示的播放项的时间间隔。换句话说，将总时间轴上的包括在播放列表中的时间信息与包括在每个播放项中的特定ATC序列中的特定STC序列中的时间逐个匹配。

因而，如参照图8A和图8B所述，文本字幕数据的每个项通过使用总时间轴上的时间信息作为相应字幕项的输出开始时间和输出结束时间来指示PTS，从而在与AV流同步和再同步期间通过参考存储当前再现时刻的总时间的寄存器来平滑地再现AV流。

图10是根据本发明的用于再现文本字幕数据和AV数据的设备的示意性方框图。参照图10，AV数据处理单元1010读取存储在信息存储介质中的AV数据，并输出读取的AV数据。输出时间信息提取单元1020读取指示与AV数据同步输出的字幕数据的输出开始时间和输出结束时间的输出时间信息。如上所述，输出开始时间和输出结束时间用(begin，end)来表达，通过参考播放项的STC来创建输出开始时间和输出结束时间。此外，所述输出时间信息可包括输出开始时间和输出结束时间之一或者包括两者。在这种情况下，还读取指示字幕数据的输出应该与其同步的AV数据的播放项信息，以确定具有STC的字幕数据的输出应该与其同步的播放项。此外，如上所述，通过参考指示AV数据的播放列表的总时间来创建输出时间信息，其中，字幕数据的输出应该与AV数据同步。字幕输出单元1030根据输出时间信息读取字幕数据，并与AV数据同步输出读取的字幕数据。

还可以将所述再现文本字幕数据和AV数据的方法实施为计算机程序。本领域的计算机程序员可以容易地构造形成所述计算机程序的代码和代码段。此外，所述计算机程序存储在计算机可读介质中，由计算机读取并执行，从而实现用于再现基于文本的字幕数据和AV数据的方法。所述计算机可读介质的示例包括磁带、光学数据存储装置和载波。

尽管已显示和描述了本发明的一些实施例，但是本领域技术人员应该理解，在不脱离本发明的原理和精神的情况下，可以对这些实施例进行改变，本发明的范围限定在权利要求及其等同物中。