用于使用场景表现语言的数字项描述和处理的设备和方法

摘要

提供了一种用于使用场景表现语言来描述和处理数字项的设备和方法。所述设备包括：数字项方法引擎(DIME)单元，用于基于在所述数字项中包括的组件信息来执行组件；以及场景表现单元，用于以定义时空关系并允许在所述数字项中包括的多个媒体数据彼此交互的形式来表达所述媒体数据的场景。所述数字项包括：具有所述场景的表现信息的场景表现信息、以及用于由数字项表达单元执行所述场景表现单元以便基于在所述场景表现单元处的所述场景表现信息来表现场景的调用信息。

说明书

技术领域

本发明涉及一种使用场景表现语言来描述和处理数字项的设备和方法；且更具体地说，涉及一种描述和处理数字项的设备及其方法，所述设备定义MPEG-21数字项的时空关系，并以允许MPEG-21数字项彼此交互的形式来表达多媒体内容场景。

该项工作由MIC/IITA的IT R&D规划[2005-S-015-02，“Development ofinteractive multimedia service technology for terrestrial DMB(digital multimediabroadcasting)(地面DMB(数字多媒体广播)的交互多媒体服务技术的开发)”]支持。

背景技术

运动图像专家组21(MPEG-21)是用于在数字多媒体内容的产生、交易、传输、管理和消费(consumption)时使用多媒体资源的各层的多媒体框架标准。

MPEG-21标准使得各种网络和设备能够透明地和可消耗地(expendably)使用多媒体资源。MPEG-21标准包括可以单独使用的几个独立部分。该MPEG-21标准的独立部分包括：数字项声明(DID)、数字项标识(DII)、知识产权管理和保护(IPMP)、权利表达语言(REL)、权利数据字典(RDD)、数字项适配(DIA)和数字项处理(DIP)。

MPEG-21框架的基本处理单元是数字项(DI)。通过利用标识符、元数据、许可证、和交互方法来对资源进行封装(package)而产生DI。

DI的最重要的概念是分离静态声明信息和处理信息。例如，基于超文本标记语言(HTML)的网页仅包括诸如简单结构、资源、和元数据信息的静态声明信息，而诸如JAVA和ECMA的脚本语言包括处理信息。因此，DI具有允许多个用户获得同一数字项声明(DID)的不同表达的优点。也就是说，用户不必指示如何处理信息。

对于DI的声明，DID提供集成且灵活的概念以及交互方案。通过数字项声明语言(DIDL)来声明DI。

DIDL用于创建与可扩展标记语言(XML)互相兼容的数字项。因此，当产生、提供、交易、验证、占用、管理、保护和使用多媒体内容时，由DIDL声明的DI被表达为文本格式。

图1是图示了使用根据MPEG-21标准的数字项声明语言(DIDL)来表达数字项的DID语句的图，而图2是图示了图1的DIDL结构的框图。

如图1和图2所示，在所示出的DID语句中声明了两个项101和103。第一项101包括300Mbps和900Mbps的两个选择。第二项103具有两个组件111和113。第一组件111包括一个主视频主.wmv(main.wmv)，而第二组件113包括两个辅助视频300_视频.wmv(300_video.wmv)和900_视频.wmv(900_video.wmv)，其每个分别具有300Mbps和900Mbps的条件。

数字项处理(DIP)提供用于通过标准化处理来处理包括在DI中的信息的机制，并且定义用于处理由DIDL声明的DI的程序语言和库的标准。MPEG-21DIP标准使得DI作者能够描述DI的预期处理。

DIP的主要项是数字项方法(DIM)。数字项方法(DIM)是用于在数字项声明(DID)级别处表达MPEG-21用户和数字项之间的所想要的交互的工具。DIM包括数字项基本操作(DIBO)和DIDL代码。

图3是图示了根据现有技术的基于MPEG-21的DI处理系统的框图。

如图3所示，根据现有技术的基于MPEG-21的DI处理系统包括：DI输入部件301、DI处理器部件303和DI输出部件305。DI处理器部件303包括：DI处理引擎单元307、DI表达单元309、和DI基本操作单元311。

DI处理引擎单元307可以包括各种DI处理引擎。例如，DI处理引擎可以包括：DID引擎、REL引擎、IPMP引擎、DIA引擎等。

DI表达单元309可以是DIM引擎(DIME)，而DI基本操作单元311可以是DIBO。

通过DI输入部件301输入包括多个数字项方法(DIM)的DI。DI处理引擎单元307解析所输入的DI。所解析的DI被输入到DI表达单元309。

这里，DIM是定义DI表达单元309的操作以处理包括在DI中的信息的的信息。也就是说，DIM包括关于包括在DI中的处理方法和标识方法的信息。

在从DI处理引擎单元307接收到DI之后，DI表达单元309分析包括在DI中的DIM。DI表达单元309使用所分析的DIM和包括在DI基本操作单元311中的DI基本操作功能，来与包括在DI处理引擎307中的各种DI处理引擎交互。结果，包括在DI中的每一项被执行，且执行结果通过DI输出部件305而输出。

其间，场景表现语言定义媒体数据的时空关系，并表达多媒体内容的场景。这样的场景表现语言包括：同步多媒体集成语言(SMIL)、可缩放矢量图形(SVG)、可扩展MPEG-4文本格式(XMT)和轻便应用场景表现(LASeR)。

MPEG-4部分20是用于向具有有限资源的移动装置表现和提供丰富的媒体服务的标准。MPEG-4部分20定义LASeR和简易集合格式(SAF)。

LASeR用于对丰富的媒体服务的内容进行编码的二进制格式，而SAF是用于将LASeR流和相关联的媒体流复用为单个流的二进制格式。

由于LASeR标准是用于向具有有限资源的装置提供丰富的媒体服务，所以LASeR标准定义了图形、图像、文本、音频对象和可视对象的时空关系、交互和动画。

例如，通过诸如LASeR的场景表现语言表达的媒体数据可以表现各种时空场景表现。

然而，因为MPEG-21框架不支持包括场景的时间和空间排列信息的场景表现语言，所以如果多媒体内容是通过集成各种媒体资源而形成的，则不可能表现具有时空关系的场景。

根据MPEG-21标准，场景表现信息不包括在数字项(DI)中，且虽然DIP定义了数字项处理，但是DIP没有定义场景表现。因此，消费数字项的每个终端具有组件的不同视觉配置，类似于同一HTML页面在不同的浏览器上被不同地显示。也就是说，当前的MPEG-21框架具有不能通过一致的方法来向用户提供数字项的问题。

图4是图示了根据具有时空关系的场景表现输出的场景的图片。

例如，DI的作者希望辅助视频403位于场景的左下角，以用于将两个视频的空间排列优化为包括主视频401和辅助视频403的内容。同样，对应的作者希望创建在主视频401被播放之后的预定时间处辅助视频403要播放的内容，以平衡上下文的时间平衡。

然而，不可能利用MPEG-21标准的当前的DID规范和DIP规范来定义组件的时空配置。在MPEG-21标准中，有关DIP的DIBO包括：报警()(alert())、执行()(execute())、取得外部数据()(getExternalData())、取得对象映射()(getObjectMap())、取得对象()(getObject())、取得值()(getValues())、播放()(play())、打印()(print())、释放()(release())、运行DIM()(runDIM())、和等待()(wait())。然而，有关DIP的DIBO不包括用于从DID中提取场景表现信息的函数。

图5是图示了作为与图2的DIDL结构对应的场景表现语言结构的示例的两个LASeR结构的图。

根据MPEG-21标准，由DIDL来表达数字项(DI)，且DIDL的主要组件是容器(Container)、项(Item)、描述符(Descriptor)、组件(Component)、资源(Resource)、条件(Condition)、选项(choice)和选择(selection)。执行分组(grouping)处理的容器、项和组件等价于LASeR的<g>组件。DIDL的资源组件定义可单独标识的项，并且每个资源组件包括用于指定项的数据类型和统一资源标识符(URI)的MIME类型属性和ref属性。由于每个资源被标识为音频、视频、文本和图像，所以它们分别对应于LASeR的<音频(audio)>、<视频(video)>、<文本(text)>和<图像(image)>组件。资源的ref属性可以等价于LASeR的xlink:href。同样，用于在LASeR中处理条件或交互方法的元素包括<条件的(conditional)>、<收听器(listener)>、<切换(switch)>和<设置(set)>。<切换>等价于DIDL的条件、选项和选择。LASeR的<描述(desc)>等价于DIDL的描述符。

图5图示了与图2的DIDL结构对应的两个LASeR结构。也就是说，图5示出了其中系统确定是以300Mbps还是900Mbps来表达辅助视频的LASeR结构501、和其中用户确定是以300Mbps还是900Mbps来表达辅助视频的LASeR结构502。在图5中，LASeR结构501和503中的元素通过箭头被映射到DIDL结构中的相应元素。

如图5所示，DIDL结构可以对应于多个LASeR结构501和503。因此，虽然场景具有同样的DIDL结构，但是可根据终端环境而不同地呈现该场景，并且因而可能不根据DI作者的意愿来表现场景。

因此，已存在对于开发一种用于通过包括DIDL中的场景表现信息来提供一致的DI消费环境的方法的需求。

图6和图7是图示了用于呈现图5的LASeR结构的示范场景描述语句的图。图6示出了呈现其中系统决定是以300Mbps还是900Mbps来表达辅助视频的LASeR结构501的场景描述语句，而图7示出了表达其中用户决定是以300Mbps还是900Mbps来表达辅助视频的LASeR结构503的场景描述语句。

图6中的场景描述语句定义了主视频和辅助视频的开始点以及例如300Mbps或900Mbps的辅助视频的比特率。

图7的场景描述语句定义了主视频和辅助视频的开始点、辅助视频的300Mbps或900Mbps的比特率、以及根据每个比特率的场景尺寸。

图8和图9是图示了根据图7中示出的场景描述语句输出的LASeR场景的图。图8是允许用户使用在输出主视频801的同时显示的选择菜单803来选择辅助视频的比特率的场景。图9是其中在输出主视频801的同时输出所选择的辅助视频901的场景。

如上所述，当前MPEG-21标准中的DIDL结构的组件部分地等价于以下场景表现的组件，所述场景表现的组件定义了媒体组件的时空关系并且以允许组件彼此交互的形式来呈现多媒体内容的场景。然而，在根据MPEG-21标准的数字项中没有包括场景表现信息。同样，DIP没有定义场景表现，而是定义了数字项处理。因此，MPEG-21框架具有的问题在于：MPEG-21框架不能通过清楚和一致的方法来定义具有媒体组件的时空关系的数字项(DI)，并且不能以允许数字项彼此交互的形式来表达多媒体内容的场景。

因为MPEG-21标准的特性与场景表现的特性不匹配而导致这样的问题。例如，LASeR是用于表现指定了媒体的时空关系的丰富的媒体场景的标准。相反，MPEG-21标准的DI用于静态声明信息。也就是说，在MPEG-21标准中没有定义DI的场景表现。

发明内容

技术问题

本发明的实施例旨在提供一种用于描述和处理数字项(DI)的设备和方法，其定义了MPEG-21数字项的时空关系，并且以允许MPEG-21数字项交互的形式来表达多媒体内容的场景。

技术方案

根据本发明的一个方面，提供了一种用于处理被表达为MPEG-21的数字项声明语言(DIDL)的数字项的数字项处理设备，包括：数字项方法引擎(DIME)部件，用于基于在所述数字项中包括的组件信息来执行组件；以及场景表现部件，用于以定义时空关系并允许在所述数字项中包括的多个媒体数据彼此交互的形式来表达所述媒体数据的场景，其中所述数字项包括具有所述场景的表现信息的场景表现信息；并且数字项处理部件包括用于所述数字项处理部件基于在所述场景表现部件处的所述场景表现信息来执行上述场景表现部件的调用信息。

根据本发明的另一方面，提供了一种用于处理数字项的数字项处理设备，包括：数字项表达部件，用于基于在所述数字项中包括的组件信息来执行组件；以及场景表现部件，用于以定义时空关系并允许在所述数字项中包括的多个媒体数据彼此交互的形式来表达所述媒体数据的场景，其中所述数字项包括：包括所述场景的表现信息的场景表现信息；并且数字项处理部件包括用于由所述数字项表达部件执行上述场景表现部件以基于在所述场景表现部件处的所述场景表现信息来表达场景的调用信息。

根据本发明的另一方面，提供了一种用于处理被描述为MPEG-21的数字项声明语言(DIDL)的数字项的方法，包括下述步骤：由数字项方法引擎(DIME)基于在所述数字项中包括的组件信息来执行组件；并且以定义时空关系并允许在所述数字项中包括的多个媒体数据彼此交互的形式来表达所述媒体数据的场景，其中所述数字项包括具有所述场景的表现信息的场景表现信息；并且数字项处理部件包括用于执行表达多个媒体数据的场景的步骤以便基于所述场景表现信息来表达场景的调用信息。

根据本发明的另一方面，提供了一种用于处理数字项的方法，包括下述步骤：基于在所述数字项中包括的组件信息来执行组件；并且以定义时空关系并允许在所述数字项中包括的多个媒体数据彼此交互的形式来表达所述媒体数据的场景，其中所述数字项包括具有所述场景的表现信息的场景表现信息；并且数字项处理部件包括用于执行表达多个媒体数据的上述场景的步骤以便基于所述场景表现信息来表达场景的调用信息。

有益效果

如果多媒体内容是通过集成MPEG-21数字项的各种媒体资源而形成的，则根据本发明的一种用于使用场景表现语言来描述和处理数字项的设备和方法可以定义MPEG-21数字项的时空关系，并以允许MPEG-21数字项交互的形式来表达多媒体内容的场景。

附图说明

图1是图示了使用根据MPEG-21标准的数字项声明语言(DIDL)来表达数字项的DID语句的图。

图2是图示了图1的DIDL结构的框图。

图3是图示了根据现有技术的基于MPEG-21的DI处理系统的框图。

图4是图示了根据具有时空关系的场景表现输出的场景的图片。

图5是图示了作为与图2的DIDL结构对应的场景表现结构的示例的两个LASeR结构的图。

图6是图示了用于表达图5的LASeR结构的示范场景描述语句的图。

图7是图示了用于表达图5的LASeR结构的示范场景描述语句的图。

图8是图示了根据图7中示出的语句输出的LASeR场景描述场景的图。

图9是图示了根据图7中示出的语句输出的LASeR场景描述场景的图。

图10是图示了根据本发明的实施例的DIDL结构的框图。

图11是图示了根据本发明的实施例的DIDL的示范语句的图。

图12是图示了根据本发明的实施例的DIDL的示范语句的图。

图13是图示了根据本发明的实施例的基于MPEG-21的DI处理设备的框图。

具体实施方式

通过在下文中提出的、参考附图的实施例的以下描述，本发明的优点、特征和方面将变得显而易见。

根据本发明的一个实施例，MPEG-21标准的数字项声明包括使用诸如LASeR的场景表现语言的场景表现信息，所述场景表现信息定义媒体组件的时空关系并以允许媒体组件交互的形式来表达多媒体内容的场景。同样，数字项处理(DIP)的数字项基本操作(DIBO)包括场景表现调用函数。本发明的如此配置允许使用例如LASeR的场景表现语言来一致地消费MPEG-21数字项。

图10是图示了根据本发明的实施例的数字项描述语言(DIDL)的结构的图。图10示出了在DIDL结构中场景表现的位置。

如图10所示，DIDL包括表现数字项的项节点。项节点包括描述并定义诸如描述符、组件、条件和选项的数字项(DI)的节点。在MPEG-21标准中定义了这样的DIDL结构。如果DIDL结构的描述是必要的，则可以将MPEG-21标准用作为本说明书的一部分。

在DIDL结构中，作为描述节点的下级节点的陈述(Statement)组件可以包括诸如纯文本和XML的各类机器可读格式。

在本实施例中，陈述组件可以包括LASeR或XMT场景表现信息，而不用修改当前的DIDL规范。

图11和图12示出了根据本发明的实施例的DIDL的示范语句。

如图11和图12所示，DIDL由四项1101、1103、1105和1107构成。第三项1105包括两项1115和1125。

第三项1105定义了具有主视频(Main_Video)作为ID的项1115和具有辅助视频(Auxiliary_Video)作为ID的项1125的格式和资源。

第一项1101包括作为陈述节点的下级节点的LASeR场景表现信息1111。如图11所示，LASeR场景表现信息1111表现用于在项1115和1125中定义的两个媒体组件主视频和辅助视频的空间场景。

在图11和图12的示范语句中，主视频媒体组件MV主(MV_main)被显示在从显示器的原点移动(0，0)的位置上，而MV辅助(MV_aux)被显示在从显示器的原点移动(10，170)的位置上。也就是说，主视频被显示在显示器的原点处，而辅助视频被显示在从显示器的原点向右方向离开10个像素且向下方向离开170个像素的位置上。

由于首先显示MV主且稍后显示MV辅助，所以被描述为在时域中先执行MV主然后执行MV辅助。因此，因为MV主相比较更大于MV辅助，所以MV主不会覆盖MV辅助。

根据本实施例，使得DI作者能够在场景表现信息1111中描述所希望的数字项的各种媒体资源，以定义各种媒体资源的时空关系并且以允许各种媒体资源交互的形式来表达场景。因此，可以通过将MPEG-21数字项的各种媒体资源集成为一个媒体内容来定义时空关系，并且可以以允许各种媒体资源交互的形式来表达场景。

定义图11和图12中的DIDL的第二项1103来选择300Mbps和900Mbps中的一个。也就是说，根据从第二项1103提供的用于辅助视频的选择来将300Mbps的视频1和900Mbps的视频2中的一个决定为辅助视频，并且提供所选择的资源(300_video.wmv或900_video.wmv)。

在图11和图12中示出的DIDL语句的第四项1107是定义数字项方法(DIM)的项。也就是说，第四项1107定义了调用LASeR场景表现信息1111的呈现函数。

在下文中，将描述在图11和图12中示出的呈现函数。

表1示出了包括在图12的第四项1107中的呈现函数，其作为调用图11的LASeR场景表现1111的函数，所述LASeR场景表现1111是使用场景表现语言LASeR的场景表现信息。

表1

  函数  呈现(元素)(Presentation(element))  描述  呈现所指定的场景表现  参数  元素：  用于表现要被呈现的场景表现的根元素的文档对象模型  (DOM)元素对象。  返回值  如果成功呈现了场景，则为布尔值真(true)，或者如果未能呈  现场景，则为布尔值假(false)。  异常  DIP错误(DIPError)

如表1所示，使用数字项声明(DID)的数字项基本操作(DIBO)来处理在DIDL语句中包括的场景表现信息，例如，图11的LASeR场景表现信息1111。也就是说，调用被定义为数字项处理(DIP)的DIBO的表1的呈现()函数，并且根据DID来分析并表达场景表现信息1111。

场景表现引擎表达被呈现()函数调用的场景表现信息1111，以定义DI的各种媒体资源的时空关系并且以允许各种媒体资源交互的形式来表达场景。

呈现()函数的参数是表示场景表现信息1111的根元素的文档对象模型(DOM)元素对象。例如，在图11中该参数表示了场景表现信息1111的<Isr:新场景>(<Isr:NewScene>)元素。

场景表现信息1111被包括在图12的第四项1107中的[DIP.呈现(lsr)]([DIP.presentation(lsr)])调用，并且被用作场景配置信息。

作为返回值，如果场景表现引擎基于所调用的场景表现信息1111而成功呈现场景，则呈现()函数返回布尔值“真(true)”，或者如果场景表现引擎未能呈现场景，则呈现()函数返回布尔值“假(false)”。

如果呈现()函数的参数不是场景表现信息1111的根元素、或者如果在呈现场景的过程中产生错误，则呈现()可以返回错误代码。例如，如果呈现()函数的参数不是场景表现信息1111的根元素，则错误代码可以是无效参数(INVALID_PARAMETER)。同样，如果在呈现场景的过程中产生错误，则错误代码可以是呈现失败(PRESENT_FAILED)。

图13是图示了根据本发明的实施例的基于MPEG-21的DI处理系统的框图。

与在图3中示出的根据现有技术的系统相比，根据本实施例的基于MPEG-21的DI处理系统具有以下不同。

作为第一点不同，根据本实施例，表达输入到DI输入部件301的数字项的DIDL包括：场景表现信息和调用函数。

作为第二点不同，在本实施例中，DI处理引擎单元307包括根据场景表现信息1111来呈现场景的场景表现引擎1301。场景表现引擎1301是用于分析和处理包括在例如LASeR的DIDL中的场景表现的应用。根据本实施例，由场景表现基本操作符1303来驱动场景表现引擎1301。

作为第三点不同，在本实施例中，通过定义调用函数呈现()来将场景表现基本操作符1303包括在DI基本操作单元311中。

如上所述，通过调用包括在DIDL中的场景表现信息，而经过场景表现基本操作单元1303来执行场景表现引擎。然后，在本实施例中，场景表现引擎1301定义MPEG-21数字项的时空关系，并以允许MPEG-21数字项交互的形式来表达多媒体内容的场景，从而通过DI输出单元305输出MPEG-21数字项。因此，可以向用户提供MPEG-21数字项，作为以一致的方式定义时空关系并允许MPEG-21数字项交互的形式。

如图13所示，包括多个DIM的DI通过DI输入部件301而输入。DI处理引擎单元307解析所输入的DI，并且所解析的DI被输入到DI表达单元309。

然后，DI表达单元309通过基于包括了用于调用在表现DI的DIDL中包括的场景表现信息的函数(函数例如图12中的MV_播放()(MV_play()))的项、经由在DI基本操作单元311中包括的数字项基本操作(DIBO)而执行DI处理引擎单元307的DI处理引擎，来处理数字项。

这里，通过基于用于调用在表达DI的DIDL中包括的场景表现的函数、经由场景表达基本操作符1303、来执行场景表达引擎1301，DI表达单元309根据在DIDL中包括的场景表现、而以定义了数字项的时空关系并允许了数字项交互的形式，来表达多媒体内容的场景。

根据本发明的上述方法可以被实施为程序并被存储在计算机可读记录介质中。所述计算机可读记录介质是可以存储此后可以被计算机系统读取的数据的任何数据存储装置。计算机可读记录介质包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、软盘、硬盘和磁光盘。

尽管已结合某些优选实施例而描述了本发明，但是对于本领域技术人员来说明显的是，可以做出各种改变和修改，而不脱离如所附权利要求书所限定的本发明的精神和范围。

工业适用性

提供了一种数字项描述和处理设备及其方法，用于以定义MPEG-21数字项的时空关系且允许MPEG-21数字项交互的形式来呈现多媒体内容的场景。

权利要求书(按照条约第19条的修改)

1.一种用于处理被表达为MPEG-21的数字项声明语言(DIDL)的数字项的数字项处理设备，包括：

数字项方法引擎(DIME)部件，用于基于在所述数字项中包括的组件信息来执行项；以及

场景表现部件，用于以定义时空关系并允许在所述数字项中包括的多个媒体数据彼此交互的形式来呈现所述媒体数据的场景，

其中，所述数字项包括：具有所述场景的表现信息的场景表现信息、以及用于由所述数字项方法引擎(DIME)部件执行所述场景表现部件以便基于在所述场景表现部件处的所述场景表现信息来呈现场景的调用信息。

2.根据权利要求1的数字项处理设备，其中，所述场景表现部件包括：

场景表现引擎单元，用于基于所述场景表现信息来表现所述场景；以及

数字项基本操作(DIBO)单元，用于基于所述调用信息，根据所述数字项表现部件的控制来执行所述场景表现部件。

3.根据权利要求1的数字项处理设备，其中，使用同步多媒体集成语言(SMIL)、可缩放矢量图形(SVG)、可扩展MPEG-4文本格式(XMT)和轻便应用场景表现(LASeR)中的一个来表达所述场景表现信息。

4.根据权利要求1的数字项处理设备，其中，所述场景表现信息被包括在作为DIDL中的描述节点的下级节点的陈述组件中。

5.一种用于处理数字项的数字项处理设备，包括：

数字项表达部件，用于基于在所述数字项中包括的组件信息来执行项；以及

场景表现部件，用于以定义时空关系并允许在所述数字项中包括的多个媒体数据彼此交互的形式来呈现所述媒体数据的场景，

其中，所述数字项包括：包括所述场景的表现信息的场景表现信息、以及用于由数字项表达部件执行所述场景表现部件以便基于在所述场景表现部件处的所述场景表现信息来表现场景的调用信息。

6.根据权利要求5的数字项处理设备，其中，所述场景表现部件包括：

场景表现引擎单元，用于基于所述场景表现信息来表达所述场景；以及

数字项基本操作单元，用于基于所述调用信息，根据所述数字项表达部