基于IMS的多媒体会议实现方法及其装置和系统

摘要

本发明公开了一种基于IMS的多媒体会议实现方法及其装置和系统，该方法包括：MCU从多媒体会议的各成员终端中选择会议终端，用于处理所述多媒体会议的媒体流；所述MCU通过IMS核心网，通知所述媒体流的源会议终端发送媒体流到选择出的会议终端，并通知选择出的会议终端对从所述媒体流的源会议终端发送来的媒体流进行处理。采用本发明，在MCU负载较大或带宽较少的情况下，可以减轻MCU负担，从而一定程度上保证多媒体会议的正常进行。

说明书

技术领域

本发明涉及通信领域的多媒体会议技术，尤其涉及一种基于IMS的多媒体 会议实行方法及其装置和系统。

背景技术

3GPP提出的IMS(IP multi-media subsystem，IP多媒体子系统)技术在软 交换的基础上完善了业务逻辑与控制相分离，以及呼叫控制和承载控制相分离 的机制，优化了信令面处理。除此以外，IMS系统具有端到端全IP化、接入 方式无关性、水平式业务开发机制等多方面的优势，因此迅速获得了其他标准 化组织的广泛认可，已经从最初3GPP针对移动用户定义的系统，扩展为固定 移动融合的统一的核心网。

在IMS中实现的多媒体会议系统是基于C/S(即客户端/服务器)结构的系 统，其架构中核心组件是MCU(Micro Controller Unit，多点控制单元)服务 器，它是多媒体会议系统的关键设备，用于处理音视频数据、会议控制信息等。 图1示出了一种现有的基于IMS的多媒体会议系统架构。基于该系统架构，多 媒体会议的实现流程为：终端向IMS核心网发起SIP(Session Initiation Protocol， 会话初始协议)请求，IMS核心网将该请求转发给AS(应用服务器)以触发 会议业务；AS向RMS(资源管理系统)申请会议资源，RMS为该会议指定 MCU后请求该MCU创建会议；MCU创建会议后，AS将终端的SIP请求转发 给MCU以进行会议处理和控制。

现有IMS中多媒体会议的方案完全采用C/S方式来实现，由运营商部署的 MCU完成所有音视频数据的处理，MCU通常为负载最重的网元。在需要支撑 大量的会议同时进行的情况下，MCU需要耗费大量资源，有可能影响音视频 处理效率或效果，甚至有可能导致多媒体会议无法正常进行。

发明内容

本发明实施例提供了一种基于IMS的多媒体会议实现方法及其装置和系 统，以实现多媒体会议音视频数据的分布式处理，减少MCU的资源开销。

本发明实施例提供的基于IMS的多媒体会议实现方法，包括：

多点控制单元MCU从多媒体会议的各成员终端中选择会议终端，用于处 理所述多媒体会议的媒体流；

所述MCU通过IMS核心网，通知所述媒体流的源会议终端发送媒体流到 选择出的会议终端，并通知选择出的会议终端对从所述媒体流的源会议终端发 送来的媒体流进行处理。

本发明实施例提供的MCU，包括：

选择模块，用于从多媒体会议的各成员终端中选择会议终端，用于处理所 述多媒体会议的媒体流；

通知模块，用于通过IMS核心网，通知所述媒体流的源会议终端发送媒体 流到选择出的会议终端，并通知选择出的会议终端对从所述媒体流的源会议终 端发送来的媒体流进行处理。

本发明另一实施例提供的基于IMS的多媒体会议实现方法，包括：

会议终端接收MCU通过IMS核心网发送的处理多媒体会议媒体流的通 知；

所述会议终端根据所述通知，对其所负责进行媒体流处理的其它会议终端 发送来的媒体流进行处理；其中，所述其它会议终端根据MCU通过IMS核心 网发送的通知，将采集到的媒体流发送给所述会议终端进行处理。

本发明实施例提供的会议终端，包括：

通知接收模块，用于接收MCU通过IMS核心网发送的处理多媒体会议媒 体流的第一通知；以及，接收MCU通过IMS核心网发送的第二通知，所述第 二通知用于通知所述会议终端将其采集到的媒体流发送给所述MCU选择出的 用于处理所述媒体流的其它会议终端；

媒体流处理模块，用于根据接收到的所述第一通知，对所述会议终端所负 责进行媒体流处理的其它会议终端发送来的媒体流进行处理；

媒体流发送模块，用于根据接收到的所述第二通知，将所述会议终端采集 到的媒体流发送给用于处理所述媒体流的其它会议终端。

本发明实施例提供的基于IMS的多媒体会议系统，包括：IMS核心网设备、 多媒体会议应用服务器，以及至少一个如权利要求9至14之一所述的MCU；

所述MCU分别与所述IMS核心网设备和所述多媒体会议应用服务器连 接，且所述MCU之间相互连接，用于将自己的资源使用情况信息发送给其它 MCU，以及从其它MCU接收资源使用情况信息。

本发明的上述实施例中，MCU可从多媒体会议的各成员终端中选择会议 终端，用于处理所述多媒体会议的媒体流，并通知所述媒体流的源会议终端发 送媒体流到选择出的会议终端，通知选择出的会议终端对从所述媒体流的源会 议终端发送来的媒体流进行处理，从而使会议终端承担多媒体会议媒体流的处 理操作，进而减轻了MCU的负担。在MCU负载较大或带宽较少的情况下， 通过本发明实施例可以减轻MCU负担，从而一定程度上保证多媒体会议的正 常进行。

附图说明

图1为现有技术提供的基于IMS的多媒体会议系统的架构示意图；

图2为本发明实施例提供的基于IMS的多媒体会议系统的架构示意图；

图3为本发明实施例提供的多媒体会议创建流程示意图；

图4为本发明实施例提供的终端加入多媒体会议的流程示意图；

图5为本发明实施例提供的多媒体会议过程中媒体数据交互的流程示意 图；

图6为本发明实施例提供的多个会议终端协同混音的流程示意图；

图7为本发明实施例提供的MCU的结构示意图；

图8为本发明实施例提供的终端设备的结构示意图。

具体实施方式

针对现有技术存在的上述问题，本发明实施例在基于IMS的多媒体会议系 统中引入分布式多媒体会议机制，既可充分利用IMS可管可控的特性，又可以 复用原有的用户管理、认证、鉴权等机制，同时还能够利用分布式技术降低 MCU的负担，从而降低MCU的运营成本。

下面结合附图对本发明实施例进行详细描述。

参见图2，为本发明实施例提供的基于IMS的多媒体会议系统的架构示意 图。

如图所示，在基于IMS的多媒体会议系统中，除了常规的IMS核心网网 元，如，P-CSCF(代理CSCF，其中CSCF为呼叫会话控制功能的英文简称)、 I-CSCF(查询CSCF)和S-CSCF(服务CSCF)之外，还包括HSS(Home Subscriber  Server，归属用户服务器)、多媒体会议应用服务器(图中表示为Conf-AS)以 及MCU。该系统架构中，MCU可以是一个或多个，如果是多个，则可以采用 分布式结构(如图2中所示的分布式MCU服务器D-MCU)。本发明实施例优 选分布式MCU的系统架构，各MCU均可与多媒体会议应用服务器Conf-AS 交互SIP消息，各MCU还可与IMS核心网网元进行信息交互。

其中，多媒体会议应用服务器Conf-AS主要负责提供会议信息的管理，参 与对用户的业务鉴权等处理；分布式MCU则负责提供会议成员之间媒体数据 的处理和分发，包括接收用户的音视频数据并进行必要的转码、混音等处理， 并将处理后的音视频数据分发给相应的会议终端。分布式MCU之间可以互相 感知负载状态，如，各MCU可按照一定策略(如周期)将自身的资源使用情 况(包括负载状态、带宽资源占用等情况)发送给其它MCU，以及接收其它 MCU发送来的相关资源使用情况的信息。

基于上述系统架构，多媒体会议的信令面控制使用IMS，用户面的音视频 数据传输则采用分布式进行优化。

图3示出了基于上述系统架构的多媒体会议创建的流程。如图3所示，该 流程可包括：

步骤301，会议终端(图中示为Conf-UE)启动后，进行网络配置，包括 IP地址的配置和P-CSCF地址的发现等。

步骤302，Conf-UE执行IMS注册流程。该IMS注册流程可采用现有方式 实现。

步骤303～304，Conf-UE通过IMS核心网(图中示为IMS Core)向Conf-AS 请求多媒体会议服务。

步骤305～306，Conf-AS根据HSS中该Conf-UE的签约信息进行权限校验 并返回校验结果。

步骤307～308，Conf-UE通过IMS Core进行会议预约，以事先创建好会议。

步骤309～310，Conf-AS为会议分配会议标识，完成会议信息的记录并返 回会议创建结果。

图4示出了基于上述系统架构，会议终端加入多媒体会议的流程，如图4 所示，该流程可包括：

步骤401～402，会议终端(图中示为Conf-UE1)向Conf-AS请求加入已 创建的会议。

步骤403，Conf-AS为Conf-UE 1选择合适的D-MCU，并将选择结果和会 议成员信息发送给选择出的D-MCU。

该步骤中，Conf-AS上存储有各D-MCU上报的负载和带宽等资源使用情 况信息，Conf-AS可根据各D-MCU的负载和带宽等资源使用情况选择为该会 议服务的D-MCU，如选择负载轻的或/和带宽资源占用少的D-MCU。

步骤404～405，Conf-AS向Conf-UE1返回会议的信息，包括D-MCU的信 息，以便Conf-UE1与该D-MCU建立连接。

步骤406～409，Conf-UE1经由IMS Core向D-MCU建立连接。

该步骤中，优选的，如果该D-MCU判断自己的负载过大或/带宽资源占用 较多，则可根据该D-MCU所感知的其它D-MCU的资源使用情况，将Conf-UE1 重定向至负载较轻的或/和带宽资源占用少D-MCU，Conf-UE1可与重定向的目 标D-MCU(即新选择出的服务MCU)进行连接。该步骤可选。

步骤410～411，D-MCU向Conf-UE1返回该会议信息以及该会议的成员信 息。本流程中，返回的会议成员信息为Conf-UE2的信息。

步骤412～415，Conf-UE1经由IMS Core向其它已经加入会议的会议终端 (本流程中为Conf-UE2)建立连接。

步骤416，Conf-UE1检测网络环境，如检测两两会议成员之间的链路的延 迟。

步骤417～418，Conf-UE1经由IMS Core向Conf-AS报告自身的资源使用 情况(如负载情况或/和带宽占用等情况)、自身的能力或测量到的延迟参数等 信息。进一步的，Conf-AS可将Conf-UE1上报的信息发送给各D-MCU，以便 作为D-MCU选择分担其媒体流处理操作的会议终端的依据。

通过以上流程可以看出，通过分布式D-MCU的设置，一方面，在为加入 多媒体会议的终端选择MCU时，可选择其中负载较轻或/和带宽占用较少的 D-MCU，从而可达到负载均衡的目的，同时可以一定程度上保证多媒体会议 的正常进行；另一方面，由于分布式D-MCU中各D-MCU可感知其它D-MCU 的负载或/和带宽使用情况，因此当多媒体会议应用服务器选择出的D-MCU不 适合为多媒体会议服务时(如负载较大)，则可以将会议终端重定向到其它合 适的D-MCU(如负载较轻的D-MCU)，从而实现负载均衡的目的，并可以一 定程度上保证多媒体会议的正常进行。

图5示出了基于上述系统架构，多媒体会议进行过程中多媒体数据的处理 流程示意图，本流程以当前多媒体会议中有3个会议成员Conf-UE1、Conf-UE2 和Conf-UE3为例描述，如图所示，该流程可包括：

步骤501～504，D-MCU选择合适的会议终端(此处为Conf-UE3)进行音 频混音，并将选择出的会议终端的信息通过IMS Core通知给会议成员 Conf-UE1和Conf-UE2以及所选择出的Conf-UE3。其中，D-MCU可通知 Conf-UE3作为超级节点，由其进行混音处理和分发。

该步骤中，D-MCU可在自身的负载较大时(如高于设定负载阈值时)，选 择会议终端分担该D-MCU的音频混音处理。D-MCU可根据多媒体会议中各 会议终端的处理能力、资源使用情况或链路性能等因素(或上述各种因素的组 合)选择用于音频混音处理的会议终端。如选择硬件能力强、负载轻、带宽大、 与其它的终端间链路时延小或丢包少的会议终端。由于加入多媒体会议的终端 种类多种多样，可以是手机终端，也可以是PC等，D-MCU可以根据会议终端 的类型，选择其中处理能力强的终端进行音频混音。当然，还可以默认指定某 会议终端进行音频混音。

步骤505～506，Conf-UE1和Conf-UE2分别将音频数据发送给Conf-UE3 进行处理。

该步骤中，Conf-UE3接收到Conf-UE1和Conf-UE2发送的音频数据后， 可将接收到的音频数据和自己采集的音频数据进行混音处理。当然，也可以根 据混音策略将相应的音频数据进行混音处理。

步骤507a～507b，Conf-UE3分别将混音处理后的音频数据发送给Conf-UE1 和Conf-UE2。

步骤508，当Conf-UE1请求查看Conf-UE3的视频时，向D-MCU发送请 求。

步骤509，D-MCU经过一定的策略计算，发现可以由Conf-UE2进行视频 数据的处理转发，则将此决策信息(即通过Conf-UE2转发Conf-UE3的视频 流)以及Conf-UE1的视频请求发送给Conf-UE3。

该步骤中，D-MCU可在自身的带宽资源较少时(如低于设定带宽资源阈 值时)，选择会议终端分担该D-MCU的视频转发处理。D-MCU可根据多媒体 会议中各会议终端的处理带宽选择用于转发视频流的会议终端。如选择带宽 大、与其它的终端间链路时延小或丢包少的会议终端。当然，还可以默认指定 某会议终端进行视频流的转发处理。

步骤510，D-MCU告知Conf-UE1，从Conf-UE2处获取Conf-UE3的视频 数据。

步骤511，D-MCU通知Conf-UE2作为超级节点，由其进行视频数据的处 理转发。

步骤512，Conf-UE3将视频数据发送给Conf-UE2。

步骤513，Conf-UE2将Conf-UE3的视频数据转发给Conf-UE1，Conf-UE1 从Conf-UE2处接收Conf-UE3的视频数据。

上述流程中，音频数据的混音处理过程和视频数据的转发处理过程，其执 行顺序没有严格的时序要求。

上述流程中，MCU在多媒体会议过程中所选择出的用于音频混音的会议 终端为该多媒体会议的成员终端，所选择出的用于视频数据转发的会议终端也 是该多媒体会议的成员终端。

上述流程中，MCU所选择的用于音频混音的终端可以是一个也可以是多 个。如果选择出的会议终端为多个，则可通过如图6所示的流程使选择出的各 会议终端协同进行音频混音处理。以当前多媒体会议中有5个会议成员 Conf-UE1-5为例，被选择执行音频混音处理的会议终端包括Conf-UE1和 Conf-UE2，如图6所示，该流程可包括：

步骤601～602b，D-MCU选择合适的会议终端进行混音，本实施例中选择 Conf-UE1和Conf-UE2进行混音，D-MCU经IMS核心网(IMS Core)通知 Conf-UE1和Conf-UE2已被选择为混音终端，并告知Conf-UE1负责Conf-UE5 的混音，告知Conf-UE2负责Conf-UE3和Conf-UE4的混音；

步骤603～604c，D-MCU经IMS核心网通知Conf-UE3、Conf-UE4将由 Conf-UE2对它们采集的音频进行混音处理，通知Conf-UE5将由Conf-UE1对 其采集的音频进行混音处理；

步骤605a～605c，Conf-UE5根据接收到的通知，将自身的音频数据发送给 Conf-UE1，Conf-UE1将自身和Conf-UE5的音频数据进行混音；Conf-UE3和 Conf-UE4根据接收到的通知，将自身的音频数据发送给Conf-U2进行混音处 理，Conf-UE2将自身以及Conf-UE3、Conf-UE4的音频数据进行混音；

步骤606，Conf-UE1、Conf-UE2交换各自混音后的数据后，再进行一次 混音，得到所有会议终端混音后的音频数据。

步骤607a～607c，Conf-UE1、Conf-UE2分别将所有会议终端混音后的音频 数据发送给各自负责的会议终端。

综上所述，通过本发明实施例的以上流程可以看出，一方面，通过在多媒 体会议系统中部署多个MCU，即进行分布式MCU的部署，当为多媒体会议选 择服务MCU时，可根据各MCU的资源使用情况等信息进行选择，从而可以 提高多媒体会议的处理效率；另一方面，通过MCU在其负载较高或带宽较少 的情况下，即有可能影响多媒体会议处理效率的情况下，将媒体流处理操作交 给处理能力较强的会议成员终端进行处理，从而分担该MCU的部分处理操作， 减轻了MCU的负载，同时也能一定程度上保证多媒体会议的正常进行。

基于相同的技术构思，本发明实施例还提供了一种可应用于上述流程的 MCU和会议终端设备。

参见图7，为本发明实施例提供的MCU的结构示意图，如图所示，该MCU 设备可包括：

选择模块701，用于从多媒体会议的各成员终端中选择会议终端，用于处 理所述多媒体会议的媒体流；

通知模块702，用于通过IMS核心网，通知所述媒体流的源会议终端发送 媒体流到选择出的会议终端，并通知选择出的会议终端对从所述媒体流的源会 议终端发送来的媒体流进行处理。

上述MCU中，选择模块701可根据所述多媒体会议的成员终端上报的以 下信息之一或任意组合，从多媒体会议的各成员终端中选择会议终端：

会议终端的处理能力；

会议终端的资源使用情况；

与其它会议终端的链路性能。

上述MCU还可包括：接收模块703，用于接收成员终端加入所述多媒体 会议后上报的所述信息；其中，所述成员终端将所述信息上报给MCU所在的 多媒体会议系统中的多媒体应用服务器，并由该多媒体应用服务器发送给所述 MCU。

所述处理多媒体会议的媒体流是指对多媒体会议的音频数据进行混音；相 应的，通知模块702具体用于，通知音频数据的采集者会议终端将采集到的音 频数据发送到选择出的会议终端；以及，通知选择出的会议终端对音频数据采 集者会议终端发送来的音频数据进行混音，并将混音后的音频数据发送给所述 音频数据采集者会议终端。

所述处理多媒体会议的媒体流是指转发多媒体会议的视频数据；相应的， 通知模块702具体用于，通知被请求访问的视频数据的采集者会议终端将其采 集到的视频数据发送给选择出的会议终端；以及，通知选择出的会议终端将从 所述视频数据的采集者会议终端接收到的视频数据转发给请求访问所述视频 数据的访问者会议终端。

上述MCU中，选择模块701选择出的会议终端为一个或多个；相应的， 通知模块702具体用于，当所述选择模块选择出多个会议终端进行音频混音时， 通知各选择出的会议终端各自所负责混合的音频数据的采集者会议终端，将采 集到的音频数据发送给相应的选择出的会议终端；以及，通知选择出的会议终 端对其所负责混音的会议终端发送来的音频数据进行混音，将混音后的音频数 据与其它选择出的会议终端混音后的音频数据进行交换，并对接收到的混音数 据和该会议终端自己的混音数据再次进行混音，并将再次混音后的音频数据发 送给该会议终端所负责混音的会议终端。

上述MCU还可包括：重定向模块704，用于在所述MCU被选择为多媒体 会议的服务MCU后，根据自己的资源使用情况和多媒体会议系统中的其它 MCU的资源使用情况，从所述其它MCU中选择MCU作为所述多媒体会议的 服务MCU，并将加入所述多媒体会议的成员终端重定向到新选择出的服务 MCU。

参见图8，为本发明实施例提供的会议终端设备的结构示意图，如图所示， 该会议终端设备可包括：

通知接收模块801，用于接收MCU通过IMS核心网发送的处理多媒体会 议媒体流的第一通知；以及，接收MCU通过IMS核心网发送的第二通知，所 述第二通知用于通知所述会议终端将其采集到的媒体流发送给所述MCU选择 出的用于处理所述媒体流的其它会议终端；

媒体流处理模块802，用于根据接收到的所述第一通知，对所述会议终端 所负责进行媒体流处理的其它会议终端发送来的媒体流进行处理；

媒体流发送模块803，用于根据接收到的所述第二通知，将所述会议终端 采集到的媒体流发送给用于处理所述媒体流的其它会议终端。

上述会议终端中，通知接收模块801接收到的所述第一通知为，对多媒体 会议的音频数据进行混音的通知；相应的，流媒体处理模块802具体用于，对 音频数据采集者会议终端发送来的音频数据和自己采集到的音频数据进行混 音，并将混音后的音频数据发送给所述音频数据采集者会议终端。

上述会议终端中，通知接收模块801接收到的所述第一通知为，对多媒体 会议的音频数据进行混音的通知；相应的，流媒体处理模块802具体用于，对 所述会议终端所负责混音的会议终端发送来的音频数据和自激采集到的音频 数据进行混音，将混音后的音频数据与其它选择出的会议终端混音后的音频数 据进行交换，并对接收到的混音数据和该会议终端自己的混音数据再次进行混 音，并将再次混音后的音频数据发送给该会议终端所负责混音的会议终端。

上述会议终端中，通知接收模块801接收到的所述第一通知为，将视频数 据访问者会议终端所请求的视频数据转发给该视频数据访问者会议终端的通 知；相应的，媒体流处理模块802具体用于，接收所请求的视频数据的采集者 会议终端发送的视频数据，并将该视频数据转发给该视频数据访问者会议终 端。

上述会议终端还可包括：上报模块804，用于在所述会议终端加入多媒体 会议后，通过IMS核心网向多媒体会议系统中的多媒体应用服务器上报以下信 息之一或任意组合：

会议终端的处理能力；

会议终端的资源使用情况；

与其它会议终端的链路性能。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明 可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很 多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上 或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机 软件产品存储在一个存储介质中，包括若干指令周以使得一台终端设备(可以 是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述 的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通 技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰， 这些改进和润饰也应视本发明的保护范围。