基于分时处理的低时延多媒体传输编解码的调度方法

摘要

本发明涉及一种基于分时处理的低时延多媒体传输编解码调度方法，属于多媒体传输中的编解码处理技术领域。该方法首先将编解码时间T分成K个时间片，每个时间片为T/K，处理总通道数为N，每个时间片内处理的通道数为N/K，然后按时间片顺序对各通道输入的数据进行处理，将处理后的数据输出。本发明的方法，将最大编解码处理时间T分成K个时间片，这样就将原来编解码处理时间T内处理的N个通道，分配到了小的时间片内，从而减少了通道时延，K值越大，即时间片越短，则减少的时延越多。而且要减少时延，只要将最大编解码处理时间T分成多个时间片即可。

说明书

技术领域

本发明涉及一种基于分时处理的低时延多媒体传输编解码调度方法，属于多媒体传输中的编解码处理技术领域。

背景技术

21世纪将是信息产业持续快速发展的世纪，人类进入了网络经济时代。网络技术的飞速发展，使得利用分组技术来传输多媒体成为可能并变成现实。传统通讯技术和分组技术融合趋势越来越明显，由于传统的通讯网络和现代分组通讯网络中传输的媒体流编码方式不同，因此在传统网络和分组网络的结合点需要进行媒体流编解码方式的转换。由于编解码器的存在会引入编解码时延和调度时延，该时延的存在会对媒体流传输的质量造成影响，特别是在语音方面，大的延时是通话双方无法接受的，因此编解码时延大小成为衡量网络质量的一个重要因素。

网络两侧编解码方式不同时就需要编解码转换。以语音传输为例，在固定电话网IP电话的网关中，编解码转换器处于电路域和分组域相结合处。在传统电路交换线路中，传输的一般是经过A律或U律压缩的实时脉冲调制码流，其传输速率为64k比特/秒，如果不经编码，直接将其转化为分组数据传输需要占用很大的带宽，这是很不经济的。为此在电路域和IP分组域之间增加语音编解码功能，将脉冲调制的语音数据压缩成占用带宽很小的压缩编码数据再进行传输。编解码转换器一般应支持ITU-T G.729，ITU-T G.723.1等语音压缩算法，在和无线网络连接时一般应支持GSM-FR、GSM-HR以及3G的AMR等编解码算法，在多媒体传输时还需要支持图像处理算法。为了提高线路接入密度，通常每个编解码转换器可以处理多条线路的编解码，每线路路称为一个通道。

对于每种编解码协议的分组化过程来说，每种编解码方式都有规定的帧大小和帧格式。例如对于ITU-T G.729编码算法，是将每10ms长度的语音数据进行压缩后传输到分组网络侧；对于ITU-T G.723.1编码算法，是将每30ms长度的语音数据进行压缩后传输到分组网络侧。单通路的语音编码过程通常为：先从电路域侧接收规定长度的一帧数据，然后对这帧数据进行编码处理，处理结束后将编码数据发送到网络侧，通常定义从开始接收一帧数据到此帧数据编码后发送到分组网络侧的时延称为编码时延。

对于多通路的编码来说，通常采用批量处理的方法；假设编码数据的成帧间隔为T，则要做到实时的数据处理，处理完所有N个通道的时间应该小于等于T，即在T时间内处理完以前成帧的所有通道的数据。假设理想情况下，处理完所有N个通道的时间正好等于T，则具体的批量处理方法如下：

1)  从由N个通道输入的数据流中，按固定成帧时间T，截取第一帧数据；

2)  对得到的N个通道的第一帧数据，按通道逐个进行编码处理；

3)  将编码处理后的数据发送到分组交换网络侧。

4)  重复以上步骤。

批量处理过程的成帧和处理调度时序如图1所示。从图1可以看出，在初始0时刻之前T时间内所有N个通道数据进入编码器，在0时刻所有的N个通道的第一帧数据都截取完毕，在接下来的0到T的时刻内，将所有N个通道的数据进行编码，然后在T时刻将数据发送到分组网络，从第一个数据到达直到该数据处理完毕被发送到分组网络侧需要2T时间，因此通道的编码方向处理时延为2T。图2所示为已有技术中一般多通道批量解码的处理调度时序图。

以上批量处理的方法，其优点是对所有通道采用相同的定时成帧和编解码处理，流程清晰，任务调度简单，因此应用较多。

但其缺点是通道的编解码最大时延较大，以G723编码方法为例，组成一帧数据需要30ms，因此T＝30ms，采用批量处理方法时，编码方向的处理的时延为30+T＝60ms，再加上一个由算法决定的固定预取时延7.5ms(参见ITUTG729协议)，编码方向的总时延为67.5ms，可以看出这个时延还是比较大，尤其是在语音传输中，大的时延会极大地降低语音通话质量。

发明内容

本发明的目的是针对已有技术中存在的缺点，提出一种基于分时处理的低时延多媒体传输编解码调度方法，对多通道批量处理的方案进行了改进，以减少编解码的调度延时，提高多媒体传输质量。

本发明提出的基于分时处理的低时延多媒体传输编解码调度方法，包括以下步骤：

1、将编解码时间T分成K个时间片，每个时间片为T/K，处理总通道数为N，将N个通道分配到K个时间片内，每个时间片内处理的通道数为N/K，其中K＝1、2、……K；

2、按时间片顺序对各通道输入的数据进行处理，将处理后的数据输出。

本发明提出的基于分时处理的低时延多媒体传输编解码调度方法的特点和效果是，将允许的最大编解码处理时间T分成为K个时间片，每个时间片大小为T/K，如果处理的最大通道数仍为N，则每个时间片内处理的通道数为N/K，这样就将原来编解码处理时间T内处理的N个通道，分配到了小的时间片内，从而减少了通道时延，K值越大，即时间片越短，则减少的时延越多。而且从本发明方法中可以看出，编解码器能够处理的最大通道数N，与编解码器的处理能力有关，但与通道的编解码方向的时延无关，因此要减少时延，只要将最大编解码处理时间T分成多个时间片即可。

附图说明

图1是已有技术中一般多通道批量编码调度流程示意图。

图2是已有技术中一般多通道批量解码调度流程示意图。

图3是本发明提出的分时处理编码调度流程示意图。

图4是本发明提出的分时处理解码调度流程示意图。

具体实施方式

本发明提出的基于分时处理的低时延多媒体传输编解码调度方法，其过程是首先将编解码时间T分成K个时间片，每个时间片为T/K，若处理总通道数为N，将N个通道分配到K个时间片内，则每个时间片内处理的通道数为N/K，其中K＝1、2、……K，即在第一个时间片0～(T/K)时间处理的第一组1～N/K通道，第二个时间片T/K～2T/K处理第二组N/K+1～2N/K通道，直到最后，在第K个时间片处理第K组(K-1)(N/K)+1～N通道；然后在一个编解码周期T开始的第一个时间片的开始时刻，将由第一组1～N/K通道输入的数据，在该时间片的0～(T/K)时间内，对输入的N/K个通道的第一帧数据，按通道逐个进行处理；在时间片结束的(T/K)时刻，将处理后的数据输出。依此类推，直到第K个时间片，处理完所有的K组N个通道，然后进入下一个处理周期。

以编码为例，其处理时序如图3所示，由图3可以看出，通道1到通道N/K被分配到第一个时间片T/K内处理，通道(N/K)+1～2N/K被分配到第二个时间片T/K～2T/K内处理，依次类推，第(K-1)×(N/K)+1个通道～第N个通道被分配到第K个时间片(K-1)T/K～T的T/K时间内处理。在0时刻，将由1～N/K通道输入的数据流，按成帧时间T，截取第一帧数据；在0～(T/K)时间内，对截取的N/K个通道的第一帧数据，按通道逐个进行编码；在(T/K)时刻，将编码后的数据发送到分组网络侧，并将由(N/K)+1～2(N/K)通道输入的数据流，按成帧时间T，截取N/K个通道的第一帧数据；在T/K～2(T/K)时间内，对截取的N/K个通道的第一帧数据按通道逐个进行编码，并在2(T/K)时刻，将编码后的数据发送到分组网络侧；依此类推，在(K-1)×T/K时刻，将最后N/K个通道的数据流，按成帧时间T，截取第一帧数据，并在第K个时间片T-T/K~T时间内，按通道逐个进行编码，并在T时刻将编码后的数据发送到分组网络侧；重复以上过程，处理以后各帧数据。

以上可以看出，第一个时间片处理的第一帧数据，通道的编码方向的处理时延为T+T/K。第二个时间片处理的通道(N/K+1～2N/K)的第一帧数据，通道的编解码方向的处理时延仍为T+T/K。依次类推可以看出，所有通道的编码方向的处理时延都为T+T/K，时延比批量处理时的2T减少了T-T/K，达到了降低通道编码方向时延的目的，K值越大减少的时延越多。本发明中提到的N是编解码器能够处理的最大通道数，它与编解码器的处理能力有关，不影响通道的编码方向的时延。

以解码为例，其处理时序如图4所示，由图4可以看出，解码时间T被分成K个时间片，每个时间片为T/K，每个时间片内处理的通道数为N/K，其中K＝1、2、……K，N为总通道数。在0时刻，输入由1～N/K个通道的第一帧编码数据；在0～T/K时间内，将输入的N/K个通道的第一帧编码数据，按通道逐个进行解码；在T/K时刻，将解码后的数据发送到电路交换网络侧，同时输入N/K+1～2N/K通道的第一帧编码数据；在T/K～2T/K时间内，将输入的N/K个通道的第一帧编码数据，按通道逐个进行解码，在2T/K时刻，将解码后的数据发送到电路交换网络侧；依此类推，在(K-1)×T/K～T时间内，将输入的最后N/K个通道的第一帧编码数据，按通道逐个进行解码，在T时刻，将解码后的数据发送到电路交换网络侧；重复以上过程，处理以后的各帧数据。

下面介绍本发明的两个实施例：

本发明的第一个实施例是，用ITU-T G723.1编解码方法，组成一帧数据，需要30ms，因此T＝30ms，采用分时处理方法，将T分为6个时间片，每个时间片为T/K＝5ms，编解码器处理路数为N＝60，每个5ms时间片内处理10个通道。因此得到的编解码方向处理时延为30+T/K＝35ms，再加上一个由算法决定的固定预取时延7.5ms(参见ITU-T G723.1协议)，编解码方向的总时延为35+7.5＝42.5ms，可以看出这个时延比批量处理时的67.5ms减少25ms，编解码方向的时延有比较大的降低，同时还可以通过增大时间片K的个数，进一步减少时延。

本发明的另一个实施例是，使用AMR编解码算法，成帧时间为T＝20ms，将T分成4个时间片，每个时间片为T/K＝5ms，编解码器处理路数N＝40，每个时间片内处理N/K＝10个通路，由于AMR算法的固定预取时延为5ms，因此得到系统编解码方向的总时延为T+T/K+5＝30ms，而不采用本发明调度方法时系统编解码方向的总时延为T+T+5＝45ms，可以看出AMR编解码方向的时延降低了45-30＝15ms。此应用证明了本调度方法能够降低系统编解码方向的时延。

本发明提出的基于分时处理的低时延多媒体传输编解码调度方法，可以分别用于编码调度或解码调度，或同时用于编、解码调度。

本发明的方法，可以应用于语音编解码、图像处理和其它种类多媒体流的编解码。