基于分组度量和图像度量两者测量视频质量的系统和方法

摘要

本发明提供了一种用于视频流的视频质量测量(VQM)系统。所述系统包括神经网络VQM模块，该神经网络VQM模块的体系结构被构建为基于视频流的图像度量和分组度量两者来计算视频质量度量。该VQM系统还包括图像度量测量模块，其接收视频流并计算该视频流的图像度量。该VQM系统还包括分组度量测量模块，其获得关于视频流的分组级别特性的信息，以计算分组度量。计算出的图像度量和分组度量被输入所述神经网络VQM模块，以计算视频质量度量。该VQM系统还包括VQM测试台，用于确定和验证神经网络VQM模块的体系结构。此外，本发明还提供了基于图像度量和分组度量两者执行的用于视频流的视频质量测量(VQM)方法。

说明书

技术领域

本发明的技术领域涉及视频质量测量(VQM)，具体而言，涉及用于通过组合运用分组度量和图像度量两者来实现无参考在线服务中VQM的系统和方法。

背景技术

由于视频服务(例如视频蜂窝电话、视频会议、基于需求视频、因特网协议电视(IPTV)和远程学习)被广泛应用于分组网络(例如下一代网络(NGN)、三重播放网络和第3代网络)，因此在实时测量通过分组网络传送的服务中视频质量方面存在极大并且迫切的需求。

现有两种VQM方法，即主观方法和客观方法。主观方法基于人类主体在已定义的受控条件下所执行的评估。主观方法成本很高并且耗时。另外，主观方法的过程无法自动化。

客观方法采用给定的算术、物理或心理模型评估视频质量。另外，客观方法的执行可以参考或不参考原始视频图像。因此，客观方法可被划分为三类：全参考(FR)方法、简化参考(RF)方法或无参考(NR)方法。FR方法和RF方法都需要参考关于原始视频(即从发送端实际发送的视频)的信息，因此无法被用于在线服务中VQM。NR方法无需参考原始视频的信息。相反，NR方法只关注解码后的视频(即在接收端接收并解码后的视频)并且仅使用观察到的关于解码后视频的信息来评估视频质量。这使得NR方法适合于真实网络环境中的在线服务中VQM。

NRVQM方法一般被分成两类，即基于图像度量的NRVQM方法和基于分组度量的NRVQM方法。

基于图像度量的NRVQM方法通过分析最终用户接收到的视频图像的图像特征来评估视频质量，所述图像特征例如是急动失真、块失真、模糊失真以及空间信息和时间信息。但是，基于图像度量的NRVQM方法的主要缺点在于它的计算复杂度非常高，从而使它无法适用于实时应用，尤其是无法适用于其计算资源非常受限的移动设备。此外，另一缺点是基于图像度量的NRVQM方法无法应用于网络排查。

基于分组度量的NRVQM方法是通过测量视频流的分组级别特性来评价视频质量的，分组级别特性例如是抖动、延迟和分组丢失。这些基于分组度量的NRVQM方法的主要缺点在于它们无法与人类感觉很好地关联起来。虽然已经提出了某些改进方法来克服上述问题，但是这些方法仍然无法捕获由源引起的视频毁损，而这种情况在用于视频蜂窝电话和视频会议的应用中是非常典型而且常见的。

因此，需要一种在不具有上述缺陷的NRVQM方法和系统来实时测量视频质量。

发明内容

一种用于视频流的视频质量测量(VQM)系统包括神经网络VQM模块，该神经网络VQM模块的体系结构被构建为基于视频流的图像度量和分组度量两者来计算视频质量度量。该VQM系统还包括图像度量测量模块，其接收视频流并计算该视频流的图像度量。该VQM系统还包括分组度量测量模块，其获得关于视频流的分组级别特性的信息，以计算分组度量。计算出的图像度量和分组度量被输入所述神经网络VQM模块，以计算视频质量度量。该VQM系统还包括VQM测试台，用于确定和验证神经网络VQM模块的体系结构。

此外，一种基于图像度量和分组度量两者的视频质量测量(VQM)方法包括确定和验证用于计算视频流的视频质量度量的神经网络VQM模块的体系结构的步骤。该VQM方法还包括计算接收到的视频流的图像度量和分组度量并将该图像度量和分组度量输入上述神经网络VQM模块，以计算视频质量度量。

附图说明

当结合附图阅读以下描述时，可以更全面地理解本发明的前述和其它特征，在附图中：

图1示出根据本发明一个实施例的VQM系统的框图，该VQM系统利用分组度量和图像度量两者来计算视频质量度量；

图2是示出图1所示神经网络VQM模块的体系结构模型的一个示例的结构图；

图3是由图1的VQM系统100执行的基于图像度量和分组度量两者的VQM方法的流程图；

图4示出了如图1所示的用于仿真各种网络状况的VQM测试台的框图；

图5示出如何生成用在图4的VQM测试台中的失真视频质量数据库；

图6示出利用图4所示VQM测试台确定和验证神经网络VQM模块的体系结构模型的过程的一个示例；

图7示出图1所示分组度量测量模块的一个示例的框图；

图8是示出MPEG4图像帧的传输协议栈的图；

图9示出图1所示图像度量测量模块的一个示例的框图；以及

图10是图9所示采样单元的采样过程的一个示例的示意图。

具体实施方式

根据本发明的实施例并且如图1所示，VQM系统100用于基于分组度量和图像度量两者来实时评估视频质量。VQM系统100利用神经网络VQM模块103来基于分组度量和图像度量产生视频质量度量。VQM系统100能够实现NR在线服务中VQM，并且其与人类感觉具有很好的关联性。同时，其计算复杂度很低，从而使其能够应用于计算资源在大多数情况下受限的无线VQM应用或便携式装备，并能够应用于同时提供多个视频流信道的有线VQM应用。此外，该系统还被应用于网络排查。

以下以MPEG4格式视频流作为示例给出了根据本发明一个实施例的VQM系统100的详细描述。但是，应该注意，该VQM系统也可用于其它视频格式，例如MPEG2、H.263、H.264/AVC、VC-1等等。

VQM系统的结构和操作理论

下面，将参考图1来描述根据本发明一个实施例的VQM系统100，以及示出VQM系统100的操作的图2的流程图。在图1中，除了VQM系统100之外，还示出了接收客户端105，以辅助对VQM系统100从接收端收集参数的过程的描述。VQM系统100包括图像度量测量模块101、分组度量测量模块102和神经网络VQM模块103。

在VQM系统100中，图像度量测量模块101从接收客户端105的视频解码器1052获取视频流并计算图像度量，例如图像差分度量image。本领域公知的任何用于测量图像度量的方法都可被用于图像度量测量模块101。这些方法中的一个示例将随后参考图9和图10来更详细描述。分组度量测量模块102负责获取关于RTP(实时协议)层中分组统计量的信息，以生成分组度量。例如，对于MPEG4视频流而言，分组度量是一个分组度量向量PM＝<IR，PLR_I，PLR_P>^T，其中IR、PLR_I和PLR_P分别代表I帧速率、I帧分组丢失率和P帧分组丢失率。对于其它视频格式，可以采用其它分组统计参数作为分组度量PM。用于测量分组度量PM＝<IR，PLR_I，PLR_P>^T的方法的一个示例将随后参考图7和图8来描述。图像度量测量模块101和分组度量测量模块102的输出，即图像差分度量image和分组度量向量PM＝<IR，PLR_I，PLR_P>^T，将被用作神经网络VQM模块103的输入。最终，神经网络VQM模块103将基于这些输入计算出视频质量度量q。

图2示出了神经网络VQM模块103的体系结构模型的一个示例，该神经网络模块是典型的多层反向传播神经网络。在该神经网络中，输入P₁是一个4×1向量，即P₁＝<IR，PLR_I，PLR_P，image>^T，如上所述，其中各项代表I帧速率、I帧分组丢失率、P帧分组丢失率和图像差分度量。输出a₂对应于图1中的视频质量度量q。图2所示用于实现VQM的神经网络的体系结构仅仅出于举例说明的目的。在其它实施例中，可以采用更复杂的神经网络，以便应用到具有更多计算资源并要求更高测量精确度的设备。在一个实施例中，神经网络VQM模块103的体系结构模型是利用VQM测试台110来确定和验证的，并且随后将描述确定和验证的过程。

接下来，将参考图3来描述利用VQM系统100执行的基于图像度量和分组度量两者的VQM方法300。

在图3的流程图中，过程开始于构建合适的神经网络VQM模块103(步骤301)以评估视频质量。在一个实施例中，神经网络VQM模块103的体系结构模型是通过使用由VQM测试台110生成的一系列训练样本训练由用户选出的多个神经网络候选来确定的，该确定过程随后将更详细描述。但是，应该注意，本发明并不局限于该特定实施例，任何用于构建合适的神经网络VQM模块103的方法都可被应用。

在构建了合适的神经网络VQM模块103之后，该构建出的神经网络VQM模块103可以被验证和测试以评价其精确性和适应性(步骤302)，该步骤是一个可选步骤。在一个实施例中，该验证和测试步骤也是由VQM测试台110执行，如随后将描述的。但是，用于验证和测试神经网络VQM模型的方法并不局限于该特定实施例。

接下来，VQM系统100的图像度量测量模块101和分组度量测量模块102从接收客户端105收集参数(步骤303)，包括来自视频解码器1052的视频流和RTP层1053中的分组统计信息。然后，图像度量测量模块101和分组度量测量模块102分别生成图像度量image和分组度量PM(步骤304和305)。用于生成图像度量image和分组度量PM的详细过程随后将描述。在步骤306中，生成的图像度量image和分组度量PM被输入到神经网络VQM模块103，并在其中计算出视频质量度量q。

接下来，参考图4到图10，将更详细地描述VQM测试台110、图像度量测量模块101和分组度量测量模块102的结构以及它们的功能与操作。但是，应该注意，这些模块的结构和操作并不局限于这些特定实施例。

VQM测试台

如图3所示，由于本发明的一个实施例利用神经网络VQM模块评估视频质量，因此我们首先需要确定该神经网络的体系结构。在一个实施例中，首先由用户选出多个神经网络候选。然后，VQM测试台110生成一个典型训练序列S＝<s₀，s₁，s₂，...，s_n>来训练这些神经网络候选，从而选出一个最佳神经网络作为神经网络VQM模块103。一个训练样本s_i＝<I_i，O_i>(0≤i≤n)包括输入向量I_i＝<IR_i，PLR_I_i，PLR_P_i，image_i>^T和相应的输出O_i。就是告诉神经网络其体系结构模型应该是这样的：如果模块的输入是I_i，则应该生成输出O_i。在该实施例中，输入I_i是一个4×1向量，其中元素分别代表I帧速率、I帧分组丢失率、P帧分组丢失率和图像差分度量。而输出O_i代表被评价视频的视频质量度量。因此，为了选择用于VQM的最佳神经网络，需要首先生成多个训练样本s_i＝<I_i，O_i>(0≤i≤n)。在该实施例中，VQM测试台110被用于仿真网络状况以及生成失真视频d，该失真视频d进而被用于构建训练样本s_i＝<I_i，O_i>(0≤i≤n)，随后将对此进行详细描述。此外，除了生成训练样本之外，VQM测试台110还可用于验证和测试所选神经网络VQM模块103的体系结构模型。

在一个实施例中，VQM测试台110具有两种工作模式，即失真视频生成模式和模型验证模式。

在图4中，处于失真视频生成模式的VQM测试台110的结构被示出。该VQM测试台110包括视频流服务器401、流操纵器402、视频流客户端403、失真配置工具404、原始视频数据库405、失真参数数据库406和失真视频数据库407。参考图4，用于生成训练样本s_i＝<I_i，O_i>(0≤i≤n)的过程将被描述。

首先，VQM测试台110中的失真参数数据库406被构建，用以存储输入向量I_i的一部分，即<IR_i，PLR_I_i，PLR_P_i>^T。这些初始参数是通过实际网络测量预先确定的。用于确定这些网络参数的方法是本领域技术人员公知的，因此这里省略其详细描述。

随后，失真配置工具404基于失真参数数据库406指定失真配置并使用该失真配置来配置流操纵器402。然后，从原始视频数据库405选出原始视频片断(clip)v，并将传送该片断的流分组发送到流操纵器402。流操纵器402根据失真配置工具404指定的失真配置仿真一种网络环境，使其接收的分组失真，并将失真的流分组输出到视频流客户端403。视频流客户端403将失真视频片断d存储在失真视频数据库407中。然后，在一个实施例中，可以使用一种离线的FR(全参考)VQM方法来评估失真视频质量，即输出O_i，这是通过参考原始视频片断v和失真视频片断d两者来实现的。

图5示出用于使用FRVQM模块501来评估失真视频质量的过程的一个示例。所获得的失真视频质量O_i可被存储在失真视频质量数据库502中。本领域技术人员公知的任何FRVQM方法可被用于FRVQM模块501，例如峰值信噪比(PSNR)方法、ITS模型、基于结构失真的方法等等。应该注意，任意种类的VQM方法都可被用于评估失真视频质量，无论是客观方法还是主观方法。但是，客观方法可以节省成本和时间。此外，FRVQM方法可以提供准确而精细的视频质量评估。由于该处理是离线的，因此可以使用更加高级和复杂的NRVQM方法，即使这些方法的计算复杂性非常高也可使用。

最后，失真视频片断d被发送到图像度量测量模块101来计算图像差分度量image_i，其作为输入向量I_i的另一部分。图像度量测量模块101可以利用现有的NRVQM方法之一来生成图像差分度量image_i。这些NRVQM方法中的一个示例随后将参考图9和图10来描述。应该注意，这里也可以使用其它用于生成图像度量的NRVQM方法。然后，我们将原始参数向量<IR_i，PLR_I_i，PLR_P_i>^T与图像差分度量image_i组合在一起，从而构建出完整的输入向量I_i。从而，我们得到了一个完整的训练样本s_i＝<I_i，O_i>。

以同样方式生成所有训练样本s_i＝<I_i，O_i>(0≤i≤n)，然后这些训练样本被用于训练神经网络候选以获得一个最佳的神经网络VQM模块103。利用典型的训练序列训练神经网络的方法是本领域公知的，因此这里省略。

如图3中的步骤302所述，在构建了神经网络VQM模块103之后，VQM测试台110可被用来验证和测试其精确性和适应性。此时，VQM测试台110处于模型验证模式中。处于模型验证模式的VQM测试台110的结构如图6所示。

如图6所示，在模型验证模式中，典型的验证过程由三个阶段构成：会话建立阶段、流分组传输阶段和视频质量测量与反馈阶段。在第一阶段，视频流客户端403向视频流服务器401发送会话初始请求。服务器401从请求中获得客户端信息，从而初始化会话并将会话初始回复传递到客户端403。此时，服务器401将初始化流操纵器402。在第二阶段，服务器401将读取原始视频片断v，对片断v中的流分组打包并将其传递到流操纵器402。流操纵器402可以根据用户指定的不同IP毁损(例如分组丢失率、抖动和延迟)来仿真各种网络状况。然后，流操纵器402使接收的流分组失真并将失真的流分组发送到客户端403。在第三阶段，客户端403记录失真视频片断d，并基于已生成的神经网络VQM模块103来计算失真视频质量度量q。失真视频质量度量q被反馈到视频流服务器401。

在完成该过程之后，图5所述FRVQM方法被用来计算失真视频片断d的视频质量度量q′。然后，视频质量度量q和q′被用于校准分析过程，以评价所构建的神经网络VQM模块的精确性和适应性。

分组度量测量模块

图7示出了图1所示VQM系统100的分组度量测量模块102的一个示例的框图。分组度量测量模块102包括视频流帧类型确定单元701、IR计算单元702、PLR_I计算单元703和PLR_P计算单元704。分组度量测量模块102例如接收多个MPEG4帧(其中每个MPEG4帧包含若干RTP分组)，或者关于RTP层分组统计量的信息以及输出分组度量PM。在该示例中，分组度量PM是一个向量PM＝<IR，PLR_I，PLR_P>^T，其中IR、PLR_I和PLR_P分别代表MPEG4视频流的I帧速率、I帧分组丢失率和P帧分组丢失率。但是，应该注意，本发明并不局限于该特定示例，其它分组统计量也可被用来构建分组度量PM。

在图8中，示出了用于描绘MPEG4图像帧的传输协议栈的图。利用分组度量测量模块102，首先接收多个MPEG4帧。假设考虑每秒钟的RTP分组统计量，并且如本领域技术人员公知的，每秒钟的MPEG4帧数目为25或30，例如分组度量测量模块102首先接收30个MPEG4帧。这30个帧被逐个发送到视频流帧类型确定单元701以确定它们的类型。如本领域技术人员所知，MPEG4帧被分成I帧、P帧、B帧和D帧。在每个MPEG4帧头部，存在某些代表MPEG4标准中帧类型的字段。因此，当接收到特定帧f_i时，视频流帧类型确定单元701根据这些字段确定该帧(I帧、P帧等等)的类型。

在确定了帧f_i的类型之后，过程前进至确定各种RTP分组统计量。具体而言，如果帧f_i被确定为I帧，则IR计算单元702中的用于对I帧数目计数的计数器(未示出)加1。然后，可以获得1秒的I帧速率IR。同时，帧f_i被发送到PLR_I计算单元703，以计算该帧的分组丢失率。在每个RTP固定头部，存在被称为“序列号”的字段，其被用于检测分组丢失和存储分组序列。并且有一个标记位(M)被用于指示传送一帧数据的最后一个分组。对于帧f_i，我们可以获得其第一个和最后一个序列号，分别记作sⁱ_min和sⁱ_max。当接收到该帧的一个新分组时，PLR_I计算单元703中的分组计数器(未示出)加1，就是说，对于帧f_i，c_i＝c_i+1。当帧fi的最后一个分组(其标记位(M)被设置为1)被接收时，我们可以计算用于在网络上发送该帧f_i的分组总数n_i＝sⁱ_max-sⁱ_min+1，丢失分组数l_i＝n_i-c_i以及分组丢失率r_i＝l_i/n_i。对于一秒钟的所有I帧，PLR_I计算单元703计算出总的分组丢失率，作为I帧分组丢失率PLR_I。另一方面，如果帧f_i被确定为P帧，则将帧f_i发送到PLR_P计算单元704来计算该帧的分组丢失率。计算P帧分组丢失率的过程与计算I帧分组丢失率的过程相同。然后，PLR_P计算单元704计算出一秒钟的所有P帧的总分组丢失率作为P帧分组丢失率PLR_P。然后，可以获得分组度量向量PM＝<IR，PLR_I，PLR_P>^T。如上所述，用于获得分组度量的过程并不局限于特定实施例，其它适当的方法可被利用。

图像度量测量模块

在一个实施例中，用于计算图像度量image的图像度量测量模块101的一个示例如图9所示。该图像度量测量模块101包括用于截取多个相邻图像帧的截取单元901、用于在每个图像帧中采样多个像素块的采样单元902、用于检测每个被采样的块在截取的帧期间的变化以确定经历了图像质量下降的块的数目的检测单元903，以及用于生成图像度量image的图像度量生成器904。与处理图像帧的整个图像区域以获得或计算图像度量的方法不同，该图像度量测量模块101中的采样单元902仅采样图像帧中的某些块。例如，可以在图像帧中采样构成矩阵的M×N个块，如图10所示。因此，该图像度量测量模块和方法提供了精确性和速度之间的折衷。在该实施例中，图像度量image被测量为image＝P/M×N，其中P是经历了图像质量下降的块的数目。但是，应该注意，本发明并不局限于该特定实施例，任意用于测量视频流的图像度量的系统和方法都可被使用。

如上所述，在分组度量测量模块102测量出分组度量PM并且图像度量测量模块101测量出图像度量image之后，分组度量PM和图像度量image被作为输入向量P₁发送到神经网络VQM模块103以获得视频质量度量q。

根据本发明的一个实施例的VQM系统和方法将分组度量和图像度量组合在一起来实时评估服务中视频质量，从而使其能够克服仅使用图像度量或分组度量的VQM方法的缺陷。根据本发明实施例的VQM系统和方法实现了与人类感觉相关联的NR在线服务中VQM。同时，根据本发明实施例的VQM系统和方法具有最小的计算复杂性，从而使其可被用于无线VQM应用或便携式装备。此外，它们还可用于网络排查。

在不脱离本发明的精神或本质特性的情况下，可以用其他特定形式体现本发明。因此，这里的实施例在所有方面都应看作是示例性的，而非限制性的，并且本发明的范围由所附权利要求书指定。因此，落入权利要求书及其等同物的范围内的所有修改都被视为包含在其中。