用于数字基带视频中的丢失帧检测的启发式方法

摘要

本发明涉及用于数字基带视频中的丢失帧检测的启发式方法。根据本发明的实施例的用于检测视频中丢失帧的视频检测器可包括：质量测量器，其被构造为生成在当前帧和先前帧之间的过渡的质量度量，动态阈值生成器，其被构造为基于在当前帧内的块的比较来生成阈值，以及标识器，其被构造为基于在差值和阈值之间的比较来将所述视频指示为具有丢失帧。还描述了在视频流中执行丢失帧检测的方法。

说明书

技术领域

本公开涉及视频分析，并且更特别地，涉及检测视频流中何时已经丢失视频帧。

背景技术

视频或者视频流是顺序图像帧的集合。有时，由于多种因素中的任意因素，在视频传送期间一些帧可能被丢失，并使得到的视频在质量上受到影响。例如，由于低带宽传输信道、高编码复杂度，或甚至在从基于磁带的工作流转换到基于文件的工作流期间，帧可能被丢失。

一一种视频质量测量度量被称为体验质量(QOE)，其将一个数值归于视频或者视频的一部分。由于观看包括了相当大数量的丢失帧的视频对用户而言是失望的并且不是愉快的观看体验，因此丢失帧降低了QOE。

附图1中图示出了描绘丢失帧的典型情况。帧1、2和3存在于视频中，而帧4-7已经丢失。该视频从帧8继续。

自动丢失帧检测是一个要解决的固有难题，这是因为存在大量的因素，例如，视频中运动的数量、视频内容的特性、由于闪光或者视频中的其他原因引起的大的亮度变化、感觉到的抖动的主观特性、源处的获取帧率、以及丢失帧本身的数量。

在由Steven Wolf提出，题目为“A no-reference（NR)and reduced reference(RR)metric for detecting dropped video frames”，并且包括在2009年1月的“Proceeding of the Fourth Intemational Workshop on Video Processing and QualityMetrics for Consumer Electronics”中的文章中，描述了一种解决自动帧丢失检测的问题的尝试。报导的方法利用了跨越视频序列的N帧的“运动能量时间历史”。随后其使用这一信息来生成一个阈值，以确定视频帧是否被丢失。这一方法的潜在缺点是其仅仅依赖于视频帧的亮度变化，并且忽视了其他可能的失真。而且，这一方法在计算“运动能量时间历史”时，仅对全局”帧级别起作用。

本发明的实施例解决了现有技术的这些以及其他局限性。

发明内容

本发明的实施例解决了现有技术中对于检测视频流中的丢失帧的不足。根据本发明的实施例的用于检测视频中丢失帧的视频检测器可包括：质量测量器，其被构造为生成在当前帧和先前帧之间的过渡的质量度量，动态阈值生成器，其被构造为基于在当前帧内的块的比较来生成阈值，以及标识器，其被构造为基于差值和阈值之间的比较来将视频帧指示为具有丢失帧。此外，本发明的实施例可包括用于检测视频流中的丢失帧的方法。示例方法可包括首先确定从先前帧向当前帧的过渡的质量度量，然后将该质量度量与阈值差分水平进行比较。然后，当质量度量满足或者超出阈值差分水平时，该方法指示在视频帧的流中存在丢失帧。下面描述检测丢失帧的视频检测器和方法的其他变形。

附图说明

图1图示出了通过本发明的实施例可被确定为具有丢失帧的视频中的单个场景的一系列视频帧。

图2图示出了由本发明的实施例所使用的由丢失帧引起的时间差异。

图3图示出了通过本发明的实施例不可被确定为具有丢失帧的视频中的两个场景的一系列视频帧。

图4是图示出了根据本发明的实施例的检测视频中丢失帧的示例方法的流程图。

图5是图示出了根据本发明的实施例的获取动态阈值水平的示例方法的流程图。

图6是图示出了根据本发明的实施例的被构造为识别视频的丢失帧的视频检测器的部件的框图。

具体实施方式

结构相似性索引度量(SSIM)是用于评价视频的客观质量度量，并且在Z.Wang等提出的，题目为“Image Quality Assessment：From Error Visibility toStructural Similarity”，并在“IEEE Transactions on Image Processing,Vol.13，No.4，2004年4月”中公布的文章中被一般性描述，并且该文章通过引用被并入本文中。

SSIM已经仅被用作为一种质量度量，以评估原始帧和应用了有损视频压缩技术之后的对应压缩帧之间的失真。然而，本发明的实施例，首先将SSIM的概念扩展到帧之间的过渡之一，然后检查关于生成的SSIM的质量，从而帮助确定考虑中的视频中是否已经丢失帧。

已知SSIM来对人类视觉系统(HVS)进行建模，因为其在评价两个视频帧时，考虑了亮度(L)、对比度(C)以及结构(S)上的变化。分量L、C和S中的每个被定义如下：

等式1  L＝(2*Ux*Uy+C１)/((Ux)²+(Uy)²+C1)

等式2  C＝(2*σx*σy)+C2)/((σx)²+(σy)²+C2)

等式3  S＝(σxy+C3)/((σx*σy)+C3)

总SSIM是这些分量的乘机，并且被定义如下，

等式4  SSIM(x，y)＝(2*Ux*Uy+C１)*(2*σxy+C2)/(((Ux)²+(Uy)²+C1)*((σx)²+(σy)²+C2))

其中，

·x,y规定了帧中的小重叠滑动窗口。

·Ux＝块x的平均值

·Uy＝块y的平均值

·(σx)²＝块x的方差

·(σy)²＝块y的方差

·(σx）＝块x的标准偏差

·(σy)＝块y的标准偏差

·σxy＝块x和y的共方差

·C1＝定义为(k1L)²(k1-0.01)的恒量

·C2＝定义为(k2L)²(k2-0.03)的恒量

·C3＝C2/2

·L＝像素的动态范围-(2bits_per_pixel-l)

本发明的实施例利用了一种原理，即，在两个连贯帧之间丢失了某些视频帧时，由于它们之间的时间距离，使得这两帧倾向于变得固有地“不相似”。它们之间丢失的帧的数量越高，时间距离就越大，并且因此不相似性就越大。图2中图示出了这一点。在这一原理基础上，计算两个连贯帧之间的SSIM。如下面参考图5描述的，还评价以每帧为基础的动态阈值，其考虑在当前帧N中的每个小块的局部变化。然后，如参考图4所描述的，在阈值和SSIM之间的最终比较决定了在帧N和(N-1)之间是否丢失了任何帧。

如图3中所图示出的，当检测帧丢失时，要考虑的一个方面是在视频序列中的“场景变化”。典型地，在视频序列中存在一些点，在该点处，存在从一个“场景”到另一个场景的突然过渡，诸如图3中所图示的。在图3中，第一场景包括帧1和2，而第二场景包括帧3、4和5。当然，场景通常长于二或三帧，并且这一图示仅仅被做出来表达概念。这样的场景过渡不应被认为是帧丢失，即使帧3将与帧2十分不同。因此，作为对下面描述的方法的先例，首先对给定帧执行场景变化检测。如果其确实被检测为是新“场景”的开始，则无需进一步处理，并且将序列中的下一帧针对帧丢失进行评价。

可以使用任何场景变化检测技术，例如在由XiaoquanYi和Nam Ling提出并在2005年6月的“Annual International Symposium on ComputerArchitecture”中公布的，题目为“Fast pixels-based video scene change detection”的文章中描述的技术，其通过引用被并入本文中。

如图4所图示的，示出了一种用于检测视频帧的流中的丢失视频帧的示例方法。在图4中，示例方法100在操作110处开始，其开始于由一系列的帧构成的视频流中的第一一帧。由于这一一示例方法计算两帧之间的SSIM，紧接在操作110之后，方法100沿着“A”方向退出操作115，其仅在操作155中，前进到视频中的下一帧。接着，操作160确定是否到达序列的末尾。在这种情况下，还没有到达末尾，因此操作160沿着“B”方向退出，返回到操作115。

在第二次及随后的各次经过操作115，方法100退出到操作120，其确定在当前帧和紧接在前的一帧之间是否已经存在场景变化。如果存在场景变化，则操作125确定还不存在帧丢失，并且该方法紧接着进行到操作155，其将该方法100前进到下一帧。如果相反，在操作120中不存在场景变化，则在操作130中使用例如上面描述的技术来针对当前帧计算平均SSIM。

接着，在操作135中计算动态帧丢失阈值。参考图5，给出了计算动态帧丢失阈值的更多细节，但是通常计算一个阈值，其确定构成当前帧的子帧块是彼此相似的还是进一步与彼比远离的。

在计算针对当前帧的动态帧阈值之后，将在步骤130中计算的针对该帧的平均SSIM与在操作135中计算的帧丢失阈值进行比较。如果平均SSIM小于或者等于计算的动态帧丢失阈值，则在操作150中将该流标记为包括丢失帧。如果相反，平均SSIM大于动态帧丢失阈值，则操作145确定该流在当前帧和先前帧之间不具有丢失帧。

操作155前进到该流中的下一帧并且返回到操作115来分析下一帧。相反，如果操作150确定序列已经结束，则该方法100在步骤165处结束其处理。

因此，本发明的实施例通过首先确定视频中从先前帧到当前帧的过渡的质量度量来检测视频帧的流中的丢失视频帧。如上所述，通过计算针对当前帧的SSIM来确定这一度量。接着将该质量度量与阈值差分水平进行比较。最后，当该质量度量满足或者超过阈值差异水平时，本发明的实施例指示视频帧的流中存在丢失帧。

一些实施例还附加地确定在当前帧和先前帧之间是否存在场景变化，并且如果有，则省去对当前帧的处理。

一些实施例通过生成动态阈值水平来计算阈值差异水平。这可包括将当前帧的多个子帧块的SSIM与用于比较的子帧块的相似性的度量进行比较。其他实施例还将多个子帧块的SSIM与不相似性的度量进行比较。

图5图示出了用于计算动态阈值水平的示例方法200。该方法200开始于操作210，通过计算针对当前帧中的子帧块的度量，例如SSIM的标准偏差。操作220中初始化了临时帧丢失阈值总量。

操作230将当前子帧块的SSIM与相似性阈值进行比较。该相似性阈值根据经验被确定，并且可以为各种类型的应用而被调整。如果当前子帧块的SSIM等于或者超过相似性阈值，则在操作235中从当前子帧块的SSIM中减去该标准偏差。这通过降低帧丢失阈值来有效地“奖励(reward)”相似块。

接着，操作240将当前子帧块的SSIM与同样根据经验确定的不相似性阈值进行比较。如果当前子帧块的SSIM等于或者小于该不相似性阈值，则在操作245中将该标准偏差加到当前子帧块的SSIM。这通过增加帧丢失阈值来有效也“惩罚(punish)”不相似块。

无论在操作235还是245中已经进行调整与否，操作250都将针对当前子帧块的SSIM加到临时帧丢失总量。如果当前块是该帧中的最后的子帧块，该方法200在“是”方向上退出操作260，并且在操作270中通过生成平均帧丢失阈值来确定最终动态帧丢失阈值。如果相反，存在更多子帧块要计算，则在操作265中下一个块被增量，并且该方法200返回到操作230以用于进一步处理。

可通过特殊化的硬件来执行该方法，例如专用集成电路(ASIC)、或者数字信号处理器(DSP)。其他实施例可包括编程的现场可编程门阵列(FPGA)，或者特殊化的电路。其他的实施例可以在专业计算机处理器或者一个或者多个特定编程的通用处理器上执行。

图6中图示出了根据本发明的实施例的视频解码器的示例实施例，其示出了用于检测视频中丢失帧的视频检测器300。针对检测器300的输入接受由多个帧构成的视频。该帧可由多个子帧块构成。质量测量器310被构造为生成在视频信号的当前帧和先前帧之间的过渡的质量度量。动态阈值生成器320被构造为基于在当前帧内的块的比较来生成阈值，例如通过使用与上面参考图5所描述的方法200相同或者相似的技术。该视频检测器300还包括标识器330，被构造为基于在差值和阈值之间的比较来将视频指示为具有丢失帧。在一些实施例中，质量测量器310是结构相似性索引度量(SSIM)计算器。

动态阈值生成器320可接受作为输入的相似性阈值322和不相似性阈值324，这两个阈值都可以根据经验来确定。

该视频检测器300还包括场景变化检测器340，其被构造为确定在当前帧和先前帧之间是否存在场景变化。

如上所述，在各种实施例中，本发明的部件可以按照硬件、软件、或者二者的组合来实现，并且可包括通用微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等等。

将根据前面的讨论所理解的是，本发明代表了在视频检测上的显著改进。尽管已经出于说明目的说明和描述了本发明的具体实施例，但是将理解的是，在不背离本发明的精神和范围的情况下，可以做出各种修改。因此，除了如由所附权利要求所限制外，本发明不应当被限制。