WMSN中基于CS的分布式视频编码的传输方法

摘要

本发明提供一种WMSN中基于CS的分布式视频编码的传输方法，在不同信道BER环境下的自适应的GOP选择和自适应的采样率选择；在压缩感知编码的基础上，通过差分帧编码实现数据量压缩；对差分帧的各点进行阈值判断，对在阈值以内的像素点进行置零，对阈值以外的点保留。对比已有的传输策略算法，本算法在信道带宽的利用上表现更优异，同时在视频重建上也表现出较高的重建质量，恢复图像的峰值信噪比PSNR相较于原有算法有所提高。同时，本发明的重点在于提供的传输策略相较于已有算法对传输带宽的占用更小。

说明书

技术领域

本发明涉及一种在多媒体无线传感网络中基于压缩感知的分布式视频编码 的传输策略，具体为一种WMSN中基于CS的分布式视频编码的传输方法，属 于压缩感知和分布式视频编码的技术领域，主要解决现有的传输方案中信道资源 利用的问题。

背景技术

在传统的信号处理理论领域里奈奎斯特定理指出，要实现采样信号的精确恢 复，采样率必须在原始信号带宽的两倍以上。在视频通信中，实际信号是宽带信 号，这必然加大了采样环节的负担，而且一般采样设备都比较昂贵和笨重，严重 限制了奈奎斯特采样定律在视频通信领域的应用。所以能否突破两倍采样频率实 现原始信号的近似精确重构，已经成为工程技术人员的研究热门问题。2006年 左右，华裔科学家陶哲轩，D.Donoho和E.Candes等提出了具有革命意义的信号 采样方案，压缩感知(CS:compressed sensing)。压缩感知理论突破了奈奎斯特-香 农定律采样率必须大于基带信号两倍带宽的局限，证明了奈奎斯特定律并不是最 优的采样理论。在压缩感知理论中，即便采样率在远小于原始信号的情况下，依 然可以实现精确重构。自从这种新型的编码理论提出以后，越来越多的科研人员 开始对此进行了探索和研究。目前，压缩感知理论已经在图像处理、计算科学、 感知网络和纯数学领域有了实际的应用。

随着多媒体传感网的发展，传统的视频编码技术已经不能满足无线多媒体传 感器节点的低复杂度和低功耗要求，而且传统的视频编码方案采用“联合编码， 联合解码”的技术，虽然这种技术拥有很高的压缩效率，但同时对信道错误特别 敏感，尤其在信道误码率比较高的情况下容易发生误码传播，对图像造成不可复 原的损失，而且传统的视频编码方案采样端的计算量很大，不能满足低复杂度和 低功耗的要求。在这种情况下，一种全新的视频编码方案，分布式视频编码(DVC: Distributed Video Coding)的框架逐渐开始受到科研人员的关注。

分布式视频编码是基于20世纪70年代Slepian和Wolf以及Wyner和Ziv 的信息编码理论，在编码端对信源进行独立编码，不进行或只进行简单的运动估 计；解码端利用视频序列的时域、空域等相关性进行联合解码，即“独立编码， 联合解码”的技术，将编码的运算复杂度从编码端转移到解码端。但分布式视频 编码的具体实现方案已经是2002年以后，将经典信道编码的思想应用到分布式 视频编码中，设计出了一系列比较成功的编码方案。其后经过十多年的努力，通 过对编解码的各个环节进行优化，使这种基于信道编码的分布式视频编码的编码 效率、率失真性能和解码效率都有比较大的改善。

相比传统的帧内编码，分布式视频编码的编码效率有了提高，但与传统的帧 间编码相比，还有较大的差距。然而分布式编码仍采用奈奎斯特率进行数据采集 方式不能应对视频领域海量数据的采集，为解决这一问题，研究人员考虑与传统 以奈奎斯特率进行采集方式截然不同的兼具数据采集和压缩的方式--压缩感知。 L.W.Kang将分布式压缩感知理论应用到视频信号中，提出了分布式视频压缩感 知DCVS(Distributed compressive video sensing)算法，基于压缩感知的分布式 视频编码已成为近年视频编码领域的研究热点。

发明内容

本发明在于克服已有的基于压缩感知的分布式视频编码技术中的缺点，提出 一种在多媒体无线传感器网络中，基于压缩感知的分布式视频编码系统的传输策 略。

本发明的技术解决方案是：

一种WMSN中基于CS的分布式视频编码的传输方法，

在不同信道BER环境下的自适应的GOP选择和自适应的采样率选择；

在压缩感知编码的基础上，通过差分帧编码实现数据量压缩；

对差分帧的各点进行阈值判断，对在阈值以内的像素点进行置零，对阈值以 外的点保留。

进一步地，差分帧为当前帧和前一个参考帧的对应像素点做差之后的一帧图 像，参考帧和非参考帧遵循的选取原则为：

一个视频序列被分成多个GOP，每个GOP的第一帧总是参考帧，其余的帧 为非参考帧，将参考帧的选取和差分帧的稀疏度联系在一起，差分帧的稀疏度人 为得设置出两个阈值：θhigh和θmoderate，差分帧的稀疏度为α，则有三种 情况：

情况一：α<θmoderate，参考帧将不再有参考性，当前帧重新确立为参考 帧；

情况二：θmoderate<α<θhigh，此时的参考帧和当前帧的相似度介于很高 和很低之间，求得当前帧和最近的参考帧的差分帧，对差分帧进行压缩感知编码， 这将压缩图像信息；

情况三：α>θhigh，当前帧图像将不被发送。

进一步地，阈值的确定为在能保证图像重建质量的前提下选取尽量大的阈值。

进一步地，压缩感知编码对待信道误码采用丢弃的方式。

本发明的有益效果是：该种WMSN中基于CS的分布式视频编码的传输方 法，对比已有的传输策略算法，本算法在信道带宽的利用上表现更优异，同时在 视频重建上也表现出较高的重建质量，恢复图像的峰值信噪比PSNR相较于原有 算法有所提高。同时，本发明的重点在于提供的传输策略相较于已有算法对传输 带宽的占用更小。

附图说明

图1是本发明一种WMSN中基于CS的分布式视频编码的传输方法的流程 说明图；

图2是原图像经过压缩感知编码恢复的图像；

图3是原图像经过差分帧编码恢复的图像；

图4是整个foreman视频序列的相邻帧的帧间相似度测量值的示意图；

图5是播音员视频在不用阈值选取下的信号压缩表现图；

图6是Stanford视频在不同信道误码处理下的重建质量对比图；

图7是Foreman视频在不同信道误码处理下的重建质量对比图；

图8是实施例中信道误码在10^-6下的表现图；

图9是实施例中信道误码在10^-5下的表现图；

图10是实施例中信道误码在10^-4下的表现图；

图11是实施例中信道误码在10^-3下的表现图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例

实施例一种WMSN中基于CS的分布式视频编码的传输方法，解决现有的 传输方案中信道资源利用的问题。实施例包括关键帧的选取、在不同信道BER 环境下的自适应的GOP选择和自适应的采样率选择。在无线多媒体传感网中， 由于传感节点运算能力的问题，传感器采集的图像多是没有经过压缩的Bitmap 图像。BMP图像比较大，直接传输可行性比较小，实施例提供的传输策略可以 使得在多媒体无线传感器网络中基于压缩感知的视频编码能适应网络带宽的要 求，从而能更方便的投入到实际应用中。

一种WMSN中基于CS的分布式视频编码的传输方法，如图1，在不同信道 BER环境下的自适应的GOP选择和自适应的采样率选择；在压缩感知编码的基 础上，通过差分帧编码实现数据量压缩；对差分帧的各点进行阈值判断，对在阈 值以内的像素点进行置零，对阈值以外的点保留。

实施例在原有压缩感知编码的基础上，引入了差分帧的概念。在不同运动程 度的视频序列中，差分编码在安防视频中表现最优异。

安防视频(security video)是指像安防监控视频那样的，背景画面不动，同时 前后两帧有很大相关性的视频序列。在对媒体无线传感器网络中，因为各传感器 节点的运算能力有限，为了保证可行性和实时性，传感器节点采集的都是未经压 缩的比特位图像，即bitmap图像。一副不算大的256*256的灰度图像就要占到 约66K字节，假设这样的图像一秒钟传输20帧，则每秒钟的需传输1.2MB的数 据，这对信道带宽来说是很大的挑战，而且这还只是传输256*256的灰度图像。

而引入差分帧编码的思想以后，传输数据量能得到很大程度的压缩。差分帧 是指当前帧和前一个参考帧的对应像素点做差之后的一帧图像，在上述的安防视 频序列中，因为视频背景不变，只有背景前的人或者物在运动，所以各帧之间有 很大的相似度。这样两帧图像做差之后，大部分的值都被置零了。这样差分帧将 是由大部分的零值和小部分的小值组成，所以差分帧的稀疏度比原图像要大很多， 差分帧编码只需要编码这些小值数据即可，实施例中通过这种方法有效的做到压 缩图像。

图2和图3分别是原图像经过压缩感知编码恢复的图像和编码差分帧恢复的 图像，从肉眼观察，两幅重建图像几乎没有差异，可见差分帧编码在不损失重建 质量度的情况下，在压缩图像方面的优势。

如图1，实施例对输入的视频序列进行采样并量化后，在压缩感知编码的基 础上，根据差分帧的稀疏度实现不同的CS帧压缩方式，压缩后的数据量通过无 线信道传输，解码端解码时，参考帧采用帧内解码，非参考帧与参考帧联合重建 视频序列后，将重建的视频序列输出。

实施例中，在参考帧和非参考帧的选取中遵循这样的原则。一个视频序列被 分成多个GOP(Group of Pictures)，每个GOP的第一帧总是参考帧，其余的帧为 非参考帧。但是如果在一个GOP中出现场景切换帧或者运动剧烈帧，这时原有 参考帧将不再具有参考性。如果还采用原有参考帧，差分帧的稀疏度会降低，也 将影响图像重建质量。为克服这种问题，在实施例中，参考帧的选取和差分帧的 稀疏度联系在一起，差分帧的稀疏度人为得设置出两个阈值，θ_high和θ_moderate。 差分帧的稀疏度为α，则有三种情况：

(1)α<θ_moderate，则意味着当前帧和参考帧的相似度很小，这种情况就是运 动剧烈帧或者场景切换帧。这时的参考帧将不许有参考性，当前帧重新确立为参 考帧。

(2)θ_moderate<α<θ_high，此时的参考帧和当前帧的相似度介于很高和很低之间， 求得当前帧和最近的参考帧的差分帧，对差分帧进行压缩感知编码，这将压缩图 像信息。

(3)α>θ_high，这种情况意味着当前帧和最近的差分帧的相似度很高，两帧 图像差异很小，这时可以认为这两帧图像是一样的，同样这帧图像可以不被发送， 这样就能进一步压缩图像。

图4是整个foreman视频序列的相邻帧的帧间相似度测量值，图4中的帧间 相似度用均方差MSE衡量，从图4中可以看出在大概150帧以后，帧间相似度 就开始变小，通过观察整个视频序列可以知道在150帧以后开始出现场景切换， 所以从150帧以后的参考帧开始随场景切换开始变换，从图4上的表现来看，在 150帧之前也有一些差异度比较大帧，这些尖峰值所在的帧也需要参考帧的重新 选取。

遵循这种参考帧选取的原则，既能保证数据的压缩，又能保证图像重建的质 量。

实施例中还增加了对差分帧中各像素点的阈值的判断。阈值又叫临界值，是 指一个效应能够产生的最低值或最高值，阈值处理在图像处理领域应用广泛。在 压缩感知编码中，稀疏表示之后的绝大部分图像信息保存在少量的大值数据中， 而大量的小值信息包含了少部分的数据。在进行图像重建时，少量的大值数据对 重建质量贡献占绝大部分比重，而大量的小值数据却贡献很小，所以在稀疏表示 之后的小指数据如果置零，这样可以在对图像重建质量影响不大的情况下进一步 增加了图像信息的稀疏度，进一步压缩图像信息。

实施例依照这种思想，对差分帧的各点进行了阈值的判断，对在阈值以内的 像素点进行了置零，对阈值以外的点保留。对阈值的选取根据不同的运动程度的 图像有所不同，阈值选取过大，损失的图像信息就有越多，严重的话会影响图像 的重建质量，阈值太小的话又起不到压缩图像的作用，所以阈值的选取也和重建 质量的要求有关。

针对阈值的选取，应该遵循这样的原则。在能保证图像重建质量的前提下， 应该选取尽量大的阈值，以尽可能的压缩图像信息。

实施例针对播音员视频进行了大量实验，得出了阈值对视频序列的信息压缩 和对重建质量的影响，对不同的视频序列的阈值，往往是个大量实验得出的经验 值。

如图5所示，在阈值选取在0.5、1.0和1.5的时候，每幅图像的信息压缩程 度。以播音员视频的前15幅图像为例。实施例通过大量实验得出大量数据，在 图5中展现了阈值分别在0.5、1.0和1.5的情况下的图像数据量大小。

在阈值选取在比较小的0.5的时候，从每帧的数据量还可以看出是差分帧。

在阈值选取在1.0的时候，可见GOP中除了第一帧参考帧为CS编码帧外， 其余帧的稀疏度都满足了α>θ_high的要求，直接不需要发送，大大的压缩了视频 信息。

而在阈值选取在1.5的时候，从图5中数据可见，和阈值在1.0的时候信号 数据量差别不是很大。对于不同运动程度的视频，阈值的选取都是要通过大量实 验，并对实验结果分析读出的。

实施例还考虑了之前一直被忽略的信道比特误码率(BER:bit error)对图像重 建质量的影响。实施例考虑的信道误码的问题是图像处理和无线信道传输的交叉 领域。在压缩感知编码中，稀疏表示之后每个采样点都是原始像素点的随机的不 相干的组合。所以并不像传统编码，在压缩感知中，没有哪个采样点比其他的采 样点更重要，所有采样点都是同等重要的。重建质量只与接受的正确采样点的个 数有关，正确采样点的个数是影响重建质量的唯一标准，所以在少量信道误码的 情况下，重建质量几乎不受影响。

压缩感知图像是完全非结构化的，这就要求压缩感知编码对待信道误码要采 用丢弃而不是采用纠错的方式。如果信道编码采用了结构化的纠错编码，可能会 造成错误码的扩散，进一步影响图像的重建质量。实施例中也证明了，在采用纠 错方式的重建质量反而比采用丢弃无错误码的重建质量要降低了。图6和图7 从实验结果印证了这一点，实施例分别对Foreman和Stanford视频做了实验，从 图6和图7上可以看到丢弃错误码比修复错误码在重建质量上表现要好。Stanford 视频的重建质量大约好了2个dB，Foreman视频的重建质量大约好了2.5个dB。

无线多媒体传感器网络采用的MAC层协议可以有802.11a、802.11b、802.11g、 802.11n等。这几种不同的无线协议都是由802.11演变而来的。802.11是IEEE 最早制定的无线局域网标准，主要用于解决办公室局域网和校园网中的用户接入。 演变而来的802.11a工作在5.4G赫兹频段，最高速率54M，主要在远距离的无 线连接。802.11b工作在2.4G赫兹频段，最高速率11M，目前正在逐步被淘汰。 802.11g工作在2.4G赫兹频段，最高速率54M。802.11n是最新的无线标准，目 前还不是很成熟，最高速率能达到300M。

实施例中，采用802.11的帧结构来传输视频，如表1所示。由于802.11帧 的数据段长度≤2312Byte，通常一幅图像在信道中传输往往会需要分割成多帧。 表1802.11的MAC帧

举例，一个256*256的灰度bitmap图像大小为65536比特。压缩感知编码 采样率为0.3，则压缩采样之后的图像大小为大概是20k比特。一帧802.11MAC 帧的Framebody大小为0～2312byte，实施例中取250byte，即2K比特。一个图 像大概分成10个数据包。

在无线多媒体传感器网络下，信道的比特误码率一般在10^-3到10^-6之间。在 10^-3以下可认为信道条件太差，为不可用信道，在10^-6以上则不是无线信道能达 到的标准，是有线信道的标准。在压缩之后的20K比特的信息中，10^-3到10^-6误码率条件下分别会产生20,2,0.2,0.02个错误码，可以认为是20,2,0,0个。可见， 在误码率10^-5和10^-6的信道条件下，尤其是在10^-6的信道条件下，传输几乎不受 影响。在误码率10^-4的信道条件下，一个图像分成10个数据包，却有2个包产 生了错误码。有一个错误码，这一帧数据就是个错误帧，这样的信道情况下的差 错率达到了80％。而在误码率10^-3的信道条件下，错误码是20个，数据包只有 10个，所以这样的信道几乎不能使用。

事实上，实验结果显示，在信道误码率在10^-3以下的仿真实验中，图像几乎 没有任何表现，经过那种误码环境的信道，图像几乎没法恢复。图8～图11反应 了Foreman视频在不同信道环境下，重建之后图像的对比变化。从图中可知，在 误码率在10^-6和10^-5的信道环境下，重建图像质量几乎不受信道误码的影响。在 误码率达到10^-4的时候，重建图像开始受到比较大的影响，而在误码率达到10^-3的时候，恢复图像质量很差，这种信道环境可以被视为不可用信道。

影响重建质量的还有两个可变的重要标准就是GOP和采样率rate。在信道 误码率对图像重建质量产生影响之后，实施例会对重建质量进行评估，如果重建 质量低于应用的需求，算法会自适应的提高采样率rate和降低GOP个数，以提 高图像重建质量。