能量受限条件下的手语视频编码方法研究

摘要

手语是由手形、手臂运动并辅之以表情、唇动以及其他体势表达思想的视觉语言，是聋哑人进行交流的最自然方式。与头肩视频不同，手语视频由于增加了手形、手臂运动，并且存在手脸遮挡现象，所以更为复杂，对其进行研究难度更大。和手语视频识别与合成研究相比，目前针对手语视频的编码研究还较少，且大多数都是基于率失真(Rate-Distortion，R-D)理论，以给定编码码率为约束，研究编码码率和失真之间的关系，使重建手语视频的失真最小。但是，随着无线网络带宽的快速增加和新一代视频编码标准H.264的广泛应用，编码码率的约束性已经越来越弱，而无线视频终端在功耗上所受的制约却越来越强。因此，如何在无线视频终端能量有限的约束条件下，使手语视频经编码后的失真最小，减小能耗、延长电池的更新周期已成为一个迫切需要解决的问题。
　　本论文对能量受限条件下的手语视频编码进行了深入的研究，目的是利用聋哑人视觉选择注意机制、功率率失真理论和感兴趣区能量分配视频编码方法实现手语视频编码功耗、编码码率和编码失真之间的动态平衡优化，在确保手语视频主客观编码质量的同时，尽可能降低无线视频终端总体功耗，延长电池更新周期，为解决能量受限条件下聋哑人手语视频编码的最优化参数配置和资源分配提供新理论和新方法。本论文的研究工作主要包括:
　　(1)理论分析和实验统计了影响H.264手语视频编码复杂度的因素，将H.264手语视频编码器参数按照复杂度分为四种不同的级别，每种级别具有不同的编码复杂度和编码质量，然后依据无线视频终端电池能量和视频运动复杂性自适应地选择编码级别。实验结果表明该方法在保证手语视频编码质量基本不变的同时，能够减少编码器计算复杂度，节省无线视频终端系统的计算资源。
　　(2)综合考虑无线视频终端电池能量的时变性和聋哑人视觉注意机制的不平衡性，建立了感兴趣区能量感知手语视频编码方法，该方法在帧层依据无线视频终端当前可使用电池能量和视频帧复杂度确定参考帧数和搜索范围，在宏块层依据手语视频不同宏块区域的视觉重要性确定宏块预测模式和量化系数，最后根据帧层和宏块层共同确定的参数进行编码。实验结果表明该方法在保证手语视频感兴趣区编码质量的同时，能够进一步减少编码器计算复杂度，节省无线视频终端系统的计算资源。
　　(3)详细分析了H.264帧内、帧间和跳帧三种编码模式的功率率失真(Power-Rate-Distortion，P-R-D)特性，在此基础上，分别建立了编码一帧手语视频的能耗模型和P-R-D模型，并提出了优化一帧视频中采用帧内、帧间和跳帧编码模式宏块个数的算法，实验表明所提出的P-R-D模型和实测P-R-D性能相吻合。
　　(4)针对手脸遮挡条件下的手语视频手势检测问题，提出一种基于力场(ForceField)转换的手势检测方法。该方法首先分别计算手脸遮挡帧和纯脸部帧的力场图像，然后将力场图像分块并统计各分块直方图特征，再将相同空间位置的分块直方图对应相减，得到各分块直方图灰度分量差，最后将各分块直方图灰度分量差与灰度阈值进行比较获得手部位置。实验证明该方法能够实时进行手脸遮挡条件下的手势检测。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 研究背景与意义

1．2 视频编码原理和基本问题

1．2．1 视频编码原理

1．2．2 视频编码中的基本问题

1．3 国内外研究现状

1．3．1 聋哑人移动通信的发展

1．3．2 手语视频编码国内外研究现状

1．3．3 H.264复杂度控制算法研究进展

1．4 主要研究内容及论文结构

第2章 能量感知手语视频编码方法

2．1 引言

2．2 影响H.264手语视频编码复杂度的因素分析及实验统计

2．2．1 多模式帧内帧间预测复杂度分析及实验统计

2．2．2 像素精度复杂度分析及实验统计

2．2．3 多参考帧复杂度分析及实验统计

2．2．4 搜索范围复杂度分析及实验统计

2．2．5 运动搜素方法复杂度分析及实验统计

2．3 能量感知手语视频编码方法

2．4 实验结果与分析

2．5 本章小结

第3章 感兴趣区能量感知手语视频编码方法

3．1 引言

3．2 算法结构

3．3 帧层能量自适应计算资源分配方法

3．4 宏块层感兴趣区计算资源和比特资源分配方法

3．4．1 手语视频感兴趣快速检测方法

3．4．2 基于感兴趣区的计算资源和比特资源分配方法

3．5 实验结果与分析

3．6 本章小结

第4章 手语视频编码功率率失真模型及优化方法研究

4．1 引言

4．2 H.264宏块编码模式的能量率失真分析

4．3 系统建模

4．3．1 编码一帧视频的能耗模型

4．3．2 编码一帧视频的P-R-D模型

4．4 优化算法

4．5 实验结果与分析

4．6 本章小结

第5章 适应手脸遮挡手语视频的手势检测算法

5．1 引言

5．2 图像力场转换

5．3 基于手语力场图像直方图特征的手语视频手势检测算法

5．3．1 基于分块的手语力场图像直方图特征

5．3．2 手脸遮挡手语视频的手势检测算法

5．4 实验结果与分析

5．4．1 手脸遮挡手语视频库及算法测试硬件环境

5．4．2 算法参数分析实验

5．4．3 本章算法和其他算法的比较

5．5 本章小结

总结与展望

参考文献

致谢

附录A 攻读学位期间所发表的学术论文目录

附录B 攻读学位期间参加的科研项目

附录C 部分源代码