基于时--空域插值的图像及视频上采样技术研究

摘要

近年来多媒体通信业务迅猛发展，视频图像作为主要的信息传播载体之一，在人们社会生活中的作用已越来越突出。新的应用永远追求更加清晰生动的图像和流畅逼真的视频。与此同时，电子消费市场上各种尺寸、分辨率的终端设备层出不穷，视频图像资源格式也日益多样化，各种信号源和显示设备之间迫切地需要不同视频图像的格式转换处理以满足播放显示的兼容性。视频图像上采样技术包括时域的帧率上转换和空间域的图像分辨率上采样两方面。通过信号处理技术提升视频帧率和图像分辨率，可以在不改变现有成像和信道传输系统的条件下，突破光学器件、网络带宽、存储容量等带来的限制。它不仅顺应了人们对视频图像质量日渐提高的需求，也为计算机视觉处理提供了更多的图像信息，在网络通信、电视技术、安防监控、医疗诊断、遥感识别等诸多领域具有广阔的应用。该技术经过多年的发展，累积了大量的研究成果。尽管如此，由于现实场景中的运动错综复杂，而自然图像千变万化，现有算法仍存在许多问题有待解决;并且，在实际应用中需要兼顾算法的实时性、通用性和系统资源消耗等多方面的因素，很多经典算法的应用受到制约。为此，本文以智能终端设备的应用为背景，从时域和空域两方面着手，致力于研究高性能、低资源消耗的视频帧率上转换和图像上采样关键技术。 本论文首先对视频插帧和图像插值及超分辨率技术的发展、研究现状和业界应用进行了详尽的综述，然后深入探讨了几种具体的算法，包括:基于块匹配运动估计的视频插帧、基于轮廓模板的图像插值算法以及基于局部自相似性的图像插值算法，它们分别代表了各自研究方向近年来出现的典型算法。在此基础上，论文完成了以下工作: 1、在视频插帧方面，提出了基于三维递归搜索(3-D Recursive Search，3-D RS)多级运动估计的帧率上转换算法。该算法将3-D RS与双向运动估计算法相结合，在相邻的前后两帧中计算初始运动矢量，通过改进3-D RS减小了搜索计算量;并利用“由粗到细”的思想逐级搜索和平滑滤波来精确修正运动矢量场，提高了预测精度;最后利用时域线性插值补偿产生中间帧。该算法在不产生“重叠”与“空洞”的同时，提高了双向运动估计准确性和运动矢量一致性，有效减小了内插帧中的块效应，并且复杂度低、易于实现，可应用于高清视频的实时处理。 2、将图像修补技术引入到视频插帧应用中，给出了一种带图像修补的运动补偿插帧方法。即使经过多级运动估计处理，仍可能存在少数块不能搜索到合适的匹配结果，本文中对这些块并不是进行生硬的内插以免产生块效应，而是利用图像修补技术进行修补。该算法在运动补偿时，先利用已有的运动矢量进行插值得到初始内插帧，同时对于运动估计失败区域标记生成修补掩膜;然后，按照掩膜对其中的空洞利用图像修补技术进行填充得到最终的内插帧。该算法的提出为运动补偿插帧中处理运动估计失败的块带来了新的解决思路，且易于实现。 3、在图像上采样方面，提出了一种基于结构成分双向扩散的插值方法。该方法是一种融合了边缘自适应插值和双向扩散滤波增强处理的插值框架，能够改善边缘扩散问题，进一步提高插值图像清晰度。在边缘增强时，提出了耦合双向扩散滤波的改进模型，使边缘扩散程度能随边缘梯度自适应的调整，且梯度方向的像素值变化更加柔和;并且，为了使双向扩散滤波器更精确的作用于边缘轮廓，提出采用形态成分分析(Morphological Component Analysis，MCA)提取初始插值图像中的结构分量再实行滤波的策略，可减小反向扩散时纹理、噪声对边缘检测的影响，避免正向扩散对纹理细节的模糊。实验结果表明，该算法不仅有效提高图像锐度，且边缘光滑、过渡自然，避免产生边缘锯齿和过度的人工效应。 4、给出了一种基于图像自相似性的视频图像上采样的改进算法。针对搜索相似块时的最匹配原则使得高频细节范例过度依赖于匹配结果的问题，提出了利用多个匹配块加窗聚集成图像高频成分估计的方法。同时，在匹配相似块时，采用钻石搜索来优化原始的全搜索法，以加快搜索过程。利用该算法图像上采样得到的结果在边缘和平坦区域均有较好的图像质量。

目录

声明

摘要

第一章绪论

1．1课题研究背景和意义

1．1．1视频插帧技术研究背景和意义

1．1．2图像上采样技术研究背景和意义

1．2视频插帧和图像上采样技术分类及研究动态

1．2．1视频插帧技术分类及国内外研究现状

1．2．2图像上采样技术分类及国内外研究现状

1．3研究目标及挑战

1．3．1视频插帧技术难点问题与研究目标

1．3．2图像上采样技术关键与研究目标

1．4论文主要研究内容与结构安排

1．4．1论文研究内容与主要工作

1．4．2论文结构安排

第二章图像及视频上采样算法研究

2．1视频插帧技术原理

2．2基于块匹配的运动估计

2．2．1块匹配原理

2．2．2搜索策略

2．2．3双向运动估计

2．2．4三维递归搜索算法

2．3基于轮廓模板的图像插值算法

2．3．1算法特点

2．3．2算法步骤

2．4基于局部自相似性的图像上采样算法

2．5图像质量评价标准

2．6本章小结

第三章基于三维递归搜索的多级运动估计视频插帧算法

3．1．1匹配准则

3．1．2预测矢量

3．1．3处理顺序

3．2多级运动矢量处理

3．2．1可变尺寸块的多级块匹配运动估计

3．2．2多级运动矢量校正

3．3带图像修补的运动补偿插帧

3．4算法实现流程

3．5实验结果与分析

3．6本章小结

第四章基于结构成分双向扩散滤波的图像插值算法

4．1边缘扩散问题分析

4．1．1边缘扩散与冲击滤波

4．1．2耦合双向扩散滤波

4．2改进的双向扩散滤波模型

4．3结构成分提取

4．4算法实现步骤

4．5实验结果与分析

4．6本章小结

第五章基于局部自相似性的视频图像上采样算法

5．1基于图像自相似性重建超分辨率图像基本思想

5．2改进的基于图像自相似性的视频图像上采样算法

5．3实验结果与分析

5．3．1图像质量对比

5．3．2参数选取及算法复杂度分析

5．3．3视频实验

5．4本章小结

第六章总结与展望

6．1论文工作总结

6．2未来工作展望

参考文献

致谢

攻读博士学位期间所取得的学术成果及科研工作