基于块匹配和局部子空间的视频稳像方法研究

摘要

随着电子技术的发展，各种摄像设备已广泛普及。由于外部环境的影响或非专业拍摄等因素，摄像设备容易发生不同形式的不规则运动，导致视频存在抖动。视频抖动会直接影响视频的观感体验，并会极大干扰进一步的视频分析以及技术处理，如人脸识别、目标跟踪等。目前数字视频稳像技术已经有了快速发展，并广泛应用到了军用、民用等各个领域。
　　本文在阅读了大量国内外文献的基础上，总结了当前视频稳像的研究现状，并基于已有稳像技术给出了基于块匹配和基于局部子空间的两种稳像方法，本文的主要研究工作如下:
　　(1)本文对国内外已有的稳像算法进行了研究总结。首先，介绍了图像变换的基本原理以及数学模型;其次，对已有的2D稳像经典算法进行了详细描述，包括运动估计和运动补偿两部分;最后，介绍了3D稳像的基本原理和算法，并具体叙述了基于图像内容不变性的图像重建技术(Content-Preserving Warps，CPW)。
　　(2)本文给出了利用分层块匹配进行运动估计并采用改进卡尔曼滤波方法进行补偿的实时视频稳像方法。在运动估计部分，该方法在图像中选取特征明显的图像块，利用分层块匹配法对图像块进行匹配以保证运算速度和精度，并加入M估计采样一致性(M-estimator Sample Consensus，MSAC)算法剔除错误匹配块，利用最小二乘算法计算图像运动矢量。在运动补偿部分，提出了一种改进的卡尔曼滤波算法，可以同时保证输出运动路径的平滑性以及对原曲线的跟踪效果。该方法能够实时处理，并可以达到较好的视频稳像结果。
　　(3)本文另外给出了基于加速KAZE(Accelerated-KAZE，AKAZE)特征提取及局部子空间算法的数字稳像方法。该方法首先提取AKAZE特征计算视频中的运动轨迹以保证轨迹提取的准确性;其次，针对直接对所有运动轨迹平滑并输出所造成的图像扭曲及视频帧间不连贯的现象，采用局部子空间方式对原轨迹矩阵进行分解处理，提取出特征轨迹并对其进行高斯滤波;最后，使用CPW算法对图像进行重建，得到输出视频。该方法可以达到较理想的视频稳像结果。
　　针对不同场景录制的视频，本文对所述两种方法均进行了大量仿真实验，对方法的实时性、鲁棒性、精度等均进行了测试，并与已有算法进行了对比。实验结果表明，本文方法均取得了较理想的实验结果。

目录

声明

摘要

1 绪论

1．1 选题背景及研究意义

1．2 国内外研究现状

1．3 本论文的主要工作及各章节安排

2 数字稳像的基础知识和基本原理

2．1 图像几何变换的基本原理

2．2 2D视频稳像的基本原理和算法

2．2．1 运动矢量估计算法

2．2．2 运动补偿算法

2．3 3D视频稳像的基本原理和算法

2．3．1 3D视频稳像基本流程

2．3．2 基于图像内容不变性的图像重建算法

2．4 本章总结

3 基于快速块匹配和改进卡尔曼滤波的实时稳像方法

3．1 基本原理和算法流程

3．2 快速块匹配法进行全局运动矢量估计

3．2．1 主要特征块提取

3．2．2 分层块匹配法

3．2．3 MLESAC求取全局运动模型

3．3 改进卡尔曼滤波算法及视频输出

3．4 仿真实验结果及对比分析

3．5 本章小结

4 基于AKAZE特征点和局部子空间的视频稳像方法

4．1 基本原理和算法流程

4．2 AkAZE特征点检测

4．2．1 非线性扩散滤波

4．2．2 KAZE特征检测与描述

4．2．3 AKAZE特征检测与描述

4．3 局部子空间算法

4．3．1 轨迹矩阵构造

4．3．2 子空间约束

4．3．3 局部子空间矩阵分解

4．4 仿真实验结果及对比分析

4．5 本章小结

结论

参考文献

攻读硕士学位期间发表学术论文情况

致谢