恶劣天气条件下视频图像增强的关键问题研究

摘要

户外视觉系统是图像处理技术应用的一个重要领域。人们需要对户外系统采集到的视频和图像资料做进一步的目标检测,进行图像分析及图像理解等操作。这些处理方法对所使用的视频和图像质量有一定要求。户外视觉系统与室内视觉系统采集到的视频和图像数据的共同点在于都会受光照等影响造成质量下降。而户外系统与室内系统的区别在于,户外系统还易于受天气因素影响而导致严重的质量下降。直接使用受天气影响的户外图像会严重影响后续操作的准确性。本文主要研究不同天气因素对图像和视频数据的影响,针对图像和视频数据去除雨、雪、雾的过程中所存在的关键问题进行分析,并分别给出解决方法,最终实现建立去除雨、雪、雾的统一模型,具体研究内容如下:
　　首先本文针对视频图像去除雨滴过程中存在的无法使用统计方法对雨滴轨迹与运动物体进行准确区分的问题,研究了在RGB空间中雨滴影响区域与运动目标成像区域的不同量化特征。首先以雨滴物理成像过程为基础,对雨滴成像亮度和背景像素亮度之间的对应关系进行分析。在此基础上对RGB空间成像模型进行研究,通过引入基于RGB空间的雨滴检测函数,对雨滴影响区域与运动目标所在区域进行判别。最后使用背景像素替换法对检测的雨滴区域进行雨滴去除操作。提出的基于RGB空间的雨滴检测函数能够有效降低雨滴检测过程中的误检测率和漏检测率。解决了已有算法通过对雨滴形态或亮度特性进行检测时,只对部分雨滴有效这一缺点。
　　其次针对基于RGB空间的雨滴检测函数求解过程过于复杂这一缺点,本文对基于HS V颜色空间的判别方法进行研究。通过将基于RGB空间的雨滴成像模型转化到HS V空间,研究了在HS V空间的雨滴检测条件,最终给出基于HS V空间的检测与去除方法。该方法可以提高检测速度,使雨滴检测算法适用于户外实时系统。
　　再次针对单幅图像去雾过程中存在的使用邻域统计方法估计透射函数具有的速度慢且存在错误轮廓的缺点,提出一种基于暗平面矢量分解法的雾成像模型。暗平面矢量分解模型通过对雾成像的大气衰减过程进行研究,对矢量进行分解变换把雾图像中的亮度矢量分解成两个矢量的和,其中一个矢量是不受雾影响的,称为暗平面矢量,另一个矢量是一标量与固定方向矢量的乘积,用来增加暗平面的亮度。通过增亮暗平面的方式实现去雾过程。该方法的优点在于去雾过程为单像素点计算,避免传统方法采用邻域估计值求解透射函数的过程,有效降低了算法复杂度,提高了算法效率。
　　户外成像系统需要根据不同天气类型分别选取不同处理方法,错误的天气分类结果严重影响天气去除效果,针对这一缺点,综合研究了静态天气与动态天气的成像特点,通过对基于颜色空间的雨滴成像模型和基于暗平面矢量分解法的雾成像模型进行对比分析,提出适用于静态天气和动态天气的统一矢量分解模型。该模型在去除静态天气因素时具有良好的速度,在动态天气因素的去除中具有避免了已有算法必须通过帧间统计才能进行雨、雪检测的缺点。
　　最后在视频去除雨、雪过程中还需要对背景进行对齐,对齐不准确时会影响雨雪的检测结果。此外使用统一模型去除动态天气影响因素时,存在少量残留轨迹。针对这两个缺点,对帧间数据滤波方法进行研究,通过Guided Filter滤波方法对残留痕迹做进一步去除。使用统一矢量分解模型和Guided Filter滤波方法,可以免去视频检测雨雪轨迹时所需要的背景对齐这一步骤,进一步提高算法速度。
　　综上所述,图像复原方法的复杂度和复原结果的质量是户外视觉系统应用过程中的关键问题,建立适用于静态天气和动态天气的统一模型一直是户外图像处理领域的难点。实验结果表明本文提出的统一矢量分解模型能够有效去除户外视觉系统中天气因素的影响,并降低算法的复杂度。

目录

恶劣天气条件下视频图像增强的关键问题研究

RESEARCH ON IMAGE ENHANCEMENT OF VIDEOS IN BAD WEATHER CONDITION

摘 要

ABSTRACT

目 录

Contents

第 1 章 绪论

1.1 课题背景

1.2 天气类型的分类

1.3 动态天气图像复原的研究现状

1.3.1 基于背景减除法的检测方法

1.3.2 基于成像模型与空间关系的检测方法

1.3.3 基于颜色模型的检测方法

1.3.4 基于频域模型的检测方法

1.3.5 单幅图像的检测方法

1.4 静态天气图像复原的研究现状

1.4.1 图像增强去雾方法

1.4.2 图像复原去雾方法

1.5 户外图像复原算法中存在的关键问题

1.6 主要研究内容及结构

第 2 章 基于 RGB 空间的雨滴去除方法

2.1 引言

2.2 雨滴特点及其对图像的影响

2.2.1 雨滴的物理特性

2.2.2 雨滴的光度学特性

2.2.3 雨滴对图像的影响

2.3 雨滴成像模型

2.3.1 雨滴成像基本模型

2.3.2 单帧图像受雨滴影响的情况

2.3.3 多帧图像受雨滴影响的情况

2.3.4 解的存在性分析与噪声对结果的影响

2.4 视频中雨滴的检测与去除

2.4.1 视频检测的原理

2.4.2 运动物体的检测

2.4.3 雨滴检测判别函数

2.4.4 雨滴的去除

2.5 实验结果与分析

2.5.1 雨滴的检测与去除

2.5.2 雨滴的去除结果分析

2.6 本章小结

第 3 章 基于 HSV 空间的雨滴去除方法

3.1 引言

3.2 HSV 空间成像特点

3.2.1 HSV 空间与 RGB 空间的区别

3.2.2 RGB 空间到 HSV 空间的转化

3.3 HSV 空间雨滴成像模型

3.3.1 标准雨滴成像模型

3.3.2 基于 HSV 空间的标准雨滴成像模型

3.4 雨滴的检测与去除

3.4.1 基于 HSV 空间雨滴判别函数

3.4.2 雨滴去除

3.5 实验结果与分析

3.5.1 雨滴的检测与去除

3.5.2 雨滴的去除结果分析

3.6 本章小结

第 4 章 基于矢量分解法的去雾模型

4.1 引言

4.2 雾天图像的成像与退化模型

4.2.1 雾场景的静态特性

4.2.2 光线的衰减特性

4.2.3 大气光的成像特性

4.2.4 雾成像模型

4.2.5 光线波长的影响

4.3 传统雾成像的大气衰减模型

4.3.1 简化大气衰减模型

4.3.2 传统雾成像过程

4.4 暗平面分解模型

4.4.1 矢量分解模型

4.4.2 增亮图的确定

4.5 暗平面分解模型的求解过程

4.5.1 暗平面的计算

4.5.2 增亮图的计算

4.6 去雾步骤

4.7 实验结果与分析

4.7.1 雾的去除结果

4.7.2 雾的去除结果分析

4.8 本章小结

第 5 章 户外恶劣天气的统一成像模型

5.1 引言

5.2 动态天气与静态天气成像特点

5.2.1 成像模型的比较

5.2.2 动态天气的矢量分解模型

5.2.3 不同雨滴类型的矢量分解形式

5.3 暗平面分解模型的去雨滴方法

5.3.1 雨滴的暗平面分解模型

5.3.2 固定雨滴的等效亮度

5.3.3 雨滴的去除

5.3.4 雪花的去除

5.4 动态天气矢量分解模型的优点与问题

5.4.1 矢量分解模型的优点

5.4.2 雨滴及雪花去除的问题

5.4.3 视频中残留痕迹的去除方法

5.4.4 单幅图像复原

5.5 实验结果与分析

5.5.1 动态天气复原结果

5.5.2 与其他去除结果比较

5.6 本章小结

结 论

参考文献

攻读博士学位期间发表的论文及其他成果

哈尔滨工业大学学位论文原创性声明及使用授权说明

致 谢

个人简历