一种复杂背景下红外图像序列中运动目标的检测方法

摘要

一种复杂背景下红外图像序列中运动目标的检测方法，属于数字图像处理技术领域。首先分别计算红外图像序列中上一帧和当前帧、以及当前帧和下一帧的差分图像；接着从两幅差分图像中各自提取变化检测模板；然后对两幅变化检测模板进行并运算(取交集)，得到运动目标模板；最后对运动目标模板做连通区域标记，得到运动目标。其中，提取变化检测模板具体包括：采取从直方图两端向中间迭代的方式估计差分图像噪声参数(包括均值和方差)的方法提取初始变化检测模板；采取小结构单元进行腐蚀、膨胀后相与，大结构单元进行闭运算的形态学处理方式。本发明具有目标分割准确完整、实时性好和鲁棒性强等特点，在侦察、火制和制导等军事领域，以及导航和智能交通等民用领域有着广阔的应用前景。

说明书

技术领域

一种复杂背景下红外图像序列中运动目标的检测方法，属于数字图像处理技术领域，特别涉及红外图像序列中的运动目标分割技术。

背景技术

由于具有被动工作，抗干扰能力强和准全天候工作等优点，红外成像技术目前已被广泛应用于侦察、监视和制导等军事领域，此外在飞机导航、公路智能交通系统等民用领域也有着广阔的应用前景(参见文献：蔡毅，汤锦亚.对红外热成像技术发展的几点看法。红外技术，2000，22(2)：2-6)。

运动目标检测技术一直是图像处理和计算机视觉的重要研究课题，在许多领域有着广泛的应用。运动目标检测就是判断图像序列中有无运动目标，并将其分割出来。目前常用的运动目标检测方法有背景减法、时间差分法和光流法等。

1.背景减法(参见文献：Surendra G，Osama M，Robert F K，et al.Detection andClassification of Vehicles.IEEE Trans.On intelligent transportation systems，2002，3(1)：37-47)

其基本思想是将当前帧图像与事先存储或者实时得到的背景图像相减，若差分图像中象素绝对值大于某一阈值，则判断此象素点属于运动目标区域，否则，就判此象素点属于背景区域。背景减法操作简单，检测位置准确且速度快。但通常的背景减法对光线、天气等光照条件的变化非常敏感，抗干扰能力差，此外，背景消法也不适用于摄像机运动或者背景灰度变化很大的情况。

2.时间差分法(参见文献：Nerr A，Colonnese S，Russb G，et al.Automatic Moving Objectand Background Sep aration.Signal Processing，1998，66(2)：219-232)

时间差分法又叫帧间差分法，是在图像序列中的相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。时间差分法对于动态环境有很好的适应性，缺点是不易将运动目标完全分割出来。时间差分和背景减的原理都是变化区域检测，即通过检测序列图像帧中的变化区域与不变区域，将运动物体与静止背景进行分割。

3.光流法(参见文献：Barron J，Fleet D.Performance of optical flow techniques.Internatronal Journal of Computer Vision.199412(1)：42-77)

光流法是通过研究光流场，从序列图像中得到近似的运动场，然后根据运动场的运动特征进行目标分割。光流法的主要优点是能在运动摄像机中检测出运动目标，对目标在帧间的运动的限制较少，可以处理大的帧间位移；主要缺点是大多数光流计算方法相当复杂，且抗噪性能差，如果没有特定的硬件支持，一般很难应用于序列图像中运动目标的实时性操作。

此外还有许多其他的运动目标检测方法，如基于曲线进化的方法、基于形态学的方法和基于随机场的方法等。虽然运动目标检测方法多种多样，但多是针对具体的任务提出来到的，并没有一种通用的方法。

由于红外图像具有目标与背景对比度低、目标边缘模糊和噪声大等特点，红外运动目标检测相对可见光运动目标检测通常更困难一些。赵英男等(赵英男，杨静宇.基于Gabor滤波器和SVM分类器的红外车辆检测.计算机工程，2005，31(10)：191-192)先通过直方图分析提取感兴趣区域，然后阈值分割得到目标，该目标只是目标的高灰度部分；王程等(王程，王润生。野外复杂背景下红外图像的目标检测。红外与激光工程，2000，29(1)：5-8)提出了一种野外复杂背景下红外图像的目标检测算法，该算法包括两个处理步骤：首先，在场景配准后利用帧间差图像提取目标的运动信息，并据此进行目标的粗检测；其次，结合目标运动在时间和空间上的相关性进行精检测，该算法的主要缺陷是目标分割精度不高。

发明内容

本发明提供一种基于时间差分的具有复杂背景的红外图像序列中的运动目标检测方法，该方法具有目标分割准确完整、实时性好和鲁棒性强等特点。

为了方便描述本发明的内容，在此作一些术语定义：

1.差分图像：两帧图像对应像素相减得到的图像，差分图像突出了场景中的运动信息。

2.运动变化区域：差分图像中由于目标运动造成的具有较大的灰度绝对值的区域，包括显露的背景、覆盖的背景和重叠区，其中当前帧目标由覆盖的背景和重叠区组成，如图1所示。

3.变化检测模板(CDM，change detection mask)：差分图像二值化处理后得到的模板，模板上像素值为1的区域表示运动变化区域，为0的区域表示不变区域。

4.三帧差分法：一种运动目标检测方法，利用连续三帧图像计算两幅变化检测模板，再对它们求交集以得到中间帧运动目标的精确位置，其原理如图2所示。

5.形态学滤波：使用数学形态学的方法来进行滤波。通常使用以形态学膨胀运算和腐蚀运算为基础，组合为开运算和闭运算来分别去除不同的二值化图像的噪声(参见文献：冈萨雷斯等著，阮秋琪，阮宇智译.数字图像处理(第二版).北京：电子工出版社，2003)。

6.腐蚀运算：最基本的形态学算子之一，X用B来腐蚀记为XΘB，定义为E＝XΘB＝{(x，y)|B_x，yX}，其中X为图像集合，B为结构单元，B_x，y表示B平移至(x，y)。

7.膨胀运算：最基本的形态学算子之一，X用B来膨胀记为XB，定义是D＝XB＝{(x，y)|B_x，y∩X≠}，其中X为图像集合，B为结构单元，B_x，y表示B平移至(x，y)。

8.闭运算：先膨胀后腐蚀。

9.连通区域标记：对二值化的图像进行连通标定，为每个连通的区域设置一个标志(参见文献：章毓晋.图像工程(上册)—图像处理与分析。北京：清华大学出版，1999，3)。

本发明技术方案如下：

一种复杂背景下红外图像序列中运动目标的检测方法，其特征在于，包含下列步骤(如图3所示)：

步骤一、计算红外图像序列中上一帧和当前帧的差分图像。

步骤二、利用步骤一得到的差分图像提取变化检测模板。

如图4所示，具体步骤包括以下3个分步骤：

第1步：提取初始变化检测模板，具体方法如下：

(1)计算差分图像直方图h(n)，其中，n为灰度级，h(n)为图像中灰度级为n的像素个数。

(2)由h(n)计算差分图像均值μ₀和标准差σ₀作为初始值。

(3)由当前估计值μ_i和σ_i，计算h(μ_i-3σ_i，μ_i+3σ_i)区间内像素的均值μ_i+1和标准差σ_i+1。

(4)如σ_i+1/σ_i＞＝T，则迭代终止，其中，T为阈值，且0＜T≤1，选取μ_i+1和σ_i+1作为最佳估计值；否则返回(3)。

(5)提取初始变化检测模板：

CDM(x，y)＝{λ|if(d(x，y)＜μ-3σ or d(x，y)＞μ+3σ)，λ＝1，elseλ＝0}，其中，d(x，y)为差分图像，x，y分别为象素点的横坐标和纵坐标。

第2步：对第1步得到的初始变化检测模板做以下形态学处理：

(1)腐蚀(结构单元为3×3十字)。

(2)膨胀(结构单元为半径为3的圆)后和初始变化检测模板相与。

(3)闭运算(结构单元为半径为5的圆)。

第3步：对第2步处理后的变化检测模板进行行列扫描修复：首先做连通区域标记，以区分不同的目标，然后分别进行行列扫描，同一行(列)中同一目标(连通区域)两点中间的背景点置为目标点。

步骤三、计算当前帧和下一帧的差分图像。

步骤四、利用步骤三得到的差分图像提取变化检测模板，方法同步骤二。

步骤五、对步骤二和步骤四得到的两幅变化检测模板做并运算(取交集)，得到运动目标模板。

步骤六、对步骤五得到的运动目标模板做连通区域标记，大于一定面积的连通区域视为运动目标。

通过上述步骤便可以分割出运动目标。

需要说明的是：

1：步骤一、三针对静态背景，对动态背景，需要在计算差分图像前进行全局运动估计和补偿。

2：步骤二、四中提取初始变化检测模板的原理是：差图像中背景噪声可以看成高斯的(参见文献：Kim M，Choi J G，Lee M H，A VOP generation tool：Automatic segmentation of movingobjects in image sequences based on spatio-temporal information.IEEE Trans.on Circuits andSystems for Video Technology，1999，9(8)：1216-1226)，而运动变化区域的像素分布是非高斯的。因此，在差分图像中区分运动变化区域和不变区域可以看成在高斯数据中识别非高斯数据的问题。在差图像直方图中，目标大多分布在两端，噪声集中在中间0值附近，本发明从直方图两端向中间迭代估计差分图像噪声参数，包括均值和方差，如图5所示(因均值在0值附近，变化不大，未标出均值)，阈值T一般取0.75左右。在目标与整个图像的面积之比较小的情况下，迭代能够收敛。实验结果表明，一般需迭代1～3次。

3：步骤二、四中形态学处理的原理是：(1)腐蚀后大部分孤立噪声被去除，目标也受到损害；(2)膨胀后，目标区域增大，但带来了失真，将膨胀后的结果和原CDM相与，可以恢复被腐蚀掉的目标区域，而孤立噪声由于在(1)已被腐蚀掉，不会被恢复。采用3种大小结构单元的主要原因是复杂背景下的红外图像CDM往往目标缺失严重，连通性差，所以腐蚀要用小的单元以免给目标造成大的损害，而闭运算只有用大的单元才能有效的填充目标。

4：步骤二、四中行列扫描修复的必要性在于由于红外图像中目标内部缺乏纹理，经形态学处理后的CDM中目标仍可能存在较大空洞和缺失。

本发明的特色和创新之处在于：

1、基于三帧差分法，实时性好，分割目标精确，只要三帧中目标均存在，并且目标速度大于一定的值，检测结果不受目标运动速度及多目标遮挡影响。

2、变化区域检测中，提出一种基于直方图的差图像噪声参数估计方法，计算简单，较好地解决了自适应阈值选取问题。

3、提出一种形态学处理方法，能在CDM中目标缺失和背景噪声都很严重的情况下，较为完整地提取出目标区域。

本发明针对复杂背景下红外图像的目标与背景对比度低、目标边缘模糊和噪声大等特点，提供一种基于三帧差分法的运动目标检测方法，该方法采用自适应变化区域检测、抗噪声形态学处理和行列扫描修复等技术，具有目标分割准确完整、实时性好和鲁棒性强等特点，在战场侦察、火力控制和制导等军事领域，以及飞机导航和公路智能交通系统等民用领域有着广阔的应用前景。

附图说明

图1：差分图像示意图。

图2：三帧差分法原理示意图。

图3：本发明流程示意图。

图4：变化检测模板提取流程图。

图5：差分图像噪声参数估计示意图。

图6：野外环境下红外运动车辆检测系统实验结果。其中(a)为红外图像序列中当前帧的前一帧图像，(b)为红外图像序列中当前帧图像，(c)为红外图像序列中当前帧的下一帧图像，(d)为前两帧变化区域图像，(e)为后两帧变化区域图像，(f)为当前帧目标图像。

具体实施方式

应用本发明，实现了一个野外环境下红外运动车辆检测系统。

(1)数据源采集

使用武汉高德公司生产的IR235型红外摄像仪，工作波段8～14微米，焦平面象素320*240。拍摄时将红外摄像机架设在三脚架上跟踪车辆拍摄，场地为某野外试车场，车型为越野车、面包车、吉普车和小轿车四种，拍摄时间从下午至晚上。

(2)仿真实验结果

在不同车型、目标数目、拍摄距离和角度情况下，采用本发明进行运动目标检测均取得令人满意的结果。图6为越野车检测实验结果，可以看出目标的完整性和准确性良好。

本发明具有较快的执行速度。用VC6.0开发的仿真程序，在赛杨2.4G CPU，256M内存的PC平台上，对320*240分辨率红外图像，执行一次完整的三帧差分算法的时间在100ms左右。由于除了第1次检测目标需要执行完整的三帧差分外，其余每次检测只需计算1次差分即可(另1次由上次检测得到)，程序能达到20次检测/秒左右的处理速度，能够用于实时环境。