一种面向精确打击的地面运动目标检测与识别方法

摘要

本发明公开了一种面向精确打击的地面运动目标检测与识别方法，首先联合时空信息提取目标候选区域：先利用时域信息获取运动图像，根据运动图像计算前向运动历史图和后向运动历史图，将前向运动历史图和后向运动历史图按像素取最小值得到的图像作为输入图像；通过自适应阈值处理和连通域提取获得候选运动区域；再利用空域信息，计算所述候选运动区域的物质性分值，通过阈值处理获得目标候选区域；其次进行目标候选区域识别：通过局部低约束编码完成特征学习，并利用线性支持向量机实现对目标候选区域的识别，保留被识别为特定目标的候选区域，得到最终的检测结果。本发明实现了复杂环境下对地面多运动目标的自动检测与识别，提高打击的精确度。

说明书

技术领域

本发明涉及图像处理和军事技术领域，具体是一种面向精确打击的地面运动目标检测与识别方法。

背景技术

根据现代信息化战争的需求，精确打击需要利用机载传感器在复杂的战场环境中实时发现一切有价值的伪装目标，准确捕获、识别、及有效地摧毁这些目标。因此，选择合适的机载传感器对于精确打击的实施效果是至关重要的。机载图像传感器按其工作方式可分为无源被动传感器和有源主动传感器，其中，无源被动传感器主要包括可见光传感器和红外传感器，而有源主动传感器主要包括合成孔径雷达，毫米波雷达，主动激光视觉系统等。

对于精确打击而言，无源被动传感器相比于有源主动传感器具有以下几点优势：1)隐蔽性强。完全被动式无源探测可以保证先敌发现、监视和跟踪目标。2)抗电磁干扰。无源被动传感器不受电磁干扰的影响，可以在雷达静默或收到电子压制时取代雷达工作。由于无源被动传感器所具备的上述优势，目前国内外针对基于无源被动图像的精确打击技术展开了大量的研究工作。

为了确保精确打击的有效实施，首先需要从无源被动传感器所提供的图像中检测出目标，因此基于无源被动图像的目标检测对于精确打击是至关重要的。区别于一般意义上的目标检测，面前精确打击的目标检测具有一定的特殊性，具体可以归纳为以下几点：1)背景的复杂性。由于战场环境是千变万化的，因此待打击目标所处的背景往往较为复杂。2)目标的多样性。由于待打击目标往往是以集群的形式出现的，因此图像中有可能会出现多个不同类别的目标。3)运动的多样性。一旦待打击目标发现了我方战机，必然会想方设法进行机动运动，以免被本方战机锁定摧毁，因此目标往往是运动的。

发明内容

发明目的：为了解决现有技术存在的问题，实现复杂环境下对地面多运动目标的自动检测与识别，克服精确打击的技术难点，本发明提供一种面向精确打击的地面运动目标检测与识别方法。

技术方案：一种面向精确打击的地面运动目标检测与识别方法，包括以下步骤：

步骤一：联合时空信息提取目标候选区域：先利用时域信息获取运动图像，根据运动图像计算前向运动历史图和后向运动历史图，将前向运动历史图和后向运动历史图融合，按像素取最小值得到前后向运动历史图，作为输入图像；通过自适应阈值处理和连通域提取获得候选运动区域；再利用空域信息，计算所述候选运动区域的物质性分值，通过阈值处理获得目标候选区域；

步骤二：目标候选区域识别：通过局部低约束编码完成特征学习，并利用线性支持向量机实现对目标候选区域的识别，保留被识别为特定目标的候选区域，得到最终的检测结果。

进一步的，所述步骤一中利用时域信息获取运动图像的具体方法包括：

(1.1)背景运动估计：采用KLT特征点跟踪器结合RANSAC算法估计背景运动，给定相邻两帧图像第τ帧图像I(τ)和第τ+1帧图像I(τ+1)，在第τ帧图像I(τ)上均匀取点，采用KLT特征点跟踪器提取第τ+1帧图像I(τ+1)上的匹配特征点，再利用RANSAC算法去除离群值，用得到的特征点对拟合8参数的平面投影变换，获得的单应性矩阵即为第τ帧图像到第τ+1帧图像的背景运动估计；

(1.2)采用帧差法，每N帧图像计算一幅运动图像；设第τ帧图像的背景运动补偿图像为则根据所述背景运动估计对图像进行背景运动补偿：

(1.3)设运动图像为D(τ)，通过第τ帧图像与背景运动补偿图像的绝对差分得到D(τ)：

其中，“-”代表前向差分，得到前向运动图像D_F(τ)；“+”代表后向差分，得到后向运动图像D_B(τ)。

进一步的，所述步骤一中计算前后向运动历史图的具体方法包括：

(2.1)设第τ帧图像前向运动历史图为H_F(τ)，设第τ帧图像后向运动历史图为H_B(τ)；

(2.2)融合多层前向运动图像获得H_F(τ)，即将第τ帧图像前向运动历史图H_F(τ)表示成第τ-1帧图像前向运动历史图H_F(τ-1)与第τ帧图像前向运动图像D_F(τ)的函数：

其中，T为设定的阈值，d＝255/L为衰减项，L为前向运动历史图中包含的前向运动图像的有效层数；

(2.3)融合多层后向运动图像获得H_B(τ)，后向运动历史图包含目标的未来运动信息，表示成类似式(6)的递推形式：

不同的是，H_F(τ)由H_F(τ-1)递推一次即可得到，而H_B(τ)要由H_B(τ+L)递推L次才能得到；

(2.4)融合前向运动历史图H_F(τ)和后向运动历史图H_B(τ)，获得前后向运动历史图H_FB(τ)：

H_FB(τ)＝min(blur(H_F(τ))，blur(H_B(τ)))(7)

其中，blur是指平滑滤波器。

进一步的，所述步骤一中提取候选运动区域的具体方法包括：

(3.1)自适应阈值计算：设定一个灰度级阈值，当前后向运动历史图中灰度级的数量大于所述灰度级阈值时，采用大津法计算双阈值，选取较小的阈值作为自适应阈值；当图像中灰度级数量少于所述灰度级阈值时，采用大津法求单阈值，作为自适应阈值；

(3.2)候选运动区域提取：采用步骤(3.1)中得到的自适应阈值对所述输入图像进行阈值处理、二值化后，再进行腐蚀、膨胀的形态学处理，最后通过区域生长法提取连通域，得到候选运动区域。

进一步的，所述步骤一中获得目标候选区域的具体方法包括：

(4.1)设候选运动区域为R，候选运动区域的边框为候选框，以R的中心为中心，将候选框向外扩大θ倍，得到矩形环的外边框，以候选框作为矩形环的内边框，由此确定矩形环区域R_S(R,θ)，满足：

其中，外接矩形环参数θ为经验值，可以采用贝叶斯框架学习得到；

(4.2)计算中心环绕直方图，即分别计算候选运动区域的RGB/LAB颜色直方图H与矩形环区域的RGB/LAB颜色直方图H_S；然后计算中心环绕直方图的卡方距离，作为候选运动区域R在参数θ下的颜色对比度，设颜色对比度为CC(R,θ)：

CC(R,θ)＝χ²(H(R),H_S(R_S(R,θ)))(9)

其中，n_i为直方图中箱子的数量，H与H_S的箱子数量是相同的；i表示直方图中第i个箱子；Hⁱ、分别为直方图H与H_S第i个箱子的数值；

(4.3)RGB/LAB颜色直方图包括三个通道，对不同通道的颜色对比度采用最大值操作符进行区域物质性分值计算：

其中，c₁,c₂,c₃为所述三个通道；objectness为物质性分值；

(4.4)设定物质性分值阈值，滤除物质性分值小于所述物质性分值阈值的候选运动区域，得到目标候选区域。

进一步的，所述步骤二中目标候选区域识别分为离线训练和在线检测两个阶段，在离线训练阶段，构建典型底面运动目标和背景样本集，将样本映射到高维特征空间，训练得到一个多类分类器；在检测阶段，用与训练阶段相同的方法对候选区域进行特征提取，再对得到的高维特征进行分类，得到类标签和置信度。

进一步的，所述步骤二中目标候选区域识别的具体方法包括：

(5.1)字典构造：

采用交替优化的方式训练字典，目标函数如式(11)：

其中，为字典训练过程中待优化的变量，即字典的估计和局部特征的重构系数的估计,局部特征的重构系数即编码向量；x_i为待编码向量；为用于训练的局部特征的数量；为基矩阵，基矩阵中每一列表示一个基向量，所有列构成的集合为字典，为字典中每个原子的维度，为字典中原子的数量；是B的凸可行集；是局部特征的重构系数；为对角正定权值矩阵，用来控制编码的局部性，根据每一个基向量与待编码向量x_i的相似度为其分配不同的权重，待编码向量离基向量越近，重构系数越大，权值d_ij为距离函数，例如：或σ用于调节距离增大时权重d_ij的衰减速度；λ为拉格朗日乘子，用于折中目标函数的重构误差项与局部性项的重要程度。

(5.2)特征提取：

首先对目标候选区域进行滑动网格稠密采样，得到均匀分布的图像块，设目标候选区域尺寸为图像块尺寸为patchsize×patchsize，步长为s，则得到的图像块的个数为：

其中，floor(·)为向下取整运算符；

其次，对每一个图像块提取SIFT特征描述子：先将图像块分为4×4的子区域，再对每一个区域进行8方向的梯度直方图统计，最后将每个子区域的归一化梯度直方图拼接起来得到该图像块的SIFT特征描述子，其维度为：

目标候选区域局部特征提取结果可以表示为式(14)：

采用k近邻搜索，选取所述字典中距离待编码描述子最近的k个基，形成子字典；然后，使用子字典重构特征描述子；最后，将得到的编码在非临近基的位置补0，得到编码向量

对已提取的目标候选区域局部特征进行局部约束线性编码的结果表示为式(15)：

进一步的，采用空间金字塔池化操作来表示目标候选区域特征：

(6.1)对目标候选区域进行金字塔划分，将其分为L层，每层细分为不同分辨率的网格：第l层划分为2^l×2^l个网格，l＝0_,1,...,L-1；

(6.2)进行池化操作，即对每一个网格中的局部约束线性编码特征进行最大池化，得到每个网格的池化特征；

(6.3)将不同分辨率下每个网格的池化特征级联起来得到输入图像最终的特征表达，其维度为：

其中是每个网格的池化特征的维度：

本发明提供的一种面向精确打击的地面运动目标检测与识别方法具有以下有益效果：

(1)联合时空信息进行目标候选区域提取，先利用时域信息，在时域信息的基础上再利用空域信息，一方面，以时域信息为主、空域信息为辅的方法提高了目标的定位精度；另一方面，级联的信息处理方式降低了空域信息处理的时间成本，提高了算法效率；通过将前向运动历史图和后向运动历史图按像素取最小值得到的图像作为输入图像，保证了查全率，在保证较高的查全率的情况下，通过采用物质性分值和阈值处理提高查准率；此外，在运动检测的基础上进行物质性分值的计算，这种级联处理的模式大大提高了算法效率；通过调整FBMHI的参数L，即运动图像的有效层数，可以提高其对慢速运动目标的响应。

(2)目标候选区域识别不仅能够帮助滤除非目标的候选区域，提高算法的准确性和鲁棒性，而且可以为后续的目标跟踪、行为识别、场景理解等高层任务打下基础。

附图说明

图1为从无源被动图像中检测目标的总体方法流程图；

图2为本发明面向精确打击的地面运动目标检测与识别方法的详细流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

从无源被动图像中检测目标的过程如图1所示，首先对输入图像进行必要的预处理，其次从图像中提取可能包含目标的候选区域，接着识别候选区域是否为需要检测的目标，最后通过后处理对候选区域做进一步调整以获得最终的检测结果。

本实施例的面向精确打击的地面运动目标检测与识别方法，如图2所示，包括以下步骤：

步骤一：联合时空信息提取目标候选区域：先利用时域信息获取运动图像，根据运动图像计算前向运动历史图和后向运动历史图，将前向运动历史图和后向运动历史图融合，按像素取最小值得到前后向运动历史图，作为输入图像；通过自适应阈值处理和连通域提取获得候选运动区域；再利用空域信息，计算所述候选运动区域的物质性分值，通过阈值处理获得目标候选区域；

利用时域信息获取运动图像的具体方法包括：

(1.1)背景运动估计：采用KLT特征点跟踪器(Kanade-Lucas-Tomasi featuretracker)结合RANSAC(RANdom SAmple Consensus)算法估计背景运动，给定相邻两帧图像第τ帧图像I(τ)和第τ+1帧图像I(τ+1)，在第τ帧图像I(τ)上均匀取点，采用KLT特征点跟踪器提取第τ+1帧图像I(τ+1)上的匹配特征点，再利用RANSAC算法去除离群值，用得到的特征点对拟合8参数的平面投影变换，获得的单应性矩阵即为第τ帧图像到第τ+1帧图像的背景运动估计；

(1.2)采用帧差法获取运动图像。为了提高对运动的灵敏度，从而提高对慢速运动目标的辨识度，本方法中运动图像不是通过相邻两帧差分得到，而是每N帧图像计算一幅运动图像；

在采用帧差法计算运动图像之前，需要对图像进行背景运动补偿，设第τ帧图像的背景运动补偿图像为则根据所述背景运动估计对图像进行背景运动补偿，见式(1)，其中变换矩阵通过式(2)和(3)即相邻帧的变换矩阵连乘得到：

(1.3)设运动图像为D(τ)，通过第τ帧图像与背景运动补偿图像的绝对差分得到D(τ)：

其中，“-”代表前向差分，得到前向运动图像D_F(τ)；“+”代表后向差分，得到后向运动图像D_B(τ)。

计算前后向运动历史图的具体方法包括：

(2.1)设第τ帧图像前向运动历史图为H_F(τ)，设第τ帧图像后向运动历史图为H_B(τ)；

(2.2)融合多层前向运动图像获得H_F(τ)，为了减少算法实现中的内存和计算成本，将其表示成递推形式，即将第τ帧图像前向运动历史图H_F(τ)表示成第τ-1帧图像前向运动历史图H_F(τ-1)与第τ帧图像前向运动图像D_F(τ)的函数，如式(5)：

其中，T为设定的阈值，d＝255/L为衰减项，L为前向运动历史图中包含的前向运动图像的有效层数。前向历史图的计算中仅用到了最邻近的L幅运动图像，而更早的运动图像都由衰减为0而不对前向历史图产生影响，没有衰减为0的最近L幅前向运动图像即为有效层数。

有效层数是指对前向运动历史图的计算结果产生影响的运动图像的数量。对前向运动历史图的计算结果产生影响的运动图像，即最邻近的L幅运动图像，因为更早的运动图像都在迭代过程中因为式(5)中的衰减为0而不对前向运动历史图产生影响。

(2.3)融合多层后向运动图像获得H_B(τ)，后向运动历史图包含目标的未来运动信息，表示成类似式(6)的递推形式：

不同的是，H_F(τ)由H_F(τ-1)递推一次即可得到，而H_B(τ)要由H_B(τ+L)＝0递推L次才能得到。

(2.4)融合前向运动历史图H_F(τ)和后向运动历史图H_B(τ)，获得前后向运动历史图H_FB(τ)：

H_FB(τ)＝min(blur(H_F(τ)),blur(H_B(τ)))(7)

其中，blur是指平滑滤波器，可以是Gaussian、均值等线性滤波器，也可以是中值等非线性滤波器。min操作能够有效抑制前向运动历史图后方的尾迹和后向运动历史图前方的尾迹，从而保证候选区域提取的定位精度。

提取候选运动区域的具体方法包括：

(3.1)自适应阈值计算：设定一个灰度级阈值，当前后向运动历史图中灰度级的数量大于所述灰度阈值时，采用大津法计算双阈值，选取较小的阈值作为自适应阈值进行二值化以确保目标区域的完整性；考虑到场景中没有目标时，可能出现图像中灰度级过少而无法求得双阈值的情形，对自适应阈值算法稍作调整，即当图像中灰度级少于一定阈值时，采用大津法求单阈值，作为自适应阈值；

(3.2)候选运动区域提取：采用步骤(3.1)中得到的自适应阈值对所述输入图像进行阈值处理、二值化后，再进行腐蚀、膨胀等简单的形态学处理，最后通过区域生长法提取连通域，得到候选运动区域。

根据候选运动区域，获得目标候选区域的具体方法包括：

(4.1)设候选运动区域为R，候选运动区域的边框为候选框，以R的中心为中心，将候选框向外扩大θ倍，得到矩形环的外边框，以候选框作为矩形环的内边框，由此确定矩形环区域R_S(R,θ)，满足：

其中，外接矩形环参数θ为经验值，可以采用贝叶斯框架学习得到；

(4.2)计算候选运动区域的颜色对比度：计算中心环绕直方图，即分别计算候选运动区域的RGB/LAB颜色直方图H与矩形环区域的RGB/LAB颜色直方图H_S；然后计算中心环绕直方图的卡方距离(Chi-square>

CC(R,θ)＝χ²(H(R),H_S(R_S(R,θ)))(9)

其中，n_i为直方图中箱子的数量，H与H_S的箱子数量是相同的；i表示直方图中第i个箱子；Hⁱ、分别为直方图H与H_S第i个箱子的数值。

选择卡方距离进行特征相似度计算，是因为它考虑了每一个特征分量的相对距离。

(4.3)候选运动区域的物质性分值计算：RGB和LAB颜色直方图均包括三个通道，这里可以选择RGB颜色直方图或者LAB颜色直方图其一种进行计算。为了充分利用目标特性，放大其与周围环境的差异性，对不同通道的颜色对比度采用最大值操作符进行区域物质性分值计算：

其中，c₁,c₂,c₃为三个通道；objectness为物质性分值；

(4.4)设定物质性分值阈值，滤除物质性分值小于所述物质性分值阈值的候选运动区域，得到目标候选区域。

步骤二：目标候选区域识别：通过局部低约束编码完成特征学习，并利用线性支持向量机实现对目标候选区域的识别，保留被识别为特定目标的候选区域，得到最终的检测结果。

目标候选区域识别分为离线训练和在线检测两个阶段，在离线训练阶段，构建典型底面运动目标和背景样本集，将样本映射到高维特征空间，训练得到一个多类分类器；在检测阶段，用与训练阶段相同的方法对候选区域进行特征提取，再对得到的高维特征进行分类，得到类标签和置信度。

目标候选区域识别的过程具体包括以下步骤：

(5.1)字典构造：

采用交替优化的方式训练字典，目标函数如式(11)：

其中，为字典训练过程中待优化的变量，即字典的估计和局部特征的重构系数的估计，局部特征的重构系数即编码向量；x_i为待编码向量；为用于训练的局部特征的数量；为基矩阵，基矩阵中每一列表示一个基向量，所有列构成的集合为字典，为字典中每个原子的维度，为字典中原子的数量；是B的凸可行集；是局部特征的重构系数；为对角正定权值矩阵，用来控制编码的局部性，根据每一个基向量与待编码向量x_i的相似度为其分配不同的权重，待编码向量离基向量越近，重构系数越大，权值d_ij为距离函数，例如：或σ用于调节距离增大时权重d_ij的衰减速度；λ为拉格朗日乘子，用于折中目标函数的重构误差项与局部性项的重要程度。

(5.2)特征提取：

首先对目标候选区域进行滑动网格稠密采样，得到均匀分布的图像块，设目标候选区域尺寸为图像块尺寸为patchsize×patchsize，步长为s，则得到的图像块的个数为：

其中，floor(·)为向下取整运算符；

其次，对每一个图像块提取SIFT特征描述子：先将图像块分为4×4的子区域，再对每一个区域进行8方向的梯度直方图统计，最后将每个子区域的归一化梯度直方图拼接起来得到该图像块的SIFT特征描述子，其维度为：

目标候选区域局部特征提取结果可以表示为式(14)：

采用k近邻搜索，选取所述字典中距离待编码描述子最近的k个基，形成子字典；然后，使用子字典重构特征描述子；最后，将得到的编码在非临近基的位置补0，得到编码向量

对已提取的目标候选区域局部特征进行局部约束线性编码的结果表示为式(15)：

为了使不同尺寸/尺度的目标候选区域能够生成固定长度的特征表示，同时提高特征表达对图像变换的鲁棒性，采用空间金字塔池化操作，步骤如下：

(6.1)对目标候选区域进行金字塔划分，将其分为L层，每层细分为不同分辨率的网格：第l层划分为2^l×2^l个网格，l＝0_,1,...,L-1；

(6.2)进行池化操作，即对每一个网格中的LLC编码特征(局部约束线性编码特征)进行最大池化，得到每个网格的池化特征；

(6.3)将不同分辨率下每个网格的池化特征级联起来得到输入图像最终的特征表达，其维度为：

其中是每个网格的池化特征的维度：