一种面向智慧园林的无人机航拍目标识别方法

摘要

本发明公开了一种面向智慧园林的无人机航拍目标识别方法：对无人机拍摄视频（遥感信息）进行预处理，将遥感图像分割至超像素单元；利用聚类算法技术将第一步中获取到的超像素单元进行分类，剔除部分虚假目标；提取聚类后超像素单元的均值、方差、信息熵特征与金字塔匹配特征，并将它们进行特征融合后作为SVM支持向量机的输入，以克服复杂的场景；训练SVM支持向量机模型，得到目标的识别分类结果。

说明书

技术领域

本发明涉及一种面向智慧园林的无人机航拍目标识别方法，属于目标检测和计算机视觉领域。

背景技术

由于人们的环保意识不强，导致园林中经常水瓶、纸巾、包装袋等垃圾出现，不仅有碍卫生还影响园林美观。目前，大部分智慧园林都采用无人机对园林中的情况进行动态的监控，然后利用目标检测等算法对监控信息进行智能分析。随着深度学习在计算机视觉领域的飞速发展，目标检测技术作为计算机视觉领域的一部分也得到了突破性的发展，然而，由无人机获取的园林信息属于遥感图片，但自然场景下的目标检测算法并未在遥感图像研究中取得突破性进展，因此，对遥感图像中较多的小目标检测仍然是一个具有挑战性的问题。

遥感图像相比于普通图像存在以下问题：（1）小目标分割困难：遥感图像中目标尺寸比较小，对比度弱；（2）特征提取困难：遥感图像中目标包含的像素少，在卷积和池化操作后会造成大量的特征丢失特征提取困难，经过多次卷积操作以及池化操作后会丢失大量的特征。

综上所述，如何在现有技术的地处上提出准确的小目标识别方法成为了目前业内人士所亟待解决的问题。

发明内容

本发明为解决现有技术对遥感图片中小目标识别准确率低的问题，提供了一种面向智慧园林的无人机航拍目标识别方法。该方法通过对遥感图像进行超像素分割、聚类和多类别单阶检测，从背景分割和特征融合两个角度来提高整体的识别准确率。

本发明为解决上述技术问题采用以下技术方案：

一种面向智慧园林的无人机航拍目标识别方法，包括以下步骤：

S1，对已知其中目标类别的无人机航拍摄的遥感信息进行预处理，并将预处理后的遥感图像进行超像素分割，得到超像素单元；其中，预处理包括跳帧处理、图像滤波、直方图修正以及图像形态学变换；

S2，去除S1中超过设定阈值的超像素单元，并对剩余超像素单元利用OPTICS 聚类算法进行聚类；

S3，分别提取S2中聚类结果中每一类超像素单元的均值、方差、信息熵特征以及金字塔匹配特征；

S4，对S3中的均值、方差、信息熵特征以及金字塔匹配特征进行特征融合，得到每一类超像素单元的融合特征；

S5，将S4中的融合特征作为SVM支持向量机的输入，对应的目标类别作为SVM支持向量机的输出，对SVM支持向量机进行训练，得到目标识别模型；

S6，待识别遥感信息信息根据S1-S4的方法进行处理，得到对应的融合特征，并将融合特征输入S5中的目标识别模型，得到识别结果。

进一步，S3中首先对每一类超像素单元进行二值化，然后分别计算二值化后超像素单元的均值、方差、信息熵。

进一步，S4中融合特征为：F=[k

其中，F表示融合特征，k

进一步，k

添加注意力机制的BLSTM是在BLSTM后添加注意力层，BLSTM由双层LSTM构成；

作为输入信息的F

对应第t帧的注意力层输出k

本发明采用以上技术方案与现有技术相比，具有以下技术效果：在智慧园林场景中，可将无人机拍摄的视频信息中尺寸较小的目标（水瓶、纸巾等垃圾）精准的从复杂背景中提取并识别出来， 大大减轻了人工巡检工作，同时也使园林更加美观。

附图说明

图1 为遥感图像预处理步骤图；

图2为基于注意力机制的BLSTM网络结构示意图；

图3为SVM分类模型示意图；

图4 为本发明的方法流程图。

具体实施方式

本发明的方法主要包括三个内容：一是对训练集（遥感图像）的预处理，以解决遥感图像目标尺寸小，对比度弱的问题；二是对超像素单元进行聚类，对小目标进行进一步分割，达到剔除虚假目标的目的；三是特征融合与分类，对小目标的均值、方差、信息熵特征与金字塔匹配特征，以提高复杂背景下SVM的分类准确性。

1．预处理

对无人机拍摄的视频（遥感信息）进行跳帧处理（每10帧提取一次），得到遥感图像。对遥感图像进行预处理，其预处理步骤如图1所示，预处理操作包括图像滤波、直方图修正以及图像形态学变换。最后，对预处理后的遥感图像进行超像素分割。

1）图像的前期处理对于后期小目标识别的准确度有很大影响。因此，为减少图像中噪声的影响，首先对遥感图像进行中值滤波和高斯滤波处理以消除椒盐噪声和高斯噪声的影响。

2）一般情况下，图像中会有部分区域的光线不足，在进行目标与背景分割是会出现误差，故而本发明采用直方图修正的方法对其进行改善，使修正后的图像的灰度间距拉开或者是图像灰度分布均匀，从而增大反差，使图像细节清晰，从而达到图像增强的目的，解决光线不足的问题。

3）为了对遥感图像中的小目标进行初步分割，需要对其做形态学变换操作（腐蚀、膨胀等），使加深小目标的边界和轮廓，使图像中小目标的信息更加明显，便于后期小目标的识别。

4）由于遥感图像目标尺寸小，对比度弱的问题，因此为了分割出隐藏在背景中的小目标本发明将采用SLIC超像素分割算法对图像进一步分割，将遥感图像中的小目标RGB图像转换到Cie-Lab颜色空间，然后通过计算像素间的欧式距离，将颜色相似、位置相近的像素聚集在一起，最后得到遥感图像的超像素单元。

2.聚类

超像素分割后的超像素单元有的像素块过大，而无人机飞行高度已知，需要识别的目标大小基本可以确定，因此，可通过手动设定阈值的方式对过大的像素块进行排除，之后再进行聚类，可提高聚类的速度。

超像素分割后的超像素单元是有误差的，其中部分背景被误分割为目标，因此，本专利将采用聚类算法来去除这部分的虚假目标。

由于DBSCAN 算法中，有两个初始参数 E（邻域半径）和 minPts(E 邻域最小点数)需要用户手动设置输入，并且聚类的类簇结果对这两个参数的取值非常敏感，不同的取值将产生不同的聚类结果，因此本发明采用克服 了DBSCAN 算法这一缺点的 OPTICS 聚类算法。 本算法并不显示产生结果的类簇，而是为聚类分析生成一个增广的簇排序，这个排序代表了各样本点基于密度的聚类结构。它包含的信息等价于从一个广泛的参数设置所获得的基于密度的聚类，从这个排序中可以得到基于任何参数 E 和 minPts 的 DBSCAN 算法的聚类结果。

具体操作如下：输入预处理后的训练集（处理后的遥感图像超像素单元）和邻域半径E,给定点在E领域内成为核心对象的最小领域点数MinPts（可为任意可行值，只起到辅助作用，对结果没有任何影响）。（1）创建两个队列，有序队列和结果队列。（有序队列用来存储核心对象及其该核心对象的直接可达对象，并按可达距离升序排列；结果队列用来存储样本点的输出次序）；（2）如果输入预处理后的训练集中所有点都处理完毕，则算法结束。否则，选择一个未处理（即不在结果队列中）且为核心对象的样本点，找到其所有直接密度可达样本点，如过该样本点不存在于结果队列中，则将其放入有序队列中，并按可达距离排序；（3）如果有序队列为空，则跳至步骤（2），否则，从有序队列中取出第一个样本点（即可达距离最小的样本点）进行拓展，并将取出的样本点保存至结果队列中，如果它不存在结果队列当中的话。（3.1）判断该拓展点是否是核心对象，如果不是，回到步骤（3），否则找到该拓展点所有的直接密度可达点；（3.2）判断该直接密度可达样本点是否已经存在结果队列，是则不处理，否则下一步；（3.3）如果有序队列中已经存在该直接密度可达点，如果此时新的可达距离小于旧的可达距离，则用新可达距离取代旧可达距离，有序队列重新排序；（3.4）如果有序队列中不存在该直接密度可达样本点，则插入该点，并对有序队列重新排序；（4）算法结束，输出结果队列中的有序样本点，得到聚类结果。

3.特征融合与分类

1）均值、方差、信息熵特征

提取聚类后每一类超像素单元的均值、方差、信息熵，首先对每一类超像素单元进行二值化操作，然后再计算其均值、方差和信息熵，均值、方差和信息熵的表达式如下所示：

其中，E为均值；x

2）金字塔匹配特征

金字塔匹配(SMP) 是一种利用空间金字塔进行图像匹配、识别、分类的算法。首先将每一类超像素单元的特征空间进行网格划分，划分为三个层级分别为L

因此，针对于遥感图像，金字塔匹配模型可以高效的描述图像特征信息和空间位置信息。通过对图像进行多层级的多分割，并结合图像的多分辨率表示，可以在多个尺度空间中描述图像的语义特征。

3）特征融合

均值、方差、信息熵融合特征为：

F

F

设金字塔匹配特征为F

F=[k

其中，F表示融合特征，k

本发明中，由添加注意力机制的BLSTM根据前后帧图像的特征权值自适应确定当前帧的权值。添加注意力机制的BLSTM的网络结构如图2所示，在BLSTM后添加注意力层，BLSTM由双层LSTM构成。由于不同的特征的数量级不同，差距大使数量级小的可能被忽略，因此三个特征再在融合之前需先进行归一化操作，然后再进行特征融合。

基于注意力机制的BLSTM网络是将三个融合特征向量F

其中，T是将视频跳帧提取后得到的总帧数，i=1,2,3，k

本发明将基于注意机制的BLSTM应用于两种特征的融合；在整合过程中，注意机制的作用是学习两个特征在不同时间的的意义并给予相应的注意；所有特征的注意权重不断变化，实现了一种自适应的动态特征融合过程。

4）SVM分类

根据将上述特征融合结果，将融合特征F输入到SVM中进行分类，得到小目标的识别的分类结果（即：水瓶、纸巾等杂物）。支持向量机（SVM）分类模型，是在分类算法中效率比较高的一种，该分类模型是数属于机器学习方法计中，其最大的特点是根据Vapnik结构风险最小化原则。它的基本模型是定义在特征空间上的间隔最大的线性分类器。SVM分类模型图如图3所示。

本发明即面向智慧园林的无人机航拍目标识别方法的具体的流程图如图4所示，实现过程如下：

第一步：对无人机拍摄视频（遥感信息）进行预处理，将遥感图像分割至超像素单元；

第二步： 利用聚类算法技术将第一步中获取到的超像素单元进行分类，剔除部分虚假目标；

第三步： 提取小目标的均值、方差、信息熵特征与金字塔匹配特征，并将它们进行特征融合后作为SVM支持向量机的输入，以克服复杂的场景；

第四步： 训练SVM支持向量机模型，得到小目标的识别分类结果。

以上对本发明实施例所提供的一种面向智慧园林的无人机航拍目标识别方法进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。