基于无人机遥感的松材线虫病疫区变色立木智能识别方法

摘要

本发明公开了一种基于无人机遥感的松材线虫病疫区变色立木智能识别方法，包括以下步骤：S1：利用无人机采集松材线虫病疫区影像，进行图像处理制作高分辨率正射影像图；S2：将正射影像图按比例分割，并进行样本类型标注；S3：基于无人机采集的可见光影像进行图像融合，提取空间、纹理和色彩特征，制作样本库；S4：利用样本库对识别模型进行训练；S5：利用训练过的识别模型对无人机影像进行变色立木自动识别。通过对无人机原始影像数据进行增强处理，使染病松树特征更加明显；制作大量样本对模型进行训练，使算法模型掌握松材线虫病感染松树的纹理、形状和色彩等高级抽象空间特征，从而实现对松材线虫病枯死松树的快速准确识别。

说明书

技术领域

本发明属于森林病虫害识别技术领域，具体涉及一种基于无人机遥感的松材线虫病疫区变色立木智能识别方法。

背景技术

中国森林病虫害共有8000多种，经常造成危害的有200多种，森林病虫害大面积发生，危害极为严重，其中松材线虫病素有“松树的癌症”之称，具有蔓延速度快、影响面积广、治理窗口期有限的特点，是当前世界上最具威胁的林业病害。尽早发现患病的植株并将其砍伐，能够防止松材线虫病扩张蔓延，可以大大地减少该病对生态环境的破坏以及带来的经济损失。目前，传统的监测方法中最常用的方法是人工监测和卫星监测，但是人工监测效率低，耗费人力物力，陡峭山区作业难度大；卫星监测则受限于时间分辨率及空间分辨率也难以完全满足监测需求，显然不是最佳的监测治理方法。因此，如何快速高效且准确地监测患病松树，是本领域技术人员亟待解决的技术问题。

发明内容

本发明为了解决上述问题，提出了一种基于无人机遥感的松材线虫病疫区变色立木智能识别方法。

本发明的技术方案是：一种基于无人机遥感的松材线虫病疫区变色立木智能识别方法包括以下步骤：

S1：利用无人机采集松材线虫病疫区影像，进行图像处理制作高分辨率正射影像图；

S2：将正射影像图按比例分割，并进行样本类型标注；

S3：基于无人机采集的可见光影像进行图像融合，提取空间、纹理和色彩特征，制作样本库；

S4：利用样本库对识别模型进行训练；

S5：利用训练过的识别模型对无人机影像进行变色立木自动识别。

进一步地，步骤S2中，进行图像分割的具体方法为：将正射影像图按照1024*1024像素大小进行图像分割。

进一步地，步骤S2中，进行样本类型标注的具体方法为：根据松材线虫病枯死松树点位矢量图，确定其在正射影像图上对应的点位位置，利用多边形标注工具对枯死松树进行标注，并区分正样本和负样本。

进一步地，步骤S4中，构建并训练识别模型的具体方法为：对影像图进行数据增强处理，利用TensorFlow深度学习框架和Mask R-CNN卷积神经网络构建识别模型，并利用70％影像图对识别模型进行训练，利用30％影像图对识别模型进行测试。

本发明的有益效果是：本发明采用改进的深度学习目标识别算法Mask R-CNN构建松材线虫病疫区变色立木智能识别方法。通过对无人机原始影像数据进行增强处理，使染病松树特征更加明显；制作大量样本对模型进行训练，使算法模型掌握松材线虫病感染松树的纹理、形状和色彩等高级抽象空间特征，从而实现对松材线虫病枯死松树的快速准确识别，使松树变色立木识别准确率提高，解决了人工识别效率低、耗时长和误差大等问题，从而极大地提高了松材线虫病疫区枯死松树监测精准度和疫情防治效率。

附图说明

图1为松材线虫病疫区变色立木智能识别方法的流程图。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

如图1所示，本发明提供了一种基于无人机遥感的松材线虫病疫区变色立木智能识别方法，包括以下步骤：

S1：利用无人机采集松材线虫病疫区影像，进行图像处理制作高分辨率正射影像图；

S2：将正射影像图按比例分割，并进行样本类型标注；

S3：基于无人机采集的可见光影像进行图像融合，提取空间、纹理和色彩特征，制作样本库；

S4：利用样本库对识别模型进行训练；

S5：利用训练过的识别模型对无人机影像进行变色立木自动识别。

在本发明实施例中，步骤S2中，进行图像分割的具体方法为：将正射影像图按照1024*1024像素大小进行图像分割。

在建立无人机遥感影像数据库基础上，通过系统开发、样本训练和模型校正，完成了变色立木智能识别系统的开发。系统具有以下主要功能模块：

正射影像图制作模块：该模块包括以下功能：(1)对获取影像进行质量检查，剔除模糊等不合格照片，对剩余照片进行匀光匀色处理；(2)内定向处理，建立像片坐标系，通常采用仿射变换进行框标坐标计算；(3)相对定向，相对定向是解算立体像对相对方位元素，恢复两光束间相对方位的工作，通常以第一张相片的像主点为坐标原点的坐标系为参照坐标系，来确定第二张照片相对于第一张照片的位置和姿态；(4)绝对定向及区域网平差，绝对定向是指确定航片在摄影瞬间相对于地面的姿态，确定影像坐标系和大地坐标系之间的关系的，绝对定向完成后再一次进行区域网平差，计算出加密点的坐标，生成高密度的点云；(5)TIN模型构建，基于影像的超高密度点云，构建TIN模型，并以此生成基于影像纹理的高分辨率正射影像图。

样本分割和标注模块：用于将正射影像图按比例裁剪。按照1024*1024像素进行分割，并进行样本类型标注。

影像融合模块：基于无人机采集的可见光影像进行图像融合，提取空间、纹理和色彩特征，获取染病松树的高级抽象空间特征。

样本训练模块：采用TensorFlow深度学习框架和Mask R-CNN模型开发松材线虫病害样本训练模块。将分割标注后的所有图像，用作松材线虫病异常变色木识别模块训练和测试数据集，对该模块进行样本训练，使算法模型得到进一步优化。

智能判读模块：基于优化后的模型对正射影像图上的松材线虫病枯死松树异常变色木进行自动判读，并自动标注。

枯死松树定位及汇总统计模块：自动生成枯死松树异常变色木分布的矢量数据.shp文件，包括枯死松树异常变色木的经纬度坐标、地理属性和健康度等的矢量数据，可进行成果编辑和小斑分析；生成KML文件直接导入第三方地图软件，按照林草部门的要求生成枯死松树电子分布图，并汇总统计生成成果报告，开启“一键导航”疫木除治模式。

松材线虫病危害枯死松树特征提取是智能识别分类的基础。一般来说，感染松材线虫病异常变色立木可以分为三种类型或三个阶段：初期滨死松树树冠呈现橙黄色(将死)、中期完全死亡松树树冠呈红褐色(死亡不久)、后期针叶呈灰色并部分脱落后树冠呈现灰白色(死亡时间2个月以上)。

影像分割采用本系统中的影像分割标注模块进行。用于分割的正射影像数据必须具有tif、prj、tfw、tif.aux.xml和tif.ovr五个文件。将正射影像图导入分割模块，然后按照一定的比例进行图像裁剪并保留影像中所包含的地理坐标信息，一般采用1024*1024像素大小进行分割。为了保证单株树木影像完整，应在每张照片边缘部分设置40个像素的重叠。

基于分割后的图像，采用本系统中的影像分割标注模块，结合地面核实的松材线虫病枯死松树的点位矢量图(.shp文件)和枯死树木信息，进行样本标注，制作样本库，用作松材线虫病变色木识别模块训练数据集。

在本发明实施例中，步骤S2中，进行样本类型标注的具体方法为：根据松材线虫病枯死松树点位矢量图，确定其在正射影像图上对应的点位位置，利用多边形标注工具对枯死松树进行标注，并区分正样本和负样本。

在本发明实施例中，步骤S4中，构建并训练识别模型的具体方法为：对影像图进行数据增强处理，利用TensorFlow深度学习框架和Mask R-CNN卷积神经网络构建识别模型，并利用70％影像图对识别模型进行训练，利用30％影像图对识别模型进行测试。

在本发明实施例中，Mask R-CNN是一种可以在做目标检测的同时进行实例分割的模型，是对Faster R-CNN的扩展，特征提取采用ResNet-FPN的架构，另外多加了一个Mask预测分支，可以完成目标分类、目标检测、语义分割、实例分割和人体姿势识别等多种任务；灵活而强大，可以实现对图像的像素级的实例分割；这种结构使得每一层都直接影响到最终的模型梯度，每一层都受原始输入信号的影响，使得每一步都被深度监督，可以加深到上千层；同时这种卷积连接可以产生正则化的效果，减少网络的过拟合；结构灵活，有利于进行网络优化，以提高识别准确率和计算效率。因此，采用Mask R-CNN深度学习模型开发枯死疫木智能识别系统。项目基于Mask R-CNN算法，采用可见光RGB三波段的智能融合算法，学习染病松树的高级抽象空间特征；通过大量的样本训练使枯死树木的分级和筛选更精确，识别效率也更高。

Mask R-CNN实际上是ResNet-FPN+FastR-CNN+Mask组合算法。Faster R-CNN是两阶段的目标检测算法，包括阶段一的Region Proposal以及阶段二的Bounding Box回归和分类。Faster R-CNN使用卷积神经网络CNN提取图像特征，然后使用Region ProposalNetwork(RPN)去提取出感兴趣的区域ROI，然后使用ROI Pooling将这些ROI全部变成固定尺寸，再反馈给全连接层进行Bounding Box回归和分类预测。

多尺度检测在目标检测中变得越来越重要，特别是对于小目标的检测尤其如此。Feature Pyramid Network(FPN)是一种精心设计的多尺度检测方法，包括自下而上、自上而下和横向连接三个部分。这种结构可以将各个层级的特征进行融合，使其同时具有强语义信息和强空间信息，在特征学习中非常有用。

将ResNet-FPN和Fast R-CNN进行结合，形成Faster R-CNN结构。但与最初的Faster R-CNN不同的是，FPN产生了特征金字塔，而并非只是一个特征图。金字塔经过RPN之后会产生很多Region Proposal。根据Region Proposal切出ROI进行后续的分类和回归预测。再将ResNet-FPN+FastR-CNN+mask，则得到了最终的Mask R-CNN。

Mask R-CNN的骨干网络ResNet-FPN，用于特征提取。另外，ResNet还可以是：ResNet-50、ResNet-101、ResNeXt-50和ResNeXt-101。

Mask R-CNN中还有一个很重要的改进，就是ROI Align。Faster R-CNN存在的问题是：特征图与原始图像无法对准(mis-alignment)，所以会影响检测精度。而Mask R-CNN提出了ROI Align的方法来取代ROI Pooling，RoI Align可以保留大致的空间位置。ROIAlign方法取消整数化操作，保留了小数，采用双线性插值的方法获得坐标为浮点数的像素点上的图像数值。然后对每个单元格内的四个采样点进行Max Pooling，就可以得到最终的ROI Align的结果。

本发明把CNN输出的特征空间作为全连接层或全连接神经网络(fully connectedneural network,FCN)的输入，用全连接层来完成从输入图像到标签集的映射，即分类。整个过程最重要的工作就是如何通过训练数据迭代调整网络权重，也就是后向传播算法。

本发明的工作原理及过程为：随着遥感数据的爆发式增长，人工解译已经不能满足图像特征提取与目标物识别的需要，计算机硬件设备的发展和图像处理算法的改进，使海量数据的计算机辅助解译成为可能。本发明着眼于目前应用场景落地的无人机可见光遥感技术，规范了无人机遥感影像采集标准，研发了基于无人机遥感影像的精度超过85％的松材线虫病变色木智能识别技术，搭建了基于云端的业务化应用平台，实现了松材线虫病变色木的智能在线判读，并提供云端服务，极大地提高了松材线虫病监测效率，降低了监测成本，切实推动无人机遥感监测的大面积业务化应用。本发明主要包括：一是构建了松材线虫病无人机遥感影像数据采集及异常变色木无人机遥感监测技术行业标准规范。数据采集的标准化是数据存储、交易、加工及数据服务等一系列数据治理的前提。二是基于前期积累的海量标准化松材线虫病无人机典型灾害影像数据，采用TensorFlow深度学习框架和MaskR-CNN算法相结合的智能识别技术体系并不断训练优化模型，研发出识别精度超过85％的松材线虫病变色疫木智能识别系统。三是研建了可见光遥感影像智能识别平台并搭载至国家林草局松材线虫病疫情防控监管平台，与国家林草局林草感知系统实现无缝对接，实现无人机影像在线智能判读服务行业实质性应用。本发明建立了基于云端的松材线虫病变色立木无人机遥感智能识别技术体系，提出了根据不同发病时期、不同应用场景、不同设备平台的松材线虫病变色立木识别方案，极大地降低了无人机遥感监测成本。项目研究成果可服务于松材线虫病大范围无人机遥感监测及疫情核实核查，为实现全国松材线虫病疫情精准防控提供重要技术支撑。

本发明的有益效果为：本发明采用改进的深度学习目标识别算法Mask R-CNN构建松材线虫病疫区变色立木智能识别方法。通过对无人机原始影像数据进行增强处理，使染病松树特征更加明显；制作大量样本对模型进行训练，使算法模型掌握松材线虫病感染松树的纹理、形状和色彩等高级抽象空间特征，从而实现对松材线虫病枯死松树的快速准确识别，使松树变色立木识别准确率提高，解决了人工识别效率低、耗时长和误差大等问题，从而极大地提高了松材线虫病疫区枯死松树监测精准度和疫情防治效率。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。