一种基于特征增强和细化的单阶段水下生物目标检测方法

摘要

本发明公开了一种基于特征增强和细化的单阶段水下生物目标检测方法，包括：采集训练数据，获取水下生物训练特征样本，构建水下目标检测数据集；数据预处理，对数据集进行人工标注，将数据划分训练集和测试集；构建神经网络，包含特征提取骨干网络、特征增强模块和特征细化模块；训练神经网络，将训练集数据输入构建好的神经网络进行训练，得到水下生物目标检测的权重模型；预测结果，通过训练的得到的权重模型构建检测器，对测试集数据进行回归和分类得到检测结果。通过特征增强模块提升网络的多尺度上下文特征表达能力，解决水下生物模糊、尺度变化大问题。通过特征细化模块细化特征，使特征与锚框对齐，解决样本不平衡的问题。

说明书

技术领域

本发明涉及单阶段目标检测算法，特别涉及一种基于特征增强和细化的单阶段水下生物目标检测方法。

背景技术

水下机器人可以用来进行海底探测、船体检修和海洋考察等重要任务，相关研发收到重视。水下机器人的商用价值最直接的体现产业就是海产业。目前，海参海胆之类的海产品受到很多人的追捧，但是人工捕捞不仅对潜水员的能力要求高，而且长期的水下作业有害潜水员的健康。因此，用水下机器人捕捞代替人工捕捞具有实际意义。通过水下机器人捕获水下生物需要目标检测技术的支撑。目前，水下目标检测主要依赖于声纳、激光和相机三种典型的传感器。声纳传感器对几何结构信息敏感，即使在低能见度环境下也能提供水下场景的信息。然而，声纳获得的数据只能呈现扫描点之间的距离差异。这种类型的传感器会遗漏诸如视觉特征等其他因素。水下激光扫描仪利用光在水中传播进行精确建模，就获得的3D图像的分辨率和准确度而言，这样的传感器确实可以提供高性能。然而，水下激光扫描仪非常昂贵，并且和视觉一样受到水介质吸收和噪声的干扰。与声纳相反，相机可以以高的空间和时间分辨率提供更多类型的视觉信息。突出的物体可以通过颜色、纹理和轮廓视觉特征来识别。所以，基于视觉的水下目标检测具有很高的性价比。在算法层面上，虽然通用目标检测发展的很成熟并且可以很容易的在水下环境部署使用。但是，由于水下环境复杂多变，悬浮物等干扰因素众多，水下相机获取的图像往往出现对比度低、纹理失真、光照不均匀等问题，一些鲁棒性不强的通用目标检测算法直接运用到水下环境的检测效果很差。而且，目前还缺乏真实环境下的水下大规模训练数据集，以上种种制约了水下机器人技术的发展。

发明内容

本发明的目的是在通用目标检测算法上进行改进，提出一种基于特征增强和细化的单阶段水下生物目标检测算法。

技术方案：本发明提供一种基于特征增强和细化的单阶段水下生物目标检测方法，包括以下步骤：

步骤(1)：采集训练数据，通过水下相机获取水下生物训练特征样本，构建所需水下目标检测数据集；

步骤(2)：数据预处理，对采集到的水下数据集进行人工标注，划分为4个类，并将采集到的数据按照7∶3的比例划分训练集和测试集；

步骤(3)：构建神经网络，包含特征提取骨干网络、特征增强模块和特征细化模块，特征提取网络由特征提取骨干复合连接而成，特征增强模块由卷积分支组合而成，特征细化模块集成在预测分支上，且使用可变形卷积核；

步骤(4)：训练神经网络，将所述的训练集数据输入构建好的神经网络进行训练，得到水下生物目标检测的权重模型；

步骤(5)：预测结果，通过训练的得到的权重模型，构建一个检测器，对测试集数据进行回归和分类，得到测试集的检测结果。

算法包括以下步骤：

步骤(1)：采集训练数据，通过水下相机获取水下生物训练特征样本；

步骤(2)：数据预处理，对采集到的样本数据按照7∶3的比例划分训练集和测试集，并进行人工标注；

步骤(3)：构建神经网络，包含特征提取骨干，特征增强模块和特征细化模块；

步骤(4)：训练神经网络，将所述训练样本输入构建好的神经网络进行训练，得到水下生物目标检测模型；

步骤(5)：预测结果，通过训练模型搭建检测器，对已划分的测试集数据进行结果预测；

进一步地，步骤(2)中，在对数据集进行标注时，标注的数据包含4个类：海胆、海参、海星和贝壳，生成标注文件，包含文件名、目标类别、目标真值框左上角坐标(x

进一步地，所述步骤(3)中特征提取骨干由基本特征提取骨干VGG16和ResNet50复合连接而成。

进一步地，所述步骤(3)中特征增强模块包含3个卷积分支，第一个卷积分支由卷积核大小分别为1，5和3的三个连续卷积层组成，其中，卷积核大小为3的卷积层引入了扩张率为5的空洞卷积；第二个卷积分支由卷积核大小为1，3和3的三个连续卷积层组成，其中，卷积核为3的卷积层引入了扩张率为3的空洞卷积；第三个卷积分支包含卷积核大小为1的卷积和卷积核大小为3，扩张率为1的空洞卷积，三个卷积分支的结果进行特征融合并调整通道数量后与原始特征进行dropout，权重设为0.1，最后使用ReLU激活函数输出增强后的特征结果，特征增强过程可表示为以下公式：

其中，X

进一步地，所述步骤(3)中特征细化模块集成在6个预测分支上，每个分支包含6个具有可变形卷积核的连续卷积层，特征细化模块对特征进行粗细两次回归和分类，第一次进行二分类，即区分目标前背景，并粗略回归目标位置，第二次进行多分类任务，并通过可变形卷积学习边框偏移量，最终细化目标位置。

进一步地，步骤(4)中训练神经网络时，神经网络训练学习率采用Warm Up策略，前六轮训练在10

进一步地，步骤(5)中，检测器对测试集数据进行回归和分类时，使用NMS非极大值抑制进行后处理，对IOU阈值小于0.5的边框进行抑制。

上述技术方案中：

首先，构建神经网络。针对采集的水下生物图像存在诸如模糊、光照强度不均匀、颜色偏移和尺度变化大等问题。提出具有复合连接结构的特征提取网络和特征增强模块来增强提取到的特征质量，从而提高模型上下文信息的关联性。进一步地，提出了特征细化模块，该模块包含两次回归和分类，它可以有效解决单阶段检测器存在的样本不平衡问题，并且该模块进一步对锚框位置进行细化，使模型可以预测出更加精确地结果。其次，通过训练所得权重构建了水下目标检测器，用来预测测试集数据。最后，在通用目标检测数据集PASCAL VOC和水下数据集上的实验结果表明

有益效果：本发明算法是一种端到端的水下目标检测算法，该方法通过特征增强模块提升网络的多尺度上下文特征表达能力，用来解决水下生物模糊、尺度变化大的问题。此外，通过特征细化模块细化特征，使特征与锚框对齐，并且一定程度上解决样本不平衡的问题。本发明所提出的方法不仅适用于通用目标检测任务，而且可以完美适应水下目标检测任务。

附图说明

图1为本发明的流程图；

图2为本发明的特征提取网络结构图；

图3为本发明的特征增强模块结构图；

图4为本发明的总体框架图。

具体实施方式

本实施例的基于特征增强和细化的单阶段水下生物目标检测方法，具体流程如图1所示，包括如下步骤：

步骤(1)：获取训练特征数据集，通过水下相机在近海采集水下生物的图片数据。

步骤(2)：数据预处理，利用数据标注工具Label image对获取到的水下生物数据集进行人工标注，使用VOC的数据标注格式，每张图片对应一个标签文件。在对数据进行标注时，标注的数据包含四个类：海胆、海参、海星和贝壳。生成的标注文件包含文件名、目标类别、目标真值框左上角坐标(x

步骤(3)：构建神经网络，整个神经网络有三个部分：特征提取骨干网络、特征增强模块和特征细化模块。具体方法是：

特征提取骨干网络：本发明中使用的特征提取网络是通过VGG16和ResNet50复合连接而成。具体的如图2所示，针对输入大小为300*300的图片，分别将图片输入主特征提取网络VGG16和协特征提取网络ResNet50，然后在VGG16输出为150*150、75*75、38*38和19*19的特征输出层选取特征，输出特征大小刚好与ResNet50的4个输出层的大小相等。在相同大小的输出层之间建立复合连接，即进行特征融合，使融合后的特征具有更强的上下文表征能力。融合完成后，经过1*1的卷积层调整通道大小并且经过BN层的处理，从而加速模型收敛，防止过拟合。复合连接的过程可表示为以下公式：

F

其中，F

特征增强模块：特征增强模块包含三个卷积分支如图3所示，第一个卷积分支由卷积核大小分别为1，5和3的三个连续卷积层组成。其中，卷积核大小为3的卷积层引入了扩张率为5的空洞卷积。第二个卷积分支由卷积核大小为1，3和3的三个连续卷积层组成。其中，卷积核为3的卷积层引入了扩张率为3的空洞卷积，第三个卷积分支包含卷积核大小为1的卷积和卷积核大小为3，扩张率为1的空洞卷积。三个卷积分支的结果进行特征融合并调整通道数量后与原始特征进行dropout，权重设为0.1。最后使用ReLU激活函数输出增强后的特征结果。特征增强过程可表示为以下公式：

其中，X

特征细化模块：特征细化模块集成在6个预测分支上，每个分支包含6个具有可变形卷积核的连续卷积层。具体的，特征细化模块分为两个过程：特征预处理过程和细化过程。在特征预处理过程中，网络对特征进行第一次分类和回归，在此过程中，网络通过二分类对目标前景和背景信息进行筛选，属于前景的部分进行第一次回归，初步定位目标位置。细化过程基于预处理过程得到的结果，首先，对原始特征进行通道域上的最大值池化并经过Sigmoid激活函数处理，得到的结果与原特征在像素层面进行逐元素相乘后再融合。过程可表示为以下公式：

其中，F

第一次回归得到四个参数值分别为Δx，ΔyΔh和Δw，前两者代表锚框中心点的偏移量，后两者代表锚框大小的偏移量。在第二次分类回归的时候，网络进行多分类而非二分类，从而实现对水下目标的分类任务。并且，选取空间偏移量Δx和Δy，与细化输入特征F

步骤(4)：训练神经网络，神经网络训练学习率采用Warm Up策略，前六轮训练在10

步骤(5)：预测结果，使用权利要求步骤(4)所述的神经网络构建一个检测器(可实现检测功能)，并且加载训练所得权重模型，对测试集数据进行预测。检测器对测试集数据进行预测时，使用NMS非极大值抑制进行后处理，对IOU阈值小于0.5的边框进行抑制。

为了评估本算法，在通用目标检测数据集PASCAL VOC上验证本算法的合理性，同时在水下生物数据集上，与优秀的单阶段算法进行精度对比。

实验结果：

表1统计了PASCAL VOC数据集上各种算法的mAP值。

表1

表2统计了水下生物数据集上本算法与优秀单阶段算法RFBNet及其变体的mAP值对比。

表2