一种联合局部特征和全局特征的R-FCN刀闸检测方法

摘要

本发明提供了一种联合局部特征和全局特征的R‑FCN刀闸检测方法，该方法基于深度学习网络模型R‑FCN对变电站的刀闸进行状态检测。通过对变电站辅助监控系统嵌入网络摄像机集控软件实现相机多位置、多角度在不同室外天气环境、背景的刀闸图像采集，构建多样性的刀闸数据；通过对R‑FCN输出预测网络并联融入全局特征预测模块，补充原始网络只通过局部特征预测刀闸产生的感受野不足缺陷，提升对部分遮挡的刀闸检测准确率，降低对复杂背景中刀闸的漏检率和误检率；通过对局部特征预测结果和全局特征预测结果正则化后进行预测结果累加，实现全局特征预测结果对局部特征预测结果的补充，满足变电站刀闸远程检测和无人化值守的需求。

说明书

技术领域

本发明涉及变电站辅助监控系统中刀闸检测的技术领域，且涉及一种联合局部特征和全局特征的R-FCN刀闸检测方法。

背景技术

变电站是高压输电中重要的中转场所，站内运行着各种至关重要的通断控制器件。以往变电站出现中断工作时，相关作业人员需要逐个器件进行排查寻找故障，故障排查时间的长短决定着变电站何时正常工作，严重影响居民的日常生活。刀闸作为变电站的重要控电开关，其开合状态直接决定电气化电路整体是否运行。传统对变电站出现停电状态排查，作业人员首先需要进入变电站高压区域查看刀闸是否断开，然后逐一排查其他连接器件，容易发生触电危险。随着变电站无人化值守的发展需求，研究对抓拍图像中刀闸状态的自动化检测将有利于快速识别刀闸的当前状态，缩短变电站的故障检测效率，保证作业人员的生命安全，有效提高电网的安全运行。

对于刀闸的自动化检测，目前经常遇到的问题：刀闸工作环境位于室外，存在多种和刀闸同为金属制品的设备，颜色相近，不容易区分；受天气环境影响，处于同一位置的刀闸在不同的环境下识别难度不同；由于室外存在多种电压控制设备和导线以及刀闸长条矩形形状影响，在对变电站部署辅助监控系统时，经常出现采集到的刀闸受其他对象设备遮挡或不能完整采集到整个特征。

针对刀闸检测方法，分为两种：1)基于图像处理的方法；2)基于深度学习的方法。受刀闸数据采集影响，目前多数方法采用的是基于图像处理的方法，首先对固定角度位置采集的标准图像建立刀闸模板，然后使用特征点匹配算法或者模板匹配算法等图像处理算法进行定位以及状态识别，这种方法在短时间内良好的天气环境情况下可以获得较高的监测准确率，但随着天气状况的频繁改变，相机位置在预先建立模板图像角度基础上会发生偏移，进而无法识别出刀闸的状态，因此需要经常人工查看调整相机位置或者从新建立模板。采用深度学习的方法，需要依赖大量不同角度、不同天气的数据集，数据集的缺少会限制了相关工作的进度，除此之外，目前多数深度学习网络模型通过全局感受野进行预测，如：Faster-Rcnn系列网络模型、Yolo系列网络模型等，当对刀闸进行检测时，如果刀闸存在遮挡或采集对象不完整，会导致刀闸整体特征信息缺少，产生漏检或者误检；部分深度学习网络模型通过局部特征进行预测，如：R-FCN网络模型、VIT 网络模型等，当对刀闸进行检测时，虽然能有效检测到不完整的刀闸，但当刀闸充满整幅图像时，局部特征预测也会出现漏检情况。

发明内容

针对上述技术问题，本发明的目的是：基于R-FCN网络模型，提出一种联合局部特征和全局特征的基于区域的全卷积目标检测网络R-FCN(R-FCN:Object Detection viaRegion-based Fully Convolutional Networks)刀闸检测方法，对R-FCN 网络模型嵌入全局特征预测，联合局部特征和全局特征预测的优点提升刀闸检测的准确率，提升现有刀闸检测方法的准确率。

为了实现上述目的，本发明所采用的技术方案为：一种联合局部特征和全局特征的R-FCN刀闸检测，包括以下步骤：

步骤1：搭建变电站辅助监控系统采集刀闸图像；

步骤2：划分、清洗并标注图像数据集；

步骤3：选择R-FCN主干特征提取网络；

步骤4：调整R-FCN的主干特征提取网络；

步骤5：构建局部特征预测分支；

步骤6：构建全局特征预测分支；

步骤7：融合局部预测结果和全局预测结果；

步骤8：训练保存模型。

进一步的，步骤1中的变电站辅助监控系统为变电站中的所有网络监控摄像机和相关控制设备的集成，通过调整各相机的角度，实现采集不同时刻、天气、背景的包含刀闸和未包含刀闸的图像数据集，且包含刀闸的图像数据集数量应均匀包含刀闸的开关两种状态。

进一步的，步骤2中的划分数据集指的是将采集的图像分成包含刀闸的图像和未包含刀闸的图像，并将包含刀闸图像的数据集划分成训练集和测试集比例为 8：2；清洗数据集指的是将采集到的数据集中存在模糊的数据集进行剔除；标注数据只标注包含刀闸对象的图像。

进一步的，步骤3中选择R-FCN主干特征提取网络，实现方式为：采用分类网络ResNet101作为主干特征提取网络，在ResNet101第四组卷积层后使用区域建议网络(RPN:Region Proposal Network)操作产生感兴趣区域(用于后期刀闸的检测)，抛弃使用ResNet101第五组卷积层后面的池化层和全连接层，最终输出的通道数为2048个。所述感兴趣区域为存在目标的区域。

进一步的，步骤4中调整R-FCN的主干特征提取网络，实现方式为：在步骤 3选择修整的主干特征提取网络ResNet101后添加卷积核大小为1×1的卷积层将通道数降低为1024个，以降低特征数据维度但不改变特征图的大小，提升计算速度。

进一步的，步骤5中构建局部特征预测分支，实现方式为：采用原始具有局部特征预测的网络模型R-FCN输出局部预测结果，且局部特征预测采用RPN建议区域划分为7×7个局部区域进行预测。

进一步的，步骤6中构建全局特征预测分支，实现方式为：对提取的语义特征进行池化操作，统一提取的语义特征大小；然后，串联使用卷积核大小为7×7 和1×1的卷积层输出全局预测结果。

进一步的，步骤7中融合局部预测结果和全局预测结果，是对步骤5和步骤 6中的输出预测结果要使用L2正则化，数学表达式为：

进一步的，步骤8中训练模型，训练使用划分的两种数据集进行两次训练：第一次训练只使用包含刀闸的清晰数据集，第二次训练使用包含刀闸的和未包含刀闸但类似刀闸的数据数量比例为1：1的模糊数据集。

进一步的，步骤8中训练模型，训练使用的损失函数数学表达式为：

与现有技术相比，本发明取得的有益效果为：对于存在部分特征遮挡的以及较大特征的刀闸检测，基于联合局部特征和全局特征的R-FCN网络相比于基于原始局部特征预测，均能预测判断。基于联合局部特征和全局特征的R-FCN刀闸检测方法的提出，有效降低了变电站复杂场景中刀闸检测的误检率和漏检率。

附图说明

为更清楚的说明本发明的技术方案，下面结合对实施例中所需的附图做进一步说明。

图1为本发明的联合局部特征和全局特征的R-FCN刀闸检测方法操作流程示意图。

图2为本发明的联合局部特征和全局特征的R-FCN模型的模块示意图。

图3为本发明的局部特征预测的模块示意图。

图4为本发明的全局特征预测的模块示意图。

具体实施方式

下面结合附图1-4对本发明进行实施方案的详细说明。

如图1所示，一种联合局部特征和全局特征的R-FCN刀闸检测方法，其步骤如下：

步骤1：变电站辅助监控系统采集刀闸图像时，从不同角度、不同视野、不同背景等自然因素中采集，保证采集到图片的多样性。

步骤2：将步骤1采集到的数据集进行清洗，去除损坏的图像数据，并分成两种：只包含刀闸的图像数据集和未包含刀闸但与刀闸类似的数据集。本发明采集到的数据集包含刀闸的图像总数为800张，未包含刀闸但与刀闸类似的800 张，分别对两种进行划分，其中训练集和测试集之比为8：2，并将只包含刀闸图像的数据集进行标注刀闸位置和状态，第一次训练，采用样本的数量如表1 所示，第二次训练，采用样本的数量如表2所示。

步骤3：调整R-FCN主干特征提取网络：采用分类网络ResNet101作为主干特征提取网络，在ResNet101第四组卷积层后使用RPN操作产生感兴趣区域(用于后期刀闸的检测)，抛弃使用ResNet101第五组卷积层后面的池化层和全连接层，最终输出的通道数为2048个，如图2所示。

步骤4：在步骤3选择修整的主干特征提取网络ResNet101后添加卷积核大小为1×1的卷积层将通道数降低为1024个，以降低特征数据维度但不改变特征图的大小，如图2所示。

步骤5：构建局部特征预测分支：采用原始具有局部特征预测的网络模型 R-FCN输出局部预测结果，且局部特征预测采用RPN建议区域划分为7×7个局部区域进行预测，如图3所示。

步骤6：构建全局特征预测分支：对提取的语义特征进行池化操作，统一提取的语义特征大小；然后，串联使用卷积核大小为7×7和1×1的卷积层输出全局预测结果，如图4所示。

步骤7：融合局部预测结果和全局预测结果：对局部预测结果和全局预测结果进行正则化，统一缩放至同一数值区间并进行相加，完成信息融合预测。

进一步的，数学表达式为：

步骤8：训练模型：训练时模型主干特征提取网络ResNet101的初始化参数使用在ImageNet数据集上训练好的模型权重，模型训练使用的损失函数选择与 R-FCN网络相同的损失函数，进行两次训练：第一次使用只包含有刀闸图像的数据训练，至损失函数收敛，保存网络模型；第二次基于第一次训练的模型参数基础之上，使用包含刀闸和未包含刀闸类似刀闸的数据进行训练，进一步特征网络模型的刀闸辨别能力，最终得到模型的测试结果如表3所示。

进一步的，步骤8中训练模型，训练使用的损失函数数学表达式为：

表1是第一次训练集样本数量的统计结果。

表2是第二次训练集样本数量的统计结果。

表3是联合局部特征和全局特征的R-FCN刀闸检测准确率对比结果。

尽管已经展示和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的保护范围由所附权利要求及其等同物限定。