首页> 中国专利> 一种融合隐含知识推理的输电线路多金具识别方法及系统

一种融合隐含知识推理的输电线路多金具识别方法及系统

摘要

本发明提供一种融合隐含知识推理的输电线路多金具识别方法及系统,属于图像识别技术领域,输电线路多金具识别方法包括:获取待识别金具图像;对待识别金具图像进行特征提取,确定场景特征、多个区域建议框特征及各区域建议框特征的类别;根据场景特征对区域建议框特征进行场景增强,得到场景增强特征;根据区域建议框特征的类别,对区域建议框特征进行空间增强,得到空间增强特征;根据各区域建议框特征,各区域建议框特征对应的场景增强特征及空间增强特征,确定待识别金具图像中的金具位置及金具类型。通过场景增强和空间增强深入挖掘金具间的隐含关系,增强被遮挡金具的视觉特征,提高了金具识别的精准度。

著录项

  • 公开/公告号CN114882295A

    专利类型发明专利

  • 公开/公告日2022-08-09

    原文格式PDF

  • 申请/专利权人 华北电力大学(保定);

    申请/专利号CN202210675731.0

  • 申请日2022-06-15

  • 分类号G06V10/764(2022.01);G06V10/80(2022.01);G06V10/82(2022.01);G06N5/04(2006.01);G06N3/08(2006.01);G06N3/04(2006.01);

  • 代理机构北京高沃律师事务所 11569;

  • 代理人韩雪梅

  • 地址 071003 河北省保定市莲池区永华北大街619号华北电力大学

  • 入库时间 2023-06-19 16:20:42

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-08-26

    实质审查的生效 IPC(主分类):G06V10/764 专利申请号:2022106757310 申请日:20220615

    实质审查的生效

  • 2022-08-09

    公开

    发明专利申请公布

说明书

技术领域

本发明涉及图像识别领域,特别是涉及一种融合隐含知识推理的输电线路多金具识别方法及系统。

背景技术

输电线路检测是电力系统安全、不间断、可靠运行的重要保证。在输电线路中,金具是一种应用广泛的电力部件,具有支持、固定、防护和接续线路各个部件及维持线路稳定的作用。输电线路金具的状态监测是输电线路监测中重要且困难的任务。尽早发现金具的缺陷,可以减少电力中断,防止巨大的经济损失和客户对电力传输系统的不良影响。

目前一般采用无人机对输电线路进行巡检,实现更自动化、更高效的巡检。在无人机巡检过程中,会生成大量的金具航拍图像和视频作为摄影记录。为了实现金具的自动检测和智能诊断,关键条件是要从航拍图像中准确检测出金具目标,进行故障诊断、摄像跟踪、数据管理等后续运维管理任务。

为了识别航拍图像中的输电线路部件目标,现有的检测方法通过图像处理来提取航拍图像的颜色、形状和纹理特征,从而区分出电力部件和复杂的背景。但是一般需要手工提取特征,其性能在很大程度上取决于背景的复杂性和图像处理的结果。

随着深度学习的发展,基于CNN(Convolutional Neural Networks,卷积神经网络)的方法逐渐应用到了输电线路部件检测中,并取得了一定的进展。当前基于CNN的目标检测方法可以概括为基于区域建议的方法(两阶段检测器)和基于回归的方法(一阶段检测器)。对于二阶段方法而言,第一阶段通过区域建议生成网络(Region proposal network,RPN)在CNN提取的特征图上生成区域建议;第二阶段对这些区域建议进行分类和边界框回归。一阶段方法则把两阶段整合为一阶段,通过获取输入图像并学习类概率和边界框坐标来使用回归。虽然基于深度学习的目标检测方法受到了广泛的研究,但它们仅关注图像中目标区域建议附近的信息,只是在网络中传播目标的图像视觉特征,忽略了目标之间复杂的拓扑结构信息,因此这些方法的性能受到了一定程度的限制。

因此,金具数据集主要存在两种挑战:1)背景复杂。在金具航拍数据集中,由于金具分布较为广泛,金具目标的背景也是复杂和多样的,金具的分布背景有田野,有树林,有建筑。但更多得到是以杆塔本身为背景,由于金具的材质和杆塔的材质相似,均为铁制金属或铝制金属,在外观颜色上均表现为银灰色,因此在航拍图像中,金具目标更容易隐匿在复杂背景中,难以识别。2)目标密集。由于输电线路承载着输送高电压、超高电压的任务,在输电线路周围会产生强磁场,近距离拍摄会对无人机的通信和导航系统会产生干扰,因此只能远距离拍摄的无人机航拍图像中的金具目标尺寸较小且分布密集,导致图像分析算法容易漏检和错检。

先前的工作中通过在深度学习目标中融合共现和空间外部知识,提出了金具目标检测的新方法,但由于这种方法需要引入大量的外部知识,对原有数据集进行统计和分析得到数据集的特征,因此这种方法仍存在泛化性能不高,易受到训练集中的数据分布的影响,并且存在在统计和分析中需要人工做许多额外的数据预处理工作等问题。

发明内容

本发明的目的是提供一种融合隐含知识推理的输电线路多金具识别方法及系统,可提高金具识别的精度。

为实现上述目的,本发明提供了如下方案:

一种融合隐含知识推理的输电线路多金具识别方法,包括:

获取待识别金具图像;

对所述待识别金具图像进行特征提取,确定所述待识别金具图像中的场景特征、多个区域建议框特征及各区域建议框特征的初始类别;

针对任一区域建议框特征,根据所述场景特征,对所述区域建议框特征进行场景增强,得到对应的场景增强特征;

根据所述区域建议框特征的初始类别,对所述区域建议框特征进行空间增强,得到对应的空间增强特征;

根据各区域建议框特征,各区域建议框特征对应的场景增强特征及空间增强特征,确定所述待识别金具图像中的金具位置及金具类型。

可选地,所述对所述待识别金具图像进行特征提取,确定所述待识别金具图像中的场景特征、多个区域建议框特征及各区域建议框特征的初始类别,具体包括:

通过卷积层提取所述待识别金具图像的特征,得到基础特征图;

通过预先训练好的区域建议网络在所述基础特征图中确定多个初始区域建议框及场景特征;

针对任一初始区域建议框,采用预先训练好的Faster-RCNN的检测器,对所述初始区域建议框进行检测,确定所述初始区域建议框的初始类别和回归框;

对所述初始区域建议框的回归框进行重采样,得到所述初始区域建议框对应的优化区域建议框;

根据各优化区域建议框,对所述基础特征图进行池化操作,得到多个区域建议框特征;各区域建议框特征的类别为对应的初始区域建议框的初始类别。

可选地,所述根据所述场景特征,对所述区域建议框特征进行场景增强,得到对应的场景增强特征,具体包括:

对所述区域建议框特征中的背景进行过滤,得到前景框特征;

基于门控循环机制,根据所述前景框特征及所述场景特征,确定结构场景特征;

基于门控循环机制,根据所述结构场景特征及所述区域建议框特征,确定所述区域建议框对应的场景增强特征。

可选地,所述根据所述区域建议框特征的初始类别,对所述区域建议框特征进行空间增强,得到对应的空间增强特征,具体包括:

计算所述区域建议框特征与目标区域建议框特征的空间几何关系;所述目标区域建议框特征为待识别金具图像中除所述区域建议框特征外的任一区域建议框特征;

计算所述区域建议框特征与所述目标区域建议框特征的空间视觉关系;

根据所述区域建议框特征与各目标区域建议框特征的空间几何关系及空间视觉关系,确定所述区域建议框特征与任一目标区域建议框特征之间的隐含空间关系;

对所述区域建议框特征与各目标区域建议框特征两两之间的隐含空间关系进行稀疏化,得到稀疏空间网络;

根据所述区域建议框特征的初始类别,确定所述区域建议框特征对应的类别外观特征;

基于图卷积网络,根据所述区域建议框特征对应的类别外观特征及所述稀疏空间网络,确定所述区域建议框特征对应的空间增强特征。

可选地,采用以下公式,确定第i个区域建议框特征与第j个区域建议框特征的空间几何关系:

其中,

可选地,所述计算所述区域建议框特征与所述目标区域建议框特征的空间视觉关系,具体包括:

对所述区域建议框特征进行线性变换,得到所述区域建议框特征的潜在空间特征;

对所述目标区域建议框特征进行非线性变换,得到所述目标区域建议框特征的潜在空间特征;

计算所述区域建议框特征的潜在空间特征与所述目标区域建议框特征的潜在空间特征的空间视觉关系。

可选地,采用以下公式,确定第i个区域建议框特征与第j个区域建议框特征的空间视觉关系:

其中,

可选地,采用以下公式,确定第i个区域建议框特征与第j个区域建议框特征之间的隐含空间关系:

其中,e

可选地,所述根据各区域建议框特征、各区域建议框特征对应的场景增强特征及各区域建议框特征对应的空间增强特征,确定所述待识别金具图像中的金具位置及金具类型,具体包括:

针对任一区域建议框特征,对所述区域建议框特征进行全连接操作,得到分类特征;

对所述区域建议框特征进行卷积操作,得到回归特征;

将所述分类特征与所述区域建议框特征对应的场景增强特征进行级联,得到分类级联特征;

将所述回归特征与所述区域建议框特征对应的空间增强特征进行级联,得到定位级联特征;

根据所述分类级联特征确定所述区域建议框特征中的金具类型;

根据所述定位级联特征确定所述区域建议框特征中的金具位置。

为实现上述目的,本发明还提供了如下方案:

一种融合隐含知识推理的输电线路多金具识别系统,包括:

图像获取单元,用于获取待识别金具图像;

特征提取单元,与所述图像获取单元连接,用于对所述待识别金具图像进行特征提取,确定所述待识别金具图像中的场景特征、多个区域建议框特征及各区域建议框特征的初始类别;

场景增强单元,与所述特征提取单元连接,用于针对任一区域建议框特征,根据所述场景特征,对所述区域建议框特征进行场景增强,得到对应的场景增强特征;

空间增强单元,与所述特征提取单元连接,用于针对任一区域建议框特征,根据所述区域建议框特征的初始类别,对所述区域建议框特征进行空间增强,得到对应的空间增强特征;

金具识别单元,与所述特征提取单元、所述场景增强单元及所述空间增强单元连接,用于根据各区域建议框特征,各区域建议框特征对应的场景增强特征及空间增强特征,确定所述待识别金具图像中的金具位置及金具类型。

根据本发明提供的具体实施例,本发明公开了以下技术效果:首先对待识别金具图像进行特征提取,确定待识别金具图像中的场景特征、多个区域建议框特征及各区域建议框特征的初始类别,然后根据场景特征对区域建议框特征进行场景增强,根据区域建议框特征的初始类别,对区域建议框特征进行空间增强,最后根据各区域建议框特征,各区域建议框特征对应的场景增强特征及空间增强特征,确定待识别金具图像中的金具位置及金具类型。通过场景增强和空间增强深入挖掘金具间的隐含关系,增强被遮挡金具的视觉特征,解决了复杂背景下金具目标密集且相互遮挡造成多金具检测困难的问题,提高了金具识别的精准度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明融合隐含知识推理的输电线路多金具识别方法的流程图;

图2为多金具解耦检测模型的整体结构示意图;

图3为场景推理模块的示意图;

图4为空间关系示意图;

图5为解耦检测模块进行分类的示意图;

图6为本发明融合隐含知识推理的输电线路多金具识别系统的模块结构示意图。

符号说明:

图像获取单元-1,特征提取单元-2,场景增强单元-3,空间增强单元-4,金具识别单元-5。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的目的是提供一种融合隐含知识推理的输电线路多金具识别方法及系统,通过场景增强和空间增强深入挖掘金具间的隐含关系,增强被遮挡金具的视觉特征,解决了复杂背景下金具目标密集且相互遮挡造成多金具检测困难的问题,提高了金具识别的精准度。

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示,本发明融合隐含知识推理的输电线路多金具识别方法包括:

S1:获取待识别金具图像。具体地,使用无人机在输电线路巡检现场拍摄金具图像。

S2:对所述待识别金具图像进行特征提取,确定所述待识别金具图像中的场景特征、多个区域建议框特征及各区域建议框特征的初始类别。

S3:针对任一区域建议框特征,根据所述场景特征,对所述区域建议框特征进行场景增强,得到对应的场景增强特征。

S4:根据所述区域建议框特征的初始类别,对所述区域建议框特征进行空间增强,得到对应的空间增强特征。

S5:根据各区域建议框特征,各区域建议框特征对应的场景增强特征及空间增强特征,确定所述待识别金具图像中的金具位置及金具类型。

本发明步骤S2-S5是通过预先训练好的多金具解耦检测模型进行处理。如图2所示,多金具解耦检测模型包括特征提取模块、场景推理模块、空间推理模块及解耦检测模块。场景推理模块与特征提取模块连接,空间推理模块与特征提取模块连接,解耦检测模块与场景推理模块及空间推理模块连接。通过样本集对特征提取模块、场景推理模块、空间推理模块及解耦检测模块进行训练,以得到训练好的多金具解耦检测模型。样本集包括多张样本图像及各样本图像中的金具位置标签及金具类别标签。即多金具解耦检测模型包括训练阶段和识别阶段。本发明的步骤为识别阶段。

其中,特征提取模块包括依次连接的卷积神经网络、区域建议网络、Faster-RCNN的检测器、Resampling模型及Boxdecoder。场景推理模块包括场景感知GRU(gatedrecurrent unit,门控循环单元)及场景推理GRU。空间推理模块包括空间几何关系确定单元、空间视觉关系确定单元、隐含空间关系确定单元及两层GCN(GraphConvolutional Networks,图卷积网络)。解耦检测模块包括全连接层、卷积层、两个级联层、定位层及分类层。

进一步地,步骤S2包括:

S21:通过卷积层提取所述待识别金具图像的特征,得到基础特征图。具体地,通过卷积神经网络提取待识别金具图像的特征。

S22:在所述基础特征图中确定多个初始区域建议框及场景特征。具体地,通过区域建议网络确定基础特征图中的区域建议框及场景特征。

S23:针对任一初始区域建议框,对所述初始区域建议框进行检测,确定所述初始区域建议框的初始类别和回归框。具体地,通过采用预先训练好的Faster-RCNN的检测器对初始区域建议框进行检测。在多金具解耦检测模型的训练阶段,通过不断调整Faster-RCNN的检测器的分类权重,得到最优的分类权重,以得到训练好的Faster-RCNN的检测器。各初始区域建议框共用同一个分类权重。

S24:对所述初始区域建议框的回归框进行重采样,得到所述初始区域建议框对应的优化区域建议框。

具体地,首先将类别和回归框通过Resampling模型进行重采样。在基线模型的基础上首先实现了类似于Cascade-RCNN模型的重采样过程,然后通过Boxdecoder将回归框的坐标作为RoIs区域进行重采样。具体来说,就是以上一级的生成的bbox检测框作为初始区域建议框,从而得到相对准确的区域建议框。通过这种方式使后续的场景增强及空间增强能够在一定程度上减轻流水线模型中存在的误差传递问题,使模型在训练过程中,能够更好更快地进行收敛。

S25:根据各优化区域建议框,对所述基础特征图进行池化操作,得到多个区域建议框特征。各区域建议框特征的类别为对应的初始区域建议框的类别。

步骤S3具体包括:

S31:对所述区域建议框特征中的背景进行过滤,得到前景框特征。

S32:基于门控循环机制,根据所述前景框特征及所述场景特征,确定结构场景特征。具体地,前景框特征作为场景感知GRU(gatedrecurrent unit,门控循环单元)的输入,场景特征作为场景感知GRU的初始隐含层向量。

如图3所示,GRU由两个门组成,重置门和更新门。更新门控制将被带到当前层的先前信息,而重置门决定要忘记的过去时刻的信息量,即以一定比例保留过去时刻的输出。更新门z

z

r

其中,x

其中,

最终GRU的输出得到结构场景特征f′

S33:基于门控循环机制,根据所述结构场景特征及所述区域建议框特征,确定所述区域建议框对应的场景增强特征。具体地,结构场景特征作为场景推理GRU的输入,区域建议框特征作为场景推理GRU的初始隐含层特征。

为了实现将来自场景信息对对象细节进行迭代推理,将M个区域建议框特征作为场景推理GRU的初始隐藏层状态,将结构场景特征作为场景推理GRU模型的输入,GRU可以选择忽略与场景环境无关的部分物体状态,或者使用场景环境信息增强部分物体状态,最后场景推理GRU模型的输出隐含层向量得到区域建议框特征的场景增强特征。

步骤S4具体包括:

S41:计算所述区域建议框特征与目标区域建议框特征的空间几何关系。所述目标区域建议框特征为待识别金具图像中除所述区域建议框特征外的任一区域建议框特征。

具体地,为了能够挖掘隐含空间知识,本发明设计了一组关系变量来表示两个区域建议框特征之间的空间关系,将区域建议框特征的相对几何特征作为输入,然后将其投影到一个子空间中。采用以下公式,确定第i个区域建议框特征与第j个区域建议框特征的空间几何关系:

其中,

通过设置维度数为12的相对几何位置向量,不仅描述了第i个区域建议框特征相对于第j个区域建议框特征的相对距离关系和区域建议框间的相对方位等信息,同时嵌入了金具标注框之间的相互遮挡信息,从而辅助模型处理密集目标的图像。另外由于无人机巡检拍摄位置环境的不确定,金具的相对位置关系容易受拍摄角度影响,通过引入输入图像本身的尺寸特征,从而使得几何关系特征不受图像比例变化和移动的影响。

S42:计算所述区域建议框特征与所述目标区域建议框特征的空间视觉关系。待识别金具图像中存在大量具有遮挡关系的区域建议框特征,区域建议框特征之间遮挡越严重,在图像上的表现就是两个区域建议框特征的重叠越严重,从而使得区域建议框特征的视觉特征相似度越高,通过视觉特征相似度能够推理出区域建议框特征之间的重叠程度,进而挖掘出隐含的空间信息,因此引入RoIs的视觉特征能够辅助密集目标的预测。

具体地,分别对两个区域建议框特征进行非线性变换,得到两个区域建议框特征对应的潜在空间特征。计算两个潜在空间特征的空间视觉关系。

采用以下公式,确定第i个区域建议框特征与第j个区域建议框特征的空间视觉关系:

其中,

具体来说,将区域建议框特征作为输入。首先通过非线性变换z

S43:根据所述区域建议框特征与各目标区域建议框特征的空间几何关系及空间视觉关系,确定所述区域建议框特征与任一目标区域建议框特征之间的隐含空间关系。

具体地,采用加权结合的方式将空间几何关系和空间视觉关系进行融合,得到区域建议框之间的隐含空间关系。采用以下公式,确定第i个区域建议框特征与第j个区域建议框特征之间的隐含空间关系:

其中,e

式中主要通过空间几何关系权重和空间视觉关系权重计算隐含空间关系权重,其中分式的分母为第i个区域建议框特征与集合中所有区域建议框特征的隐含空间关系权重的和,目的是实现对第i个区域建议框特征的空间关系权重的归一化。分子是第i个区域建议框特征和第j个区域建议框特征的空间关系,目的是把空间关系归一化。如图4所示为空间关系确定的示意图。

S44:对所述区域建议框特征与各目标区域建议框特征两两之间的隐含空间关系进行稀疏化,得到稀疏空间网络。具体地,使用一种稀疏方法来对隐含空间关系进行过滤,对于每个区域建议框特征,只保留与其关系最大的k个区域建议框特征,从而为其选取更为相关的点作为它的邻接节点,实现邻接矩阵的有效稀疏化。

S45:根据所述区域建议框特征的初始类别,确定所述区域建议框特征对应的类别外观特征。

通过公式X=M×W

具体地,为了实现区域建议框与类别之间的映射,得到对应区域建议框节点的特征,采用软连接的方式将区域建议框特征与类别外观特征相结合,使用分类概率分布

与区域建议框视觉特征不同,类别外观特征可以被视为特定类别对象的高级视觉表示。使用权值作为每个类别的视觉嵌入。形式上,设

在训练期间,W

S46:基于图卷积网络,根据所述区域建议框特征对应的类别外观特征及所述稀疏空间网络,确定所述区域建议框特征对应的空间增强特征。在本实施例中,采用两层图卷积网络确定区域建议框特征对应的空间增强特征。

步骤S5具体包括:

S51:针对任一区域建议框特征,对所述区域建议框特征进行全连接操作,得到分类特征。

S52:对所述区域建议框特征进行卷积操作,得到回归特征。

区域建议框特征分别经过全连接层和残差卷积层,生成分类特征和回归特征。

由于分类和回归对于特征的敏感度是不同的,因此容易产生最佳类别分数和最佳边界框不匹配的问题。另外,场景推理模块通过融合了场景信息有助于金具类别的推理和判别,空间推理模块通过挖掘隐含空间信息,有利于对密集区域建议框的定位和回归,因此两种模块对特征的表达和处理以及对分类和回归任务有不同的侧重点。

S53:将所述分类特征与所述区域建议框特征对应的场景增强特征进行级联,得到分类级联特征。

S54:将所述回归特征与所述区域建议框特征对应的空间增强特征进行级联,得到定位级联特征。

S55:根据所述分类级联特征确定所述区域建议框特征中的金具类型。

S56:根据所述定位级联特征确定所述区域建议框特征中的金具位置。

S57:根据各区域建议框特征中的金具类型及金具位置,确定所述待识别金具图像中的金具位置及金具类型。如图5所示为定位和分类过程的示意图。

面对多金具目标检测的需求,针对在金具检测过程中面临的复杂背景以及目标密集的问题,本发明提出了融合隐含知识推理的多金具解耦检测模型,通过深入挖掘金具目标间隐含关系,使用多种推理方法增强被遮挡金具的视觉特征,实现隐含知识的实例化表达,并使用解耦检测模块将分类和回归任务分离训练,能够准确识别复杂环境背景或金具密集遮挡情况下的金具位置及金具类别。

本发明有效解决了复杂背景下金具目标密集且相互遮挡造成多金具检测困难的问题,对输电线路多金具数据集的检测效果优于其他先进模型,与原有基线模型相比,准确率提高10.8%;定性实验表明算法能够解决目标遮挡的问题,实现密集多目标的检测,为输电线路设备部件智能巡检技术提供了新的思路。

为了更好的理解本发明的方案,下面对本发明多金具解耦检测模型的训练过程进一步进行说明。

首先使用无人机在输电线路巡检现场拍摄的样本图像构建数据集,通过lableimg工具为对金具的位置及类别进行标注,用于训练和测试。在本实施例中,共选取了14类金具作为实验对象,其中训练集与测试集样本图像分别为1092张和363张,共包含9098个目标框。

然后将各样本图像作为输入。通过卷积神经网络提取基础特征。通过区域建议网络从基础特征中得到的区域建议框。将区域建议框通过Faster-rcn得到粗粒度的类别和回归框。将粗粒度的类别和回归框通过Resampling模型进行重采样。通过Boxdecoder将回归框的坐标作为RoIs区域进行重采样。将基层特征按照新RoIs区域再次进行池化操作,得到场景特征f

再将区域建议框特征输入到场景感知推理模块得到对应区域建议框的场景增强特征。为了使训练更容易收敛,使用了与Faster-RCNN同样的正负样本采样的策略,将与真实框的IOU大于0.5作为前景,与真实框的IOU小于0.1作为背景,因此将M个区域建议框特征分为了前景和背景两个类别。由于所要提取的场景隐含信息与目标的特征有关,因此使用前景框筛选操作,将背景信息进行过滤,保留前景框特征f

为了提高结构场景特征的表达能力,将场景特征和前景框特征分别引入到GRU中,得到结构场景特征f′

再通过空间推理模块模拟两个区域建议框特征之间的空间关系,使用空间关系推理模块将类别外观特征和稀疏化的空间关系作为输入得到空间增强特征。对空间信息进行提取和挖掘,并使用图神经网络对隐含空间知识进行表达,将得到空间增强的视觉特征辅助目标框的定位和回归。通过图卷积得到了每个节点的特征就是空间增强特征。

为了能够有效传播隐含空间信息,使模型能够针对不同的图像目标自适应地获取空间信息,引入图卷积网络对空间知识进行图推理学习,对于GCN模型来说,它更注重学习拓扑图的结构,其中GCN模块的输入是区域建议框的特征向量

对于图卷积网络,给定一个图信号

x*g

其中,x*g

x*g

其中,上式表示图卷积的一阶近似形式,最终可以得到图卷积网络的一般形式如下式:

其中,

本发明并未对损失函数进行改进,采用的损失函数为Faster-RCNN自身的损失函数。训练过程中根据损失函数调整模型中各部分的权重(Faster-RCNN分类器的分类权重W

为了挖掘金具间组合结构知识,通过场景推理模块中的场景感知方法挖掘每张图像中的场景信息,并进一步使用推理网络有效融合场景信息;为了挖掘金具间空间位置关联知识,通过空间推理模块中的空间感知网络提取空间视觉特征关系和几何特征关系,并进一步使用图卷积网络实现空间知识推理;最后使用解耦模块将金具检测任务以非耦合的方式进行训练和学习,做出最终的检测决策。

如图6所示,本发明融合隐含知识推理的输电线路多金具识别系统包括:图像获取单元1、特征提取单元2、场景增强单元3、空间增强单元4及金具识别单元5。

其中,所述图像获取单元1用于获取待识别金具图像。

所述特征提取单元2与所述图像获取单元1连接,所述特征提取单元2用于对所述待识别金具图像进行特征提取,确定所述待识别金具图像中的场景特征、多个区域建议框特征及各区域建议框特征的类别。

所述场景增强单元3与所述特征提取单元2连接,所述场景增强单元3用于针对任一区域建议框特征,根据所述场景特征,对所述区域建议框特征进行场景增强,得到所述区域建议框特征对应的场景增强特征。

所述空间增强单元4与所述特征提取单元2连接,所述空间增强单元4用于针对任一区域建议框特征,根据所述区域建议框特征的初始类别,对所述区域建议框特征进行空间增强,得到对应的空间增强特征。

所述金具识别单元5与所述特征提取单元2、所述场景增强单元3及所述空间增强单元4连接,所述金具识别单元5用于根据各区域建议框特征,各区域建议框特征对应的场景增强特征及空间增强特征,确定所述待识别金具图像中的金具位置及金具类型。

相对于现有技术,本发明融合隐含知识推理的输电线路多金具识别系统与上述融合隐含知识推理的输电线路多金具识别方法的有益效果相同,在此不再赘述。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号