一种基于智能头盔的电力营销作业现场管控系统

摘要

本发明提供了一种基于智能头盔的电力营销作业现场管控系统，其包括安全监控平台和至少一个智能头盔，各个智能头盔分别与所述安全监控平台通信连接；每个所述智能头盔均包括音频传感设备、3D投影设备、彩色摄像头、红外摄像头、照明设备和穿戴检测模块，所述安全监控平台包括预处理单元、作业任务确认单元和安全确认单元，所述预处理单元包括目标标注单元、数据集管理单元和训练单元。本发明能够做到现场实时管控、违规及时预警和安装作业指导，提升现场专业人员的作业质量和效率，使作业现场有迹可查和保障现场专业人员的作业安全。

说明书

技术领域

本发明涉及变压器检修作业现场监管技术领域，具体的说，涉及了一种基于智能头盔的电力营销作业现场管控系统。

背景技术

电力营销现场服务包括电力客户故障停电抢修、业扩报装和安全用电检查等作业，在这些作业中存在作业人员违规作业、疏忽安全隐患或服务质量无法实时管控的现象。比如，在变电站等场景中进行带电作业时，未设置安全围栏等违规行为或设备隐患未及时发现而引发事故的。

如何做到现场实时管控、违规及时预警和安装作业指导等成为需要解决的难题，这对于提升现场专业人员的作业质量和效率，使作业现场有迹可查和保障现场专业人员的作业安全有着重要作用，也对电力服务行业优化升级有重要推动作用。

另外，在变电站等作业过程中，若发现故障，通常需要先报备再维修，在检修设备时可能存在，经验不足的作业人员生疏不懂的现象，影响作业效率。

为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

发明内容

本发明的目的是针对现有技术的不足，从而提供一种基于智能头盔的电力营销作业现场管控系统。

为了实现上述目的，本发明所采用的技术方案是：

本发明第一方面提供一种基于智能头盔的电力营销作业现场管控系统，所述系统包括安全监控平台和至少一个智能头盔，各个智能头盔分别与所述安全监控平台通信连接；

每个智能头盔均包括用于发出报警信息及进行语音引导的音频传感设备，用于进行3D影像引导的3D投影设备，用于采集变电场景彩色图像的彩色摄像头，用于采集变电场景红外图像的红外摄像头，以及用于检测作业人员是否佩戴智能头盔的穿戴检测模块；

所述安全监控平台包括作业任务确认单元和安全确认单元，所述安全确认单元包括围栏标志检测模块、变压器检测模块、套管及保护套缺失检测模块、套管损坏检测模块、电能计量设备检测模块和接线端子接触检测模块，其中，

所述作业任务确认单元，用于在作业人员进入变电场景时，根据所述穿戴检测模块的检测结果，确认是否开始执行目标任务，若所述穿戴检测模块的检测结果为已佩戴，则启动所述彩色摄像头开始采集变电场景彩色图像，并通过所述音频传感设备通知作业人员开始执行目标任务；

所述围栏标志检测模块，用于在开始执行目标任务时，将所述彩色摄像头实时采集到的变电场景彩色图像作为第一组待测图像；还用于调用预置的目标检测模型，识别所述第一组待测图像中是否存在围栏和标志牌，若不存在，则生成第一警示信息并通过所述音频传感设备进行语音播报，若存在，则通过所述音频传感设备进行语音交互，引导作业人员开始作业；

所述变压器检测模块，用于在确认所述第一组待测图像中存在围栏和标志牌，且通过语音交互引导确认作业人员已进入围栏内的作业区域时，将所述彩色摄像头实时采集到的变电场景彩色图像作为第二组待测图像；还用于调用预置的目标检测模型，检测所述第二组待测图像中是否存在变压器；

所述套管及保护套缺失检测模块，用于检测所述第二组待测图像中是否存在高低压套管和套管绝缘保护套，若不存在，则生成第二警示信息并通过所述音频传感设备进行语音播报；

所述套管损坏检测模块，用于在确认所述第二组待测图像中存在高低压套管和套管绝缘保护套时，将所述红外摄像头实时采集到的套管红外图像及对应的套管红外热辐射图像，作为第三组待测图像；还用于调用预置的目标分割模型，分割出所述套管红外图像中的套管区域轮廓，根据所述套管区域轮廓确定所述套管红外热辐射图像中的套管高亮区域，并判断所述套管高亮区域的均值温度是否超过温度阈值Ⅰ，若是，则生成第三警示信息并通过所述音频传感设备进行语音播报；

所述电能计量设备检测模块，用于在确认套管高亮区域的均值温度未超过温度阈值Ⅰ时，将所述彩色摄像头实时采集到的变压器内部彩色图像作为第四组待测图像；还用于调用预置的目标检测模型，检测所述第四组待测图像中是否存在表类电能计量设备；

所述接线端子接触检测模块，用于在确认所述第四组待测图像中存在表类电能计量设备时，将所述红外摄像头实时采集到的电能计量设备红外图像及电能计量设备红外热辐射图像，作为第五组待测图像；还用于调用预置的目标分割模型，分割出所述电能计量设备红外图像中的接线端子区域轮廓，根据所述接线端子区域轮廓确定所述电能计量设备红外热辐射图像中的接线端子高亮区域，并判断所述接线端子高亮区域的均值温度是否超过温度阈值Ⅱ，若是，则生成第四警示信息并通过所述音频传感设备进行语音播报。

本发明第二方面提供一种基于智能头盔的电力营销作业现场管控方法，基于安全监控平台以及至少一个与所述安全监控平台通信连接的智能头盔进行电力营销作业现场管控；所述安全监控平台包括作业任务确认单元和安全确认单元，所述安全确认单元包括围栏标志检测模块、变压器检测模块、套管及保护套缺失检测模块、套管损坏检测模块、电能计量设备检测模块和接线端子接触检测模块；每个智能头盔均包括用于发出报警信息及进行语音引导的音频传感设备，用于进行3D影像引导的3D投影设备，用于采集变电场景彩色图像的彩色摄像头，用于采集变电场景红外图像的红外摄像头，以及用于检测作业人员是否佩戴智能头盔的穿戴检测模块；

所述电力营销作业现场管控方法包括以下步骤：

步骤1，在作业人员进入变电场景时，所述作业任务确认单元根据所述穿戴检测模块的检测结果，确认是否开始执行所述目标任务，

若所述穿戴检测模块的检测结果为已佩戴，则启动所述彩色摄像头开始采集变电场景彩色图像，并通过所述音频传感设备通知作业人员开始执行目标任务；

步骤2，在开始执行目标任务时，所述围栏标志检测模块将所述彩色摄像头实时采集到的变电场景彩色图像作为第一组待测图像，调用预置的目标检测模型，识别所述第一组待测图像中是否存在围栏和标志牌；

若不存在，则生成第一警示信息并通过所述音频传感设备进行语音播报；

若存在，则通过所述音频传感设备进行语音交互，引导作业人员开始作业；

步骤3，在确认所述第一组待测图像中存在围栏和标志牌，且通过语音交互引导确认作业人员已进入围栏内的作业区域时，所述变压器检测模块将所述彩色摄像头实时采集到的变电场景彩色图像作为第二组待测图像，调用预置的目标检测模型，检测所述第二组待测图像中是否存在变压器；

若是，则根据变压器的定位信息截取所述第二组待测图像中的变压器图像，作为第三组待测图像；

步骤4，所述套管及保护套缺失检测模块检测所述第二组待测图像中是否存在高低压套管和套管绝缘保护套；

若不存在，则生成第二警示信息并通过所述音频传感设备进行语音播报；

步骤5，在确认所述第二组待测图像中存在高低压套管和套管绝缘保护套时，所述套管损坏检测模块将所述红外摄像头实时采集到的套管红外图像及对应的套管红外热辐射图像，作为第三组待测图像；

所述套管损坏检测模块还调用预置的目标分割模型，分割出所述套管红外图像中的套管区域轮廓，根据所述套管区域轮廓确定所述套管红外热辐射图像中的套管高亮区域，并判断所述套管高亮区域的均值温度是否超过温度阈值Ⅰ；

若是，则生成第三警示信息并通过所述音频传感设备进行语音播报；

步骤6，在确认套管高亮区域的均值温度未超过温度阈值Ⅰ时，所述电能计量设备检测模块将所述彩色摄像头实时采集到的变压器内部彩色图像作为第四组待测图像，调用预置的目标检测模型，检测所述第四组待测图像中是否存在表类电能计量设备；

步骤7，在确认所述第四组待测图像中存在表类电能计量设备时，所述接线端子接触检测模块将所述红外摄像头实时采集到的电能计量设备红外图像及电能计量设备红外热辐射图像，作为第五组待测图像；

所述接线端子接触检测模块还调用预置的目标分割模型，分割出所述电能计量设备红外图像中的接线端子区域轮廓，根据所述接线端子区域轮廓确定所述电能计量设备红外热辐射图像中的接线端子高亮区域，并判断所述接线端子高亮区域的均值温度是否超过温度阈值Ⅱ；

若是，则生成第四警示信息并通过所述音频传感设备进行语音播报。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说：

本发明能够做到变电作业现场内作业安全性和规范性的实时管控，对于作业人员的违规行为及时预警；针对作业人员安装或检修时存在的疑难问题，本发明能够及时进行作业指导；对于变电现场内不安定因素，本发明能够及时提醒并督促排查；

该电力营销作业现场管控系统有利于提升现场专业人员的作业质量和效率，同时保障现场专业人员的作业安全，使作业人员在现场的状况有迹可查。

附图说明

图1是本发明的基于智能头盔的电力营销作业现场管控系统的结构示意图；

图2是本发明的安全监控平台的安全确认单元的结构示意图；

图3是本发明的智能头盔的结构示意图；

图4是本发明的基于智能头盔的电力营销作业现场管控系统的工作流程示意图；

图5是本发明的变压器高低压套管检测及套管温度检测的流程示意图；

图6是本发明的电能计量装置接线端子高温区域检测及维修的流程示意图。

具体实施方式

下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。

实施例1

附图1至3示出了一种基于智能头盔的电力营销作业现场管控系统，其包括至少一个智能头盔和安全监控平台，各个智能头盔分别与所述安全监控平台通信连接；

每个智能头盔均包括音频传感设备、3D投影设备、彩色摄像头、红外摄像头、照明设备和穿戴检测模块，其中，

所述音频传感设备，用于在作业人员操作不合格时发出报警信息，还用于在作业人员维修目标设备时进行语音引导；所述3D投影设备，用于在作业人员维修目标设备时进行3D影像引导；所述彩色摄像头，用于在作业人员执行目标任务时实时采集变电场景的彩色视频；所述红外摄像头，用于在作业人员执行目标任务时实时采集变电场景的红外视频；所述照明设备，用于在作业人员执行目标任务时为作业人员提供照明；所述穿戴检测模块，用于检测作业人员是否佩戴智能头盔；

所述安全监控平台包括作业任务确认单元和安全确认单元，所述安全确认单元包括围栏标志检测模块、变压器检测模块、套管及保护套缺失检测模块、套管损坏检测模块、电能计量设备检测模块和接线端子接触检测模块，其中，

所述作业任务确认单元，用于在作业人员进入变电场景时，根据所述穿戴检测模块的检测结果，确认是否开始执行目标任务，若所述穿戴检测模块的检测结果为已佩戴，则启动所述彩色摄像头开始采集变电场景彩色图像，并通过所述音频传感设备通知作业人员开始执行目标任务；

所述围栏标志检测模块，用于在开始执行目标任务时，将所述彩色摄像头实时采集到的变电场景彩色图像作为第一组待测图像；还用于调用预置的目标检测模型，识别所述第一组待测图像中是否存在围栏和标志牌，若不存在，则生成第一警示信息并通过所述音频传感设备进行语音播报，若存在，则通过所述音频传感设备进行语音交互，引导作业人员开始作业；

所述变压器检测模块，用于在确认所述第一组待测图像中存在围栏和标志牌，且通过语音交互引导确认作业人员已进入围栏内的作业区域时，将所述彩色摄像头实时采集到的变电场景彩色图像作为第二组待测图像；还用于调用预置的目标检测模型，检测所述第二组待测图像中是否存在变压器；

所述套管及保护套缺失检测模块，用于检测所述第二组待测图像中是否存在高低压套管和套管绝缘保护套，若不存在，则生成第二警示信息并通过所述音频传感设备进行语音播报；

所述套管损坏检测模块，用于在确认所述第二组待测图像中存在高低压套管和套管绝缘保护套时，将所述红外摄像头实时采集到的套管红外图像及对应的套管红外热辐射图像，作为第三组待测图像；还用于调用预置的目标分割模型，分割出所述套管红外图像中的套管区域轮廓，根据所述套管区域轮廓确定所述套管红外热辐射图像中的套管高亮区域，并判断所述套管高亮区域的均值温度是否超过温度阈值Ⅰ，若是，则生成第三警示信息并通过所述音频传感设备进行语音播报；

所述电能计量设备检测模块，用于在确认套管高亮区域的均值温度未超过温度阈值Ⅰ时，将所述彩色摄像头实时采集到的变压器内部彩色图像作为第四组待测图像；还用于调用预置的目标检测模型，检测所述第四组待测图像中是否存在表类电能计量设备；

所述接线端子接触检测模块，用于在确认所述第四组待测图像中存在表类电能计量设备时，将所述红外摄像头实时采集到的电能计量设备红外图像及电能计量设备红外热辐射图像，作为第五组待测图像；还用于调用预置的目标分割模型，分割出所述电能计量设备红外图像中的接线端子区域轮廓，根据所述接线端子区域轮廓确定所述电能计量设备红外热辐射图像中的接线端子高亮区域，并判断所述接线端子高亮区域的均值温度是否超过温度阈值Ⅱ，若是，则生成第四警示信息并通过所述音频传感设备进行语音播报。

进一步的，根据所述套管区域轮廓确定所述套管红外热辐射图像中的套管高亮区域时，执行：

由于所述套管红外热辐射图像与所述电能计量设备红外图像尺寸大小相同、对应的坐标系相同；其中，所述电能计量设备红外图像为灰度图像；

因此，在分割出所述套管红外图像中的套管区域轮廓后，根据所述套管红外图像中的套管区域轮廓，能够获得所述套管红外热辐射图像中套管区域轮廓；

由于红外热辐射图像中各个像素对应一个温度测量值，因此根据预设温度差ΔT

其中，所述温度阈值Ⅰ的取值范围为80至100℃，所述预设温度差ΔT

进一步的，根据所述接线端子区域轮廓确定所述电能计量设备红外热辐射图像中的接线端子高亮区域时，执行：

基于所述电能计量设备红外图像中的接线端子区域轮廓，确定所述电能计量设备红外热辐射图像中的接线端子区域轮廓；其中，所述电能计量设备红外图像为灰度图像；

根据预设温度差ΔT

其中，所述温度阈值Ⅱ的取值范围为45至55℃，所述预设温度差ΔT

进一步的，所述安全监控平台还包括引导单元，所述引导单元用于：

在判定所述接线端子高亮区域的均值温度超过温度阈值Ⅱ时，触发检测第四组待测图像中的电能计量设备条码信息，以确认是否生成维修作业任务；

若检测出电能计量设备条码信息，且所述安全监控平台预存的电能计量设备条码信息与检测出的电能计量设备条码信息一致，则生成不良接触端子的维修作业任务；

根据所述条码信息调取电能计量设备参数信息及对应的接线线路图信息，并在作业人员维修目标设备时，通过所述3D投影设备展示对应的不良接触端子的位置，引导作业人员执行维修任务；其中，所述电能计量设备参数信息包括额定电压、额定频率、额定电流、通信波特率等，现场维修所需的参数，本实施例在此不再赘述；所述接线线路图信息预存在安全监控平台的数据库中，且包括电能计量设备接触端子的位置信息。

具体的，所述3D投影设备的型号为VUFINE+，所述3D投影设备使用磁性固定方式安装在所述智能头盔侧面，充当智能头盔的显示屏幕。

进一步的，所述安全监控平台还包括预处理单元，所述预处理单元包括目标标注单元、数据集管理单元和训练单元；

所述目标标注单元，用于获取彩色摄像头采集到的变电作业场景视频，提取所述变电作业场景视频中含有待检测目标的彩色图像，作为第一类样本图像，使用labelImg标注工具对所述第一类样本图像中的不同待检测目标，按类别名称以目标外接矩形框的形式进行标注，作为检测类别数据集；其中，所述待检测目标的类别名称包括围栏、标志牌、变压器高低压套管、套管绝缘保护套和表类电能计量设备，

所述目标标注单元，还用于提取所述变电作业场景视频中含有待分割目标的红外图像，作为第二类样本图像，并使用labelme标注工具对所述第二类样本图像中的待分割目标，按类别名称以待分割目标轮廓的形式进行标注，作为分割类别数据集；其中，所述待分割目标的类别名称包括变压器高低压套管和表类电能计量设备接线端子；

所述数据集管理单元，用于随机抽取所述检测类别数据集中的第一类样本图像，将其分成检测类别训练集、检测类别验证集和检测类别测试集；还用于随机抽取所述分割类别数据集中的第二类样本图像，将其分成分割类别训练集、分割类别验证集和分割类别测试集；

所述训练单元，用于将所述检测类别训练集及所述分割类别训练集中的图像输入预置的网络训练模型中进行预训练，获得多类别深度学习模型；通过检测类别验证集和分割类别验证集对所述多类别深度学习模型进行验证，利用所述检测类别测试集和所述分割类别测试集对所述多类别深度学习模型进行测试；

其中，所述多类别深度学习模型包括主干网络的目标检测模型和分支网络的目标分割模型。

可以理解，所述目标标注单元获取多个变电场景的作业视频，并按照预设采样间隔从每个视频中抽帧，对抽帧后的图像进行筛选，将目标外观或姿态不雷同的图像作为第一类或者第二类样本图像；其中，一张样本图像中可能含有多个相同或不同的待检测目标（或者待分割目标）。

具体的，所述目标检测模型为yolov4.conv.137，用于对变电场景中的围栏、标志牌、变压器高低压套管、套管绝缘保护套和表类电能计量设备进行分类和定位，精度更高；所述目标分割模型为Mask R-CNN，用于对变电场景内的变压器高低压套管和表类电能计量设备接线端子进行分类和轮廓分割，在有效检测目标的同时输出高质量的实例分割mask。

进一步的，使用labelImg标注工具对所述第一类样本图像中的不同待检测目标，按类别名称以目标外接矩形框的形式进行标注时，执行：

将围栏样本标注为0、标志牌样本标注为1、变压器高低压套管样本标注为2、套管绝缘保护套样本标注为3、变压器样本标注为4、表类设备样本标注为5；标注后，生成每张样本图像的xml文件（目标训练的数据文件），所述xml文件包含待检测目标的类别名称及其外接矩形框的坐标信息；基于第一类样本图像及对应的xml文件，获得检测类别数据集；

在使用labelme标注工具对所述第二类样本图像进行标注时，将变压器高低压套管样本标注为6，将表类设备接线端子样本标注为7；标注后，生成每张图像的json文件（目标训练的数据文件），所述json文件包含待分割目标的类别名称及其轮廓的坐标信息；基于第二类样本图像及对应的json文件，获得分割类别数据集。

需要说明的是，经过训练、验证及测试之后，将第一组待测图像、第二组待测图像、第三组待测图像及第四组待测图像输入多类别深度学习模型，通过目标检测模型能够获取围栏、标志牌、变压器高低压套管、套管绝缘保护套、表类电能计量设备对应的标注序号及外接矩形框的坐标信息（例如，4、矩形框的左上角坐标（x1,y1）和宽高等信息）；安全监控平台可以根据输出的标注序号，快速检测变电场景是否存在对应的待检测目标；

例如，所述围栏标志检测模块将所述第一组待测图像输入目标检测模型后：在所述目标检测模型输出0和1时，判定围栏和标志牌已布设；在所述目标检测模型输出0时，判定标志牌未布设；在所述目标检测模型输出1时，判定围栏未布设；

所述变压器检测模块将所述第二组待测图像输入目标检测模型后：

在所述目标检测模型输出4时，所述变压器检测模块判定变电场景内存在变压器，否则判定变电场景内不存在变压器；在所述目标检测模型输出2时，所述套管及保护套缺失检测模块判定变电场景内存在变压器高低压套管，否则判定变电场景内变压器高低压套管缺失；在所述目标检测模型输出3时，所述套管及保护套缺失检测模块判定变电场景内存在套管绝缘保护套，否则判定变电场景内套管绝缘保护套缺失；

所述电能计量设备检测模块将所述第四组待测图像输入所述目标检测模型后：在所述目标检测模型输出5时，所述电能计量设备检测模块判定变电场景内存在表类电能计量设备，否则判定不存在表类电能计量设备。

将第三组待测图像中的套管红外图像及第五组待测图像中的电能计量设备红外图像输入多类别深度学习模型，通过目标分割模型能够获取变压器高低压套管及表类设备接线端子对应的标注序号及其轮廓的坐标信息；安全监控平台可以根据输出的标注序号，快速确认分割出区域轮廓是变电场景中的套管区域轮廓还是接线端子区域轮廓；

例如，所述套管损坏检测模块将所述套管红外图像输入所述目标分割模型后：在所述目标分割模型输出6及套管区域轮廓时，所述套管损坏检测模块可以进行后续温度阈值比对；

所述接线端子接触检测模块将所述电能计量设备红外图像输入所述目标分割模型后：在所述目标分割模型输出7及接线端子区域轮廓时，所述接线端子接触检测模块可以进行后续温度阈值比对。

可以理解，所述待检测目标与对应的类别名称一一对应设置，所述待分割目标与对应的类别名称一一对应设置；将待检测目标对应的类别名称及待分割目标对应的类别名称，量化为数字用作训练；在作业现场管控时，进行变电场景内的目标检测或者分割时，输出结果包含量化的数字，基于这些量化的数字与对应的类别名称之间的映射关系，以便快速且准确地进行安全监管；

在智能头盔与安全监控平台之间交互生成的警示信息时：各个警示信息均包含序号部分和指令部分（false表示不存在或者温度超过阈值）；

其中，所述第一警示信息的序号部分为0和/或1，所述第一警示信息的指令部分为false；所述第二警示信息的序号部分为2和/或3，所述第二警示信息的指令部分为false；所述第三警示信息的序号部分为6，所述第三警示信息的指令部分为false；所述第四组待测图像的序号部分为7，所述第四组待测图像的指令部分为false；

根据预先约定的规则，所述智能头盔将各个警示信息转换为语音警示信息；

例如，在所述智能头盔接收到1和false时，所述智能头盔自动转换为“标志牌不存在”的语音警示信息；在所述智能头盔接收到7和false时，所述智能头盔自动转换为“接线端子温度超过阈值”的语音警示信息。

进一步的，所述训练单元，在将训练集中的样本图像分批次输入预置的训练模型中之前，还对训练集中的样本图像进行图像增强，执行图像增强时，在yolov4参数配置文件中对yolov4的net网络层参数进行预先设置：

对于所述训练集，在几何变换方向上，通过设置参数angle=45来生成第一训练样本集；对于第一训练样本集，将饱和度saturation、曝光强度exposure、色调hue这三个参数分别设置为1.5、1.5和0.1，生成第二训练样本集；使用混合剪切参数cutmix和拼接图案参数mosaic等方式来扩展目标类型图像的多样性。

需要说明的是，所述基于智能头盔的电力营销作业现场管控系统采用多核CPU，以多线程的方式实现任务并发处理；在多个智能头盔与一个安全监控平台同时通讯互联，进行安全管控时，安全监控平台上对应编号的智能头盔图标会与该现场中作业人员进行绑定，各个智能头盔对应的任务并行处理，不会有冲突。

实施例2

在实施例1的基础上，本实施例给出了一种基于智能头盔的电力营销作业现场管控方法的具体实施方式，如附图4至6所示；

所述基于智能头盔的电力营销作业现场管控方法，基于安全监控平台以及至少一个与所述安全监控平台通信连接的智能头盔进行电力营销作业现场管控；所述安全监控平台包括作业任务确认单元和安全确认单元，所述安全确认单元包括围栏标志检测模块、变压器检测模块、套管及保护套缺失检测模块、套管损坏检测模块、电能计量设备检测模块和接线端子接触检测模块；每个所述智能头盔均包括用于在作业人员操作不合格时发出报警信息以及在作业人员维修目标设备时进行语音引导的音频传感设备，用于在作业人员维修目标设备时进行3D影像引导的3D投影设备，用于在作业人员执行目标任务时采集变电场景彩色图像的彩色摄像头，用于在作业人员执行目标任务时采集变电场景红外图像的红外摄像头，用于为作业人员提供照明的照明设备，以及用于检测作业人员是否佩戴智能头盔的穿戴检测模块；

所述电力营销作业现场管控方法包括以下步骤：

步骤1，在作业人员进入变电场景时，所述作业任务确认单元根据所述穿戴检测模块的检测结果，确认是否开始执行所述目标任务，

若所述穿戴检测模块的检测结果为已佩戴，则启动所述彩色摄像头开始采集变电场景彩色图像，并通过所述音频传感设备通知作业人员开始执行目标任务；

在现场光照度较低时，还可启动照明设备；

步骤2，在开始执行目标任务时，所述围栏标志检测模块将所述彩色摄像头采集到的变电场景彩色图像（将抽帧后的视频作为变电场景彩色图像）作为第一组待测图像，调用预置的目标检测模型，识别所述第一组待测图像中是否存在围栏和标志牌（止步高压危险、禁止攀登高压危险等标志）；

若不存在，则生成第一警示信息并通过所述音频传感设备进行语音播报；以督催作业人员改掉以上的违规行为，在设备适当位置布设围栏，悬挂标志牌（止步高压危险、禁止攀登高压危险等标志）；

若存在，则通过所述音频传感设备进行语音交互，引导作业人员开始作业；

步骤3，在确认所述第一组待测图像中存在围栏和标志牌，且通过语音交互引导确认作业人员已进入围栏内的作业区域时，所述变压器检测模块将所述彩色摄像头实时采集到的变电场景彩色图像作为第二组待测图像，调用预置的目标检测模型，检测所述第二组待测图像中是否存在变压器；

步骤4，所述套管及保护套缺失检测模块检测所述第二组待测图像中是否存在高低压套管和套管绝缘保护套；

若不存在（高低压套管及套管绝缘保护套缺失可能引起安全隐患），则生成第二警示信息并通过所述音频传感设备进行语音播报，提醒在场作业人员进行检修，可避免作业疏漏这些情况；

步骤5，在确认所述第二组待测图像中存在高低压套管和套管绝缘保护套时，所述套管损坏检测模块将所述红外摄像头实时采集到的套管红外图像及对应的套管红外热辐射图像，作为第三组待测图像；

所述套管损坏检测模块还调用预置的目标分割模型，分割出所述套管红外图像中的套管区域轮廓，根据所述套管区域轮廓确定所述套管红外热辐射图像中的套管高亮区域，并判断所述套管高亮区域的均值温度是否超过温度阈值Ⅰ；

若是（说明套管发生损坏，可能存在安全隐患），则生成第三警示信息并通过所述音频传感设备进行语音播报，及时对现场作业人员做出防触电预警，督催作业人员处理潜在隐患问题；

步骤6，在确认套管高亮区域的均值温度未超过温度阈值Ⅰ时，所述电能计量设备检测模块将所述彩色摄像头实时采集到的变压器内部彩色图像作为第四组待测图像，调用预置的目标检测模型，检测所述第四组待测图像中是否存在表类电能计量设备；

步骤7，在确认所述第四组待测图像中存在表类电能计量设备时，所述接线端子接触检测模块将所述红外摄像头实时采集到的电能计量设备红外图像及电能计量设备红外热辐射图像，作为第五组待测图像；

所述接线端子接触检测模块还调用预置的目标分割模型，分割出所述电能计量设备红外图像中的接线端子区域轮廓，根据所述接线端子区域轮廓确定所述电能计量设备红外热辐射图像中的接线端子高亮区域，并判断所述接线端子高亮区域的均值温度是否超过温度阈值Ⅱ；

若是（说明电能计量设备上的接线端子存在接触不良的情况），则生成第四警示信息并通过所述音频传感设备进行语音播报；

需要说明的是，所述步骤4中，所述套管及保护套缺失检测模块检测所述第二组待测图像中是否存在高低压套管和套管绝缘保护套时：

所述套管及保护套缺失检测模块，无需再次调用预置的目标检测模型来检测所述第二组待测图像，直接根据所述变压器检测模块将第二组待测图像输入目标检测模型后，目标检测模型的输出结果，进行判断即可。

可以理解，本领域技术人员通常知晓采用何种技术来将红外摄像头实时采集到的红外图像转换成红外热辐射图像，因此本实施例不再赘述。

进一步的，在判定所述接线端子高亮区域的均值温度超过温度阈值Ⅱ时，所述方法还包括检修引导步骤：

触发检测第四组待测图像中的电能计量设备条码信息，以确认是否生成维修作业任务；

若检测出电能计量设备条码信息，则生成不良接触端子的维修作业任务；其中，所述不良接触端子对应的接线端子高亮区域的均值温度超过温度阈值Ⅱ；

根据所述条码信息调取电能计量设备参数信息及对应的接线线路图信息，并在作业人员维修目标设备时，通过所述3D投影设备展示对应的不良接触端子的位置，引导作业人员执行维修任务。

进一步的，所述的基于智能头盔的电力营销作业现场管控方法，其特征在于，还包括预处理步骤：

获取彩色摄像头采集到的变电作业场景视频，提取所述变电作业场景视频中含有待检测目标的彩色图像，作为第一类样本图像，使用labelImg标注工具对所述第一类样本图像中的不同待检测目标，按类别名称以目标外接矩形框的形式进行标注，作为检测类别数据集；其中，所述待检测目标的类别名称包括围栏、标志牌、变压器高低压套管、套管绝缘保护套和表类电能计量设备，

随机抽取所述检测类别数据集中的第一类样本图像，将其分成检测类别训练集、检测类别验证集和检测类别测试集；

提取所述变电作业场景视频中含有待分割目标的红外图像，作为第二类样本图像，并使用labelme标注工具对所述第二类样本图像中的待分割目标，按类别名称以待分割目标轮廓的形式进行标注，作为分割类别数据集；其中，所述待分割目标的类别名称包括变压器高低压套管和表类电能计量设备接线端子；

随机抽取所述分割类别数据集中的第二类样本图像，将其分成分割类别训练集、分割类别验证集和分割类别测试集；

将所述检测类别训练集及所述分割类别训练集中的图像输入预置的网络训练模型中进行预训练，获得多类别深度学习模型；

其中，所述多类别深度学习模型包括用于对变电场景中的围栏、标志牌、变压器高低压套管、套管绝缘保护套和表类电能计量设备进行分类和定位的目标检测模型，以及用于对变电场景内的变压器高低压套管和表类电能计量设备接线端子进行分类和轮廓分割的目标分割模型。

可以理解，所述目标检测模型对待检测目标进行定位，是为了确定目标是否在围栏工作区域内。

进一步的，使用labelImg标注工具对所述第一类样本图像中的不同待检测目标，按类别名称以目标外接矩形框的形式进行标注时，执行：将围栏样本标注为0、标志牌样本标注为1、变压器高低压套管样本标注为2、套管绝缘保护套样本标注为3、变压器样本标注为4、表类设备样本标注为5；

在使用labelme标注工具对所述第二类样本图像进行标注时，将变压器高低压套管样本标注为6，将表类设备接线端子样本标注为7。

进一步的，变电现场中作业人员戴好智能头盔后，安全监控平台上对应编号的智能头盔图标会与该现场中作业人员进行绑定，安全监控平台处的专家可以通过绑定后的智能头盔上的彩色摄像头远程勘察现场作业情况，也可结合音频设备对变电现场作业安装或检修困难问题进行远程会诊，引导现场作业人员完成一些带有难度的作业。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。