一种核电厂操作人员操作意图智能识别系统及方法

摘要

本发明涉及核电运维技术领域，具体公开了一种核电厂操作人员操作意图智能识别系统及方法。该系统中物体检测模块可采集并识别操作环境图像中的物体类型；编码识别模块与物体检测模块相连接，并可识别获得所述物体检测模块采集图像中设备的编码信息；深度信息模块可计算获得操作环境的深度信息；意图识别模块将上述信息融合并根据操作员人手或工具与某项设备的空间距离阈值和空间距离变化趋势值，判断获得操作人员对某项设备的操作意图。该系统及方法，能够准确并稳定地识别核电厂操作者的操作意图，助力解决人工操作过程中的人因失误问题。

说明书

技术领域

本发明属于核电运维技术领域，具体涉及一种核电厂操作人员操作意图智能识别系统及方法。

背景技术

安全生产是工业领域永恒的话题，尤其是在核电领域，核安全永远是第一位。每个核电厂的反应堆在冷停、热停、临界、热备、功率运行等各个运行状态下以及各状态转换期间都涉及到大量的控制操作，包括但不限于各类试验等，而这些操作的其中大部分具有较高的执行风险，如果操作不当，轻则导致机组瞬态，重则直接造成反应堆停堆或设备损伤，不但直接影响电厂经济效益，还严重威胁了核安全。

为保障各类操作准确性，防止人因失误，各核电厂要求在所有工作中使用防人因失误工具，而大部分防人因失误工具的基础是操作意图识别，只有识别了操作意图才能与正确的操作指令比较，及时提醒操作人员，防止失误。

目前，各核电厂均是指派专业人员来判断操作人员的操作意图，不仅消耗大量的人力，而且判断的准确性与稳定性由于人的固有局限性无法保证。近年来，随着大数据、物联网、人工智能等技术的发展，更安全、智能的智慧电厂建设已被国内各核电厂提上日程，在此背景下，智能操作意图识别方法有着广泛的需求，但市面上目前还没有相关的技术或专利。

发明内容

本发明的目的在于提供一种核电厂操作人员操作意图智能识别系统及方法，实现准确且稳定地识别核电厂操作者的操作意图，助力解决核电厂人因失误问题。

本发明的技术方案如下：一种核电厂操作人员操作意图智能识别系统，该系统包括意图识别模块、物体检测模块、编码识别模块以及深度信息模块，其中，所述物体检测模块、编码识别模块和深度信息模块均与所述意图识别模块相连接，所述物体检测模块可采集并识别操作环境图像中的物体类型，并传输至所述意图识别模块；所述编码识别模块与所述物体检测模块相连接，并可识别获得所述物体检测模块采集图像中设备的编码信息，并将所述编码信息传输至所述意图识别模块；所述深度信息模块可计算获得物体检测模块识别操作环境的深度信息，并传输至所述意图识别模块。所述意图识别模块，将设备信息、编码信息关联，并计算获得操作人员人手或工具与各项设备的距离阈值和距离变化趋势值，以此判断获得操作人员对某项设备的操作意图。

所述编码识别模块可接收所述物体检测模块采集的设备编码图像，识别获得图像中的设备编码信息，并将识别获得设备的编码信息传输至意图识别模块。

所述编码识别模块也可接收物体检测模块采集到的环境整体图像，识别图像中的设备编码信息，并将识别获得的设备编码信息传输至意图识别模块。

所述物体检测模块可采集操作环境的图像，并识别图像中的物体类型和平面位置信息，包括但不限于识别出旋转开关、试验开关、指示灯、报警窗、电流/电压表、设备标识、人手或者操作工具。

所述系统还包括指令识别模块，所述指令识别模块可实时采集操作人员的语音，并将采集到的语音进行识别后进行文字信息转换，并将文字信息传输至意图识别模块进行处理，并获得语音中包含的设备位号及操作状态作为所述的操作意图信号。

所述意图识别模块可将物体检测模块识别的物体类型，与所述编码识别模块所识别的设备编码信息相关联；同时，利用所述深度信息模块采集获得的操作环境深度信息，整体获得识别环境设备的空间位置矩阵和人手或工具的空间位置信息；通过计算操作人员人手或工具与所识别的各项设备的空间距离，在判断该距离小于设定阈值后，将这一设备作为所述操作意图信号。

所述意图识别模块还可计算操作人员人手或工具与所识别的各项设备的空间距离靠近变化速率，将变化速率最快的设备作为所述操作意图信号。

一种核电厂操作人员操作意图智能识别方法，该方法具体包括：

S1、实时采集环境图像，并进行图像物体识别；

S2、对图像中的设备编码进行识别，并与图像包含的设备进行关联；

S3、获取图像中环境深度信息，并与识别设备的类型、编码、平面位置信息相结合，形成设备的空间位置矩阵；

S4、判断采集图像的所述摄像头是否发生大幅度移动，并在出现所述大幅度移动时，实时更新图像设备的空间位置矩阵；

S5、采集并识别操作员手或工具的空间位置，并计算所述操作员手或工具距各项所述设备的空间距离，并在小于所设定的阈值后，形成操作员对所述设备的操作意图信号。

一种核电厂操作人员操作意图智能识别方法，该方法具体包括：

S1、实时采集环境图像，并进行图像物体识别；

S2、对图像中的设备编码进行识别，并与图像包含的设备进行关联；

S3、获取图像中环境深度信息，并与识别设备的类型、编码、平面位置信息相结合，形成设备的空间位置矩阵；

S4、判断采集图像的所述摄像头是否发生大幅度移动，并在出现所述大幅度移动时，实时更新图像设备的空间位置矩阵；

S5、采集并识别操作员手或工具的空间位置，并计算所述操作员手或工具距采集图像中所有设备的空间距离缩短变化速率，并选择所述变化速率最大值所对应的设备，作为所述操作员手或工具的操作意图。

所述S1中进行图像设备识别是对核电厂操作环境进行图像采集，并对采集到的图像进行设备类型识别和平面位置信息识别，所述物体检测模块将识别的设备类型和位置信息传输至意图识别模块进行操作意图识别。

所述S2中对图像设备的编码识别具体包括：对S1中识别出的设备编码图像中的设备编码信息进行识别，获得所述设备的编码信息；或者直接对采集到的图像进行识别，获知所述图像中设备编码信息；将图像中识别的编码信息与S1中识别的设备类型及位置信息进行关联。

所述S3中设备空间位置矩阵包括设备的类型、设备编码、平面位置信息和深度信息，所述深度信息是通过双目算法或激光雷达、毫米波雷达等技术，获得操作环境的深度信息。

所述方法还包括采集识别操作环境中操作员的语音指令步骤，并提取语音指令中的设备位号以及操作到的状态信息，并将实时输出的设备位号以及要操作的状态作为操作意图信号。

本发明的显著效果在于：本发明所述的一种核电厂操作人员操作意图智能识别系统及方法，能够准确并稳定地识别核电厂操作者的操作意图，为核电厂其他智能系统提供操作人员的操作意图信号，以便于及时提醒操作人员，防止其出现操作失误，解决人工操作过程中的人因失误问题。

附图说明

图1为本发明所述的一种核电厂操作人员操作意图智能识别系统示意图；

图2为本发明所述的一种核电厂操作人员操作意图智能识别方法流程示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

如图1所示，一种核电厂操作人员操作意图智能识别系统，该系统包括意图识别模块、物体检测模块、编码识别模块、指令识别模块以及深度信息模块，其中，物体检测模块可采集核电厂操作环境中的图像，并通过采集的图像识别出各个物体类型，包括但不限于识别出旋转开关、试验开关、指示灯、报警窗、电流/电压表、设备标识、人手或者操作工具等，根据需要识别设备状态、关键节点等信息，识别各个设备的位置信息；物体检测模块与意图识别模块相连接，并将物体检测模块采集识别的设备类别和位置等信息传输至意图识别模块进行意图识别处理；

此外，物体检测模块与编码识别模块相连接，并将识别环境中采集到的原始图像或识别出的设备标识图像发送至编码识别模块进行识别处理，其中，编码识别模块可接收物体检测模块传输的设备编码图像，并识别获得图像中的文字，并将识别结果传输至与编码识别模块相连接的意图识别模块进行意图识别；同时，编码识别模块也可对物体检测模块采集到的识别环境整体图像进行识别处理，获知整体图像中设备编码信息，并将识别结果传输至意图识别模块；编码识别模块能够根据从物体检测模块采集获得的设备编码图像或识别环境整体图像进行自动识别模式的切换；

意图识别模块还与指令识别模块相连接，通过指令识别模块可采集并识别核电厂操作人员的语音，并将识别的语言转换为文字信息传送至意图识别模块；同时，意图识别模块还与深度信息模块相连接，利用深度信息模块可测量并计算采集图像中物体的深度，并将深度信息传输至意图识别模块进行处理；意图识别模块根据物体检测模块和编码识别模块采集并识别的设备编码和设备类别信息，将设备编码与检测出的设备进行链接，并根据物体检测模块和深度信息模块采集获得的相应设备平面位置和深度信息，形成所述设备的空间位置矩阵；同时，根据获得的设备空间位置矩阵，计算操作者手或所持工具与各个可操作设备间的空间距离，并在小于所设定阈值后，则判断为操作员对所述操作设备形成操作意图信号；此外，计算操作者手或所持工具与各个可操作设备间的空间距离缩短变化速率最快的，则判断为操作员对所述操作设备形成操作意图信号；

意图识别模块在根据指令识别模块获得操作意图信号时，通过指令识别模块实时采集识别环境中操作员的语音，并对采集到的语音指令进行识别，并将其转换为文字，例如“将650CC打到P2”，利用意图识别模块提取语音指令中出现的设备位号以及要操作到的状态信息，如“650CC，P2”，实时将输出的设备位号以及要操作的状态作为操作意图信号；

意图识别模块通过物体检测模块、编码识别模块以及深度信息模块获得操作意图信号时，利用物体检测模块实时采集图像，并检测图像中各个设备，并识别获得输出设备类别及其位置信息，例如输出“选择开关，[x1,y1,x2,y2]”；采用编码识别模块和深度信息模块分别识别获得设备的编码和设备的深度，其中，编码识别模块可以接收物体检测模块检测出的设备标牌信息[x3,y3,x4,y4]，在图像中截取对应区域，并对该区域进行文字识别，识别出设备编码信息，如“650CC”；此外，编码识别模块也可以接收物体检测模块相同的图像，并识别图像中各个文字信息及位置，如识别获得“650CC，[x3’,y3’,x4’,y4’]”；深度信息模块采用双目算法或激光雷达、毫米波雷达等技术，计算获得设备的深度z；将识别出的所有设备的位置中点或关键点，并将其与深度相结合，并形成设备空间位置矩阵；根据实时采集的图像或摄像头中的陀螺仪检测摄像头是否发生大幅度移动，同时检测图像中是否出现人手或工具，在检测获得摄像头没有发生大幅度移动，同时，检测到人手或工具时，则检测人手或工具的像素位置，并获取其中点或关键节点[x_1，y_1]，并计算其深度z_1，计算人手或工具的空间位置[x_1，y_1，z_1]与设备空间位置矩阵中各个设备的距离及其变化趋势：

d＝(x_1-x)

d’＝2(x_1-x)+2(y_1-y)+2(z_1-z)

当人手或工具的空间位置与某个可操作设备的距离d小于设定的阈值时，则判断其为针对该设备的操作意图信号；和/或当人手或工具的空间位置与某一设备的距离缩短变化趋势d’是所有可能操作设备中的最大值时，则判断其为针对该设备的操作意图信号。