一种基于办公场所的违规行为检测系统及方法

摘要

本发明公开了一种基于办公场所的违规行为检测系统及方法，系统包括多路视频读取分发模块，用于读取输入的多路视频流并进行预处理，得到监控图像；违规行为检测与判识模块，用于对监控图像进行违规行为检测与判识；违规行为触发与终止判识模块，用于利用时序动态缓冲池存储一定时长单帧监控图像的行为判断结果，根据单帧监控图像的违规行为持续时间是否达到规定的阈值判断是触发违规行为或终止已触发的违规行为；身份识别模块，用于根据人脸与外观特征识别监控图像中的人员身份信息。本发明通过检测和分析接入办公场所的监控摄像头的实时视频画面，判断并记录是否发生违规行为及违规行为人的身份信息，有效监督员工的违规行为，提高工作效率。

说明书

技术领域

本发明涉及图像识别领域，特别是涉及一种基于办公场所的违规行为检测系统及方法。

背景技术

人体行为识别技术可以充分利用设备资源，从已有的摄像视频中提取相关的数据信息，可辅助行为识别。但是，由于行为识别属于复杂场景下多人形态识别问题，目前通用的识别算法准确率低，使得人体行为识别结果与身份识别结果匹配准确率较低，大都只能实现大致的识别，不能将人体行为细化精确并对应到每一个身份明确的人。

发明内容

本发明针对上述问题，提供了一种基于办公场所的违规行为检测系统及方法，用于帮助管理人员监督员工的违规行为，提高工作效率。

本发明的第一方面，一种基于办公场所的违规行为检测系统，所述系统包括：

多路视频读取分发模块，用于读取输入的多路视频流并进行预处理，得到监控图像；

违规行为检测与判识模块，用于对监控图像进行违规行为检测与判识，所述对监控图像进行违规行为检测与判识基于特定目标检测神经网络，所述特定目标检测神经网络包括目标检测网络和分类网络，所述目标检测网络用于对标记后的特定目标行为进行检测，所述分类网络用于对已完成的特定目标行为检测结果进行二次分类，判断行为结果。

本发明的进一步技术方案是：所述系统还包括身份识别模块，用于根据人脸与外观特征识别监控图像指定区域人员身份信息。

本发明的进一步技术方案是：所述系统还包括违规行为触发与终止判识模块，用于利用时序动态缓冲池存储一定时长单帧监控图像的行为判断结果，根据单帧监控图像的违规行为持续时间是否达到规定的阈值判断是触发违规行为或终止已触发的违规行为。

本发明的进一步技术方案是：所述身份识别模块利用人脸识别网络对监控图像中的人脸进行检测与识别，如果成功识别出身份信息，则通过特征网络提取人体外观特征并存储在外观向量检索库中，并记录当前摄像头工位对应的身份信息；如果未成功获得人脸身份信息并且当前监控图像中有违规行为，则启动身份重识别，所述身份重识别通过身份重识别网络提取违规行为人的外观特征后，在外观向量检索库中搜索最相似外观特征向量并得到对应的身份信息。

本发明的进一步技术方案是：所述目标检测网络为Yolov5，所述分类网络为Vgg16。

本发明的进一步技术方案是：所述违规行为检测与判识模块对监控图像进行违规行为检测与判识之前，采集一定数量的训练集图片，将训练集图片人工标记为特定目标行为后对所述特定目标检测神经网络进行训练。

本发明的第二方面，一种基于办公场所的违规行为检测方法，所述方法包括以下步骤：

读取输入的多路视频流并进行预处理，得到监控图像；

对监控图像进行违规行为检测与判识，所述对监控图像进行违规行为检测与判识基于特定目标检测神经网络，所述特定目标检测神经网络包括目标检测网络和分类网络，所述目标检测网络用于对标记后的特定目标行为进行检测，所述分类网络用于对已完成的特定目标行为检测结果进行二次分类，判断行为结果。

本发明的进一步技术方案是：所述方法还包括根据人脸与外观特征识别监控图像指定区域人员身份信息。

本发明的进一步技术方案是：所述方法还包括对违规行为进行触发与终止判识，具体包括：利用时序动态缓冲池存储一定时长单帧监控图像的行为判断结果，根据单帧监控图像的违规行为持续时间是否达到规定的阈值判断是触发违规行为或终止已触发的违规行为。

本发明的进一步技术方案是：所述根据人脸与外观特征识别监控图像指定区域人员身份信息，具体包括：利用人脸识别网络对监控图像中的人脸进行检测与识别，如果成功识别出身份信息，则通过特征网络提取人体外观特征并存储在外观向量检索库中，并记录当前摄像头工位对应的身份信息；如果未成功获得人脸身份信息并且当前监控图像中有违规行为，则启动身份重识别，所述身份重识别通过身份重识别网络提取违规行为人的外观特征后，在外观向量检索库中搜索最相似外观特征向量并得到对应的身份信息。

本发明提出了一种基于办公场所的违规行为检测系统及方法，通过检测和分析接入的办公室或开放式办公大厅的监控摄像头回传的实时视频画面，判断并记录对应工位是否发生违规行为及违规行为人的身份信息，可以有效帮助管理人员监督员工的违规行为，提高工作效率。最终得到的有益效果为：

(1)本发明将深度学习技术运用在室内违规行为检测任务上，极大地提高了办公环境下人员违规行为的检测效率，方便管理人员及时、精准地获得员工的违规行为与身份信息；

(2)本发明在违规行为检测方法上提出了新颖的两阶段检测与判识网络，首先对视频帧做目标检测判识，得到可能的违规行为所在图像区域，再输入到二次判别网络对相应的违规行为进行二次分类，确保得到的违规行为检测结果稳定可靠。

(3)本发明针对违规行为的行为人身份识别提出了双重识别策略，即由人脸检测与识别网络为主，以身份重识别网络为辅的双重结构。当无法捕获高质量人脸时转由识别与检索人体外观特征得到最终身份信息，能够在因画面角度或其他干扰因素造成的人脸识别失败的情况下，精准地提供违规行为人的身份信息，而无需管理人员人工核对，大大地提高了系统的可用性。

附图说明

图1是本发明实施例基于办公场所的违规行为检测系统结构示意图；

图2是本发明实施例中多路视频读取分发模块实施流程示意图；

图3是本发明实施例中违规行为检测与判识模块实施流程示意图；

图4是本发明实施例中违规行为触发与终止判识模块实施流程示意图；

图5是本发明实施例基于办公场所的违规行为检测方法流程示意图。

具体实施方式

为进一步对本发明的技术方案作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的步骤。

本发明实施例针对基于办公场所的违规行为检测系统及方法，提供了如下实施例：

基于本发明的实施例1

本实施例用于说明基于办公场所的违规行为检测系统，如图1所示，系统包括：

多路视频读取分发模块，用于读取输入的多路视频流并进行预处理，得到监控图像；

违规行为检测与判识模块，用于对监控图像进行违规行为检测与判识，对监控图像进行违规行为检测与判识基于特定目标检测神经网络，特定目标检测神经网络包括目标检测网络和分类网络，目标检测网络用于对标记后的特定目标行为进行检测，分类网络用于对已完成的特定目标行为检测结果进行二次分类，判断行为结果。

在本实施例中，多路视频读取分发模块设计为并发式处理多路监控视频，多路视频读取分发模块输入定义为多路RTSP或RTMP格式的流媒体视频，同步接入所有视频流后，为每一路视频流分配独立的进程用于解码和预处理图像数据。具体流程如图2所示，其中，考虑到监控视频流多为25帧每秒，而后续的检测、判识处理与视频流解码速度之间存在的差异，本实施例为每一路视频流创建独立缓冲池以尽可能同步读取与处理子进程；图像降采样将原始高分辨率1080P或2K监控视频图像缩小到1280*720分辨率以降低计算量；直方图均衡目的在于平衡图像的光照条件，减少图像过曝或过暗对后续违规动作判识的影响。

在本实施例中，违规行为检测与判识模块基于深度学习技术，实时分析监控图像中指定区域是否存在违规行为。首先从图像缓冲池中读取最新的图像帧，然后利用特定目标检测神经网络检测当前图像帧中是否存在特定违规动作并更新时序记录。具体行为检测与判识流程如下：

步骤1：从图像缓冲池读取最新图像帧即监控图像。

步骤2：将监控图像送入特定目标检测神经网络，输出特定目标行为检测的框坐标与类别。

步骤3：对步骤2特定目标行为检测结果进行双重非极大值抑制，去除重复框。

步骤4：若步骤3中检测到手机且手机目标框至少在一个人员目标框内，则当前帧的“玩手机”检测结果为异常，若步骤3中检测到睡觉目标框，则当前帧的“睡觉”检测结果为异常。

步骤5：将当前帧的违规行为检测结果与当前时间戳写入对应摄像头的时序动态缓冲池，检查缓冲池状态并做出响应。

优选地，步骤2中特定目标行为为三类目标行为，包括“手机”、“非睡觉的人”与“睡觉的人”，其中“手机”与“非睡觉的人”构成“玩手机”违规行为，可以避免单独检测到手机而误报违规行为。

优选的，特定目标检测神经网络包括目标检测网络和分类网络，其中，目标检测网络为Yolov5，所述分类网络为Vgg16。违规行为检测与判识模块对监控图像进行违规行为检测与判识之前，采集一定数量的训练集图片，将训练集图片人工标记为特定目标行为后对所述特定目标检测神经网络进行训练。具体地，为了训练Yolov5与Vgg16网络，首先需要采集一定数量的训练集，训练集图片来源于真实监控场景下摄像头拍摄，需要人工标记三类待检测目标，完成神经网络训练后，即可用部署用于特定目标行为检测。如图3所示，将监控图像帧输入Yolov5目标检测网络，完成三类目标行为检测后进行二次分类，即分别将每一类目标检测结果输入Vgg16分类网络二次判别，以减少目标误判。

基于本发明的实施例2

在上述实施例1的基础上，本实施例提供了基于办公场所的违规行为检测系统，系统还包括违规行为触发与终止判识模块，用于利用时序动态缓冲池存储一定时长单帧监控图像的行为判断结果，根据单帧监控图像的违规行为持续时间是否达到规定的阈值判断是触发违规行为或终止已触发的违规行为。

在本实施例中，违规行为触发与终止判识模块根据时序动态缓冲池进一步判识违规行为开始与结束的流程图如图4所示。由于实施例1中步骤3和4得到的只是单张图像帧的违规目标检测结果，考虑到违规行为的时间连续性与特定目标检测神经网络可能出现的误检测，本实施例采用时序缓冲池来存储一定时长的单帧图像检测结果，根据连续时间内单帧图像检测结果是否达到规定的阈值来判断是否触发违规行为或终止已触发的违规行为。具体地，如图4所示：

S1、对于输入的当前帧检测结果，先确定缓冲池状态：

当检测结果异常并且缓冲池状态正常时，执行S2；

当检测结果异常并且缓冲池状态也是异常时，修改缓冲池状态为异常，触发违规异常，进入身份识别；

当检测结果正常并且缓冲池状态异常时，修改缓冲池状态为异常停止中，并确定是否满足异常状态结束条件，若是，执行S5，若否，结束判定；

当检测结果正常并且缓冲池状态正常时，结束判定；

S2、确定是否存在前置违规行为，若是，执行S3，若否，记录当前违规行为，更新违规行为开始时间；

S3、确定违规行为持续时间是否超过阈值，若是，执行S4，若否，结束判定；

S4、修改缓冲池状态为异常，触发违规异常，进入身份识别；

S5、修改缓冲池状态为正常，更新违规行为结束时间，发送违规行为结束信号，清空缓冲池。

其中，异常状态结束条件即缓冲池状态为异常停止中且持续时间超过阈值。

基于本发明的实施例3

在上述实施例1或实施例2的基础上，本实施例提供了基于办公场所的违规行为检测系统，系统还包括身份识别模块，用于根据人脸与外观特征识别监控图像指定区域人员身份信息。

在本实施例中，身份识别模块利用人脸识别网络对监控图像中的人脸进行检测与识别，如果成功识别出身份信息，则通过特征网络提取人体外观特征并存储在外观向量检索库中，并记录当前摄像头工位对应的身份信息；如果未成功获得人脸身份信息并且当前监控图像中有违规行为，则启动身份重识别，身份重识别通过身份重识别网络提取违规行为人的外观特征后，在外观向量检索库中搜索最相似外观特征向量并得到对应的身份信息。

具体地，在检测到违规行为后，进一步检测识别违规行为人的身份信息将极大的方便管理人员对违规行为统计数据的实时监控与事后核查。违规行为身份识别模块基于违规行为检测与判识模块的人体检测结果进行身份识别。由于摄像头安装角度、人体姿势等外部因素，仅使用人脸识别方式可能无法实时获得最新的身份信息，为了提高身份识别的准确性与可靠性，本发明所提出的身份识别模块包含以人脸识别为主、以身份重识别为辅的两种身份识别方式。身份识别模块在未检测到违规行为时，持续检测并识别身份信息，当检测到违规行为时，优先采用违规行为当前帧的人脸识别结果，若无法得到可信度高的人脸识别结果，则通过身份重识别获得当前违规行为人身份。例如当人低头时，吊顶式摄像头俯拍角度无法拍摄到正脸，此时无法获得有效的人脸识别结果，但考虑到人体外观信息在时间上的连续性，通过检索最近最相似的带有身份信息的外观特征间接获取身份信息。

在本实施例优选示例中，违规行为检测与判识模块实时地将“睡觉的人”和“非睡觉的人”两类检测结果及视频图像帧传送到身份识别模块。人脸识别网络对视频图像帧中的人脸进行检测与识别，如果成功识别出身份信息，则通过特征网络提取人体外观特征，存储在外观向量检索库中，并记录当前摄像头工位对应的身份信息；如果未能成功获得人脸身份信息，且当前帧中有违规行为，则启动身份重识别，身份重识别网络提取违规行为人的外观特征后，在外观向量检索库中搜索最相似外观向量并得到对应的身份信息。

优选地，人脸识别网络为ArcFace，特征网络为RetinaFace，外观向量检索库为milvus，身份重识别网络为ResNet50神经网络，通过ArcFace检测到人脸目标框后，输入到RetinaFace人脸向量提取网络中，得到512维的人脸特征向量，并在milvus向量检索库中检索最相似人脸，得到身份信息。其中ArcFace检测到的人脸置信度与milvus中检测到的向量相似度均需超过阈值才能作为有效检测结果。身份重识别网络采用经典的ResNet50神经网络作为特征提取网络，得到2048维的人体外观特征向量，与存储在milvus中的人体外观向量计算相似度，间接得到被检测人的身份信息。

基于本发明的实施例4

本实施例参照图5来描述根据本公开实施例1-3的系统对应的方法，一种基于办公场所的违规行为检测方法，方法包括以下步骤：读取输入的多路视频流并进行预处理，得到监控图像；对监控图像进行违规行为检测与判识，对监控图像进行违规行为检测与判识基于特定目标检测神经网络，特定目标检测神经网络包括目标检测网络和分类网络，目标检测网络用于对标记后的特定目标行为进行检测，分类网络用于对已完成的特定目标行为检测结果进行二次分类，判断行为结果。

进一步地，方法还包括根据人脸与外观特征识别监控图像指定区域人员身份信息。

进一步地，方法还包括对违规行为进行触发与终止判识，具体包括：利用时序动态缓冲池存储一定时长单帧监控图像的行为判断结果，根据单帧监控图像的违规行为持续时间是否达到规定的阈值判断是触发违规行为或终止已触发的违规行为。

进一步地，根据人脸与外观特征识别监控图像指定区域人员身份信息，具体包括：利用人脸识别网络对监控图像中的人脸进行检测与识别，如果成功识别出身份信息，则通过特征网络提取人体外观特征并存储在外观向量检索库中，并记录当前摄像头工位对应的身份信息；如果未成功获得人脸身份信息并且当前监控图像中有违规行为，则启动身份重识别，所述身份重识别通过身份重识别网络提取违规行为人的外观特征后，在外观向量检索库中搜索最相似外观特征向量并得到对应的身份信息。

本实施例中基于办公场所的违规行为检测方法的具体工作过程参照上述基于办公场所的违规行为检测系统实施例1至实施例3的描述，不再赘述。

本发明提出了一种基于办公场所的违规行为检测系统及方法，违规行为检测系统及方法以图像处理技术为核心，主要分为违规行为判识与身份识别两个部分。违规行为判识主要分析特定视频区域内人员是否存在特定违规行为；身份识别部分则在检测到违规行为发生时进一步识别行为人的身份以帮助管理人员获取完整的异常信息。通过检测和分析接入的办公室或开放式办公大厅的监控摄像头回传的实时视频画面，判断并记录对应工位是否发生违规行为及违规行为人的身份信息，可以有效帮助管理人员监督员工的违规行为，提高工作效率。最终得到的有益效果为：本发明将深度学习技术运用在室内违规行为检测任务上，极大地提高了办公环境下人员违规行为的检测效率，方便管理人员及时、精准地获得员工的违规行为与身份信息；本发明在违规行为检测方法上提出了新颖的两阶段检测与判识网络，首先对视频帧做目标检测判识，得到可能的违规行为所在图像区域，再输入到二次判别网络对相应的违规行为进行二次分类，确保得到的违规行为检测结果稳定可靠；本发明针对违规行为的行为人身份识别提出了双重识别策略，即由人脸检测与识别网络为主，以身份重识别网络为辅的双重结构。当无法捕获高质量人脸时转由识别与检索人体外观特征得到最终身份信息，能够在因画面角度或其他干扰因素造成的人脸识别失败的情况下，精准地提供违规行为人的身份信息，而无需管理人员人工核对，大大地提高了系统的可用性。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的步骤、方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种步骤、方法所固有的要素。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。