一种违规行为实时监控分析方法、装置及存储介质

摘要

本发明提供了一种违规行为实时监控分析方法，通过首先采集若干个公开行为视频数据及真实场景视频数据，作为训练数据集；对所述训练数据集进行预处理，获得预处理数据；对所述预处理数据进行离线训练，获得离线训练模型；采集真实场景的摄像头实时视频流数据；通过所述离线训练模型对所述实时视频数据进行行为识别，判断所述实时视频数据中是否包含违规行为；若所述实施视频数据中包含违规行为，则输出异常警告信号。利用本发明，可以对采集的视频数据智能化的实时分析，减少人工大屏监控所引起的漏报、误报。

说明书

技术领域

本发明涉及视频的行为监测领域，特别是涉及一种违规行为实时监控分析方法、装置及存储介质。

背景技术

目前，可实时监控特定区域内的违规行为，例如用于军人的违规行为监控，严禁在战备、训练、演习任务时携带和使用公网移动电话，军人在公共场所和其他禁止吸烟的场所不得吸烟。在军营内部，执勤监督人员通过大屏实时监控违规行为，但是这种人工监控方法存在安全隐患，容易出现误报、漏报。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供了一种违规行为实时监控分析方法，可以对军营内的行为进行实时监测，及时发现违规行为，采取相应措施，减少人工大屏监控所引起的漏报、误报。

为实现上述目的及其他相关目的，本发明首先提供了一种违规行为实时监控分析方法，其包括以下步骤：

采集若干个公开行为视频数据及真实场景视频数据，作为训练数据集；

对所述训练数据集进行预处理，获得预处理数据；

对所述预处理数据进行离线训练，获得离线训练模型；

对所述获得的离线训练模型进行测试，记录测试结果；

采集真实场景的摄像头实时视频流数据；

通过所述离线训练模型对所述实时视频流数据进行行为识别，判断所述实时视频流数据中是否包含违规行为；若所述实时视频流数据中包含违规行为，则输出异常警告信号。

在本发明的一实施例中，对所述训练数据集进行预处理的步骤包括：对所述训练数据集进行筛选、视频转成图像帧数据、冗余数据删除、训练数据集扩充。

在本发明的一实施例中预处理数据的集合包括训练集、验证集和测试集，所述训练集的数据用于训练，所述验证集的数据用于验证，所述测试集的数据用于测试。

在本发明的一实施例中，所述离线训练模型包括深度残差网络ResNet50、时间位移模型TSM和非局部连接网络模型non-local。

在本发明的一实施例中，所述深度残差网络ResNet50包括4个block单元，所述第一个block单元、第二个block单元、第三个block单元、第四个block单元分别包含3个、4个、6个、3个卷积层。

在本发明的一实施例中，所述时间位移模型TSM应用于所述block单元中的所有的卷积层，所述非局部连接网络模型non-local应用于第二个block单元的第1、3卷积层以及第三个block单元的第1、3、5卷积层。

在本发明的一实施例中，利用构建好的所述离线训练模型在所述训练集和所述验证集上进行训练和验证，得到训练好的最优模型，然后利用所述训练好的最优模型在所述测试集上测试得到图像分类的结果，并记录所述分类结果的准确率。

在本发明的一实施例中，采集所述真实场景的摄像头实时视频流数据的方法包括：采用关键区域摄像头的实时视频流，将其转化成图片帧数据。

为实现上述目的及其他相关目的，本发还提供了一种违规行为实时监控分析装置，其包括：

数据控制单元，其包括数据采集器和数据处理器，所述数据采集器和所述数据处理器连接，所述数据采集器用于采集若干个公开行为视频数据及真实场景视频数据作为训练数据集；所述数据处理器用于对所述训练数据进行预处理，得到预处理数据；

模型调试单元，其与所述数据控制器连接，所述模型调试单元包括训练处理模块和测试处理模块；所述训练处理模块对所述预处理数据进行离线训练，获得离线训练模型；所述测试处理模块对所述获得的离线训练模型进行测试，记录测试结果；

实时行为监控分析单元，与所述模型调试单元连接，所述实时监控分析单元用于采集真实场景的摄像头实时视频流数据，通过经过训练的所述模型对所述实时视频流数据进行行为识别，判断所述实时视频流数据中是否包含违规行为，若所述实时视频流数据中包含违规行为，则输出异常警告信号。

为实现上述目的及其他相关目的，本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被用于执行实现如上述实施例所述的违规行为实时监控分析方法。

如上所述，本发明实施例提供的违规行为实时监控分析方法将时间位移模型TSM和非局部连接网络non-local应用到深度残差网络ResNet50的卷积层中，可以提高模型进行图像分类的准确度，并且所述模型运行计算量小，计算复杂程度低，可以对军营内的行为进行实时监测，及时发现违规行为，采取相应措施，减少人工大屏监控所引起的漏报、误报。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种违规行为实时监控分析方法的流程图；

图2是本发明一实施例提供的一种违规行为实时监控分析装置的结构示意图；

图3是本发明一实施例提供的数据控制器的结构示意图；

图4是本发明一实施例提供的模型调试单元的结构示意图；

图5是本发明一实施例提供的一种计算机可读存储介质的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

举例说明，军队作为国家级重要的特殊场所，一方面其高敏感度区域性特点决定了其安全级别控制的强烈要求；另一方面军队内部本身也存在严格的纪律和管理需要。这使得建设高度智能化的监控系统成为了一种趋势。而智能视频监控在军队的应用，将促使军队安全管理真正实现由“人工防范”到“技术防范”的转变。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。智能视频分析系统提高了监控的有效性和持续性，其更加快速的反应时间以及更加强大的数据检索和分析功能，使得监控能力得到极大的改善，从而更加有效地协助安全人员应对袭击和处理突发事件，帮助管理人员进行科学的、可量化的管理，并帮助工作人员轻松维护大型安防系统。

在一些实施例中，可通过TSM(Temporal Shift Module，时间位移模型)的视频时域信息融合方法，通过时间维度特征位移的方式，用以在不新增参数的情况下做到了不同帧间的特征融合。TSM使用时间位移来提高网络视频理解能力，将一部分的特征图通道在时间维度上向前位移一步，一部分的通道在时间维度上向后位移一步，位移后的空缺补零，通过这种方式在特征图中引入时间维度上的上下文交互。

在一些实施例中，可通过非局部连接网络(non-local Neural Networks)，来计算目标特征点的同时会结合周围特征点的信息，例如可以是时间维度，也可以是空间维度。通过定义输出位置和所有输入位置之间的关联函数，建立具有全局关联特性的操作，输出特征图上的每个位置，都会受到输入特征图上所有位置的数据的影响。

在一些实施例中，ResNet50是ResNet(Deep residual network，深度残差网络)系列网络中性能和资源消耗较为平衡的选择。

在不同实施例中，本发明提供了一种违规行为实时监控分析方法，首先采集若干个公开行为视频数据及真实场景视频数据，作为训练数据集；对所述训练数据集进行预处理，获得预处理数据；对所述预处理数据进行离线训练，获得离线训练模型；采集真实场景的摄像头实时视频流数据；通过所述离线训练模型对所述实时视频数据进行行为识别，判断所述实时视频数据中是否包含违规行为；若所述实施视频数据中包含违规行为，则输出异常警告信号。利用本发明，可以实时监测例如军营内的异常行为。

请参阅图1，本发明一实施例提供了一种违规行为实时监控分析方法，包括：

S101：采集若干个公开行为视频数据及真实场景视频数据，作为训练数据集。

需要说明的是，所述公开行为视频数据例如可以从互联网获取，例如可以获取HMDB51、HOLLYWOOD2等视频数据集。所述真实场景视频数据例如可以是军营内真实违规的视频片段，例如可以是打电话、抽烟等视频片段。提取所述公开行为视频数据及真实场景视频数据中打电话、抽烟的视频片段进行分类。

S102：对所述训练数据集进行预处理，获得预处理数据。

需要说明的是，所述预处理可以包括对所述训练数据集进行筛选、视频转成图像帧数据、冗余数据删除、训练数据集扩充等过程。例如，可以利用Python的opencv库处理视频数据，将视频数据转化成图像帧数据。例如，可以利用直方图相似法计算同一所述视频数据片段前后两图像帧数据frame

S103：对所述预处理数据进行离线训练，获得离线训练模型。

需要说明的是，所述离线训练模型的基础架构可以是ResNet50模型，所述ResNet50模型可以由多个block单元构成，所述block单元是残差单元，所述ResNet50模型例如可以包括4个block单元，所述第一个block单元、第二个block单元、第三个block单元、第四个block单元分别可以包含例如3个、4个、6个、3个卷积层。所述卷积层是由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的，卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。将所述TSM模型和所述non-local模型应用于所述ResNet50模型的卷积层，可以提高图像分类的精度，并且所述TSM模型和所述non-local模型应用的个数以及插入的位置不同产生的效果也将会不同。例如，在本发明的一实施例中，所述TSM模型可以应用于所述block单元中的所有的卷积层，所述non-local模型可以应用于第二个block单元的例如第1、3卷积层以及第三个block单元的例如第1、3、5卷积层，这样应用的目的是为了进一步提高所述离线训练模型的准确率。所述离线训练模型例如主要判别抽烟和打电话两类违规行为，则所述ResNet50模型的全连接分类层的输出参数例如可以设置为2。

请参阅图1，在本发明的一实施例中，利用构建好的模型结构在训练集和验证集上进行训练和验证，得到训练好的最优图像分类模型，然后利用训练好的最优图像分类模型在测试集上测试得到图像分类的结果，并记录分类结果的分类准确率，完成一次完整的训练、验证和测试，在一次完整的训练、验证和测试中要使用相同的模型参数。例如，利用构建好的ResNet50+TSM+Non-local模型训练所述训练集的数据，训练的次数例如可以是20-35次，例如可以是30次，每一次训练后利用验证集的数据进行验证并记录所述模型的预测准确度。所述训练集的数量例如是1000，所述验证集的数量例如是125，如果验证时例如有100个验证集的数据是正确的，则该模型的预测准确率例如是80％。如果当前训练模型的预测准确率大于上一次训练模型的预测准确率，则保存当前模型。为了对比不同模型的准确率，将构建好的ResNet50+TSM模型、ResNet50+Non-Local模型也利用相同的训练数据进行训练和验证，并记录预测准确率。

S104：对所述获得的离线训练模型进行测试，记录测试结果。

需要说明的是，利用所述测试集的数据对上述三种模型进行测试，例如，将所述测试集的数据输入所述离线训练模型中，所述离线训练模型输出判断结果，观察输出的判断结果是否与所述测试集的真实标签相符。例如，所述ResNet50+TSM+Non-Local模型、ResNet50+TSM模型、ResNet50+Non-Local模型的准确率分别为91.5％、90.0％、89.7％。

S105：采集真实场景的摄像头实时视频流数据。

需要说明的是，所述实时视频流数据可以通过摄像监控获取，例如，采用Pythonopencv库获取军营内关键区域摄像头的实时视频流，例如可以是RTSP视频流，将其转化成图片帧数据，例如可以将所述图片帧数据分成若干组，例如可以是8个图片帧为一组。

S106：通过所述离线训练模型对所述实时视频流数据进行行为识别，判断所述实时视频流数据中是否包含违规行为，若所述实时视频流数据中包含违规行为，则输出异常警告信号。

需要说明的是，选取最优的所述离线训练模型，将所述图片帧组数据输入所述最优的离线训练模型中进行识别分析，判断是否包含违规行为的图片帧数据。如果所述最优的离线训练模型识别出有打电话、抽烟的违规行为图片帧数据，则输出异常警告信号发送给值班人员，及时采取措施。

请参阅图2和图3，在一实施例中，本发明还提供一种违规行为实时监控分析装置，包括：数据控制单元1，其包括数据采集器11和数据处理器12，所述数据采集器11和所述数据处理器12连接，所述数据采集器11用于采集训练数据，所述训练数据包括网络上的公开行为视频数据集和军营中真实场景违规视频数据集，例如抽烟、打电话的视频片段。所述数据处理器12用于对所述训练数据进行预处理，得到预处理数据，所述预处理例如可以是数据筛选、视频转成图像帧、冗余数据删除、训练数据集扩充等操作。将获得的预处理数据可以划分为训练集、验证集、测试集三部分，所述训练集、验证集、测试集的比例例如可以是8:1:1或者6:2:2等等，所述训练集占的比例越大，训练的数据越多，可以提高所述实时监控分析装置的准确率。例如，所述数据控制单元1可以设置在CPU服务器中。

请参阅图2和图4，所述实时监控分析装置还包括模型调试单元2，所述模型调试单元2与所述数据控制单元1连接，所述模型调试单元2包括训练处理模块21和测试处理模块22。例如，所述模型调试单元2的功能可以由Python编程语言编写，GPU服务器运算，所述模型例如可以是ResNet50+TSM+Non-local模型，所述ResNet50模型可以由多个block单元构成，所述ResNet50模型例如可以包括4个block单元，例如，第一个block单元、第二个block单元、第三个block单元、第四个block单元分别可以包含3个、4个、6个、3个卷积层。例如，所述TSM模型可以应用于所述block单元中的所有的卷积层，所述non-local模型可以应用于第二个block单元的例如第1、3卷积层以及第三个block单元的例如第1、3、5卷积层，这样应用的目的是为了提高所述模型的准确率。所述模型例如主要判别抽烟和打电话两类违规行为，则所述ResNet50模型的全连接分类层的输出参数例如可以设置为2。所述训练处理模块21对所述预处理数据进行训练，所述测试处理模块22对训练过的所述模型进行测试，例如，利用构建好的模型结构在训练集和验证集上进行训练和验证，得到训练好的最优模型，然后利用训练好的最优模型在测试集上测试得到图像分类的结果，并记录分类结果的分类准确度，即完成一次完整的训练、验证和测试，在一次完整的训练、验证和测试中要使用相同的模型参数。

请参阅图2，所述实时监控分析装置还包括实时行为监控分析单元3，所述实时行为监控分析单元3与所述模型调试单元2连接，所述实时监控分析单元3用于采集真实场景的摄像头实时视频流数据，例如可以通过摄像头监控获取实时视频数据，通过经过训练的所述模型对所述实时视频流数据进行行为识别，判断所述实时视频流数据中是否包含违规行为，若所述实时视频流数据中包含违规行为，则输出异常警告信号。

请参阅图5，在一实施例中，本发明还提供一种计算机可读存储介质4，存储有计算机程序，该计算机程序被用于执行实现本发明实施例提供的任意一种违规行为实时监控分析方法的步骤。本发明实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccess Memory，随即存储器)、EPROM(Erasable Programmable Read-OnlyMemory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable ProgrammableRead-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是说，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

综上所述，本发明提供的一种违规行为实时监控分析方法，通过首先采集若干个公开行为视频数据及真实场景视频数据，作为训练数据集；对所述训练数据集进行预处理，获得预处理数据；对所述预处理数据进行离线训练，获得离线训练模型；采集真实场景的实时视频数据；通过所述离线训练模型对所述实时视频数据进行行为识别，判断所述实时视频数据中是否包含违规行为；若所述实施视频数据中包含违规行为，则输出异常警告信号。本发明旨在对采集的视频数据智能化的实时分析，及时发现军营人员违规行为，减少人工大屏监控所引起的漏报、误报。

本文已经在总体上将系统和方法描述为有助于理解本发明的细节。此外，已经给出了各种具体细节以提供本发明实施例的总体理解。然而，相关领域的技术人员将会认识到，本发明的实施例可以在没有一个或多个具体细节的情况下进行实践，或者利用其它装置、系统、配件、方法、组件、材料、部分等进行实践。在其它情况下，并未特别示出或详细描述公知结构、材料和/或操作以避免对本发明实施例的各方面造成混淆。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。