基于目标检测和目标跟踪的非机动车违法行为判定的方法

摘要

本发明提供了一种基于目标检测和目标跟踪的非机动车违法行为判定的方法，它解决了非机动车违法行为识别效果差等问题，其包括如下步骤：S1：对数据集进行构建；S2：对目标检测模型进行训练；S3：采集前端数据；S4：对非机动车违法驾驶行为进行识别；S5：对非机动车违法行为驾驶员身份识别。本发明具有违法行为识别精度高、交通管理效果好等优点。

说明书

技术领域

本发明属于交通管理技术领域，具体涉及一种基于目标检测和目标跟踪的非机动车违法行为判定的方法。

背景技术

随着城市化工作的推进，城市人口越来越多，各地机动车保有量也越来越高，堵车已成为很多城市的一大难题。除了车流量、交通违法以及交通事故等机动车本身原因外，非机动车驾驶员交通法规意识淡泊也成为机动车拥堵的一个重要因素。近年来，非机动车占用机动车道、闯红灯、非机动车闯红灯、不戴头盔、载人等违法驾驶现象十分普遍，这些违法驾驶行为一方面不仅增加事故发生的概率，另一方面在事故发生时极大地增加了非机动车驾驶人受重伤的概率。如何科学化、常态化治理违规驾驶行为已经成为城市交通网络中亟需解决的难题。

智能交通领域的发展，比如交通信号灯自动判别、汽车车道线检测以及机动车车牌识别等技术的出现，直接降低相关部门的日常工作难度；比如车牌自动识别技术将识别后的车牌号公布在卡口电子显示屏上，用以威慑违法人等等。然而相较于机动车，非机动车的违法驾驶行为自动识别技术应用较少，其原因在于：非机动车密度大，容易互相遮挡，在监控视频中所占面积较小，而且车牌字符小、多且杂乱，再者在非机动车上的雨披遮挡、挡板干扰、车牌悬挂无固定位置等问题的干扰之下，使得非机动车的违法驾驶行为难度相较于机动车更大。

为了解决现有技术存在的不足，人们进行了长期的探索，提出了各式各样的解决方案。例如，中国专利文献公开了一种非机动车交通违法判定方法、系统、装置及存储介质[202011510604.2]，其包括从违章地的监控设备中获取非机动车的违章图片，并记录违章时间段；对所述违章图片进行图像识别，以确定所述违章图片中的行为人的初步身份信息；根据所述初步身份信息对所述违章地在所述违章时间段内的所有非机动车车主的人员信息表进行查询，以确定所述违章图片中的行为人的最终身份信息。

上述方案在一定程度上解决了非机动车违法行为采集的问题，但是该方案依然存在着诸多不足，例如对于非机动车违法行为识别效果差等问题。

发明内容

本发明的目的是针对上述问题，提供一种设计合理，对于非机动车识别效果好的基于目标检测和目标跟踪的非机动车违法行为判定的方法。

为达到上述目的，本发明采用了下列技术方案：本基于目标检测和目标跟踪的非机动车违法行为判定的方法，包括如下步骤：

S1：对数据集进行构建；

S2：对目标检测模型进行训练；

S3：采集前端数据；

S4：对非机动车违法驾驶行为进行识别；

S5：对非机动车违法行为驾驶员身份识别。通过建立数据集并对目标检测模型进行训练，提高非机动车识别准确度，方便对非机动车违法行为进行迅速识别，从而提高了非机动车的监管效果。

在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤S1包括如下步骤：

S11：利用Python网络爬虫从网络获取图片；

S12：从道路监控缓存视频截取图片；

S13：对图片进行随机缩放、裁剪、翻转和旋转。

S14：将图片整合为原始数据集。对图片进行随机化处理，提高了模型的泛化性能，增加了原始数据集的多样性。

在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤14包括如下步骤：

S15：将数据集划分为多个类别且包括红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车，其中头盔目标和未戴头盔人脸目标为两种对立的状态，非机动车包含骑行者；

S16：使用标注工具labelme将图片中出现的多类目标进行标注，并转换成YOLOv5s算法能够运行的数据类型文本，每个文本中一行为对应图片样本中的目标对象的相对位置；

S16：按照7:2:1的比例将数据类型文本划分为训练集、验证集和测试集，完成数据集的构建。数据集进行分类划分，方便对数据集快速调用。

在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤S2包括如下步骤：

S21：修改YOLOv5s的yaml文件中的参数nc和names；

S22：改进YOLOv5s，在检测层中增加对小目标的识别，主干网络backbone上用GhostConv模块替换C3模型，损失函数改用VarifocalLoss与GIoULoss的加权组合；

S23：修改YOLOv5s项目的训练脚本train.py参数，包括并不限于weights、cfg、data和epochs；

S24：输入端input输入交通图片，经Mosaic数据增强后输入Backbone端，进入Backbone端的图片经卷积，BN归一化和Leaky_relu激活函数进行特征提取，经SPP模块处理处理后的图片送入Neck端进行特征进行融合并输入Predict端，用GIOU作为bbox的损失函数，进行目标检测模型训练；

S25：对目标检测模型进行评估，利用darknet自带的脚本对目标检测模型进行评估，得到召回率、检测精度以及平均精度三个指标，绘制PR曲线。对检测模型进行训练，不断修正提高其检测精度。

在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤S3通过雷达触发和/或视频触发对机动车和非机动车进行捕获，通过高清抓拍相机进行抓拍并将抓拍及检测的数据自动上传至智能交通管理平台，供后续违法行为识别模块处理。

在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，违法行为识别模块包括基于YOLOv5s的物体目标检测和基于Deep sort的多目标跟踪。YOLOv5s适用于移动端，其模型较小，运算速度较快。

在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，物体目标检测的内容包括红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车。物体目标检测主要适用于单一目标的追踪检测。

在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，违法行为识别模块对非机动车占用机动车道、闯红灯、未佩戴头盔、载人、逆向行驶识别，其中闯红灯和逆向行驶结合多目标跟踪进行识别。多目标跟踪采用Deep sort有效提高目标跟踪表现。

在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤S4包括如下步骤：

S41：使用训练生成的目标检测模型文件进行目标对象检测，将输入的监控视频拆分成帧，对每一帧进行目标检测，从而完成对监控视频的目标检测；

S42：完成非机动车驾驶轨迹追踪，将第一帧检测到的目标对象结果输入进deepsort算法，建初始的轨迹ID，并经过卡尔曼滤波处理后用马氏空间距离进行运动匹配，再把结果通过最小余弦距离对外观进行匹配，通过级联匹配与IOU回归计算代价矩阵，完成非机动车驾驶轨迹跟踪；

S43：进行非机动车占用机动车道行为检测，确定非机动车、机动车和机动车道在图像中的位置，判断机动车道位置矩形框内是否包含非机动车、机动车位置矩形框，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；

S44:进行未佩戴头盔行为检测，确定非机动车和未戴头盔人脸目标在图像中的位置，判断非机动车位置矩形框内是否包含未戴头盔人脸目标位置矩形框，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；

S45:进行非机动车载人行为判断，确定非机动车、未戴头盔人脸目标、戴头盔目标在图像中的位置，判断非机动车位置矩形框内包含的未戴头盔人脸目标和戴头盔目标总数是否大于1，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；

S46：进行闯红灯行为检测，取当前帧和第3帧，确定非机动车和停止线或人行道在图片中的位置，计算这两帧中非机动车距离停止线或人行道的距离，如果距离大于阈值则判断为闯红灯行为，判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；

S47:进行逆向行驶行为检测，通过计算前后5帧非机动车质心位置下x和y坐标距离图片上边框的相对变化量，如果变化量有增大趋势，则判断为逆向行驶；

S48:重复上述步骤，直至整个输入视频处理结束。针对不同的非机动车的违法行为依次进行识别，通过逐帧分析实现违法行为判断。

在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤S5包括如下步骤：

S51：根据多目标跟踪算法和人脸特征从大数据人脸库中查找相似人脸，给出相似度，根据预设相似度阀值过滤结果；

S52：根据车牌信息从相关的人口信息库、人口-车辆信息库中检索处对应的驾驶员信息；

S53：将违法信息推送到个人及相应的平台。通过检索人脸信息，实现违法行为反馈，提高了非机动车违法管理效果。

与现有的技术相比，本发明的优点在于：通过建立数据集并对目标检测模型进行训练，提高了非机动车的违法行为识别精度以及速率，从而提高了非机动车识别效果；利用YOLOv5s和Deep sort算法对目标进行跟踪检测，具有较好的多目标追踪效果；对违法人员人脸信息识别比对并上传至平台，提高交通系统管理质量。

附图说明

图1是本发明的方法原理图；

图2是本发明的目标检测模型训练流程图；

图3是本发明的非机动车违法驾驶行为识别流程图；

图4是本发明的非机动车占用机动车道识别流程图；

图5是本发明的未戴头盔识别流程图；

图6是本发明的非机动车载人识别流程图；

图7是本发明的闯红灯识别流程图；

图8是本发明的逆向行驶识别流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细的说明。

如图1-8所示，本基于目标检测和目标跟踪的非机动车违法行为判定的方法，包括如下步骤：

S1：对数据集进行构建；

S2：对目标检测模型进行训练；

S3：采集前端数据；

S4：对非机动车违法驾驶行为进行识别；

S5：对非机动车违法行为驾驶员身份识别。违法行为识别的硬件架构主要由前端非机动车违法行为抓拍单元、移动检测抓拍设备及后端非机动车违法行为管控分析平台组成，前端取证设备用于非机动车违法行为的抓拍捕获，后端平台用于对各类违法视频流数据进行目标检测、目标跟踪、违法行为判定、违法行为人员身份识别模块组成。而且，系统充分兼顾交通管理业务需求和技术发展，考虑与其他信息系统的连接，建设可扩展的开放平台，发挥智能交通系统在加强社会管理、提升警务效率、组织群防群治等方面的作用。支持实时视频监控检索、信息数据上传下调，并实现与六合一系统、接处警系统、区域联网报警系统、警用PGIS系统、信号控制系统集成联动，可为相关部门预留图像接口，实现资源共享。

具体地，步骤S1包括如下步骤：

S11：利用Python网络爬虫从网络获取图片；

S12：从道路监控缓存视频截取图片；

S13：对图片进行随机缩放、裁剪、翻转和旋转。

S14：将图片整合为原始数据集。由于所需的检测类别没有公开的数据集，所以自行制作了包含10000张图片的原始数据集，图片经过泛化处理增加其原始数据集的多样性。

深入地，步骤14包括如下步骤：

S15：将数据集划分为多个类别且包括红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车，其中头盔目标和未戴头盔人脸目标为两种对立的状态，非机动车包含骑行者；

S16：使用标注工具labelme将图片中出现的多类目标进行标注，并转换成YOLOv5s算法能够运行的数据类型文本，每个文本中一行为对应图片样本中的目标对象的相对位置；

S16：按照7:2:1的比例将数据类型文本划分为训练集、验证集和测试集，完成数据集的构建。经YOLOv5s实现红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车等目标的检测，并结合领域专家知识和目标跟踪算法Deep sort实现非机动车占用机动车道、闯红灯、未佩戴头盔、载人、逆向行驶等违法驾驶行为的识别，并且系统允许接入多家人脸比对，支持动态伸缩扩展。YOLOv5s+Deep Sort模型的引入，使得训练数据集的准确率和速度相比于前几代目标检测与跟踪有大幅度的提升，代码的轻量级使得该框架可以架构在更为便宜的设备上。

进一步地，步骤S2包括如下步骤：

S21：修改YOLOv5s的yaml文件中的参数nc和names；nc是标签名个数，names就是标签的名字，nc个数为8，names为红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车。

S22：改进YOLOv5s，在检测层中增加对小目标的识别，主干网络backbone上用GhostConv模块替换C3模型，损失函数改用VarifocalLoss与GIoULoss的加权组合；

S23：修改YOLOv5s项目的训练脚本train.py参数，包括并不限于weights、cfg、data和epochs；

S24：输入端input输入交通图片，经Mosaic数据增强后输入Backbone端，进入Backbone端的图片经卷积，BN归一化和Leaky_relu激活函数进行特征提取，经SPP模块处理处理后的图片送入Neck端进行特征进行融合并输入Predict端，用GIOU作为bbox的损失函数，进行目标检测模型训练；通常在windows环境，16G内存，4G显存，GTX1650显卡，深度学习PyTorch等实验平台对数据进行导入。

S25：对目标检测模型进行评估，利用darknet自带的脚本对目标检测模型进行评估，得到召回率、检测精度以及平均精度三个指标，绘制PR曲线。YOLOv5是在YOLOv3、YOLOv4模型基础上不断创新的模型，该模型的特点是适用于移动端、模型小、速度快。YOLOv5包括YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四个模型,YOLOv5s是其中网络深度最浅、特征图宽度最小的模型，体积只有14M，非常适合嵌入式设备的部署。为适应小目标和遮挡目标的检测任务，在目标检测算法中引入了小目标检测层，主干网络backbone上用GhostConv模块替换C3模型，损失函数改用VarifocalLoss与GIoULoss的加权组合。

除此之外，步骤S3通过雷达触发和/或视频触发对机动车和非机动车进行捕获，通过高清抓拍相机进行抓拍并将抓拍及检测的数据自动上传至智能交通管理平台，供后续违法行为识别模块处理。300万抓拍一体机可覆盖一条车道，900万抓拍一体机可覆盖四条车道，系统能够对所有经过车辆进行捕获。

更进一步地，违法行为识别模块包括基于YOLOv5s的物体目标检测和基于Deepsort的多目标跟踪。

同时，物体目标检测的内容包括红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车。

可见地，违法行为识别模块对非机动车占用机动车道、闯红灯、未佩戴头盔、载人、逆向行驶识别，其中闯红灯和逆向行驶结合多目标跟踪进行识别。

很明显，步骤S4包括如下步骤：

S41：使用训练生成的目标检测模型文件进行目标对象检测，将输入的监控视频拆分成帧，对每一帧进行目标检测，从而完成对监控视频的目标检测；

S42：完成非机动车驾驶轨迹追踪，将第一帧检测到的目标对象结果输入进deepsort算法，建初始的轨迹ID，并经过卡尔曼滤波处理后用马氏空间距离进行运动匹配，再把结果通过最小余弦距离对外观进行匹配，通过级联匹配与IOU回归计算代价矩阵，完成非机动车驾驶轨迹跟踪；

S43：进行非机动车占用机动车道行为检测，确定非机动车、机动车和机动车道在图像中的位置，判断机动车道位置矩形框内是否包含非机动车、机动车位置矩形框，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；

S44:进行未佩戴头盔行为检测，确定非机动车和未戴头盔人脸目标在图像中的位置，判断非机动车位置矩形框内是否包含未戴头盔人脸目标位置矩形框，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；

S45:进行非机动车载人行为判断，确定非机动车、未戴头盔人脸目标、戴头盔目标在图像中的位置，判断非机动车位置矩形框内包含的未戴头盔人脸目标和戴头盔目标总数是否大于1，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；

S46：进行闯红灯行为检测，取当前帧和第3帧，确定非机动车和停止线或人行道在图片中的位置，计算这两帧中非机动车距离停止线或人行道的距离，如果距离大于阈值则判断为闯红灯行为，判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；

S47:进行逆向行驶行为检测，通过计算前后5帧非机动车质心位置下x,y坐标距离图片上边框的相对变化量，如果变化量有增大趋势，则判断为逆向行驶；

S48:重复上述步骤，直至整个输入视频处理结束。

优选地，步骤S5包括如下步骤：

S51：根据多目标跟踪算法和人脸特征从大数据人脸库中查找相似人脸，给出相似度，根据预设相似度阀值过滤结果；

S52：根据车牌信息从相关的人口信息库、人口-车辆信息库中检索处对应的驾驶员信息；

S53：将违法信息推送到个人及相应的平台。为提升人脸比对的准确度，系统允许接入多家人脸比对，并支持动态伸缩扩展，对结果进行综合比较后给出结果。

综上所述，本实施例的原理在于：预先构建基于YOLOv5s算法的数据集，针对非机动车违法行为进行检测模型训练，捕捉的非机动车违法驾驶图像导入目标检测模型文件进行目标对象检测，对交通违法行为进行逐个判断直到整个输入视频结束，最后进行非机动车违法行为及其驾驶员的识别。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了数据集、违法行为识别模块等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。