基于视听学习的人群异常事件检测方法

摘要

本发明提供了一种基于视听学习的人群异常事件检测方法。首先，对音频信号进行预处理，再将其对数梅尔谱图输入VGGish网络进行特征提取，得到音频表征；然后，对视频序列进行空间变换和时间变换，再将其输入到3D‑ResNet网络中进行特征提取，得到视频表征；最后，融合两类特征，并将其输入到分类网络，得到事件类别预测结果。本发明是一种多模态学习方法，可以更加有效地用于人群分析中的异常事件检测。