一种基于时序引导空间注意力的暴力行为识别方法

摘要

本发明公开了一种基于时序引导空间注意力的暴力行为识别方法，该方法采用双流参数共享的深度卷积网络提取RGB图像和帧差图像特征，分别作为空间域和时间域信息的表征，并对双流特征进行融合，提高了特征对于暴力行为的表征能力；在时序引导空间注意力模块，采用ConvLSTM的隐含时序状态引导空间注意力权值的策略，相较于传统的自注意力，时序引导的空间注意力根据全局运动信息赋予空间权值，引导网络关注运动区域，忽略背景信息的干扰，同时增大运动区域特征的比例可以减少目标较小时的漏检。在公开数据集上的测试结果验证了本发明对于暴力行为识别性能提升的有效性。