一种时空压缩激励残差乘法网络的视频动作识别方法

摘要

本发明公开了一种时空压缩激励残差乘法网络的视频动作识别方法，针对浅层网络和一般深度模型学习空间信息和时间信息的不足，本发明将压缩激励块和残差网络结合的压缩激励残差网络用于空间流和时间流的动作识别，在双流网络特征级别融合阶段，采用时空特征相乘融合，进一步加强时间压缩激励残差网络和空间压缩激励残差网络间的时空信息交互。本发明使用三种不同的策略生成多个模型，并对这些模型进行直接平均与加权平均集成得到最终的识别结果，本发明还通过一系列的消融实验研究了空间流和时间流乘法融合方式、次数以及位置对动作识别性能的影响，在HMDB51和UCF101数据集上的实验结果表明了本发明算法具有较高的识别准确率。