基于人工设计特征和深度学习特征自适应融合的红外行为识别方法

摘要

本发明涉及一种基于人工设计特征和深度学习特征自适应融合的红外行为识别方法，包括以下步骤：S1：通过人工设计特征模块，对原始视频进行改进的密集轨迹特征提取；S2：对提取到的人工设计特征进行特征编码；S3：通过CNN特征模块，对原始视频图像序列，利用一种变分光流算法提取光流信息，得到对应光流图像序列；S4：利用卷积神经网络，对步骤S3中得到的光流图序列提取CNN特征；S5：将数据集分为训练集和测试集；对训练集数据，通过权重优化网络学习权重，利用学习到的权重将CNN特征分类网络和人工设计特征分类网络的概率输出进行加权融合，通过对比识别结果得出最优权重，并将其应用于测试集数据分类。本方法创新了特征融合方式，提高了红外视频中行为识别的可靠性，对后续视频分析工作有重大意义。