基于全局与局部网络融合的第一视角交互动作识别方法

摘要

本发明提供了一种基于全局与局部网络融合的第一视角交互动作识别方法，包括：对视频进行采样获取不同动作，得到图像组成动作样本；将采样得到的动作片段进行尺寸的统一化处理，并进行数据增强，训练基于全局图像为输入的3D卷积网络，学习全局的动作的时空特征得到网络分类模型；采用稀疏光流来定位动作片段中显著性动作发生的局部区域；将不同动作的局部区域进行尺寸统一处理后，调整网络的超参数，训练基于局部图像为输入的3D卷积网络，学习局部的显著性动作特征得到网络分类模型；对同一个视频多次采样得到动作样本，按投票法将全局与局部模型给出的预测次数统计排序，其中预测最多的类别作为识别的动作标签。