基于网络结构搜索和背景-动作增强的弱监督行为检测方法和装置

摘要

本发明公开了一种基于网络结构搜索和背景‑动作增强的弱监督行为检测方法和装置，包括提取目标视频的视频特征；对预定义的自注意力模块进行网络结构搜索，构建优化自注意力模块，并将视频特征输入优化自注意力模块，计算基于局部‑全局信息的自注意力权重向量；利用自注意力权重向量对视频特征进行加权融合，得到视频特征向量，并基于视频特征向量进行分类，获取视频分类结果；根据自注意力权重向量与视频分类结果，进行时序类别激活映射计算，以获取行为检测结果。本发明同时整合了丰富的动作知识和有建设性的背景信息，实现细粒度的背景建模，更好的学习长视频特征，降低了计算复杂度以及时序标注的时间。