用于视频时空表征学习的三元关系协作模块及建模方法

摘要

本发明涉及视频理解与分析技术领域，具体公开了一种用于视频时空表征学习的三元关系协作模块及建模方法，该协作模块通过分层机制设计为三层：聚合层、关系层和协作层，以探索视频中的通道、时序、空间三元关系及其三元协作关系(其中通道和时序为隐式，空间为显式)，融合了内隐线索和外显线索，帮助更好地表征视频以及理解视频中的行为，以显著提升视频行为识别能力；该协作模块仅有三层机制，轻量且灵活，可以被应用到多种三维卷积网络架构中。该建模方法将三元关系协作模块嵌入到三维卷积网络架构中，利用三元关系协作模块发现并学习三维卷积网络中的三元关系协作，融合了内隐线索和外显线索，使视频行为识别效果得到显著提升。