一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法

摘要

本发明公开了一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法。1)针对一组视频，切割构建视频片段。利用全卷积神经网络，提取视频每个镜头的视觉特征。2)利用局部自注意力机制，学习视频片段中所有镜头之间的语义关系，并生成视频镜头的视觉特征。3)利用查询相关的全局注意力机制，学习视频不同片段之间的语义关系，并生成面向查询的视频镜头的视觉特征。4)计算视频镜头和用户查询之间的相似度得分，用来生成查询相关的视频摘要。相比于一般视频摘要解决方案，本发明利用卷积多层注意力机制，能够更准确地反映查询相关的视频视觉特征，产生更加符合的视频摘要。本发明在视频摘要中所取得的效果相比于传统方法更好。