一种利用多粒度卷积网络自注意语境网络机制解决视频问答的方法

摘要

本发明公开了一种利用多粒度卷积自注意网络机制来解决视频问答的方法。主要包括如下步骤：1)针对于一组视频，利用预训练好的VGG网络与3D‑Conv网络分别获得帧级别及分段级别视频表达。2)针对于对话历史的问题词嵌入和答案词嵌入以及新问题，使用多粒度卷积自注意网络机制以及句级别的语境注意力机制，得到问题相关的联合表达。3)使用问题级别的时间注意力机制以及融合注意力网络机制，得到问题相关的联合视频表达并产生针对视频所问问题答案。相比一般的视频问答解决方案，本发明利用了多粒度卷积自注意网络，能够结合可见信息与对话历史信息，产生更加符合要求的答案。本发明在视频问答问题中所取得的效果相比于传统方法更好。