多粒度卷积自注意力上下文网络解决视频对话任务的方法

摘要

本发明公开了一种利用多粒度卷积自注意力上下文网络解决视频对话任务的方法。主要包括如下步骤：1)针对于所给视频、对话历史及当轮问题，获取含有对话上下文信息的当轮问题表达与含有对话上下文信息的视频表达。2)利用得到的含有对话上下文信息的当轮问题表达与含有对话上下文信息的视频表达，获取当轮回答。相比于一般的视频问答解决方案，本发明利用了多粒度卷积自注意力上下文网络模型，能够更好地克服现有技术由于缺乏对于对话上下文信息处理而无法直接运用于解决视频对话任务的问题。本发明在视频对话任务中所取得的效果相比于传统的方法更好。