一种利用分层注意力上下文网络解决多轮视频问答的方法

摘要

本发明公开了一种利用分层注意力上下文网络解决多轮视频问答的方法。主要包括如下步骤：1)针对于一组多轮问答上下文及当前问题，结合上下文学习出问题的结合对话上下文的一致性表达。2)利用学习出的问题的一致性表达，利用分层注意力网络学习出结合问题语义的视频表达。3)利用循环迭代的方法，获取最终的结合问题语义的视频表达，利用该表达获取最终的问题答案。相比于一般的多轮视频问答解决方案，本发明利用时间及空间注意力机制更好地反映了视频、上下文与所问问题之间的相关关系，能够更准确地反映视频、对话上下文和问题的特性，并产生更加符合要求的答案。本发明在多轮视频问答问题中所取得的效果相比于已有的方法更好。