一种跨媒体层次化深度视频问答推理框架

摘要

本发明公开了一种跨媒体层次化深度视频问答推理框架。本发明步骤:1、利用记忆组件保存视频的全局语义信息，通过多轮记忆更新迭代得到浅层推理机。2、基于浅层推理机，构建深层推理机，将视频深层语义解析下的多模态子成分嵌入不同模态的记忆卡槽，形成空间记忆和时序记忆。3、构建多模态记忆协同推理框架，利用来自对象和动作的多模态证据执行更为精细的推理。4、进行多模态记忆动态融合，利用浅层推理机的输出作为监视哨，引导下层不同模态记忆内容的权重分配，通过框架中的记忆动态融合模块动态融合不同模态的记忆，该记忆动态融合模块的输出将作为回答模块的输入去预测最佳答案。本发明推理框架能够在视频问答数据集上取得显著的效果。