一种利用分层卷积自注意力网络解决开放式长视频问答任务的方法

摘要

本发明公开了一种利用分层卷积自注意力网络解决开放式长视频问答任务的方法。主要包括如下步骤：1)针对视频与问题，分层卷积自注意力编码器网络获取多层视频语义表达。2)对获得的视频帧的多层视频语义表达，计算损失函数并训练模型，利用训练后的分层卷积自注意力网络，对开放式长视频问答任务进行回答语句生成。相比于一般的开放式长视频问答任务解决方案，本发明对多种有效信息进行综合利用。本发明在开放式长视频问答任务中所取得的效果相比于传统的方法更好。