基于动态视觉注意的多语言视频描述算法

摘要

针对视频描述任务,提出一种基于动态视觉注意的多语言视频描述算法.基于基础编解码结构,提取视频片段的时空特征信息和语义属性信息,用以视频表达.在解码阶段,两层长短期记忆网络构成的解码框架分别处理时空和语义信息,并通过嵌入注意力模块和动态选择模块,使得整个模型在有能力关注最重要信息出现时刻的同时,还能动态选择当前时刻最佳信息用以生成描述词.基于整个网络实现,通过共享编解码器的方式,在公开大型视频描述数据集VATEX上实现多语言描述生成方法,并测试提出方法生成描述语句的准确度,与基准方法相比,取得较好效果.