基于语义树增强的复杂文本查询到视频的跨模态检索方法

摘要

本发明公开了一种基于语义树增强的复杂文本查询到视频的跨模态检索方法。对于复杂文本查询语句，将其各个单词转换成叶子节点表示，挖掘子节点之间的关系，将两个依赖性最高的子节点进行合并，通过递归的方式构建查询语句的语义树结构，得到基于语义树增强的查询表示。对于候选视频的编码，通过CNN获得视频初步特征，利用GRU和自注意力机制模块捕获视频之间的时间依赖性和语义相关性，得到鲁棒的视频特征表示。将复杂文本查询表示和视频特征表示映射到公共空间中，自动学习两者的匹配关系，从而实现复杂文本查询到视频的跨模态检索。本发明方法不仅可以解释复杂文本查询语句中的信息成分，更好的理解用户意图，并且在很大程度上提高了检索的性能。