一种使用语义补全神经网络来解决视频时序定位问题的方法

摘要

本发明公开了一种使用语义补全神经网络来解决视频时序定位问题的方法。主要包括如下步骤：1)针对于一个视频和一段自然语言描述，通过一个候选产生模块来生成候选的视频片段及对应的置信度，并使用特定的算法从中挑选出K个优先级最高的候选视频片段。2)通过语义补全模块计算K个候选视频片段的激励，并反馈给候选产生模块。3)重复以上步骤对整个网络进行训练，得到良好的视频时序定位的网络。相比于传统的视频时序定位的学习方法，本发明的学习方法是弱监督的学习方法，仅仅需要粗粒度的视频级别的标注数据集，可以节省昂贵的数据集标注成本。