利用对象感知多分支关系网络完成视频中指定对象定位任务的方法和定位系统

摘要

本发明公开了一种利用对象感知多分支关系网络完成视频中指定对象定位任务的方法和定位系统。包括步骤：给出一段视频，从视频中提取不同帧的区域特征，从中提取动态信息；给出查询语句，借助Bi‑GRU和NLTK库学习对象在句子上下文中的特征；构建对象感知多分支关系网络，使用对象感知调制着重增强对象相关的区域特征，削弱不相关的区域特征，进而实现对象‑区域的跨模型匹配；使用多分支关系推理，捕获主要分支和辅助分支中关键对象的联系；提出一种多样性损失的计算方法，保证不同分支重点关注其对应的对象关联的区域。使用采样方法得到多个视频片段，选出时间置信度得分最高的片段，再从其中选出空间得分最高的区域生成目标管道。