利用类别信息和列表排序的跨模态检索

摘要

随着越来越多多模态数据的出现,跨模态检索引起了广泛的关注.跨模态检索面临一大挑战为模态鸿沟,为了解决数据的异构性问题,公共子空间学习的方法被提出.然而,大部分方法仅仅是单独考虑了样本之间的相关联信息或不相关信息,而没有同时考虑样本间的相关信息和不相关信息.除此之外,大部分方法对于样本之间相似度的比较,使用的是基于文档对的排序比较,其没有充分考虑样本之间的类内依赖性和类间样本的结构差异性.基于此,提出了一种同时而不是单独考虑样本间的类内关系和类间关系的基于列表排序的跨模态检索方法,其通过列表排序最大化锚点与正样本之间的相似性,同时最小化锚点和负样本间的相似性.实验结果验证了该算法在跨模态检索中的有效性.