基于潜在语义的双层图像-文本多模态检索语义网络

摘要

为提高多模态检索中相似性匹配的准确度,同时保持检索结果的可解释性,构建一种双层的多模态语义网络.对每个单模态的数据分别建立一个子语义网络,把子语义网络中的节点聚类成不同的分组.将子语义网络的分组作为节点,依据语义关系建立多模态语义网络,并进一步聚类成不同的分组.在进行信息检索时,按照与构建多模态语义网络相反的顺序即可检索到相关的信息.实验结果表明,与基于哈希索引、低秩矩阵嵌入和深度神经网络的检索方法相比,所提方法具有更高的检索准确性.