一种基于多关系感知推理的图像文本匹配方法

摘要

针对图像文本匹配任务，本发明设计了一种基于多关系感知推理的图像文本匹配方法，涉及计算机视觉和自然语言处理两个领域。充分挖掘视觉和文本模态的特征，并将不同模态的特征进行对齐是攻克图像文本匹配任务难点的关键。合理利用图卷积神经网络有利于提升模型的性能表现，本发明基于图卷积神经网络，设计了针对图像的多关系感知推理模块，关注图像的语义关系和空间位置关系，提取了更加丰富的视觉特征表示，实现了与文本语义信息更好的对齐；再结合基于BERT‑GRU的文本编码器，能够全面地表达句子的深层语义信息，实现与图像视觉表征的良好对齐。本发明在自动图文互检索、儿童益智教育和辅助视觉障碍人士等实际应用方面具有一定的意义。