一种图文数据的多级关系分析与挖掘方法

摘要

本发明公开了一种图文数据的多级关系分析与挖掘方法，其引入BERT‑Large提取文本特征构建文本连接图，利用Faster‑RCNN网络提取图像特征来学习空间位置关系和语义关系并构建图像连接图，进而完成单模态内部语义关系计算，在此基础上，使用“节点切分方法”和带多头注意力机制的图卷积网络，进行局部和全局的图文关系融合。此外，为提升关系分析与挖掘效率，采用了基于注意力机制的连边权重剪枝策略，用以增强重要分支表示，减少冗余信息干扰。在公开的Flickr30K、MSCOCO‑1K、MSCOCO‑5K数据集上进行方法实验，并与11种方法进行实验结果的对比分析，本发明在Flickr30K上的平均召回率提高了0.97％和0.57％，在MSCOCO‑1K上的平均召回率提高了0.93％和0.63％，在MSCOCO‑5K上的平均召回率提高了0.37％和0.93％。