一种多模态语义协同交互的图文联合命名实体识别方法

摘要

本发明针对现有命名实体识别方法主要聚焦于文本数据的实体识别，忽略了现存的大量图片、文本等多模态数据具有语义互补性，提出了一种多模态语义协同交互的图文联合命名实体识别方法，建立了多模态语义协同交互的图文联合命名实体模型(Image‑TextJointnamedentityrecognition，ITJNER)，在ITJNER中加入了图像描述作为额外特征丰富了多模态特征表示，用于过滤从图像特征中引入的噪声并以文本形式总结图像语义信息，还构建了多模态协同交互的多模态语义融合模型，用于加强多模态信息融合并减少图像信息的语义偏差。最后，在TWITTER‑2015和TWITTER‑2017数据集上进行实验，与AdaCAN、UMT、UMGF、Object‑AGBAN等方法相比，本发明的准确率、回召率、F1值分别提高了0.67％、0.95％、0.93％，在Twitter2015数据集上，召回率提高了0.19％。