一种基于视觉对象引导的社交媒体短文本命名实体识别方法

摘要

本发明公开了一种基于视觉对象引导的社交媒体短文本命名实体识别方法，包括步骤：建立社交媒体短文本的文本描述数据集，并提供和文本描述相关的视觉图像数据；对视觉图像数据进行对象检测，并将检测出的视觉对象类别进行视觉词语义的提取；对原始文本描述进行语义提取，并对文本语义进行文本的特征提取；计算视觉词语义和文本特征的相似性，对视觉词语义进行加权求和；计算多模态语义与原始文本特征的相关性，得到最终的词语义向量；将最终的词语义向量输入到条件随机场中，进行实体边界和实体类别的识别，得到的结果为识别出的命名实体。本发明能够利用视觉对象信息进行实体类型的判定，对缺少语义信息的社交媒体短文本数据起到了补充作用。