细粒度的多模态虚假新闻检测方法

摘要

本发明涉及一种细粒度的多模态虚假新闻检测方法，为：获取待检测多模态新闻的新闻文本和新闻图片；从新闻文本中提取人物类型、地点类型和事件类型的文本实体；从新闻图片中提取图片文本，人物类型、地点类型和事件类型的视觉实体，以及新闻图片的视觉CNN特征；将新闻文本与图片文本拼接后输入BERT模型，获得文本特征；使用BERT模型获取人物类型、地点类型和事件类型视觉实体的视觉实体特征；融合上述特征，获得文本表示、视觉CNN表示和视觉实体表示；基于特征向量计算跨模态的人物相似度、地点相似度和事件相似度；基于上述信息计算所述多模态新闻的多模态表示；基于多模态新闻的多模态表示判断该多模态新闻的真实性。