一种融合多级语义信息的多模态讽刺识别系统方法

摘要

本发明提出一种融合多级语义信息的多模态讽刺识别系统方法，所述方法通过融合多级语义信息来分析多模态数据，然后以讽刺识别模块来判别多模态数据中是否存在讽刺感；在生成多模态数据时，以特征提取模块提取图文数据的特征表示及图文数据的中级语义信息，以图文融合模块融合图文数据的特征表示并提取产生讽刺感的图文片段，以语义融合模块融合图文数据的中级、高级语义信息；本发明能够提取图文模态数据的特征表示及图文数据中的中级语义信息，通过注意力机制融合多模态数据，并关联图文模态的中级语义，分析多模态数据中是否存在讽刺感。