基于多模态知识图谱的知识推理方法

摘要

本发明公开的一种基于多模态知识图谱的知识推理方法，旨在使知识推理可信度和准确度更高，具备更强建模和推理能力。本发明通过下述技术方案实现：基于大规模知识库的多跳推理，对不同的信息进行融合；通过属性图嵌入对属性缺失图进行属性补全，从非结构化、半结构化文档或句子中提取结构化信息，通过异构图嵌入对多模态知识图谱多类型特性构建动态异构图嵌入模型，实现半结构化知识、结构化知识以及非结构化不同类型知识的特征学习，得到多模态知识图谱特征，并作为基于图神经网络GNN开展知识推理的输入；生成推理路径，构建多条类型推理路径；计算图上节点类型的分类、边预测、频繁子图，生成知识推理任务，完成多步复杂知识推理。