基于图注意力模型的文档内容理解方法及系统

摘要

本发明提供了一种基于图注意力模型的文档内容理解方法及系统，包括：文档建图模块：对文档中出现的文本单词按照关联性建立边，从而生成对应文档内容的图网络，建立文档的二维空间信息；文档文字特征提取模块：使用自然语言处理领域的模型提取得到文档中的文字的向量表示，记为文字特征信息；文档图片特征提取模块：使用计算机视觉领域的模型提取得到文档中文字的图像信息表示，记为图片特征信息；图注意力模型：对文档的文字特征和图片特征进行特征融合，并且根据建立的文档的二维空间信息对相邻的节点之间的信息进行交换和传递。本发明利用图神经网路对得到的图结构信息进行学习训练，从而可以显性并有效的利用文档的二维空间信息。