基于Bi-GRU和Self-Attention模型的企业关系抽取

摘要

cqvip:从大量非结构化的企业文本中抽取出结构化的企业关系,是建立企业知识图谱的基础工作。循环神经网络(RNN)和卷积神经网络(CNN)是当前关系抽取的主要方法。但是由于企业文本语法特征复杂,长程依赖明显,所以采用RNN的变形网络Bi-GRU来进行初步提取。Bi-GRU虽然考虑了长距离词的相关性,但提取特征不够充分。所以在已有基础上引入Self-Attention,使模型能进一步计算每个词的长程依赖特征,提高模型的特征表达能力。最后通过各种模型的实验比较,该方法相较只含Bi-GRU或其他经典模型,在企业文本的关系抽取性能有进一步提高。