融合预训练语言模型和知识表示的实体关系抽取方法研究

目录

声明

致谢

1 引言

1.1 研究背景及意义

1.2 研究现状

1.2.1 有监督方法

1.2.2 半监督方法

1.2.3 远程监督方法

1.2.4 无监督方法

1.2.5 面向开放域的方法

1.3 论文研究的主要内容

1.4 论文的组织结构

2 实体关系抽取相关理论与技术概述

2.1 词的向量表示

2.1.1 one-hot 表示

2.1.2 词的分布式表示

2.2 语言模型介绍

2.2.1 N-gram 语言模型

2.2.2 神经网络语言模型

2.2.3 ELMO

2.2.4 BERT

2.2 循环神经网络

2.3 卷积神经网络

2.4 图神经网络

2.4.1 图卷积网络

2.5 注意力机制

2.5.1 注意力机制原理

2.5.1 自注意力机制

2.6 本章小结

3 融合预训练语言模型的实体关系抽取方法

3.1 研究动机

3.2 基准模型—融合预训练语言模型BERT 的实体关系抽取框架

3.3 融合BERT 模型和注意力机制的双向门控循环单元网络模型

3.3.1 Bi-GRU 网络层

3.3.2 Attention 层

3.3.3 softmax 层

3.4 融合BERT 模型和最大池化的双向门控循环单元网络模型

3.4.1 Max Pooling 层

3.4 实验

3.4.1 实验数据

3.4.2 参数设置

3.4.3 实验评价方法

3.4.4 实验结果与分析

3.4 本章小结

4 融合知识表示的实体关系抽取方法

4.1 研究动机

4.2 系统框架

4.2.1 输入层

4.2.2 基于Bi-LSTM 和TransE 的关系表示

4.2.3 基于CNN 的句子表示

4.2.4 关系预测

4.3 实验

4.3.1 实验数据与实验评价方法

3.4.2 实验设置

4.4.3 基准模型

4.4.4 实验结果与分析

4.4 本章小结

5 总结与展望

5.1 总结

5.2 展望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

独创性声明

学位论文数据集