基于预训练语言模型的自然语言理解方法研究

目录

摘要

第1章绪论

1．1研究目的和意义

1．1．1自然语言理解的定义

1．1．2研究目的

1．1．3研究意义

1．2研究现状

1．3自然语言理解在实际场景中的应用

1．3．1机器翻译

1．3．2机器阅读理解

1．3．3人机对话

1．4现有方法存在的主要问题

1．5本文主要研究内容

1．6本文组织安排

2．1背景知识

2．1．1预训练语言模型

2．1．2语言结构化信息

2．1．3多任务学习

2．1．4迁移学习

2．2相关工作

2．2．1句子匹配任务

2．2．2自然语言理解

2．2．3相似案例匹配

2．3本章小结

第3章句法和语义感知的BERT模型在句子匹配上的研究

3．1引言

3．2隐式融入句法和语义的BERT感知模型

3．2．1依存句法解析器

3．2．2BERT编码器

3．2．3语义角色标注解析器

3．2．4融合层

3．3实验设置

3．3．1任务和数据

3．3．2外部解析器设置

3．3．3参数设置

3．4实验结果

3．4．1SNLI

3．4．2SciTail

3．4．3Quora question pairs

3．4．4WikiOA

3．5实验分析

3．5．1显隐式融入对比

3．5．2消融实验

3．6本章小结

第4章基于迁移学习的多任务学习模型在自然语言理解上的研究

4．1引言

4．2基于迁移学习的多任务学习模型

4．2．1共享编码层

4．2．2特定任务层

4．2．3领域分类层

4．3实验设置

4．3．1任务和数据

4．3．2参数设置

4．3．3评价标准

4．4实验结果

4．4．1SNLI

4．4．2SciTail

4．4．3Quora question pairs

4．4．4WikiQA

4．4．5SST-2

4．5实验分析

4．5．1消融实验

4．5．2不同λ值对模型性能的影响

4．6本章小结

第5章BERT模型在相似案例匹配上的应用

5．1引言

5．2基于句间注意力机制的BERT模型算法

5．2．1孪生网络

5．2．2句间注意力机制

5．2．3三元组损失

5．3实验设置

5．3．1任务和数据

5．3．2预训练语言模型设置

5．3．3评价标准

5．3．4参数设置

5．4实验结果

5．5实验分析

5．5．1BERT层的组合对性能的影响

5．5．2Margin的设定对性能的影响

5．6本章小结

结论

参考文献

致谢

攻读硕士学位期间发表的学术论文

声明