基于注意力机制与多元特征融合的中文文本分类方法研究

摘要

中文文本分类作为搜索引擎的关键基础技术，对于高效而充分地从互联网上巨量的中文文本信息中挖掘出高价值中文文本信息，以满足社会发展的需求具有十分重要的作用与价值。文本特征的提取直接地影响中文文本分类系统的性能，是文本分类中的核心技术基础之一。通过设计、实现新型的基于深度学习的文本特征提取算法模型来更好地识别中文文本特征，从而提高系统对中文文本特征的识别能力，具有十分重要的价值与意义。
　　论文以基于深度学习的中文文本分类为主线，对基于卷积神经网络、长短期记忆网络、注意力机制和多元特征融合等模型的中文文本特征提取算法进行了深入地研究。
　　针对中文文本分类任务中，不同文本特征对文本类别识别贡献不同的问题，提出一种基于语义理解的注意力算法模型。通过对相邻两个时间步的文本数据的特征学习结果进一步融合与学习来产生注意力权重。
　　针对中文文本类别识别中不同文本元素发挥作用不同的问题，提出一种特征差异强化注意力算法模型。通过生成的注意力权重，使重要的文本元素在文本识别中发挥更加突出的作用。
　　针对重要文本特征在中文文本中位置分布分散、稀疏的问题，提出一种多元特征融合中文文本分类模型。通过将语义理解注意力算法模型，长短期记忆网络(LSTM)卷积神经网络(CNN)相结合以更加全面、细致地提取文本特征。
　　针对中文文本重点特征在文本中分布不均匀的问题，提出一种特征强化融合中文文本分类模型。通过双层LSTM与CNN对注意力机制提取的特征逐级强化来获得包含特征信息量更丰富、更全面的文本特征。
　　通过中文文本分类实验验证了提出的四种算法模型的有效性。

目录

声明

摘要

第1章 绪论

1．1 课题研究的背景和意义

1．2 国内外研究现状

1．2．1 卷积神经网络应用于文本分类

1．2．2 长短期记忆网络应用于文本分类

1．2．3 注意力机制应用于文本分类

1．2．4 特征融合应用于文本分类

1．3 本文研究的主要内容

第2章 深度神经网络

2．1 卷积神经网络

2．1．1 卷积神经网络原理介绍

2．1．2 卷积神经网络模块

2．1．3 特征图生成原理

2．2 长短期记忆网络

2．2．1 长短期记忆细胞单元介绍

2．2．2 双层长短期记忆神经网络

2．3 本章小结

第3章 注意力机制研究与改进

3．1 注意力机制理论

3．2 语义理解注意力算法模型

3．3 特征差异强化注意力算法模型

3．4 基本型注意力算法模型

3．5 本章小结

第4章 基于特征融合的中文文本分类

4．1 多元特征融合

4．1．1 模型原理

4．1．2 融合层

4．1．3 分类器

4．2 特征强化融合

4．2．1 融合层原理

4．2．2 分类器

4．3 本章小结

第5章 实验设计与结果分析

5．1 实验配置与实验语料来源

5．1．2 实验所用中文文本语料来源

5．2 实验方法与文本预处理

5．2．1 实验方法与安排

5．2．2 中文文本语料预处理

5．3 实验结果与分析

5．4 本章小结

结论

参考文献

攻读硕士学位期间发表的学术论文及获得成果

致谢