基于深度学习的上下文关系在文本表示与分类上的研究

摘要

随着互联网信息技术的广泛应用，电子文本的数量呈现爆炸式增长。如何有效地处理这些文本，获取其中有用的信息成为当前学界和工业界关注的焦点。近年来迅猛发展的深度学习技术，由于其在文本上强大的表示学习能力，被应用于文本处理并取得大量成果。传统的文本表示方法，特别是基于“热点”表示的词袋模型，只学习了文本中单词数量的统计信息，却忽视了文本中上下文之间的语义关联信息。现有的深度学习模型虽然在文本上下文关系上做了探索，但是相关模型基本集中在“长距离”词间关系的研究上，缺乏单词在文本表示中的权重影响力研究。 本文通过研究文本中单词与单词之间的语义关系以及这种关系对文本表示的影响，来实现增强文本表示，从而提升文本分类效果的目的。我们首先利用深度学习技术，从低维单词表示（词嵌入）技术入手，探索低维环境下词嵌入的表示方法。然后，我们研究单词在文本中的两个特性“文本中单词的权重表示”和“文本中单词之间的关系”以及其对文本表示的影响。我们在词嵌入研究的基础上，完成了随时间发生语义变化的单词探测任务。在基于上下文关系的文本表示研究的基础上，提出了记忆力增强模型（Memory-enhanced Latent Semantic Model，MLSM），构建了双向深层特征挖掘模型（Deeply Hierarchical Bi-directional MLSM,DHBM），并把这两个模型分别用于文本情感分类任务中。本文的主要研究成果如下： 1.作为文本中最小的语义单元，单词是文本表示的基础。基于深度学习的SGNS（Skip-gram with Negative Sampling）模型学习单词的（低维）词嵌入表示，把单词邻近的局部上下文信息纳入词嵌入表示中。在本文中，我们把单词的词性信息也输入到SGNS模型中，提出一种广度学习模型来增强词嵌入表示。我们还把学习到的词嵌入应用到随时间发生语义变化的单词探测任务中，提出一种标记词向量学习模型来探测随时间发生语义变化的单词。和其它现有模型在谷歌大数据（1900年到2000年跨度100年的书刊、报纸等英文文本，数据量为105GB，约2亿5仟万行词组）上的对比实验表明：我们提出的模型在探测质量和时间复杂度上都远远领先。 我们还完成了一个在线查询系统：把我们在谷歌大数据中探测到的语义变化单词纳入查询系统中提供公开查询。该系统可以在线展示被查询单词在不同时期的语义相近单词（邻居单词），通过区分不同时期的邻居单词来推测被查询单词在这些不同时期之间的语义变化方向。 2.人们阅读一段文本的时候，会对其中少量关键单词有特别深刻的印象，甚至会忽略其它一些不重要的单词。这有助于人们把注意力放到文本所强调的局部上下文信息上，从而进一步理解其蕴含的情感倾向。这一阅读机制体现了这些关键单词对文本所隐含语义的重要性。我们对文本情感分类任务中的情感极性单词进行了研究，发现这些情感极性单词对一段文本所体现的情感走向产生很大的影响，其在文本表示上的影响远远强于其它单词。在本文中，我们利用SentiWordNet3.0中的情感极性单词来构建一个情感极性单词词典。每个情感极性单词根据其蕴含的情感程度强弱拥有一个预先定义好的情感极性值。该情感极性单词词典几乎囊括了情感分类任务中的所有情感极性单词。同时，结合深度学习中的长短记忆模型（Long Short-Term Memory,LSTM，循环神经网络的一个变种），我们设计并提出了一种记忆力增强模型（Memory-enhanced Latent Semantic Model，MLSM）。该模型强化了情感极性单词在文本表示上的比重。在IMDB和SemEval2016task4两个数据集上的实验结果表明，我们的模型有效提升了LSTM模型在情感分类任务上的准确度。我们把这一创新点应用于深度学习中的门控循环模型（Gated Recurrent Unit,GRU），同样取得了显著的效果。 3.人们阅读的时候总是遵循单向阅读的习惯，文本中前面的内容为后面的文字提供支撑素材。然而，后面的文字为前面的内容提供的解读，反过来可以帮助我们进一步理解文本。也就是说文本中单词之间的语义关系不止是前向的，还可以反向的。在本文中，我们构建了一个双向深层神经网络（Deeply Hierarchical Bi-directional Neural network,DHBN），该网络利用双向神经网络[1]从前后两个方向同时“阅读”文本以提取单词间双向关联关系，同时，该网络还通过多层双向神经网络进行层叠来挖掘文本的深度特征。更进一步，我们把DHBN和MLSM相结合提出了双向深层特征挖掘模型（Deeply HierarchicalBi-directional MLSM,DHBM）。除此以外，我们还利用残差网络来改进DHBM模型，解决了多级层叠之后的网络模型在训练过程中存在的误差消失的问题。分别在IMDB和SemEval2016task4两个数据集的情感分类任务中，DHBM模型的效果远远好于MLSM，并且优于其它基于CNN的分类模型。

目录

第一个书签之前

术语和符号

摘要

Abstract

1 绪论

1.1 课题研究背景和意义

1.2 本文主要研究工作

1.2.1 研究内容

1.2.2 主要贡献

1.3 论文组织结构

2 相关研究综述

2.1 基于深度学习的单词和文本表示

2.1.1 单词表示

2.1.2 文本表示

2.1.3 传统的单词与文本表示的不足

2.2 文本中上下文关系

2.2.1 上下文关系对文本表示的重要性

2.2.2 传统文本上下文关系研究的不足

2.3.1 SGNS

2.3.2 长短记忆模型和门循环单元模型

2.4 本章小结

3 单词表示的研究

3.2 问题描述

3.3 单词表示学习

3.3.1 广度学习模型

3.3.2 学习标记词向量

3.4 不同时期词向量归一化过程

3.5 单词语义变化距离度量方法

3.6 实验

3.6.1 数据集描述

3.6.2 实验对比方法

3.6.3 实验设置

3.6.4 评价指标

3.6.5 识别出的单词个数

3.6.6 计算时间复杂度

3.6.7 检索和分类任务

3.7 基于谷歌英文大数据的语义变化单词查询系统

3.7.1 系统概述

3.7.2 系统实现

3.7.3 查询结果分析

3.8 讨论

3.9 本章小结

4 情感极性单词强化文本表示的研究

4.2 问题描述

4.3 情感极性单词字典

4.4 基于LSTM的记忆力增强模型

4.5 基于GRU的记忆力增强模型

4.6 记忆力衰减模型

4.7 基于深度学习的情感分类模型

4.8 实验

4.8.1 数据集描述

4.8.2 实验对比方法

4.8.3 实验设置

4.8.4 评价指标

4.8.5 不同模型的准确率和误差对比

4.8.6 不同优化算法的准确率和误差对比

4.9 本章小结

5 上下文关系及文本深度特征挖掘的研究

5.3 双向深层特征挖掘模型

5.4 双向记忆力衰减模型

5.5 基于深度学习的情感分类模型

5.6 实验

5.6.1 数据集描述

5.6.2 实验对比方法

5.6.3 实验设置

5.6.4 评价指标

5.6.5 不同模型的准确率和误差对比

5.6.6 不同优化算法的准确率和误差对比

5.7 本章小结

6 总结与展望

6.2 未来工作展望

参考文献

致谢

攻读博士学位期间科研成果目录