终身学习框架下基于GCN的跨领域情感分析方法

摘要

本发明提供终身学习框架下基于GCN的跨领域情感分析方法，涉及自然语言处理中的跨领域情感分类领域，本发明中终身学习框架下基于GCN的跨领域情感分析方法，由如下过程所实现：提出基于图卷积神经网络的跨领域情感分类算法，即CDS‑GCN，在提出CDS‑GCN的基础上，结合终身学习思想提出终身学习框架下基于图卷积神经网络的跨领域情感分类算法，即LLCDS‑GCN，这些特征使终身学习不同于迁移学习或者多任务学习等相关的学习任务，它打破孤立学习的限制，并缓解人工标注数据费时费力带来的影响，这些特点与跨领域情感分类任务的初衷不谋而合。

说明书

技术领域

本发明涉及自然语言处理中的跨领域情感分类领域，尤其涉及终身学习框架下基于GCN的跨领域情感分析方法。

背景技术

网络的普及为商家带来了更大的用户群体，也带来了更多的用户反馈信息，用户可以在互联网上方便的表达他们对于所用产品或接受服务的看法和意见，例如大量的产品评论可以被在豆瓣(电影评论)、亚马逊(书籍评论)、美团(餐饮评论)等网站上被轻松获取，文档级别情感分类是指根据评论作者所表达的情感对给定评论进行分类，这一任务十分重要，首先对于商家来说，消费者对商品的评价反映了对产品质量或服务的好恶，其次未购买某产品的消费者因为没有使用产品的经历，查看已购买者对于该产品的反馈是一个宝贵的了解产品质量的机会，作为自然语言处理中的基础研究问题，情感分类已被广泛应用于意见挖掘、意见总结、上下文广告和市场分析等诸多领域。

存在的问题：传统的监督学习算法已经被证明在处理情感分类问题上是有效的，并且被广泛用于预测给定域评论的情感极性任务上。然而监督学习算法表现能力的强弱极大的依赖于标注语料库的质量和大小，而随着时间的不断增长，情感分类的研究领域已经从最初的电影评论领域比如IMDB扩展到许多新领域比如股票信息和国会的辩论，并且在现实网络数据中，已标注文本的分布是不平均的，在一些传统领域或受到广泛关注的领域，有很多研究人员已经标注了大量数据，在某些其他领域则没有任何标注数据。为每一个需要执行情感分类任务的领域标注高质量的数据需要消耗大量的时间、人力、物力、更不要说评论中的具体描述还可能随时间的增加而产生变化，比如产品的品质退化、功能的更新等等。因此，在少量域上标注语料库，在这些语料库上训练分类器，然后将这个分类器应用到其他领域的分类任务上的想法便应运而生，这也就是跨领域情感分类，然而在实际生活中，由于人们倾向于在不同的领域中用不同的表达方式来表达相同的情感，因此在某一领域进行训练后得到的分类器无法被应用到其他领域，所以研究和提出有效的跨领域情感极性分类方法具有重要的理论和实际应用价值。

卷积神经网络：卷积神经网络在处理网格类型数据时具有整合特征的能力，这是由于它包含两种机制，一是卷积核(kernel)的参数共享，二是加权平均。卷积其实是加权求和的过程，卷积核中的的参数就对应了不同位置的要加权的权重值，而同一个卷积核对于每一个神经元来说参数共享。虽然卷积神经网络已经在很多自然语言处理任务上取得了优秀的成绩，但卷积神经网络的使用是建立在它所处理的数据类型必须为矩阵形式的基础上的，而它无法处理图结构的。这是因为卷积神经网络需要数据具有平移不变性，也就是说图上一个位置的特征在经过卷积等一系列运算后将仍然出现在被卷积后的图的相对位置上。但图结构不同于矩阵结构，每一个节点附近的情况都可能互不相同，因此它不具有平移不变性。图结构在实际生活中并不少见，自然语言处理领域中的社交网络就是典型的图结构。这种非欧式结构(Non Euclidean Structure)也就是图论中的图。包括DeepWalk、node2vec等算法的操作对象都是图结构数据，GCN也是其中之一。简单的来说，图卷积网络可以被看作是一个特征提取的工具，因为它可以为每一个节点生成新的特征表示，而这个新的特征向量正是整合了邻居节点特征之后产生的结果，这也可以被称为节点的嵌入。之前的关于跨领域情感分类任务的研究工作使用的大多是使用迁移学习的思想将目标域的特征通过某种方式迁移到源域上，让许多原本只出现在目标域上的特征借此出现在源域训练集中，然后再使用机器学习分类算法对特征向量进行分类。利用特征携带情感的特点，本文将文本与特征当作节点建模成图，使用图卷积网络对图中节点进行分类。

发明内容

本发明的目的在于提供终身学习框架下基于GCN的跨领域情感分析方法，以解决上述技术问题。

本发明为解决上述技术问题，采用以下技术方案来实现：终身学习框架下基于GCN的跨领域情感分析方法，其特征在于：由如下过程所实现：

(1)提出基于图卷积神经网络的跨领域情感分类算法，即CDS-GCN，该算法包括如下步骤：

步骤一：获取亚马逊数据集，对数据集的所有文本进行平衡样本处理；

步骤二：文本预处理；

步骤三：文本表示，将经过步骤二后的文本表示成特征向量；

步骤四：生成图邻接矩阵A

步骤五：训练GCN；

步骤六：CDS-GCN算法实验。

(2)在提出CDS-GCN的基础上，结合终身学习思想提出终身学习框架下基于图卷积神经网络的跨领域情感分类算法，即LLCDS-GCN，该算法包括如下步骤：

步骤一：输入序列化任务t

步骤二：接受当前序列任务t；

步骤三：经过过程1中的CDS-GCN算法生成特征矩阵M

步骤四：判断当前任务t是否为第一个跨领域情感分类任务；

步骤五：使用过程1中CDS-GCN算法中的方法构建图邻接矩阵；

步骤六：使用图卷积神经网络进行分类；

步骤七：保存新知识；

步骤八：通过公式计算邻接矩阵；

步骤九：更新新知识；

步骤十：更新V

步骤十一：实验对比。

优选的，所述过程(2)中步骤一的每一个任务代表了用一个领域数据集来进行对另外一个领域的跨领域情感分类。

优选的，所述过程(2)中步骤七保存p

优选的，所述过程(2)中步骤八所用的公式如下：

优选的，所述过程(2)中步骤八所用的V

优选的，所述过程(2)中步骤九保存p

优选的，所述过程(2)中步骤十分别采用如下两个公式来表达正向情感和负向情感的概率；

本发明的有益效果是：

本发明基于终身学习的主要特征，即持续学习，知识被累积到知识库中，利用过去学习的知识，以帮助解决未来的学习问题，这些特征使终身学习不同于迁移学习或者多任务学习等相关的学习任务，它打破孤立学习的限制，并缓解人工标注数据费时费力带来的影响，这些特点与跨领域情感分类任务的初衷不谋而合。

附图说明

图1为本发明中LLCDS-GCN算法总体流程图；

图2为本发明中CDS-GCN算法流程图；

图3为本发明中图卷积神经网络结构；

图4为本发明中CDS-GCN与LLCDS-GCN的正确率对比图；

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例和附图，进一步阐述本发明，但下述实施例仅仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例，都属于本发明的保护范围。

下面结合附图描述本发明的具体实施例。

数据集1

在实验CDS-GCN算法设计中，我们选择了Blitzer等人编写的跨域情感分类数据集作为实验的数据集，本文中在实验中使用该跨域情感分类数据集中未经数据预处理的原始部分，该数据集包含针对四种不同产品类型的亚马逊产品评论：书籍产品评论、Dvd产品评论、电子产品评论和厨具产品评论。数据集中的每条数据都被分配有各自的评分(0-5星)，这可以被看作是该评论的情感倾向，每条数据中还包括评论者的姓名和位置信息，产品名称，评论标题和日期以及评论文本。其中评分大于3醒的评论被标记为正面情感，而评分小于三星的评论被标记为负面情感。标注过后，每个领域中的数据包含1000个正例和1000个负例，其平衡组成与Pang等人构建的极性数据集相同。此外，数据集还包含四个领域的平均17547条未标记评论。为了与对比实验中的论文的数据集划分方法保持一致，本文使用Bollegala使用的训练集划分方法，即在每个领域中的标记评论中随机选择800个正值和800个负值作为训练实例(训练实例总数为1600*4＝6400)，其余部分用于测试(测试实例总数为400*4＝1600)。数据集1的详细大小如表1所示。

表1数据集

数据集2

在实验LLCDS-GCN算法设计中和实验CDS-GCN算法设计中一样实验数据来源为加州大学圣地亚哥分校的Julian McAuley教授收集的亚马逊产品评论数据集，数据集的详细信息如表2示。

表2多域情感数据集

该表数据集中包括10个领域的亚马逊产品评论数据，每个领域都包含12000条产品评论，其中标注数据包括1000条正向情感评论和1000条负向情感评论，未标注数据为10000条。与CDS-GCN实验部分的训练集，测试集划分规则，本此部分在标注数据中随机选择800个正值和800个负值作为训练实例(训练实例总数为1600*10＝16000)，其余部分用于测试(测试实例总数为400*10＝4000)，数据集中具体的领域名称简写已经体现表2中。另外，每个领域的10000未标注数据实际上是由评分大于3的5000条数据和评分小于3的5000条数据共同组成，因此数据是正负平衡的。

效果评估

采用正确率、精确率、召回率和F1值作为跨领域情感分类器的评价标准。

(1)正确率是指指被分类器正确分类的样本数占所有样本数的比列，正确率越高，分类器的效果越好，其计算公式如下：

(2)精确率是指被分类器判定为某个类别的样本中实际属于这个类别的样本的比例，其计算公式如下：

(3)召回率是指实际属于某个类别的样本中被分类器判定属于这个类别的样本的比例，其计算公式如下：

(4)FI值是在数值上等于精确率和召回率的调和平均值，其计算公式如下：

正确率、精确率、召回率和F1值参数TP、FP、TN、FN的各自含义如表3所示。

表3情感分类混淆矩阵

混淆矩阵被用来比较数据的预测类别和实际类别，表3中每行代表预测值，列代表实际值。TP的含义是被预测为正向类别实际也为正向类别的数据条数，FP代表实际不属于正向类别却被预测为正向类别的数据条数，FN代表实际为正类却被预测为负类的数据条数，TN则表示实际不为正类，预测也不为正类的数据条数。本文在实验中对于精确率，召回率和F1分数三个评价指标分别求关于正负两个类别的平均值。

超参数与训练

图卷积网络中相关参数和激活函数的默认值设置如表4所示。

表4 GCN激活函数以及参数设

CDS-GCN算法实验结果及分析

我们在对比试验部分，将继续对除Dvd产品评论为源域，书籍产品评论为目标域之外的其它11个跨领域情感分类任务采用和上一小节相同的实验方法，在确定了所有12个模型的最优参数后。本文将对CDS-GCN算法在每一个跨领域分类任务进行性能比较，按照实验评价指标分别对算法的正确率、精确率、召回率以及F-1分数四个实验结果进行记录。实验结果如表5所示。

表5 CDS-GCN算法实验结果

对表4进行观察可以看出以书籍作为目标域的跨领域分类任务表现普遍较差，表现最好的是以厨具领域为目标域的任务，最高可以达到百分之79.25，排在第二位的是以电子产品为目标的任务。

表6给出了上述12个跨领域情感分类任务各自最优的实验参数，Hidden1、Lr、dropout、L2分别对应隐藏层维度、学习率、dropout参数、以及权重衰减系数。

表6 GCN模型实验参数

接下来本文将对CDS-GCN算法与SFA算法，SCL算法，SSE算法的分类正确率进行对比。因为使用的训练集和测试集与Bollegala等人在论文中所使用的完全相同而且该论文已经对上述三个算法在同一条件下的正确率进行了记录，所以本文在这里使用Bollegala等人论文中所提供SFA算法，SCL算法以及SSE算法正确率数据，CDS-GCN算法与其他三个算法的正确率对比结果如表7所示。

表7实验结果对比

在表7中，各个算法的分类正确率，最高的数值被加粗标注。在实验结果中,本文提出的CDS-GCN算法在12个跨领域分类任务中的10个获得了最高的正确率，SSE与SFA算法分别在剩余的两个任务中获得最高的正确率，但本算法在这两个任务上的正确率与最优方法相差不大。SFA方法与SCL算法的整体表现最差。GCN在12个任务上平均正确率高于SSE方法百分之2.2，高于SCL方法百分之6.75，高于SFA百分之7.32。

LLCDS-GCN算法实验结果及分析

在本节的实验中，本文对于出现在数据集中少于2次的特征进行删除，对于图卷积网络的参数使用如表8中的默认参数。对于参数α取值12，它的含义是计算节点之间权重时数据集中特征出现的最少次数，σ的取值2，代表着判断特征是否属于集合V

表8 GCN激活函数以及参数设置

此外，本文构建了9个跨领域情感分类任务，在这9个分类任务中，每个任务的源域都使用婴儿用品数据集，即婴儿用品的产品评论，而目标域分别使用其他9个领域的数据作为目标域。表9中的数据是测试在只使用第3小节所提出的CDS-GCN算法的情况下，即在不使用累计知识帮助分类器时获得的正确率，精确率，召回率以及F-1值。

表9 CDS-GCN算法正确率

表10则是提供了LLCDS-GCN算法在表中由上到下的顺序的9个跨领域任务上四个评价标准的数值，即每经过一个跨领域情感分类任务，算法都会将一些从分类任务中学习到的知识进行累计，当新任务到来时，算法将会利用累计的知识帮助新任务的分类。但值得注意的是，这9个分类任务的正确率等评价标准数值不是逐渐上升的，这是因为历史知识是可能帮助分类使正确率增加，而不是一定。这是由于领域之间存在着或多或少的差异性。

表10 LLCDS-GCN算法正确率

为了进行更清晰的对比，本文使用柱状图将终身学习之前的9个跨领域任务按照顺序分别与使用终身学习后的对应任务进行正确率的对比，对比效果如图4所示。

在柱状图4中，曲线LLCDS-GCN为CDS-GCN算法结合终身学习框架后的得到的正确率曲线，曲线CDS-GCN则是未使用终身学习框架之前的分类正确率曲线。根据图4，LLCDS-GCN算法性能总体优于CDS-GCN算法。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。