一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法

摘要

本发明针对跨领域文本情感分类任务提出了一种基于参数迁移和注意力共享机制方法与系统。特别地，本发明体系结构包括源领域网络和目标领域网络。首先，在训练数据上构建具有预训练语言模型的分层注意力网络，预训练语言模型包含用于单词表示的全局矢量和双向编码器语言模型。其次，在模型迁移中，本发明引入了单词和句子级别参数迁移机制，采用参数迁移和微调技术将网络参数从源领域网络迁移到目标领域网络。最后，情感注意力可以充当连接不同领域的情感传递的桥梁，本发明引入单词和句子级别的注意力机制，并从这两个级别共享跨领域情感注意力。实验表明，本发明提出的方法在亚马逊跨领域情感分类数据集上达到了最优的结果。