基于TextRank与BERT预训练模型的新闻评论观点句识别方法

摘要

由于用户的观点句与新闻内容高度相关,对新闻评论进行观点句识别时需要关注新闻文本这一额外信息。本文针对新闻文本通常很长,BERT并不能很好地处理长序列文本的问题。提出了将TextRank算法与BERT预训练模型相结合的方法,利用TextRank算法从新闻文本中提取出新闻摘要,在不缺失语义信息情况下将较长的新闻文本表示为较短的文本。再将新闻摘要信息与评论通过BERT模型得到语义融合表示向量,最后在全连接层将融合表示向量转换为评论是否为观点句的概率。本文与近年流行的深度学习文本分类模型进行了对比,在准确率上取得了79.80%的最佳效果,说明了模型的有效性。并在NLPCC&2012微博观点句识别数据集取得了准确率为80.38%的最佳效果,验证了模型具有一定的泛化能力。