基于ERNIE的新闻标题文本分类

摘要

针对新闻标题文本分类任务,文章提出的EWLTC(ERNIE with Whole Layers for Text.Classification)模型旨在获取文本的不同层级的特征信息,通过抽取预训练模型ERNIE的12层Eneoder层输出中的CLS向量,利用注意力机制进行加权求和作为全连接层的输入。通过实验证明,EWLTC模型在中文新闻标题文本数据集上能够获得更为优秀的表现。