基于ERNIE 2.0模型的用户评论多标签文本分类研究

摘要

文章针对多标签文本分类这一热点问题,采用“预先训练模型+微调策略”模式,即研究持续学习语义理解框架ERNIE 2.0和基于知识蒸馏的压缩模型ERNIE Tiny预先训练模型,以及倾斜的三角学习率STLR微调策略在用户评论多标签文本数据集中的实践。相对经典语义表征模型BERT,采用ERNIE 2.0模型的效果可提高1%以上,采用ERNIE Tiny模型的速率可提升3倍左右;相对默认微调策略,采用倾斜的三角学习率STLR微调策略的效果同样可再提高1%左右。