融合SLDA主题模型的不均衡文本分类方法

摘要

在标签均衡分布且标注样本足够多的数据集上,监督式分类算法通常可以取得比较好的分类效果.然而,在实际应用中样本的标签分布通常是不均衡的,分类算法的分类性能就变得比较差.为此,结合SLDA(Supervised LDA)有监督主题模型,提出一种不均衡文本分类新算法ITC-SLDA(Imbalanced Text Categorization based on Supervised LDA).基于SLDA主题模型,建立主题与稀少类别之间的精确映射,以提高少数类的分类精度.利用SLDA模型对未标注样本进行标注,提出一种新的未标注样本的置信度计算方法,以及类别约束的采样策略,旨在有效采样未标注样本,最终降低不均衡文本的倾斜度,提升不均衡文本的分类性能.实验结果表明,所提方法能明显提高不均衡文本分类任务中的Macro-F1和G-mean值.