一种面向不均衡数据集的CHI特征选择改进算法

摘要

在文本分类中,不均衡数据集广泛存在.本文从特征选择优化方面出发,分析了特征项在类内和类间的分布情况以及不均衡数据集下文档的差异性对CHI特征选择影响,引入了类内词频概率因子、类间文档概率集中因子和类内均匀因子对传统卡方统计模型进行改进,提出了一种改进的CHI特征选择方法.实验结果表明,与改进前的方法相比,该方法在不均衡数据集上具有更好的分类效果.