一种基于类内类间文档频和词频统计的特征选择方法

摘要

本发明公开了一种基于类内类间文档频和词频统计的特征选择方法，综合考虑特征词的文档频、词频以及特征词的类间集中度、类内分散度，构造出基于类内类间文档频和词频统计(DFCTFS)的特征选择评估函数；将训练集经过文本预处理后的原始特征空间使用本发明提出的特征选择评估函数在训练集每个类别中选取一定比例的特征词组成该类别的特征词库，而训练集的特征词库则为训练集各类别特征词库的并集。本发明提出一种基于类内类间文档频和词频统计(DFCTFS)的特征选择方法，可实现特征选择出集中分布于某类文档并在该类文档中均匀分布且频繁出现的特征词，提高中文文本分类的效果。