一种基于特征权重的文本分类新算法

摘要

自然语言处理的一个重要分支,即自动文本分类,是文本信息处理的重要基础,是人工智能研究的一个热点,有助于文本的信息管理。已经有大量的专家学者对朴素贝叶斯、神经网络、支持向量机、k近邻等传统算法进行研究,但大量的专家学者实验证明KNN、SVM等经典的文本分类算法大都基于向量空间模型,因泛化能力不足,导致对于复杂的文本分类结果较差。该文提出一种新的特征权重计算方法,充分利用文本结构特征信息对特征权重进行计算,对于不同位置出现的词语赋予不同的权重,突出关键位置词语的重要性,同时考虑词分布密度对分类结果的影响,在分类模型中考虑词密度权重,优化TF-IDF算法。在2个语料库上的实验表明该文基于特征权重的分类算法较大地提高分类效果。