文本分类中基于单词表示的全局向量模型和隐含狄利克雷分布的文本表示改进方法

摘要

针对文本分类中文本数据表示存在稀疏性、维度灾难、语义丢失的问题,提出一种基于单词表示的全局向量(global vectors for word representation,GloVe)模型和隐含狄利克雷分布(latent Dirichlet allocation,LDA)主题模型的文本表示改进方法.利用GloVe模型结合局部信息和全局词语共现的统计信息训练得到文本的稠密词向量,基于LDA主题模型生成文本隐含主题和相应的概率分布,构建文本向量以及基于概率信息的主题向量,并计算两者之间的相似性作为分类器的输入.实验结果表明,相比其他几种文本表示方法,改进方法在精确率、召回率和F1值上均有所提高,基于GloVe和LDA的文本表示改进方法能有效提升文本分类器的性能.