一种基于维基百科的文本表示方法

摘要

文本表示是自然语言处理中的基础任务，通常的文本表示模型都是基于训练数据充分的情况下进行。而在训练数据缺乏时，无法完成自然语言处理任务。提出了一种基于维基百科的文本表示方法，引入维基百科词条之间的关系，通过PageRank传播模型，能够一定程度上解决训练数据缺乏时文本表示的问题。通过实验论证了基于维基百科的文本表示能够增强分类方法的准确率、召回率和F1-测度。%Text representation is the basic task in natural language processing. In general, text representation model can build with sufficient text data. While with insufficient data, it can not complete the task in natural language processing. So, it comes up with a new text represent method to overcome the dilemma. It builds the semantic relationship between words using the link in Wikipedia, and enriches the representation with page rank model diffusing the message to other wiki-items. It verifies that this enrichment can raise the precision, recall and F1-measure of the text classification method.