一种基于文档主题结构与语义的中文文本关键词提取方法

摘要

一种基于文档主题结构与语义的中文文本关键词提取方法，涉及关键词提取。文本预处理；中文分词及词性标注；停用词过滤与词性过滤；关键词提取。介绍文本关键词提取的基本概念、中文分词与英文分词存在的差异、常用的中文文本关键词提取方法。研究基于文档主题结构的方法和基于语义的方法，分析其原理以及现有的实现方案。针对中文分词中存在的新词识别的难点，使用动态更新分词词典来不断改善中文分词的效果。对基于文档主题结构的方法进行改进，提取全局的关键词。将中文词语之间的语义相似度考虑进来，进一步改进算法。并在自构建的数据集中验证改进算法，通过验证实验和对比实验，都得到较好的结果，表明改进算法能够改善关键词提取的效果。