改进的TF-IDF关键词提取方法

摘要

在 TF-IDF 算法基础上，提出新的基于词频统计的关键词提取方法。利用段落标注技术，对处于不同位置的词语给予不同的位置权重，对分词结果中词频较高的同词性词语进行词语相似度计算，合并相似度较高的词语，通过词语逆频率 TF-IWF 算法，按权值排序得到关键词。这种改进算法解决了传统中文关键词提取方法中对相似度高的词的不重视而导致关键词提取精度不高的问题。实验结果表明，改进的算法结果在准确率和召回率上较原有的 TF-IDF 算法上都得到较好的提升，使得提取的关键词集合能较好体现文本内容。