基于义原相似度的关键词抽取方法

摘要

【目的】将词语的语义信息引入TextRank算法中,改进关键词抽取效果。【方法】使用HowNet知识库提供的词语义原信息计算词语相似度,根据设定的相似度阈值构建语义词图和矩阵。之后将语义矩阵和共现矩阵加权,得到新的词节点转移概率矩阵。【结果】改进后的算法在短文本上表现优于传统TextRank、TF-IDF和LDA,F值分别提高了6.6%、9.0%和10.3%;在长文本上表现逊于TF-IDF,与TextRank差别不大。【局限】分词程序对复合词、新词和实体类名词识别效果较差,使算法抽取到残缺的关键词,导致F值降低。此外,义原相似度算法也可进一步改进。【结论】结合语义的TextRank算法使关键词抽取过程兼顾词语共现及语义关系,为短文本关键词抽取提供了新思路。