一种基于关联规则的中文变体词识别算法

摘要

大量的广告与不良信息常常干扰用户正常使用互联网,甚至会给用户带来损失。由于对广告与不良信息主要采取的是关键词匹配方法来进行识别和过滤,而很多广告和不良信息中使用了变形词,容易造成疏漏,使得识别和过滤效果不理想。为此,通过对改进后的分词结果进行初步字符匹配识别,可以初步识别出绝大多数疑似变体词。应用对于不同类型采取不同字符匹配的方法,使查全率显著提高,然后对初步识别的结果进一步借助关联词库分析识别,使误判率明显降低。