基于特征句抽取的网页去重研究

摘要

去除重复网页一直是信息检索领域的一个待解决的问题.本文基于双语文章的内容,提出了一种抽取特征词和特征句,判别跨语言重复网页的方法.并将其运用到了跨语言的重复网页的识别上.实验结果表明:该方法对双语重复网页的识别准确率在86％以上,对单语重复网页的识别准确率在97.5％以上,达到了实用的程度,同时,该方法对于双语平行语料的自动挖掘也有一定的帮助.