基于伪反馈与分类的文本检索

摘要

查询空间与文档空间的不匹配是文本检索中的一大难题,在句子级别的检索中表现尤为突出.为解决这个问题而提出的查询扩展方法本身存在着难以解决的困扰.基于分类的方法绕过了这一难题,成为实现句子检索的一个可行方法.实际中使用分类方法碰到的一大难题是缺少正例数据.本文根据Rocchio方法利用反例从未标注数据中抽取出可能相关的文档,并采用文档长度进行加权,从抽取出的文档中挑选可信度较高的加入正例集,然后采用SVM分类,取得了比直接用查询进行检索更好的性能.本文还提出采用伪反馈的方法来补充正例,将用查询进行初次检索的结果经过Rocchio方法过滤后的结果视为正例,在此基础上用SVM进行分类,进一步提高了检索性能.