基于聚类算法的垂直搜索引擎技术研究

摘要

设计并实现了一个基于相似聚类算法的垂直搜索引擎.利用网络爬虫NWebCrawler,通过定制正则表达式,高效爬取所需的URL；通过解析爬取的URL信息,提取结构化数据；利用正向最大匹配算法,对搜索关键字分词；利用向量空间模型,根据相似度值对搜索结果聚类；基于Lucene建立索引,检索所需信息.实验结果表明,基于相似聚类算法的垂直搜索引擎,比通用搜索引擎的准确率和召回率高,与普通的垂直搜索引擎相比,具备了相似产品查询功能.