面向软件构件的网页爬虫的设计与实现

摘要

面向构件的垂直搜索引擎是该领域内的一个研究热点.本文介绍面向构件的主题爬虫的设计与实现,提出一种基于URL的面向构件的主题爬行算法,该爬行算法以构件资源在构件库网站的所处的位置,对URL队列进行优先级计算.对页面相关性判别,采用刻面关键词出现的频率来计算。实验结果表明该方法司行而且更有效。