基于Heritrix的主题网络爬虫设计与实现

摘要

通过介绍主题网络爬虫,以及使用Java开发的开源网络爬虫Heritrix的系统构架,设计基于遗传算法的主题网络爬虫算法,并使用Heritrix构造基于遗传算法的主题网络爬虫.实验结果表明,采用Heritrix实现的基于遗传算法的主题网络爬虫,能取得不错的效果.