自适应遗传算法在主题爬虫搜索策略中的应用研究

摘要

如何提高爬虫覆盖率和准确率是主题爬虫的研究热点之一.目前大多采用最佳优先搜索策略,针对该类主题爬虫易陷入局部最优的不足,设计结合遗传算法的主题爬虫搜索策略,并设计动态适应度函数和遗传算子使得爬虫具有一定的自适应性.与其他搜索策略以及结合非自适应遗传算法的搜索策略进行了比较,结果表明该算法能够在一定程度上提高爬虫性能.