一种基于URL模式的分页链接自动获取方法

摘要

分页链接获取是大规模数据自动抽取中所面临的主要研究问题,本文提出了一种基于URL模式的分页链接自动获取方法.该方法首先基于分页链接相似性,获取当前页面中的分页链接,然后基于模式匹配算法获取分页链接模式并得到模式中的变动因子,最后利用线性模型预测出所有分页链接.实验结果表明,该方法可以高效地获取分页链接.