基于机器学习的自适应动态网页爬虫系统的实现方法

摘要

本发明公开一种基于机器学习的自适应动态网页爬虫系统的实现方法，包括：动态网页路径选择模块根据输入信息获取所有联通的交互路径集合；动态网页路径自适应训练模块对动态网页路径选择模块输出的交互路径集合中的进行实时排序，形成交互路径列表；动态网页数据抓取模块对交互路径列表中的n条最优路径进行动态页面抓取，并将结果反馈给动态网页路径自适应训练模块，更新交互路径列表；其中，输入信息包括下列中的一个或多个：入口网页地址、目标网页地址、交互过程使用的初始输入数据、目标信息数据结构、和抓取网页范围列表。