一种基于爬虫的数据源发现和验证系统

摘要

本发明提供一种基于爬虫的数据源发现和验证系统，属于数据交易领域，包括指令生成模块；多个发现模块，接收数据源获取指令从相应的数据源集合中获取可用数据的相关信息，根据相关信息的相应位置生成索引信息；信息获取模块，根据索引信息基于爬虫从至少一个数据源集合中获取存储有可用数据的数据源的属性信息和可用数据；验证模块，根据预存的验证策略对属性信息进行验证操作以判断数据源是否为需求数据源；策略更新模块，远程通信单元用于接收远程终端发送的更新策略并实时动态更新策略存储单元中存储的验证策略。本发明的有益效果：有效提高数据源获取和验证效率。