一种可扩展的新闻网站通用爬虫方法及系统

摘要

本发明涉及及计算机领域，尤其涉及一种可扩展的新闻网站通用爬虫方法及系统，方法包括：添加需要爬取的网站url以及相关配置；获取需要爬取的网站以及相关配置；对网址使用通用解析规则解析并返回解析效果，如果解析错误，则加入网站相应的xpath解析规则；对加入xpath解析规则的网站使用配置解析，其它网站使用默认解析规则；对解析结果进行存储。本发明对网址使用通用解析规则解析并返回解析效果，如果解析错误，则加入网站相应的xpath解析规则；对加入xpath解析规则的网站使用配置解析，其它网站使用默认解析规则，以实现对所有网站的爬取新闻解析都具有很高的正确率。