爬虫协议管理方法及装置、爬虫系统

摘要

本发明公开了一种爬虫协议管理方法及装置，所述方法包括：获取站点的爬虫协议文件，并将所述爬虫协议文件加入消息队列中；实时监测所述消息队列，对所述消息队列中新加入的爬虫协议文件进行解析处理，得到解析后的爬虫协议文件，所述解析后的爬虫协议文件包括站点与爬虫协议的对应关系；将所述解析后的爬虫协议文件存入数据库中。本发明还提供一种爬虫系统。利用本发明，可以实现对爬虫协议的统一管理。