一种基于分布式爬虫技术的政策资讯采集管理系统

摘要

本发明公开了一种基于分布式爬虫技术的政策资讯采集管理系统，包括政策资讯数据采集单元、数据预处理单元、数据特征提取单元、控制单元和网络爬虫系统，政策资讯数据采集单元输入端连接网络爬虫系统，输出端通过数据预处理单元连接数据特征提取单元，数据特征提取单元连接控制单元，控制单元分别连接数据加密单元、数据存储单元，控制单元通过数传单元连接后台管理终端，本发明通过分布式爬虫技术能够实现对政策资讯的精确采集，同时能够实现对数据的特征提取、加密，还能够实现对数据的加密传输，确保了管理系统的安全性。