一种天文学数据筛选与下载的爬虫软件

摘要

本发明公开了一种天文学数据筛选与下载的爬虫软件，软件包括：NOAA网站的模拟HTTP请求与解析模块、Solar Monitor网站的模拟HTTP请求与解析模块、NOAA网站与Solar Monitor网站数据匹配模块及JSOC网站下载链接获取模块，上述各模块是通过Python的一个库requests构建，其中，requests是使用Apache2 licensed许可证的HTTP库，用Python编写且支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码，还在Python内置模块的基础上进行了高度的封装，使得Python进行网络请求时，实现requests完成浏览器可有的任何操作。本发明使JSOC网站数据采集周期大大算短，使网站中现有的所有数据都能够被采集、使用，使利用此网站的科研工作者能更快的获得期望的数据集。