基于网络爬虫技术的数字资源检测软件的设计与实现

摘要

cqvip:数字资源受网络状态的影响故障频发,图书馆作为高校信息文化的传播中心,做好资源的保障工作意义重大。文中设计实现一种基于爬虫技术的数字资源自动监测系统。该系统利用日志文件替代数据库软件,降低软件复杂度;利用爬虫技术及正则解析,获取监测URL的状态值和数据库定制名称,监测结果通过邮件自动发送给所有管理员。实验结果表明,该系统具有较好的扩展性能,在任何网络坏境和IP地址下,均能准确进行检测,对运行环境要求低,稳定性好,无需人工操作。