测绘知识网站应对网络爬虫防范措施

摘要

使用OpenResty平台搭建了一套网络爬虫识别系统,以防范恶意网络爬虫。近期,笔者在对某测绘知识网站进行日志审计时,发现经常有访问IP在短时间内访问全站资源,造成网站资源消耗较大。经过特征分析,应该是网络爬虫在进行访问,并将获取的信息自动添加到其他网站。为了保护本测绘知识网站原创内容,防止网络爬虫恶意访问获取信息,同时减少不必要的网络资源消耗,笔者使用OpenResty平台搭建了一套网络爬虫识别系统,并根据需求编写了部分Lua代码。