基于内容分发网络的网站内容智能防抓取方法和系统

摘要

本发明公开了基于内容分发网络的网站内容智能防抓取方法和系统，能够减少由于误判导致的正常客户端无法访问网站，且能自动解除禁问状态。其技术方案为：内容分发网络系统接收客户端请求，监测客户端访问行为；判断客户端访问频率是否超过预设阈值，若未超过则直接返回所请求的内容；否则继续判断客户端本次请求时间是否大于上次超过访问频率的时间加上预设的防抓取状态时长；若大于则返回所请求的内容；否则返回客户端验证码页面；判断客户端是否提交了正确的验证码，若是则返回所请求的内容；否则判断客户提交的非法验证码次数是否超过设定值，若未超过则返回客户端验证码页面，否则认为客户端是抓取机器，对其禁止访问，返回403响应。

说明书

技术领域

本发明涉及互联网数据安全技术，尤其涉及基于内容分发网络（CDN网络）的网 站安全技术，即网站内容智能防抓取的方法和系统。

背景技术

网站内容智能防抓取技术的基本思想是，当客户端对网站发起内容请求时，CDN 系统的智能内容防抓取模块开始监控客户端的访问行为特征，当客户端访问行为异常 时，CDN系统将根据智能防抓取模块给出的判定结果来判断客户端属于正常网友还是 抓取机器，并响应相应的内容。

目前的网站内容防抓取的实现方案如图1所示。源站接收客户端请求（步骤S10） 后，源站的防抓取模块监测客户端访问行为（步骤S11），会根据所配置的客户端访问 频率来判断客户端为正常的网友还是恶意抓取机器（步骤S12）。当客户端访问频率超 过阈值时，源站认为客户端是恶意抓取机器，拒绝其请求，返回403响应（步骤S13）。 否则，源站认为客户端是正常的网友，返回其请求的内容（步骤S14）。

现有的网站内容防抓取实现方案存在三个弊端：

1.根据客户端的IP进行判断，粒度太粗，目前很多企业对外都只是一个IP或少数 几个IP出口，容易产生误判，导致其他的客户端一直不能访问网站；

2.判断依据不够灵活，只能根据其访问频率来判断；

3.处理方式不够智能，在判断为机器后，不能自动解除禁问状态。

发明内容

本发明的目的在于解决上述问题，提供了一种基于内容分发网络的网站内容智能 防抓取方法和系统，能够减少由于误判导致的正常客户端无法访问网站，且能自动解 除禁问状态。

本发明的技术方案为：本发明揭示了一种基于内容分发网络的网站内容智能防抓 取方法，包括：

内容分发网络系统接收客户端请求，监测客户端访问行为；

判断客户端访问频率是否超过预设阈值，若客户端访问频率未超过预设阈值则认 为客户端是正常网站用户，直接返回客户端所请求的内容，流程结束；

若客户端访问频率超过预设阈值则继续判断客户端本次请求时间是否大于上次超 过访问频率的时间加上预设的防抓取状态时长；

若客户端本次请求时间大于上次超过访问频率的时间加上预设的防抓取状态时长 则认为客户端不在防抓取状态内，返回客户端所请求的内容，流程结束；

若客户端本次请求时间小于上次超过访问频率的时间加上预设的防抓取状态时长 则认为客户端仍在防抓取状态内，返回客户端验证码页面；

判断客户端是否提交了正确的验证码，若提交了正确的验证码则返回客户端所请 求的内容，流程结束；

若未提交正确的验证码则判断客户提交的非法验证码的次数是否超过设定值，若 未超过则返回客户端验证码页面以供客户端再次输入验证码，若超过则认为客户端是 抓取机器，对其禁止访问，返回表示服务器拒绝请求的403响应。

本发明另外揭示了一种基于内容分发网络的网站内容智能防抓取系统，包括：

客户端访问行为监测模块，内容分发网络系统接收客户端请求，监测客户端访问 行为；

客户端访问频率判断模块，判断客户端访问频率是否超过预设阈值，若客户端访 问频率未超过预设阈值则认为客户端是正常网站用户，直接返回客户端所请求的内容， 若客户端访问频率超过预设阈值则继续启动后一模块；

客户端请求时间判断模块，判断客户端本次请求时间是否大于上次超过访问频率 的时间加上预设的防抓取状态时长，若客户端本次请求时间大于上次超过访问频率的 时间加上预设的防抓取状态时长则返回客户端所请求的内容，若客户端本次请求时间 小于上次超过访问频率的时间加上预设的防抓取状态时长则启动后一模块；

客户端验证模块，提供一客户端验证码页面，判断客户端是否提交了正确的验证 码，若提交了正确的验证码则返回客户端所请求的内容，若未提交正确的验证码则判 断客户提交的非法验证码的次数是否超过设定值，若未超过则返回客户端验证码页面 以供客户端再次输入验证码，若超过则认为客户端是抓取机器，对其禁止访问，返回 表示服务器拒绝请求的403响应。

本发明对比现有技术有如下的有益效果：本发明的方案是当客户端向网站发起访 问请求时，监控客户端的访问行为，当客户端的访问频率超过预设阈值，且本次请求 的时间小于上次超过访问频率的时间加上预设的防抓取状态时长时，则认为该客户端 有可能是抓取机器，因此对该客户端的每次访问都返回验证码页面，在验证码页面中， 如果客户端提交的验证码是正确的，则认为该客户端是正常用户，如果客户端提交非 法验证码的次数超过阈值，则认为该客户端是抓取机器，对客户端禁止访问，即让CDN 系统返回403响应，而提交非法验证码的次数未超过阈值时，系统会重新返回验证码 页面进一步判断是不是抓取机器。相较于现有技术，本发明的方案增加了判断依据， 提高了判断精度，减少误判现象的发生，而且提高了处理方式的智能化，在判断出客 户端是抓取机器之后能自动解除禁问状态。

附图说明

图1示出了传统的网站内容防抓取方法的流程图。

图2示出了本发明的基于内容分发网络的网站内容智能防抓取方法的较佳实施例 的流程图。

图3示出了本发明的基于内容分发网络的网站内容智能防抓取系统的较佳实施例 的原理图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

图2示出了本发明的基于内容分发网络的网站内容智能防抓取方法的较佳实施例 的流程。请参见图2，本实施例的网站内容智能防抓取方法的各个实施步骤详述如下。

步骤S20：内容分发网络接收客户端请求。

步骤S21：监测客户端访问行为。

步骤S22：判断客户端访问频率是否超过预设阈值，若超过则进入步骤S23，否 则转入步骤S28。

步骤S23：判断客户端本次请求时间是否大于上次超过访问频率的时间加上预设 的防抓取状态时长。若大于则转入步骤S28，否则转入步骤S24。

步骤S24：CDN系统返回客户端验证码页面，供用户输入验证码。

步骤S25：判断客户端是否提交正确的验证码，若提交了正确的验证码则转入步 骤S28，否则转入步骤S26。

步骤S26：判断客户端提交的非法验证码的次数是否超过阈值，若超过则进入步 骤S27，否则返回步骤S24重新判断是否是抓取机器。

步骤S27：CDN系统认为客户端是抓取机器，禁止该客户端的抓取，返回表示服 务器拒绝请求的403响应。

步骤S28：CDN系统认为客户端是正常访问，响应所请求的正确响应内容。

图3示出了本发明的基于内容分发网络的网站内容智能防抓取系统的较佳实施例 的原理。请参见图3，本实施例的网站内容智能防抓取系统包括：客户端访问行为监 测模块10、客户端访问频率判断模块11、客户端请求时间判断模块12、客户端验证 模块13。

客户端访问行为监测模块10中，内容分发网络系统接收客户端请求，监测客户端 访问行为。

客户端访问频率判断模块11中，判断客户端访问频率是否超过预设阈值，若客户 端访问频率未超过预设阈值则认为客户端是正常网站用户，直接返回客户端所请求的 内容，若客户端访问频率超过预设阈值则继续启动客户端请求时间判断模块12。

客户端请求时间判断模块12中，判断客户端本次请求时间是否大于上次超过访问 频率的时间加上预设的防抓取状态时长，若客户端本次请求时间大于上次超过访问频 率的时间加上预设的防抓取状态时长则返回客户端所请求的内容，若客户端本次请求 时间小于上次超过访问频率的时间加上预设的防抓取状态时长则启动客户端验证模块 13。

客户端验证模块13中，提供一客户端验证码页面，判断客户端是否提交了正确的 验证码，若提交了正确的验证码则返回客户端所请求的内容，若未提交正确的验证码 则判断客户提交的非法验证码的次数是否超过设定值，若未超过则返回客户端验证码 页面以供客户端再次输入验证码，若超过则认为客户端是抓取机器，对其禁止访问， 返回表示服务器拒绝请求的403响应。

上述实施例是提供给本领域普通技术人员来实现和使用本发明的，本领域普通技 术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化， 因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书所提到的创 新性特征的最大范围。