基于分布式多级协同的分布式拒绝服务攻击监控系统及方法

摘要

本发明公开了一种基于分布式多级协同的分布式拒绝服务攻击监控系统及方法，系统包括汇聚控制器和服务节点，所述汇聚控制器为一个或多个，管理与其连接的一个或者多个的服务节点，向与其连接的服务节点提出数据要求，实时接收服务节点的数据反馈，并结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果；所述服务节点为多个，分别部署安装在各个网络设备上，所述网络设备包括网关设备、可编程交换机、网络安全一体机和计算机系统上，各服务节点用于和汇聚控制器建立通信通道，每个服务节点向一个或者多个汇聚控制器注册、连接，并接受该汇聚控制器的管控。本发明可以根据这个局部网络内汇聚的内容进行“局部”分析，提高整个系统的执行效率和拒绝服务攻击监控效果。

说明书

技术领域

本发明涉及计算机网络通信技术领域，具体涉及一种基于分布式多级协同的分布式拒绝服务攻击监控系统及方法。

背景技术

当前在计算机网络通信中对DoS攻击(特别是DDoS(指分布式拒绝服务攻击)攻击)的监控和探测方式，主要是通过在路由节点，网关设备，或者防火墙等安全网络设备，用带内或者带外(导流)的方式，对网络流量进行分析，并通过与已知的网络流量模型(正常流量或者攻击流量)对比，得到是否有DoS或者DDoS的攻击在发生。并且根据这个结果针对这些被认为是攻击的流量进行压制，从而缓解攻击。

现有的探测技术，主要是基于单点的探测技术，或者网关和云协同的探测技术，上述的探测技术：缺乏对网络拓扑信息的充分感知，采集的网络流量数据也缺乏全局性。

这就容易导致对DDoS攻击的检测失误(将正常流量检测误认为是攻击流量，或者将攻击流量误认为是正常流量)。上述探测技术的局限性还表现在对流量的压制实施点会局限在网关设备或者云清洗中心，而被攻击的计算机系统，以及其他的网络设备节点无法参与到检测和防御中。

因此，如何解决上述问题，提供一种在全网络范围内，将对分布式拒绝服务攻击(DDoS)的快速检测和识别方法，是当前急需解决的问题。

发明内容

本发明的目的是克服现有技术对拒绝服务攻击监控和探测方式存在很大的局限性的问题。本发明的基于分布式多级协同的分布式拒绝服务攻击监控系统及方法，服务节点为多个，分别部署安装在各个网络设备，在所有参与的网络设备节点和计算机系统，分布式并发进行，汇聚控制器可以部署一个或者多个，多个分级部署的控制器可以实现多级控制。每个控制器管理一个局部的网络，并且可以根据这个局部网络内汇聚的内容进行“局部”分析，提高整个系统的执行效率和拒绝服务攻击监控效果。

为了达到上述目的，本发明所采用的技术方案是：

一种基于分布式多级协同的分布式拒绝服务攻击监控系统，包括汇聚控制器和服务节点，

所述汇聚控制器为多个，管理与其连接的一个或者多个的服务节点，向与其连接的服务节点提出数据要求，实时接收服务节点的数据反馈，并结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果；

所述服务节点为多个，分别部署安装在各个网络设备上，所述网络设备包括网关设备、可编程交换机、网络安全一体机和计算机系统上，各服务节点用于和汇聚控制器建立通信通道，每个服务节点向一个或者多个汇聚控制器注册、连接，并接受该汇聚控制器的管控，该管控为服务节点根据配置和汇聚控制器的要求，把本地数据和本地决策信息提交给与其连接的汇聚控制器。

前述的基于分布式多级协同的分布式拒绝服务攻击监控系统，所述汇聚控制器包括分布式全网数据采集模块、数据清洗与规约模块、分布式DDoS攻击检测模块、监控与告警模块，

所述分布式全网数据采集模块，用于对目标网络进行数据包的采集、数据解析，以及采集计算机系统自身的参数数据，以便提取全网数据的关键属性，并将提取的属性进行缓存；

所述数据清洗与规约模块，数据清洗根据DDoS攻击流量的特点，将提取的基础属性数据进一步计算、规约，构建出更多维度的特征属性，该多维度的特征属性将作为分布式DDoS攻击检测模块的数据源；

所述分布式DDoS攻击检测模块，包括特征工程分析单元、DDoS攻击识别知识库、机器学习检测模型以及验证DDoS攻击单元，所述特征工程分析单元包括网络基线分析、流量分析、协议分析以及统计分析，均对多维度的特征属性数据源进行分析，以便获取训练特征；

所述机器学习检测模型，直接通过规则经验进行识别检测，并且将经验知识进行积累，形成DDoS攻击识别知识库；

所述验证DDoS攻击单元，检测出的DDoS攻击进行验证与反馈；

所述监控与告警模块，对于验证准确检测出的DDoS攻击进行及时告警。

前述的基于分布式多级协同的分布式拒绝服务攻击监控系统，所述数据清洗与规约模块，数据清洗根据DDoS攻击流量的特点，将提取的基础属性数据进一步计算、规约，构建出更多维度的特征属性，包括以下过程，

(1)，建立全网数据连接，监听全网数据；

(2)，按设置时间窗口批次读取全网数据；

(3)，统计数据维度的属性，并进行协议会话重组，统计会话维度属性；

(4)，合并多种维度属性作为分布式DDoS攻击检测模块的数据源。

前述的基于分布式多级协同的分布式拒绝服务攻击监控系统，所述机器学习检测模型是通过集成学习实现的，具体采用改进的SMOTE抽样算法实现的。

前述的基于分布式多级协同的分布式拒绝服务攻击监控系统，所述汇聚控制器包括含控制界面CLI和GUI。

一种基于分布式多级协同的分布式拒绝服务攻击监控系统的监控方法，包括以下步骤，

步骤(A)，将服务节点安装部署在各个网络设备上，包括网关设备、可编程交换机、网络安全一体机和计算机系统上，且分布式部署汇聚控制器；

步骤(B)，启动服务节点，与最近汇聚控制器建立通信通道，每个服务节点向一个或者多个汇聚控制器注册、连接，并接受该汇聚控制器的管控；

步骤(C)，各汇聚控制器根据配置向与其连接的各个服务节点提出数据要求，并实时接收服务节点的数据反馈；

步骤(D)，各服务节点根据配置和汇聚控制器提出数据要求，通过本地信息作出本地的攻击检测判断，得到本地结果，并且将该本地结果反馈到对应的汇聚服务器；

步骤(E)，汇聚服务器接收到各服务节点反馈的本地结果，并根据根据收集到的网络和计算机系统信息，结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果。

前述的基于分布式多级协同的分布式拒绝服务攻击监控系统的监控方法，步骤(A)，分布式部署汇聚控制器，该汇聚控制器部署一个或者多个，多个分级部署的汇聚控制器实现多级分布式控制，每个汇聚控制器管理该区域的服务节点覆盖的局部网络。

本发明的有益效果是：本发明的基于分布式多级协同的分布式拒绝服务攻击监控系统及方法，服务节点为多个，分别部署安装在各个网络设备，在所有参与的网络设备节点和计算机系统，分布式并发进行，汇聚控制器可以部署一个或者多个，多个分级部署的控制器可以实现多级控制。每个控制器管理一个局部的网络，并且可以根据这个局部网络内汇聚的内容进行“局部”分析，提高整个系统的执行效率和拒绝服务攻击监控效果，具有以下优点：

(1)相比在单一网络设备上进行的攻击分析和监控方法，此方案通过在网络范围，让所有的网络设备和网络节点都参与到流量分析和攻击监控中，可以获取更全面的网络流量模型，进而实现更准确，更高效的攻击探测和监控；

(2)计算机系统主动参与到攻击检测和监控中，可以将有关的应用和系统资源的利用率全盘纳入分析，可以提高探测的准确率；

(3)传统方案无法对于不经过检测器(DDoS防御设备或者云服务)的流量无能为力，特别是对于一个网络环境的内部流量(东西向流量)无法实施有效的探测和监控。本方案将探测和分析能力分布在所有参与的网络节点(网络设备和计算机系统)，让检测的覆盖更全面，提高整个系统的执行效率。

附图说明

图1是本发明基于分布式多级协同的分布式拒绝服务攻击监控系统的系统框图；

图2是本发明的汇聚控制器的系统框图；

图3是本发明的构建出更多维度的特征属性的流程图；

图4是Boosting算法基本原理图；

图5是Bagging算法基本原理图；

图6是本发明的改进SMOTE算法的流程图。

具体实施方式

下面将结合说明书附图，对本发明作进一步的说明。

如图1所示，本发明的基于分布式多级协同的分布式拒绝服务攻击监控系统，包括汇聚控制器1和服务节点2，

所述汇聚控制器1为多个，管理与其连接的一个或者多个的服务节点2，向与其连接的服务节点2提出数据要求，实时接收服务节点2的数据反馈，并结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果；

所述服务节点2为多个，分别部署安装在各个网络设备上，所述网络设备包括网关设备、可编程交换机、网络安全一体机和计算机系统上，各服务节点2用于和汇聚控制器1建立通信通道，每个服务节点向一个或者多个汇聚控制器1注册、连接，并接受该汇聚控制器1的管控，该管控为服务节点2根据配置和汇聚控制器1的要求，把本地数据和本地决策信息提交给与其连接的汇聚控制器1。

如图2所示，所述汇聚控制器1包括分布式全网数据采集模块、数据清洗与规约模块、分布式DDoS攻击检测模块、监控与告警模块，

所述分布式全网数据采集模块，用于对目标网络进行数据包的采集、数据解析，以及采集计算机系统自身的参数数据，以便提取全网数据的关键属性，并将提取的属性进行缓存；

所述数据清洗与规约模块，数据清洗根据DDoS攻击流量的特点，将提取的基础属性数据进一步计算、规约，构建出更多维度的特征属性，该多维度的特征属性将作为分布式DDoS攻击检测模块的数据源；

所述分布式DDoS攻击检测模块，包括特征工程分析单元、DDoS攻击识别知识库、机器学习检测模型以及验证DDoS攻击单元，所述特征工程分析单元包括网络基线分析、流量分析、协议分析以及统计分析，均对多维度的特征属性数据源进行分析，以便获取训练特征；

所述机器学习检测模型，直接通过规则经验进行识别检测，并且将经验知识进行积累，形成DDoS攻击识别知识库；

所述验证DDoS攻击单元，检测出的DDoS攻击进行验证与反馈；

所述监控与告警模块，对于验证准确检测出的DDoS攻击进行及时告警。

所述数据清洗与规约模块，数据清洗根据DDoS攻击流量的特点，将提取的基础属性数据进一步计算、规约，构建出更多维度的特征属性，包括以下过程，如图3所示，

(1)，建立全网数据连接，监听全网数据；

(2)，按设置时间窗口批次读取全网数据；

(3)，统计数据维度的属性，并进行协议会话重组，统计会话维度属性；

(4)，合并多种维度属性作为分布式DDoS攻击检测模块的数据源。

所述机器学习检测模型是通过集成学习实现的，具体采用改进的SMOTE抽样算法实现的，如何选择改进的SMOTE抽样算法实现的原因介绍如下，集成学习(EnsembleLearning,EL)是一种非常有效的机器学习方法，它的思路是通过合并多个基础的机器学习算法来提升机器学习性能，以达到减小方差(通过bagging)、偏差(通过boosting)和改进预测结果(通过stacking)的效果，集成学习在不同规模的网络流量数据集上都有相对应的策略。对于全网范围内大数据集而言，可以将数据集划分为多个小数据集(各个网络节点的数据集)，然后采用多个学习模型学习不同的小数据集，最后通过汇集控制器进行汇聚集成。对于每个网络节点的小数据集，可以采用自助采样(boostrap)方法进行抽样，从而得到多个数据集，分别训练多个模型再进行集成。在集成学习中，根据基分类器的依赖关系，一般可以分为两种算法，一种是Booosting算法,其基本原理如图4所示，各个基分类器之间有依赖关系，需要串行计算，包括GBDT(Gradient Boosting Decision Tree)和XGBoost等；另外一种是Bagging算法，其基本原理如图5所示，各个基分类器之间没有依赖关系，可以并行计算，代表的算法是随机森林(Random Forest)。随机森林是Bagging算法的一个扩展变体。具体来说，Bagging算法是在原始数据集上采用有放回的随机取样方法抽取多个子样本，从而利用多个子样本训练多个基学习器，降低了模型的方差。而随机森林进行了两个方面的改动。一方面，随机森林使用了CART树作为基学习器，且CART树一般使其充分生长。另一方面，随机森林在选择划分属性时是通过某种策略直接在当前树结点的属性特征集合中选择一个最优属性；而在随机森林中，对CART树的每个节点，先从该节点的属性集合中随机选择一个包含多个属性的子集，然后再从这个子集中选择一个最优属性用于划分，其随机森林算法步骤为

输入：样本集S＝{(x

输出：随机森林模型f(x).对于t＝1,2,…,T,对训练集进行第t次随机采样，共采集m次，得到包含m个样本的采样集S

针对非平衡数据引起的问题，当前解决办法大致分两大类：一类是改进算法；另一类是改造数据。本发明主要采用改造数据的方法来改进非平衡数据问题，即改变训练集数据的分布，通过人为增加负样本，提升不平衡率。这里使用的是改进的SMOTE(SyntheticMinority Oversampling Technique，合成少数类过采样技术)算法，该算法的本质是对随机向上抽样策略的改进。由于随机向上抽样的过程中，只是简单地复制负类，在选择复制对象是存在随机性，且生成的对象在原始数据集中也存在重复问题，不能有效地解决问题的本质，而SMOTE算法提供了一种很好的假设，在相距较近的负类之间的样本仍然是负类。从这个假设出发，该方法为每个负样本确定其K个相距最近的负类，然后在样本与其近邻样本的连线上合成“模拟”样本，合成过程如下：

P

其中：x

y

p

rand(0,1)表示在(0,1)之间的一个随机数。

而针对SMOTE算法，一是在近邻选择时存在一定的盲目性，二是无法克服非平衡数据集的数据分布问题，容易产生分布边缘化的问题，于是本发明提出一种改进的SMOTE抽样算法,其基本假设是：根据聚类算法的思想和物理学的重心理论，同一类的样本应有一个共同的重心，一个类用它的重心(该类样本属性的均值)做代表比较合理。基于这个假设，既然每个类都有一个重心，那么在“模拟”样本的过程中，新产生的样本也应向类的重心靠拢，这样使得样本的产生过程有一定的方向性，从而克服SMOTE算法在进行合成时的盲目化问题。而且由于“模拟样本”会有目的趋向重心，由处在分布边缘的样本产生的新样本的分布会得到改善，从而克服了SMOTE算法在进行合成时的边缘化问题。如何在产生“模拟”样本时，使新产生的样本向重心汇聚，其算法的具体步骤如下：

计算负类样本的中心点，如果将每个负类样本看着空间中的一个点，那么负类样本的中心点就是这些点组成的空间的重心，越趋近于重心的点越具有该负类样本的特征，重心的计算可以有两种计算方式：

一是可以使用向量的概念来完成该重心的计算，主要是引入向量重心的概念。设训练集为T，每个样本有r个属性，负类和正类的样本量分别为n1和n2，则负类样本集合可记为X:X＝{X

定义负类样本的重心为：

定义正类样本的重心为：

根据正负样本的定义，可以计算出负类样本的重心点，从而进一步围绕重心点产生“模拟”样本；

二是使用统计工具完成数据集的初始聚类，找到负类样本的重心点。具体做法是，使用SPSS、R等统计软件，选择K均值聚类算法、系统聚类、两步聚类等常用的聚类办法，将负类样本集输入到软件中，设置需要将负类样本集分为二类。根据软件的运行结果，选择样本点数量多的一类的中心点作为本算法中负样本的中心点。

“模拟”样本的合成。为了保证合成的样本向类的重心趋近，本算法对SMOTE算法的公示进行改造，公式如下：

p

其中：X

X

p

rand(0,1)表示在(0,1)之间的一个随机数。

从几何角度上看，本算法的本质是在负类样本和数据集重心之间的连线上进行再抽样，这样使得新产生的“模拟”样本，永远在中心点和负类样本之间，其所处的位置由随机数确定，不会偏离出负类样本集的几何空间，因此不会产生边缘化的趋势，而是有目的性地向中心点趋近，从而减少了算法的不稳定性。

欠抽样处理合成后的负类数据集。根据中心点、M值和公式p

经过上述的过程处理后，整个再非平衡处理过程结束，将负类样本集和正类样本集组合在一起，就可以作为随机森林算法的训练数据(即为机器学习检测模型构建原理)，具体算法流程图如图4-6所示。

本发明的分布式多级协同的分布式拒绝服务攻击监控系统的汇聚控制器1包括含控制界面CLI和GUI，便于监控与告警模块，对于验证准确检测出的DDoS攻击进行及时告警的展示。

根据本发明的分布式多级协同的分布式拒绝服务攻击监控系统的监控方法，包括以下步骤，

步骤(A)，将服务节点2安装部署在各个网络设备上，包括网关设备、可编程交换机、网络安全一体机和计算机系统上，且分布式部署汇聚控制器1，该汇聚控制器1部署一个或者多个，多个分级部署的汇聚控制器1实现多级分布式控制，每个汇聚控制器管理该区域的服务节点覆盖的局部网络；

步骤(B)，启动服务节点2，与最近汇聚控制器1建立通信通道，每个服务节点向一个或者多个汇聚控制器1注册、连接，并接受该汇聚控制器1的管控；

步骤(C)，各汇聚控制器1根据配置向与其连接的各个服务节点2提出数据要求，并实时接收服务节点2的数据反馈；

步骤(D)，各服务节点2根据配置和汇聚控制器1提出数据要求，通过本地信息作出本地的攻击检测判断，得到本地结果，并且将该本地结果反馈到对应的汇聚服务器1；

步骤(E)，汇聚服务器1接收到各服务节点2反馈的本地结果，并根据根据收集到的网络和计算机系统信息，结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果。

综上所述，本发明的基于分布式多级协同的分布式拒绝服务攻击监控系统及方法，服务节点为多个，分别部署安装在各个网络设备，在所有参与的网络设备节点和计算机系统，分布式并发进行，汇聚控制器可以部署一个或者多个，多个分级部署的控制器可以实现多级控制。每个控制器管理一个局部的网络，并且可以根据这个局部网络内汇聚的内容进行“局部”分析，提高整个系统的执行效率和拒绝服务攻击监控效果，具有以下优点：

(1)相比在单一网络设备上进行的攻击分析和监控方法，此方案通过在网络范围，让所有的网络设备和网络节点都参与到流量分析和攻击监控中，可以获取更全面的网络流量模型，进而实现更准确，更高效的攻击探测和监控；

(2)计算机系统主动参与到攻击检测和监控中，可以将有关的应用和系统资源的利用率全盘纳入分析，可以提高探测的准确率，(例如，传统方案对于一些低流量的DDoS攻击无法探知，但这些攻击足以使一台或者多台服务器拒绝服务)；

(3)传统方案无法对于不经过检测器(DDoS防御设备或者云服务)的流量无能为力，特别是对于一个网络环境的内部流量(东西向流量)无法实施有效的探测和监控。本方案将探测和分析能力分布在所有参与的网络节点(网络设备和计算机系统)，让检测的覆盖更全面，提高整个系统的执行效率。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。