一种采用混合匹配引擎的NIDS设备的优化系统及方法

摘要

本发明提供了一种采用混合匹配引擎的NIDS设备的优化系统及方法，包括规则库、深度自编码器模块、随机排序模块、规则库最优划分训练模块、规则库最优划分模块、匹配性能测量模块及匹配引擎池；所述规则库最优划分训练模块、规则库最优划分模块均包括深度强化学习子模块；其中，规则库最优划分训练模块的深度强化学习子模块用于学习规则划分的方法，通过系统配置的设定数量的匹配规则训练后获得规则库最优划分模块的深度强化学习子模块的参数，并将参数输出至规则库最优划分模块。该系统既适用于基于软件匹配的NIDS设备，也适用于基于专用芯片或网络处理器进行匹配的NIDS设备；具有结构简单，操作便捷，适应性强的优点。

说明书

技术领域

本发明涉及保密通信技术领域，特别是涉及一种采用混合匹配引擎的NIDS 设备的优化系统。

背景技术

网络入侵检测(NIDS，network intrusion detection system)设备通过网络接口采集网络报文，对报文进行预处理后，即需要对报文的内容进行检测以发现可能存在的异常或攻击流量。为此，网络入侵检测设备上需要配置一个规模很大的匹配规则库，其中包括大量的字符串匹配规则，数量往往有数万或者更多。在现有技术中，网络入侵检测设备通过多模式字符串匹配引擎实施匹配操作，具体的方法是在系统初始化时需要对多模式字符串匹配引擎进行初始化，匹配引擎初始化的重要内容就是读入所有的匹配规则并根据匹配算法进行处理，形成保存于匹配引擎内存中的特殊数据结构；当有报文到达需要进行匹配时，即把报文需要进行检测的部分的字节流作为待匹配字符串输入到匹配引擎中，匹配引擎使用初始化时形成的规则数据库结构，使用引擎特有的算法进行匹配，当发现待匹配字符串中出现了规则库中某一个或某一些规则字符串时，即把匹配到的规则字符串输出，如果没有匹配到的规则字符串即输出没有匹配的结果。由于匹配规则库规模庞大，匹配引擎对NIDS设备的性能要求很高，在网络入侵检测设备性能受限的情况下，流量达到一定速率时即会出现负载溢出的情况，使得网络入侵检测的功能失效。现有的网络入侵设备性能提升方法包括基于专用芯片或网络处理器提升匹配性能、使用更优化的模式匹配算法提升匹配性能以及使用混合引擎的方法提升匹配性能；而该三种方法都具有各自的缺点，例如，基于专用芯片或网络处理器提升匹配性能的方法中，设备的设计中需要包括专用芯片或网络处理器，增加了设备的设计和生产成本，在设备价格受限的环境中无法使用此解决方案。在使用更优化的模式匹配算法提升匹配性能的方法中，多模式匹配算法目前有很多类型，如AC算法、WM算法即它们的变种，这些算法各自在特定的规则字符串特点下有优势。因为网络入侵检测设备的规则库规模庞大，规则特点不一，只选择某一种特定算法不能达到最优匹配效率。在使用混合引擎的方法提升匹配性能的方法中，采用多种匹配算法进行规则匹配，每一个算法仅负责对规则库中的一部分进行匹配运算。但这种方法的关键技术在于如何划分规则库以分配给不同的算法，从而达到最优的性能指标。现有的做法非常简单，仅从规则的长度进行判断，但是各种匹配算法的实际性能除了和规则的长度有关，还和规则的内在结构如共同前缀、共同后缀等有密切关系，也和规则规模有关。所以现有的混合模式方法并没有达成匹配效率最优化的目标。

因此，针对现有技术中存在的问题，亟需提供一种提升规则匹配的效率，使得在网络入侵检测设备硬件性能不变的情况下，提高设备处理处理的流量速率上限的采用混合匹配引擎的NIDS设备的优化系统技术显得尤为重要。

发明内容

本发明为了克服上述现有技术存在的问题，提出了一种采用混合匹配引擎的网络入侵设备的优化系统，该系统在混合引擎初始化时采用基于深度自编码器和深度强化学习子模块对匹配规则库进行最优化划分和指派。该系统既适用于基于软件匹配的NIDS设备，也适用于基于专用芯片或网络处理器进行匹配的 NIDS设备。

为了达到上述目的，本发明采用以下技术方案：

一种采用混合匹配引擎的NIDS设备的优化系统，包括：规则库、深度自编码器模块、随机排序模块、规则库最优划分训练模块、规则库最优划分模块、匹配性能测量模块和匹配引擎池，其中：所述规则库，配置为保存多个原始字符串形成的规则RDB＝{r

深度自编码器模块，配置为接收来自规则库的规则，首先把所有规则进行长度对齐操作，即全部补齐为长度L

随机排序模块，配置为对编码到R

规则库最优划分训练模块，配置为学习规则划分的方法，获得参数并输出至规则库最优划分模块；

具体的，规则库最优划分训练模块通过其包含的深度强化学习子模块学习规则划分的方法，经过系统可配置的特定数量的匹配规则训练后获得深度强化学习子模块的参数，这些参数随后拷贝到规则库最优划分模块用于最终的最优化分。

规则库最优划分模块，配置为接收来自规则库最优划分训练模块的参数；

匹配性能测量模块，配置为接收来自规则库最优划分训练模块、规则库最优划分模块发送的规则分配指令，在匹配引擎池内按照指令初始化各匹配引擎的规则库后，驱动各匹配引擎用各自当前的规则库对测试字符串进行匹配测试，获得最优划分训练模块、规则库最优划分模块中深度强化学习算法DDQN的动作回报值

匹配引擎池，包括N个匹配引擎，其中，N≥2；所述匹配引擎池配置为与匹配性能测量模块进行数据交互。

以上的，所述规则库最优划分训练模块、规则库最优划分模块均包括深度强化学习子模块；其中，规则库最优划分训练模块的深度强化学习子模块用于学习规则划分的方法，通过系统配置的设定数量的匹配规则训练后获得规则库最优划分模块的深度强化学习子模块的参数，并将参数输出至规则库最优划分模块。

以上的，所述深度强化学习子模块采用了DDQN(Double Deep Q-learningNetwork)深度强化学习模型；其中，用于估计Q值的Q

所述Q

所述Q

所述Q

所述策略模块采用∈贪婪算法，即以1-ε的概率选择在当前状态向量s

以上的，所述Q

以上的，若测得的N个匹配引擎完成测试字符串集的匹配完成时间分别为 t

本发明还提供了一种应用在上述采用混合匹配引擎的NIDS设备的优化系统的优化方法，所述优化方法包括以下步骤：

步骤S1：从随机排序的规则库取出前N

步骤S2：完成训练后，将规则库最优划分训练模块中深度强化学习子模块的参数复制到规则库最优划分模块中的深度强化学习子模块中；

步骤S3：随机排序规则库，将所有规则依次送入规则库最优划分模块，直接使用Q

步骤S4：重复步骤S3，获得不同随机排序后规则库由最优划分模块得到的划分方案及对应测量得到的性能；重复步骤S3的次数为N

步骤S5：从N

本发明的有益效果：

本发明提供了采用混合匹配引擎的NIDS设备的优化系统及优化方法，该系统通过使用混合匹配引擎的方式提升网络入侵检测系统的性能，并使用基于深度强化学习的方法获得混合匹配引擎的最优规则划分；其次，通过使用深度自编码器对原始规则库中的规则进行降维嵌入表达，在降维以优化深度强化学习的同时，通过嵌入表达向量的相似度体现原始规则字符串的高维结构特征，这些高维结构特征是影响各匹配引擎性能的关键因素。再者，综合运用深度强化学习的方法和深度自编码器的降维嵌入表达的方法，在规则库最优化划分中充分体现了除规则字符串长度之外的影响匹配引擎性能的其它重要的规则字符串结构特征等因素在最优划分中的作用。另外，在最终形成规则库完整划分时，采用了随机排序后的多次最优化划分，并从中挑选出最优的方案。这一方法在兼顾计算复杂度的同时，缓解了有限规则数量下深度强化学习的渐进最优带来的非严格最优的问题。其具有结构简单，操作便捷，适应性强的优点。

附图说明

图1为本发明提供的优化系统的结构示意图；

图2为本发明提供的规则库最优划分训练模块的算法结构图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。

如图1～2所示，本实施例提供了一种采用混合匹配引擎的NIDS设备的优化系统，包括：规则库、深度自编码器模块、随机排序模块、规则库最优划分训练模块、规则库最优划分模块和匹配性能测量模块，其中：所述规则库，配置为保存多个原始字符串形成的规则RDB＝{r

深度自编码器模块，配置为接收来自规则库的规则，首先把所有规则进行长度对齐操作，即全部补齐为长度L

随机排序模块，配置为对编码到R

规则库最优划分训练模块，配置为学习规则划分的方法，获得参数并输出至规则库最优划分模块；

具体的，规则库最优划分训练模块通过其包含的深度强化学习子模块学习规则划分的方法，经过系统可配置的特定数量的匹配规则训练后获得深度强化学习子模块的参数，这些参数随后拷贝到规则库最优划分模块用于最终的最优化分。

规则库最优划分模块，配置为接收来自规则库最优划分训练模块的参数；

匹配性能测量模块，配置为接收来自规则库最优划分训练模块、规则库最优划分模块发送的规则分配指令，在匹配引擎池内按照指令初始化各匹配引擎的规则库后，驱动各匹配引擎用各自当前的规则库对测试字符串进行匹配测试，获得最优划分训练模块、规则库最优划分模块中深度强化学习算法DDQN的动作回报值

匹配引擎池，包括N个匹配引擎，其中，N≥2；所述匹配引擎池配置为与匹配性能测量模块进行数据交互。

在本实施例中，所述规则库最优划分训练模块、规则库最优划分模块均包括深度强化学习子模块；其中，规则库最优划分训练模块的深度强化学习子模块用于学习规则划分的方法，通过系统配置的设定数量的匹配规则训练后获得规则库最优划分模块的深度强化学习子模块的参数，并将参数输出至规则库最优划分模块。

在本实施例中，所述深度强化学习子模块采用了DDQN(Double Deep Q- learningNetwork)深度强化学习模型；其中，用于估计Q值的Q

所述Q

在本实施例中，所述Q

所述Q

在本实施例中，所述策略模块采用∈贪婪算法，即以1-ε的概率选择在当前状态向量s

在本实施例中，所述Q

在本实施例中，若测得的N个匹配引擎完成测试字符串集的匹配完成时间分别为t

本实施例还提供了一种应用在上述采用混合匹配引擎的NIDS设备的优化系统的优化方法，所述优化方法包括以下步骤：

步骤S1：从随机排序的规则库取出前N

步骤S2：完成训练后，将规则库最优划分训练模块中深度强化学习子模块的参数复制到规则库最优划分模块中的深度强化学习子模块中；

步骤S3：随机排序规则库，将所有规则依次送入规则库最优划分模块，直接使用Q

步骤S4：重复步骤S3，获得不同随机排序后规则库由最优划分模块得到的划分方案及对应测量得到的性能；重复步骤S3的次数为N

步骤S5：从上述N

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。