基于半监督学习的分布式在线流量识别研究

摘要

随着互联网技术的不断发展，网络规模逐渐增大并涌现出各种新的网络应用（如P2P、IPTV等）。这些新型流量的急速增长一方面造成严重的带宽负担，加剧网络的拥塞状况;另一方面恶意流量也频繁出现在互联网上，不仅加快带宽的消耗而且对网络安全也提出很大的挑战。网络应用的增加，导致网络速率不断增长，网络节点处的网络管理设备面临越来越大的压力。如何通过有效的技术手段实时识别和监测流量，从而管理和控制各种恶意流量，提供合理的带宽资源和服务，成为当前网络管理面临的重要难题之一。
　　 网络流量分类正是解决上述难题的基础，尤其是基于半监督学习的分类方法，不仅能够利用少量标签数据促进分类系统的性能，而且具有发现新的模式的功能成为当前流量分类领域研究的热点。鉴于网络流量本身天然的地域性、时域性，本文将分布式的理念和技术引入在线流量分类中，将分类任务分散到不同的节点上，由中心节点管理并协调各个子节点分类并提供对子节点分类结果的验证。
　　 首先，本文针对大多数基于有监督机器学习的分类器过度依赖于有标签数据问题，提出了基于k均值算法的半监督聚类算法Semi-kmeans进行流量分类的研究。该算法使用具有准确应用类型的流量样本作为初始聚类中心，不仅能够有效的识别应用类型，而且具有发现新型网络应用的功能。
　　 其次，由于互联网应用行为的实时、多变、易逝等特征，使得对网络流量的在线识别方法更具研究意义。本文研究的在线网络流量分类模型，专门针对网络流量的实时分类而设计。采用离线训练和在线分类相互配合的方法进行实时分类，从而提高分类效率。并且结合本文研究的半监督聚类方法，对在线分类的结果进行实时验证，从而及时更新在线分类器，保证其对网络环境的适应性。
　　 最后，本文针对当前流量分类领域，高速网络流量分类相对较难的问题，进行分布式在线识别方法的研究。该方法在对半监督学习方法和在线网络流量分类方法的研究基础上，结合分布式入侵检测系统的思想，把对网络流量的实时识别分散在各个节点，着重于在线识别方法之间的协作能力。

目录

声明

摘要

第一章 绪论

1．1 论文的研究对象和内容

1．2 论文的研究背景和意义

1．3 论文的主要工作及创新点

1．3．1 基于半监督学习的流量分类方法

1．3．2 在线流量分类模型研究

1．3．3 分布式在线分类方法研究

1．4 论文的组织结构

第二章 网络流量识别技术的研究现状

2．1 基于端口的分类方法

2．1．1 基于端口分类方法的介绍

2．1．2 基于端口分类方法的原理

2．1．3 基于端口分类方法的分析

2．2 基于应用层负载特征的分类方法

2．2．1 应用层负载特征的分类技术简介

2．2．2 DPI技术原理

2．2．3 DPI技术分析

2．3 机器学习分类方法

2．3．1 机器学习方法简介

2．3．2 机器学习原理

2．3．3 基于机器学习的流量分类方法的分析

2．4 在线网络流量分类方法

2．4．1 集中式在线流量分类方法

2．4．2 分布式在线流量分类方法

2．5 本章小结

第三章 半监督聚类方法的研究

3．1 k-means聚类算法介绍

3．2 半监督算法Semi-kmeans

3．2．1 Semi-kmeans思想

3．2．2 Semi-kmeans算法的新功能

3．3 实验与分析

3．3．1 实验数据

3．3．2 流量特征

3．3．3 评价方法

3．3．4 实验结果

3．4 本章小结

第四章 在线流量分类模型

4．1 C4．5算法介绍

4．2 在线分类系统设计

4．2．1 部署具有准确应用类型标识的流量采集环境

4．2．2 流量转发

4．2．3 流量采集

4．2．4 基于有监督学习的在线流量分类模型

4．2．5 基于半监督学习的离线分类模型

4．2．6 分类结果验证

4．3 实验分析

4．3．1 基于有监督学习的在线分类

4．3．2 基于半监督学习验证在线分类结果

4．4 本章总结

第五章 分布式在线识别方法的研究

5．1 分布式在线识别方法

5．1．1 分布式概述

5．1．2 分布式在线识别方法

5．1．3 分布式在线流量识别模型的设计

5．2 分布式在线识别方法的仿真实验

5．2．1 仿真环境

5．2．2 仿真数据

5．2．3 仿真结果

5．3 本章小结

第六章 总结和展望

参考文献

致谢

附录