数据包捕获系统的存储性能优化方法研究及实现

摘要

随着网络用户的持续增长、网络应用的不断涌现,互联网已成为人类社会的信息基础设施。目前互联网的网络规模正继续扩大,网络传输速率也越来越高。由于互联网的基础性地位,提高网络资源使用效率,优化网络性能,保证互联网的高效运行非常重要。网络流量监测通过对网络流量的采集与分析,可对网络运行状况进行全面了解,从而为网络管理、网络优化、协议设计、网络行为分析、网络安全等提供了依据和指导,成为研究的焦点,得到人们的重视。
　　网络流量监测的主要过程包括网络流量的实时采集、数据包存储与后续流量分析等,其中流量实时采集是基础。以保证包捕获过程不丢包为目标,目前已提出了多种包捕获的方法和工具来实现流量的实时采集,它们的改进主要集中在提高数据包从网卡拷贝到内存的效率。但对于流量监测而言,通常流量的实时采集和实时存储是不可分割的过程,在对包捕获过程进行了优化之后,数据包的实时存储往往成为性能瓶颈。已有研究在数据包存储时由于需要在用户空间和内核空间反复进行数次拷贝,使得包捕获系统最终出现丢包。本文在对包捕获技术及系统的深入调研和分析的基础上,对数据包捕获系统的实时存储过程进行改进和优化,完成的主要工作有:
　　1.对现有的包捕获技术和系统进行了较深入的调研和分析。发现现有技术主要关注优化数据包从网卡拷贝到内存时的流程,降低数据包捕获时的开销。但由于流量监测往往还需要将捕获的数据包存储到硬盘等外部存储设备,现有技术较少在这方面进行优化,使得数据包存储时还需要在用户空间和内核空间进行多次拷贝,开销较大,出现丢包。
　　2.以通用软、硬件架构为平台,提出了一种从内核空间直接到外部存储的数据包实时存储方法。实现了一个内核空间的包捕获和存储模块来改善存储效率。所提出的LPKP内核数据包捕获模块通过实现内核直接写磁盘、数据包缓存优化设计及多核 CPU的优化调度等措施使数据包捕获在整个从网卡到磁盘存储过程都没有穿过用户空间,同时避免了内核到用户空间以及用户到内核空间的内存拷贝所带来的开销,消除了不必要的内存拷贝。
　　3.搭建了实验平台,对所提出的方法进行了较全面的测试和实验。实验结果显示,在相同条件下LPKP系统的包捕获丢包率比现有数据包捕获工具低8.9％;在增加查询功能导致磁盘 I/O竞争程度高时,相比较现有工具,实验结果显示LPKP的CPU利用率降低了3%,并且整体上 LPKP降低了16%的进程的内存使用率。

目录

封面

声明

中文摘要

英文摘要

目录

插图索引

附表索引

第1章 绪 论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 论文的主要工作

1.4 论文的组织结构

第2章 数据包捕获系统分析

2.1 数据包捕获概述

2.2 数据包捕获系统的架构分析

2.3 数据包捕获的主要技术分析

2.4 数据包捕获过程的影响因素

2.5 本章小结

第3章 数据包捕获系统的性能改进

3.1 引言

3.2 设计与实现

3.3 同步

3.4 内核调度

3.5 PF_RING机制的改进

3.6 本章小结

第4章 性能测试与分析

4.1 引言

4.2 实验环境与配置

4.3 实验

4.4 整体结果分析

4.5本章小结

结论

参考文献

致谢

附录A 攻读学位期间主要成果

附录B 攻读学位期间的科研情况