应用于网络监控系统的数据库设计与实现研究

摘要

信息时代，互联网的发展对于数据库技术的要求更高，在海量的数据信息量条件下，用户越来越关注稳定、高效的数据层解决方案。
　　本文背景为企业员工网络行为监控，系统使用LAMP架构进行开发。系统采用了Linux系统下运行效率较高的MySQL数据库，来保存网络行为日志信息。对于读写频繁的大规模日志数据，考虑数据库的设计以及性能优化，从而使监控网络行为的数据库高效、稳定地运行，将是本文的工作目的。
　　为提高海量数据的查询效率，文中设计了按照数据拆分的动静隔离架构。亦即将日志数据拆分为静态数据与活跃数据（历史与实时日志），采用任务定时调度将活跃数据复制为静态数据，进而使用表分区技术，对日志按时间粒度进行表分区。对频繁访问且数据量不大的基础数据表，采用内存表与磁盘表并存的方式进行数据保存，从而使表的连接效率得到提高。在监控策略制定模块中，采用了灵活的监控策略表设计，对各个被控对象或组，使用模板形式应用策略到被控对象中，并制定了应用的组优先监控策略，管理员方便操作。设计了一组高效、合理的数据库Schema。
　　对于优化Query，本文分析Query语句频度较高的explain执行计划，进行了合适的索引设计。而不太适合索引建立的数据列，则设计了分类数据模型，亦即按照数据表的列属性，对于数据进行一维或二维关系分类，保存为视图方式;通过相对应数据子集的匹配，来实现语句重组查询，替代原Query语句。测试结果表明，优化Query后，由于回避了全表扫描造成的响应时间延迟，比优化前查询效率得到了大幅度提高，进而证明了优化方案的有效性。

目录

声明

摘要

第一章 前言

1．1 课题背景

1．2 研究现状

1．3 论文的研究目标

1．4 论文的主要工作

1．5 论文工作及组织结构

第二章 MySQL数据库、架构及性能优化理论与方法研究

2．1 MySQL数据库、架构

2．1．1 MySQL的发展历史及特性

2．1．2 MySQL适用的领域

2．1．3 MySQL系统架构

2．1．4 MySQL的插件式存储引擎

2．2 优化方法与理论

2．2．1 优化数据库性能

2．2．2 MySQL影响性能的主要因素

2．2．3 优化数据库性能的方法

2．3 本章小结

第三章 系统需求分析及架构设计

3．1 功能需求

3．2 查询大规模数据的需求

3．3 按照动、静数据拆分隔离的架构设计

3．4 本章小结

第四章 系统数据库设计及优化的研究实现

4．1 优化DB服务器的安装及配置

4．1．1 优化DB服务器安装

4．1．2 优化DB服务器参数配置

4．2 设计与优化日志管理模块表

4．2．1 设计日志管理模块表结构字段

4．2．2 实现历史与日志实时分离

4．2．3 实现日志管理模块高效分区

4．2．4 索引设计

4．2．5 设计日志表的数据分类模型与视图

4．2．6 定期清理及转储历史日志数据

4．3 设计与优化被控主机MAC／IP管理模块表

4．3．1 分析模块功能

4．3．2 寻找访问频繁的字段

4．3．3 添加冗余提高查询效率(逆规范化表设计)

4．3．4 基础数据表存储方案

4．3．5 实现批量数据导入功能

4．4 监控策略模板制定模块

4．4．1 设计灵活的策略模板表

4．4．2 实现组优先的监控策略

4．5 网络行为监控系统主要数据表实体关系

4．6 本章小结

第五章 总结与展望

5．1 全文总结

5．2 后续展望

致谢

参考文献