基于“WEB日志挖掘”技术的校园网络日志分析与安全审计

摘要

在网络技术迅猛发展和普及的今天，各种Web服务器上的用户访问记录数据也在飞速膨胀。日志是计算机系统运行轨迹的真实写照，它被广泛用于系统调试、监控和安全检测中。日志管理和分析是系统管理和入侵检测的基础设施，是评估系统运行状况、检验网络安全策略有效性的必要手段。因此，日志分析已经成为日常安全检测的重要内容和维持系统正常运行不可缺少的工具。Web日志挖掘旨在通过对Web日志进行有效的数据挖掘，发掘隐藏在日志数据背后的规律和模式。通过对Web日志的挖掘和对用户访问行为、频度、内容等分析，可以从大量的Web日志信息中提取需要的知识，并且由此可以得到用户的访问模式，识别出恶意用户模式，从而改进Web站点安全设计。随着现代教育技术的发展，校园网内Web服务器群也日益扩大，大量地理上分散、服务器异构的Web服务器日志需要进行统一的管理和审计。目前尚未见针对校园网环境内地理分散、异构Web服务器群日志的统一安全审计的研究。
　　 本文通过SQL SERVER 2008整合服务与Web日志挖掘的结合，解决校园网环境下Web日志安全审计的问题，通过审计发现常规方法所不能获取的用户恶意使用模式，从而提高校园网Web站点的安全性能。
　　 本文首先在总结国内外Web日志挖掘研究现状的基础上，给出Web日志数据预处理的过程；其次基于Web日志预处理的结果，采用Web日志挖掘技术对某高校校园网服务器日志进行分析与安全审计。通过构建一个分布式的日志监控与安全审计平台，把网络系统中地理位置分散的异构服务器群产生格式不一的日志和审核数据集中起来进行统一管理和综合安全分析。该系统可作为校园网络完整安全框架中的一个必要环节，处在校园网防火墙和入侵检测系统之后，作为对防火墙系统和入侵检测系统的一个补充。

目录

文摘

英文文摘

声明

1绪论

1.1课题背景

1.1.1校园网特点

1.1.2校园网日志管理的复杂性

1.1.3校园网日志管理的多元性

1.1.4现有安全产品的局限性

1.2 Web日志挖掘

1.3 Web日志挖掘国内外研究现状

1.4本文研究工作简介

1.5本文组织结构

1.6小结

2相关知识简述

2.1安全审计

2.1.1安全审计概念

2.1.2安全审计的主要技术

2.1.3安全审计相关标准

2.2日志分析

2.2.1日志的概念

2.2.2日志文件系统

2.2.3日志分析

2.3 Web数据挖掘

2.3.1数据挖掘

2.3.2数据挖掘工业流程标准

2.3.3数据挖掘的类别

2.4相关数据挖掘算法

2.5小结

3校园网络日志数据的采集与日志转换

3.1校园网络日志的特点分析

3.2校园网日志的收集

3.2.1 Web服务器日志格式概述

3.2.2中间日志格式设计

3.2.3异构服务器群日志数据按策略收集及中间格式日志的转化

3.3小结

4校园网日志数据预处理

4.1 Web日志预处理的意义及步骤

4.2数据清洗

4.2.1数据清洗功能

4.2.2数据清洗方式

4.3用户识别

4.4会话识别

4.5路径补充

4.6事务识别

4.7小结

5校园网Web日志数据挖掘算法及其实现

5.1审计日志数据仓库设计

5.2Web日志数据仓库维度设计

5.3 Web日志时序聚类挖掘及实现

5.3.1聚类分析概述

5.3.2基于URL-UserID关联矩阵的用户聚类算法

5.3.3基于URL-UserID时序聚类算法MDX实现

5.3.4数据挖掘实验结果

5.4关联挖掘及实现

5.4.1关联规则挖掘定义

5.4.2关联规则的经典算法—Apriori算法

5.4.3基于URL-UserID关联矩阵的频繁访问路径发现

5.4.4基于URL-UserID关联矩阵的频繁访问路径MDX的实现

5.4.5基于URL-UserID关联矩阵的频繁访问路径MDX的实验结果

5.5本章小结

6结语

6.1本文工作总结

6.2未来研究展望

致 谢

参考文献

附录：作者在攻读硕士学位期间发表的论文