基于Storm实时流式计算框架的网络日志分析方法

摘要

随着互联网的飞速发展,网络日志数据呈现爆炸式增长,网络日志蕴含着丰富的网络安全信息.通过对网络日志进行分析,提出了基于访问行为和网络关系的攻击IP识别模型和基于滑动时间窗口的IP真人属性判定模型.基于Storm实时流式计算框架,对所提模型进行算法实现,以构建分布式网络日志实时计算与分析平台,并对实现过程中遇到的技术问题给出了解决方案.通过真实数据对所构建的模型进行分析计算,结果表明,所构建的攻击IP识别模型的标注准确率达到98％,IP真人属性判定模型的标注准确率达到96％;构建的分布式网络日志实时计算与分析平台能够有效、实时地监控网络安全,并及时识别网络中存在的安全隐患.