对于大规模系统日志的日志模式提炼算法的优化

摘要

LARGE系统是部署在中科院超级计算环境中的日志分析框架,通过日志收集、集中分析、结果反馈等步骤对环境中的各种日志文件进行监控和分析.在对环境中系统日志的监控过程中系统维护人员需要通过日志模式提炼算法将大量的过往系统日志记录缩减为少量的日志模式集合,然而随着日志规模的增长以及messages日志文件的特殊性,原有的日志模式提炼算法已经难以满足对大规模日志快速处理的需要.本文介绍了一种对于日志模式提炼算法的优化方法,通过引入MapReduce机制的概念实现在存在多个日志输入文件的情况下对日志处理和模式提炼的流程进行加速的效果.实验证明当输入文件较多时该优化方法能够显著提高词汇一致率算法的运行速度,大幅减少了运行时间.此外还对使用词汇转换函数时的算法运行时间和提炼效果进行了验证.