系统日志与健康监控关系决定日志告警等级的方法及系统

摘要

本发明提供了一种系统日志与健康监控关系决定日志告警等级的方法及系统，日志采集引擎从各应用模块采集历史软件系统日志；日志清洗引擎对采集到的历史软件系统日志进行清洗，过滤无效日志并整理日志格式，形成历史日志数据；告警采集引擎从健康监控系统采集各应用模块的历史告警数据；关联引擎根据历史日志数据和历史告警数据加以分析，形成日志告警等级模型，并训练日志告警等级模型；告警等级匹配引擎通过实时日志与日志告警等级模型的匹配决定该实时日志的告警级别。

说明书

技术领域

本发明涉及计算机云计算技术领域，具体地，涉及一种基于软件系统日志与健 康监控关联关系决定日志告警等级的方法及系统。

背景技术

随着分布式系统成为企业应用的主流形态，其监控成为企业关注的焦点。现有 的监控方式可表现为：对主机及其服务的特定指标进行健康监控，将监控数据上报 到监控系统，在分析后产生告警信息并告知客户。

随着业务需求的不断丰富，对监控的要求越来越多，上述监控方式存在如下缺 陷：

1.告警数据的统计周期较长，无法第一时间发现系统问题；

2.业务各模块之间的日志和告警管理分散，缺乏关联，增加问题定位的难度；

3.对运维人员排查问题有益的软件系统日志的严重程度度通常是人工决定，没 有与健康监控系统产生联系。

因此，如何利用应用服务日志来快速发现系统可疑问题成为云监控质量提升的 一个亟需解决的问题。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资 料。

发明内容

针对现有技术中存在的上述不足，本发明的目的是提供一种基于软件系统日志 与健康监控关联关系决定日志告警等级的方法及系统，该方法及系统能够根据历史 日志与健康监控数据的关联分析产生日志告警等级模型，以此来决定实时日志的告 警等级。

为实现上述目的，本发明是通过以下技术方案实现的。

根据本发明的一个方面，提供了一种系统日志与健康监控关系决定日志告警等 级的方法，包括如下步骤：

步骤S1：日志采集引擎从各应用模块采集历史软件系统日志；

步骤S2：日志清洗引擎对步骤S1中采集到的历史软件系统日志进行清洗，过 滤无效日志并整理日志格式，形成历史日志数据；

步骤S3：告警采集引擎从健康监控系统采集各应用模块的历史告警数据；

步骤S4：关联引擎根据步骤S2提供的历史日志数据和步骤S3提供的历史告警 数据加以分析，形成日志告警等级模型，并训练日志告警等级模型；

步骤S5：告警等级匹配引擎通过实时日志与日志告警等级模型的匹配决定该实 时日志的告警级别。

优选地，所述步骤S4包括如下步骤：

步骤S4.1：关联引擎从特征库中提取不同应用模块的日志特征；

步骤S4.2：关联引擎根据不同应用模块的日志特征从历史日志数据和历史告警 数据中提取日志信息和告警数据，将不同应用模块的日志信息与不同应用模块的告 警数据一起通过聚类算法进行关联分析；

步骤S4.3：关联引擎产生日志告警等级模型。

优选地，所述日志特征包括如下任一项或任多项：

-日志关键字；

-日志时间戳；

-日志地址；

-日志所属业务模块或子模块。

优选地，所述日志告警等级模型包括如下任一项或任多项信息：

-日志地址；

-日志内容；

-日志所属模块；

-告警级别的映射关系表。

根据本发明的另一个方面，提供了一种系统日志与健康监控关系决定日志告警 等级的系统，包括：

-日志采集引擎，用于从各应用模块中采集历史软件系统日志；

-日志清洗引擎，用于对日志采集引擎采集到的历史软件系统日志进行清洗， 过滤无效日志并整理日志格式，形成历史日志数据；

-告警采集引擎，用于从健康监控系统中采集各应用模块的历史告警数据；

-关联引擎，根据日志清洗引擎提供的历史日志数据和告警采集引擎提供的历 史告警数据加以分析，形成日志告警等级模型，并训练日志告警等级模型；

-告警等级匹配引擎，用于通过实时日志与日志告警等级模型的匹配决定该实 时日志的告警级别。

与现有技术相比，本发明具有如下的有益效果：

本发明解决了以下技术问题：

1、将软件系统日志与系统健康状态进行关联；

2、跨系统模块关联分析日志与告警数据；

3、根据历史系统日志与系统健康状态的关联情况，自动推算日志级别。

本发明实现了以下有益效果：

1、采用历史数据预测系统可能的风险，实现了提前预警，提高了运维效率；

2、实现日志与告警信息的跨系统模块关联分析，提高预测的可靠性；

3、关联软件系统日志与告警信息，充分利用系统已有数据资源。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特 征、目的和优点将会变得更明显：

图1为本发明系统原理图；

图2为本发明方法流程图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实 施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人 员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发 明的保护范围。

实施例1

本实施例提供了一种系统日志与健康监控关系决定日志告警等级的方法，包括 如下步骤：

步骤S1：日志采集引擎从各应用模块采集历史软件系统日志；

步骤S2：日志清洗引擎对步骤S1中采集到的历史软件系统日志进行清洗，过 滤无效日志并整理日志格式，形成历史日志数据；

步骤S3：告警采集引擎从健康监控系统采集各应用模块的历史告警数据；

步骤S4：关联引擎根据步骤S2提供的历史日志数据和步骤S3提供的历史告警 数据加以分析，形成日志告警等级模型，并训练日志告警等级模型；

步骤S5：告警等级匹配引擎通过实时日志与日志告警等级模型的匹配决定该实 时日志的告警级别。

进一步地，所述步骤S4包括如下步骤：

步骤S4.1：关联引擎从特征库中提取不同应用模块的日志特征；

步骤S4.2：关联引擎根据不同应用模块的日志特征从历史日志数据和历史告警 数据中提取日志信息和告警数据，将不同应用模块的日志信息与不同应用模块的告 警数据一起通过聚类算法进行关联分析；

步骤S4.3：关联引擎产生日志告警等级模型。

进一步地，所述日志特征包括如下任一项或任多项：

-日志关键字；

-日志时间戳；

-日志地址；

-日志所属业务模块或子模块。

进一步地，所述日志告警等级模型包括如下任一项或任多项信息：

-日志地址；

-日志内容；

-日志所属模块；

-告警级别的映射关系表。

实施例2

本实施例提供了一种系统日志与健康监控关系决定日志告警等级的系统，该系 统能够执行实施例1提供的系统日志与健康监控关系决定日志告警等级的方法，包 括：

-日志采集引擎，用于从各应用模块中采集历史软件系统日志；

-日志清洗引擎，用于对日志采集引擎采集到的历史软件系统日志进行清洗， 过滤无效日志并整理日志格式，形成历史日志数据；

-告警采集引擎，用于从健康监控系统中采集各应用模块的历史告警数据；

-关联引擎，根据日志清洗引擎提供的历史日志数据和告警采集引擎提供的历 史告警数据加以分析，形成日志告警等级模型，并训练日志告警等级模型；

-告警等级匹配引擎，用于通过实时日志与日志告警等级模型的匹配决定该实 时日志的告警级别。

上述两个实施例提供的基于软件系统日志与健康监控关联关系决定日志告警 等级的方法及系统，将软件系统日志与系统健康状态进行关联；解决了跨系统模块 关联分析日志与告警数据的关联问题；根据历史系统日志与系统健康状态的关联情 况，自动推算日志级别；采用历史数据预测系统可能的风险，实现了提前预警，提 高了运维效率；实现日志与告警信息的跨系统模块关联分析，提高预测的可靠性； 关联软件系统日志与告警信息，充分利用系统已有数据资源。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改， 这并不影响本发明的实质内容。