一种数据中台统一任务调度管理系统

摘要

本发明提出了一种数据中台统一任务调度管理系统，包括：用于管理整个系统的调度任务的统一任务调度引擎模块、用于对数据中台的任务进行调度依赖关系的配置的统一调度依赖关系配置模块、用于对数据中台任务调度资源进行管理的统一调度资源管理分配模块、用于对整个业务调度任务进行全方位的监控的统一调度情况监控预警模块以及用于用于完成数据中台与集成组件的适配和动态联动的数据中台异构工具集成模块，各模块各自工作又互相配合，解决现有数据中台作业任务与外部uep、etl、ogg等任务缺乏统一调度的问题，提高全局任务作业调度的有序性和调度效率。

说明书

技术领域

本发明涉及数据管理领域，具体涉及一种数据中台统一任务调度管理系统。

背景技术

随着云平台、数据中台建设的逐步推进，各种新业务形态大量涌现，云与中台新技术深度应用，不断推进现有信息基础设施升级改造，同时也带来了实施运维工作复杂度的提高，对企业数据中台自动化实施运维管理提出了更高的要求。

目前，数据中台在数据接入、数据整合以及数据发布的任务构建过程中存在数据中台任务与外部uep、etl、ogg等任务缺乏统一调度，致使产生各环节数据联调协作工作繁杂，工作效率低下等问题，因此需要一种数据中台作业任务调度管理系统解决现有问题。

发明内容

发明目的：本发明提供一种数据中台统一任务调度管理系统，目的是为了解决数据中台作业任务与外部uep、etl、ogg等任务缺乏统一调度的问题，避免全局任务作业调度的无序性。

技术方案：为了实现上述发明目的，本发明所述的一种数据中台统一任务调度管理系统，包含统一任务调度引擎模块、统一调度依赖关系配置模块、统一调度资源管理分配模块、统一调度情况监控预警模块以及数据中台异构工具集成模块；

所述统一任务调度引擎模块负责管理整个系统的调度任务，接收调度请求并执行任务逻辑；

所述统一调度依赖关系配置模块通过结合具体业务关系以及任务的优先级对数据中台的任务进行调度依赖关系的配置；

所述统一调度资源管理分配模块用于对数据中台任务调度资源进行管理；

所述统一调度情况监控预警模块用于对整个业务调度任务进行全方位的监控，全面掌控数据中台调度流转与运行情况，对于有问题的调度任务进行预判和告警；

所述数据中台异构工具集成模块用于完成数据中台与集成组件的适配和动态联动，使得数据中台与外部系统的数据传输保持同步和一致。

有益效果：本发明提出的一种数据中台统一任务调度管理系统，以全局高度掌握调度优先性，完善数据中台各类数据抽取、加工操作，根据中台资源情况、数据依赖关系、应用需求层级，优化中台贴源层、共享层、应用层数据相关程序调度。根据业务应用重要程度变更，实现自动调整相关链路先后顺序，自动改变内部依赖关系，保障上下游数据完整，避免资源浪费以及调度无序性；从而提高调度效率，提升资源利用率，降低运维成本，进一步提升企业数据中台的服务能力，提高企业自动化管理水平。

附图说明

图1是本发明实施例提供的数据中台统一任务调度管理系统功能架构图；

图2是本发明实施例提供的数据中台统一任务调度管理系统的工作流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

本发明提出一种数据中台统一任务调度管理系统，参照图1，调度系统是基于底层的中间件的，中间件都是成熟的产品，调度工具是通过调用中间件的开放功能接口来完成调度中间件执行任务，调度工具最终是业务用户使用的，并非任何人都可以使用，因此需要有用户身份认证，调度工具是数据中台的技术手段，调度任务如何编排都是基于业务来进行的。该调度管理系统主要包括：统一任务调度引擎模块、统一调度依赖关系配置模块、统一调度资源管理分配模块、统一调度情况监控预警模块以及数据中台异构工具集成模块，其中统一任务调度引擎模块负责管理整个系统的调度任务，统一调度依赖关系配置模块通过结合具体业务关系以及任务的优先级对数据中台的任务进行调度依赖关系的配置，统一调度资源管理分配模块用于对数据中台任务调度资源进行管理，统一调度情况监控预警模块用于对整个业务调度任务进行全方位的监控，数据中台异构工具集成模块用于完成数据中台与集成组件的适配和动态联动，使得数据中台与外部系统的数据传输保持同步和一致。该系统以全局高度掌握调度优先性，完善数据中台各类数据抽取、加工操作，根据中台资源情况、数据依赖关系、应用需求层级，优化中台贴源层、共享层、应用层数据相关程序调度。

下面给出具体各模块的功能以及实现方式。

(1)统一任务调度引擎模块是数据中台统一调度管理系统的核心，支撑整个系统的任务调度。其实现统一管理调度任务，接收调度请求并执行任务逻辑。统一任务调度引擎模块包括任务调度线程池子模块、自定义任务参数子模块、任务定时循环子模块、调度任务动态操作子模块、任务超时控制子模块以及任务失败重试子模块。其中，调度线程池子模块：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；自定义任务参数子模块：支持在线配置调度任务参数，即时生效；定时循环执行子模块：支持任务按照自定义时间循环执行；动态操作子模块：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；任务超时控制子模块：支持自定义任务超时时间，任务运行超时将会主动中断任务；任务失败重试子模块：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试。

(2)统一调度依赖关系配置模块从全局角度结合具体业务关系以及依赖对数据中台与外部uep、etl等调度任务进行调度依赖关系的配置。统一调度依赖关系配置涉及统一调度任务配置、任务依赖关系配置与调度任务优先级配置三个方面，因此，相应地设计三个子模块，其中，调度任务配置子模块：获取数据中台与外部uep、etl等调度任务，配置数据调度，包括运行时间、调度周期等。支持自定义运行时间；支持多时间粒度的调度周期；；支持手动执行业务流程。依赖关系配置子模块：统一配置数据中台与外部uep、etl等调度任务的先后运行顺序。支持任务依赖关系，即在前置任务执行完，然后再执行后续任务；支持跨工作空间依赖关系配置；支持可视化展示任务的依赖关系。任务优先级配置子模块：从全局统筹数据中台与外部uep、etl等调度任务的优先级级别，业务紧急度重要的设置高优先级，在资源紧张的情况下优先运行高优先级任务。统一调度依赖关系配置模块根据业务应用重要程度变更实现自动调整相关链路先后顺序，自动改变内部依赖关系，保障上下游数据完整，避免资源浪费以及调度无序性。

(3)统一调度资源管理分配模块对数据中台任务调度资源进行管理，最大化的合理充分利用调度资源，避免数据中台调度资源的无效浪费。统一调度资源管理分配模块包括统一调度资源总览子模块与统一调度资源分配子模块。调度资源总览子模块：获取数据调度任务时间分布情况，查看调度任务运行高峰时段，便于合理分配调度资源。支持的调度任务按照调度名称查询；支持调度任务按照任务运行时间排序；支持统计全局调度任务运行时间。调度资源分配子模块：动态分配不同调度任务的资源使用情况。支持动态分配修改调度资源(增加、减少)。

(4)统一调度情况监控预警模块全面掌控数据中台与外部uep、etl等调度任务调度流转与运行情况，使问题可能得到及时解决。统一调度情况监控预警模块包含调度情况监控子模块、调度异常处理子模块以及调度监控预警子模块。调度情况监控子模块：获取数据调度任务的实时运行情况，查看已完成、运行中、运行失败的调度任务，提供日志查看功能。支持可视化查看调度任务的运行状态；支持统计任务各个运行状态的数目；支持查看任务运行详细日志。调度异常处理子模块：可对运行异常的数据任务处理，包括重启、中止、查看影响范围等。支持手动重启、中止调度任务；支持提供血缘链路，血缘链路可体现当前任务涉及的数据表在任务流程中涉及到哪些任务之间的关系；支持评估异常任务影响范围；支持单任务重跑、多任务重跑。调度监控预警子模块：对于重要的任务可设置预警，出现异常后即任务运行失败及时通知运维人员处理，支持短信通知或邮件通知等手段。支持任务预警设置，出现调度任务异常后以短信或邮件等手段通知运维人员。

(5)数据中台多环节异构工具集成模块提供统一适配器、动态联动组件，保证数据中台与外部系统的数据传输同步的一致性，避免由于调度的无序性导致数据质量的下降与数据的不准确。统一适配器：支持多环节异构工具的统一适配，对多环节异购工具进行统一管理，获取多环节异构工具的状态信息并对其进行有效监控，当多环节异构工具出现问题时及时报警进行人工干预处理。常见的异构工具有SG-UEP，是类数据传输工具，负责将数据中台的数据投送到其他应用中；还有ETL工具，是数据交换工具，负责数据中台数据与其他系统的数据清洗与交互。动态联动组件：依托统一调度引擎，从全局高度，将中台内部的调度任务与中台外部的系统的任务进行动态串联，根据业务需求，数据中台的调度任务自动触发多环节异构工具运行，打破原有数据中台与外部系统的数据时效性壁垒，使一条数据业务线对于用户来说是一个黑盒任务，用户不需要关心调度任务的内部依赖关联关系，只需要关注业务线的输入数据与输出结果。

参照图2，数据中台统一任务调度管理系统的工作流程主要为：系统启动后，初始化调度管理系统的运行环境，检查运行环境是否正常，如果环境异常，重新进入环境初始化；如果运行环境正常，加载调度管理工具调度引擎，加载任务调度配置参数，加载调度任务所需资源，调度任务开始运行，完成调度任务的执行。

本发明按照现场项目实施例进行了说明，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此凡采用等同替换或等效变换的形式所获得的技术方案，均落在本发明的保护范围之内。