一种基于异构数据源的分布式数据质量监测系统及方法

摘要

本发明公开了一种基于异构数据源的分布式数据质量监测系统及方法，属于数据分析技术领域。本发明的基于异构数据源的分布式数据质量监测系统包括规则配置模块、质量评分模块和分布式监测架构；规则配置模块用于满足特定需求下的质量评估，支持内置和自定义检测规则配置；质量评分模块用于对检测结果进行统计和分析，动态的给出数据治理建议；分布式监测架构用于将数据质量评估任务拆分为多个可并行的子任务，分发给执行节点进行并行处理。该发明的基于异构数据源的分布式数据质量监测系统通用性较好，可以满足多种复杂的需求，能将不同系统的数据进行比较，并能提供检测任务的执行效率，具有很好的推广应用价值。