阿里云上基于规则的数据质量管理系统的设计与实现

摘要

按照国家税务总局“互联网+税务”行动的战略部署，随着数据集中、大数据应用等项目的逐渐开展，各省对于数据质量提升的需求，越来越迫切。为了满足总局对数据质量提升的需求，为了指导数据质量工作的开展，建立一个完整、准确的数据质量管理体系，架设一个专业、高效的数据质量监控平台，成为一种必然的趋势。
　　本文所描述的是采用B/S网络架构、Sword框架、J2EE技术与java语言实现数据质量管理系统。该系统同时运用了成熟的阿里云技术和产品，包括对象存储(OSS)、大数据计算服务(ODPS)、云数据库(RDS)和云服务器(ECS)，等。系统设计时采用了包含展示层、服务层、中间层、数据层的四层架构，同时采用云数据库(RDS)进行数据存储。本系统所使用的关键技术除了阿里云相关的一系列组件外，还运用了JSqlParser插件解析SQL语句，运用Quartz组件进行任务调度。
　　经过设计与实现环节，数据质量管理系统所实现的功能有质量需求管理功能、质量规则管理功能、质量任务管理功能、质量问题管理功能和质量问题监控功能。其中，质量需求管理最终实现质量需求定义和质量需求维护。质量规则管理最终实现质量规则定义和质量规则维护两个功能菜单。质量任务管理最终实现质量任务定义、质量任务维护、质量任务审批、质量任务运行监控和质量任务结果查看五个功能菜单。质量问题管理最终实现质量问题定义、质量问题维护和质量问题推送三个功能菜单。质量问题监控最终实现问题监控总览、质量整改监控和质量问题统计查询三个功能菜单。
　　数据质量管理系统的应用，在一定程度上规范数据质量管理的流程，使得数据质量的分工和责任更加的清晰明确。系统的整个流程实现从上到下，再从下到上的一个环路，以规则为基础循环前进，实现数据质量的不断提高。在循环中建立一个统一的规范的质量规则库，可供全国各个省份参考使用。系统利用先进的大数据技术，实现对海量数据的分析和监控;充分发挥云计算的优势，突破了以往ORACLE数据库针对海量数据进行分析时效率低下甚至出现无法得到最终结果的窘境。

目录

声明

摘要

1．1 系统开发背景

1．2 国内外研究现状

1．3 本文的主要工作

1．4 本文的组织结构

第2章 需求分析

2．1 系统功能定义

2．2 系统角色分析

2．3 系统流程分析

2．4 功能用例分析

2．4．1 质量需求管理用例分析

2．4．2 质量规则管理用例分析

2．4．2 质量任务管理用例分析

2．4．2 质量问题管理用例分析

2．4．2 质量问题监控用例分析

2．5 非功能性需求分析

第3章 系统设计

3．1 系统概要设计

3．2．1 总体架构设计

3．2．2 技术架构设计

3．2．3 功能架构设计

3．2．4 代码结构设计

3．2 系统详细设计

3．2．1 质量需求管理详细设计

3．2．2 质量规则管理详细设计

3．2．3 质量任务管理详细设计

3．2．4 质量问题管理详细设计

3．3 系统数据库设计

3．3．1 概念模型设计

3．3．2 逻辑结构设计

第4章 实现与测试

4．1 关键技术实现

4．1．1 阿里云组件接口调用

4．1．2 JSqlParser语句解析

4．1．3 Quartz任务调度

4．2 系统实现效果

4．2．1 登录功能界面实现

4．2．2 质量需求管理模块功能实现

4．2．3 质量规则管理模块功能实现

4．2．4 质量任务管理模块功能实现

4．2．5 质量问题管理模块功能实现

4．2．6 质量问题监控模块功能实现

4．3 系统测试

第5章 总结与展望

参考文献

致谢