大数据背景下基于动态可配置规则的数据清洗框架

摘要

本发明属于大数据处理和分析领域，是一种用于大数据环境下的基于动态可配置规则的数据清洗框架。本发明方法是一种跨领域的、可重用的、可配置的、将数据转换和数据检查以及数据修复三者合为一体的新方法，从而提高了清洗过程的描述能力和执行效率。通过多个真实数据集的实验结果表明该系统可以将动态可配置规则无缝集成于多个数据源和多种不同应用领域，并在多个项目中予以实施，进一步验证了该方法在真实场景中的有效作用。