一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置

摘要

本申请实施例提供了一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置，充分考虑了交通大数据存在的质量问题，建立了针对相似重复数据、缺失数据以及异常数据的数据清洗规则库，在进行数据清洗时只需要通过调用数据清洗规则库中相应的清洗配置文件便可进行数据清洗，解决了现有技术采用聚类的方法获取到相似特征数据，仅对缺失数据进行了补全，针对异常和错误数据选择了简单粗暴的进行更新和剔除，存在的数据清洗不实用，清洗规则不健全的技术问题。