基于Hive的空气质量大数据查询优化方法

摘要

为了提高对环境空气质量监测系统中省级环境监测中心站里已汇集的海量监测数据的统计和分析效率,提出了一种基于Spark集群在Hive上进行多维数据分区的查询优化方法.以湖北省环境监测中心站中的空气质量监测数据为研究对象,将数据转移到Spark集群利用Spark SQL连接Hive并进行分区存储.设计了12种查询,查询4个数据集,通过与采用传统查询方法的实验对比得出结论.实验结果表明:基于Hive的分区优化方法对空气质量大数据的查询时间有47％到96％的优化,而随着查询的复杂程度和数据量的增加,该方法的优化效果越明显.