基于HBase的卫星空间数据查询系统设计与性能分析

摘要

随着航天技术与信息技术的融合，数据感知和采集范围得到极大的扩展，卫星空间数据资源的储备急速提升。卫星空间数据的4V(Volumn、Variety、Value、Velocity)特性，使得传统SQL型数据库因扩展性、并行性方面的限制，其存储及操作技术难以满足卫星空间数据的分析需求。而近年来快速发展的基于可并行计算和可扩展存储的Hadoop和HBase技术，为解决海量数据的存储和查询提供了一种有效途径。
　　如果缺乏系统的良好总体设计，卫星数据的时间特性及HBase中Rowkey的字典序排序特点，在实际应用中数据存入系统时容易造成系统的热点问题，影响系统的负载均衡及存储查询性能;同时随着导入系统的空间数据量增加，将促使系统Region不断地分裂和合并，对系统的写性能造成影响。此外，针对多维空间数据的范围查询，HBase基于列的查询需要进行全表扫描，导致查询效率低下，难以满足系统实际的查询需求。故针对以上问题分别从存储和查询两方面进行系统设计。在存储方面，提出了空间数据散列设计和系统预分区方案，有效地避免了系统的热点问题，实现了系统的负载均衡，同时，提高了系统的写性能;在查询方面，提出了一种GKD-HBase索引模型，结合了Grid和KD树两种索引方法，分别将二者作为第一和第二索引;使用Hilbert空间填充曲线对多维数据进行降维处理，将其转化为一维数据进行查询，从而有效提高系统的查询效率。最后，对本文设计的查询系统在存储和查询两方面进行性能测试分析。结果表明，对海量空间数据进行Rowkey散列和对系统进行预分区设计能有效避免系统集群的热点问题，使系统达到负载均衡，并得出当Region大小为7G时候，系统写性能达到最优的结论。在大数据环境下，本文提出的GKD-HBase索引能够高效进行海量多维空间数据的范围查询，与Grid索引相比具有显著性能优势，并为基于HBase卫星空间数据查询的实际应用提供有力支撑。
　　对卫星空间数据的查询结果进行关联分析可挖掘出大量潜在的海上或空中目标信息（如通过航空数据对海上及空中目标进行识别和追踪，而目标的识别和追踪又涉及对海量卫星空间数据的实时存储和快速查询问题）。而本系统的存储和查询设计能有效提高系统的存储性能和查询性能，具有一定的实际应用价值。

目录

声明

摘要

第一章 绪论

1．1 卫星空间数据查询系统建设的意义

1．2 空间数据查询方法的国内外研究现状

1．3 论文主要内容

1．4 论文组织结构

1．5 本章小结

第二章 基于HBase的查询及空间搜索技术

2．1 HBase原理简介

2．2 基于HBsse的查询方法

2．3 空间搜索技术

2．4 本章小结

第三章 基于HBase的卫星空间数据查询系统存储设计

3．1 卫星空间数据的特点

3．2 卫星空间数据的存储需求

3．3 表模式Rowkey结构设计

3．4 表模式Region预分区及算法描述

3．5 本章小结

第四章 基于GKD-HBase的卫星空间数据索引构建及查询设计

4．1 卫星空间数据的查询需求

4．2 GKD-HBase索引设计原则

4．3 GKD-HBase索引构建

4．3．1 GKD-HBase索引框架

4．3．2 GKD-HBase索引算法描述

4．4 基于GKD-HBase索引的查询

4．4．1 GKD-HBase索引的查询框架

4．4．2 GKD-HBase索引的查询算法描述

4．5 本章小结

第五章 基于HBase的卫星空间数据查询系统构建及性能分析

5．1 基于HBase的卫星空间数据查询系统构建

5．2 查询系统性能测试的评估问题

5．3 实验设置

5．4 系统存储性能分析

5．4．1 预分区对查询系统的存储性能分析

5．4．2 Region大小对查询系统的存储性能分析

5．5 系统查询性能分析

5．5．1 网格大小对查询系统的查询性能分析

5．5．2 GKD-HBase索引对查询系统的查询性能分析

5．5．3 系统扩展性对查询系统的查询性能分析

5．6 本章小结

第六章 结论及展望

6．1 结论

6．2 展望

参考文献

致谢

作者及导师简介