一种基于分布式存储计算架构的高效能海量空间数据管理方法

摘要

随着信息技术的发展和数据获取手段的增多,空间数据规模呈爆炸性增长,达到了PB 级甚至EB 级规模.而 且随着互联网技术的发展,大量并发用户可以方便地访问空间信息服务.海量空间数据与众多并发用户是目前空间 数据管理的两大主要挑战.目前单机空间数据库管理系统由于其在存储能力、计算能力、可扩展能力有限,无法有 效支持数据密集型空间应用,主要表现在:(1)单机系统性能无法适应持续增长的空间数据规模;(2)当并发用户访问 增多时,极易发生“单节点失效”问题,从而造成空间信息服务中断.本文提出一种基于分布式存储计算架构的在线 海量空间数据管理方法.该方法包含三个关键部分:(1) 空间数据切分和空间对象重组织机制; (2)可扩展分布式空 间索引机制; (3)热点空间对象缓存机制.利用本文方法能构建扩展性好、可用性高、查询处理性能强的空间数据管 理系统,因而能适应持续增长的空间数据和并发用户规模.实验结果表明,本方法在系统综合性能、I/O 读写和查询 处理方面要远优于目前常用空间数据管理方法.