基于内存数据库的OLAP并行查询处理技术研究

摘要

根据OLAP查询的特点和内存数据库的性能特征提出了由多个内存数据库组成的并行OLAP查询处理系统，将OLAP应用中的多维聚集查询分布到各个计算节点并行进行聚集计算并将聚集计算的结果进行合并输出.与其他并行处理方法相比，该算法充分利用OLAPDB结构中维表远小于事实表的特性，根据数据库中事实表的数据量和节点的数据处理能力进行水平数据库分片并根据聚集函数的可分布计算特性，提高查询处理的并行度，延迟并行查询处理中的合并过程，充分利用节点的并行处理能力，减少并行查询处理过程中的数据通讯量，提高系统并行查询处理性能.该算法易于实现，具有较好的可扩展性和性能，适用于企业级海量数据处理领域的需求.