面向数据空间的倒排列表并行化查询方法研究

摘要

当今社会在生产与生活中产生的数据越来越多。以前，以结构化数据为主，现在随着互联网的发展，非结构化资源成为主流，要在这些异构数据中快速查询有用的信息，索引的架构直接影响海量异构数据检索的效果。如何架构高效的索引成为解决海量异构数据查询的关键问题。
　　现在主要研究的是异构数据，为了适应异构数据的特点，提出了数据空间的概念，来解决目前数据管理领域的困难。数据空间支持对多数据源的多种查询，类似已经存在的桌面搜索系统。倒排列表这种索引架构适应数据空间中检索数据，如何利用用户搜索信息和倒排列表本身特点，更好对索引架构进行改进已成为异构数据索引架构的研究重点。
　　本文对各种倒排索引架构进行研究分析，总结了各种索引架构的优缺点和系统负载均衡的要求，提出了利用关键词频率和齐夫定律概率分布函数来对垂直划分的倒排列表进行划分。和其他倒排列表的划分方法相比，更能使数据空间系统达到性能均衡的效果。
　　在垂直划分的倒排列表基础上进行属性领域划分，构成扩展的二维索引架构，减少了无关元组的匹配和排序时间消耗，提高了查询处理性能。增加改进后的二维索引副本个数，可以构成三维索引架构，增加了系统并行处理查询任务的能力。实验结果表明利用齐夫定律概率分布函数对垂直划分的倒排列表进行划，和对垂直划分的倒排列表进行属性领域划分扩展成二维索引，从而在扩展成三维索引，可以使系统处理查询任务时达到负载均衡状态和增加系统处理查询的并行能力。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1课题的研究背景及意义

1.2 国内外研究现状

1.3 主要研究内容和预期研究成果

1.4 本文的组织结构

第2章 数据空间中倒排列表相关研究

2.1 数据空间中异构模型

2.2 倒排列表研究

2.3 本章小结

第3章 基于齐夫定律的倒排列表划分

3.1 研究概述

3.2 面向数据空间的倒排列表并行化

3.3扩展倒排列表并行算法

3.4本章小结

第4章 多维索引查询方法

4.1研究概述

4.2问题的提出

4.3多维索引的体系架构

4.4 本章小结

第5章 实验及结果分析

5.1 实验数据集

5.2 实验平台及环境

5.3 实验结果及分析

5.4 本章小结

结论

参考文献

致谢