构建一个大规模、可扩展的数字图书馆检索系统架构

摘要

本课题来源于国家数字图书馆工程的1个子项目，目标是要研究如何构建一个数字图书馆检索系统，可以支持在5亿条元数据、1万人并发条件下，实现用户检索的亚秒级响应。 本论文从信息检索理论出发，介绍了当前数字图书馆检索系统的主要模式，比较了数据库检索系统和搜索引擎与数字图书馆检索系统在性能和功能上的差异，引入了集群系统作为数字图书馆检索系统的基础硬件平台，提出采用全文检索技术与集群技术相结合的模式建立数字图书馆检索系统架构。 检索系统起始设计为一个三层架构的系统，经过进一步优化为四层架构，并在此架构基础上，以千万级的元数据，大规模模拟并发做了一系列的实验，对实验结果作了分析和研究，最后对系统的扩展性进行了推演。 设计面向数字图书馆的检索系统，需要从检索技术和集群技术出发，采用软件系统和硬件体系结构相结合的技术解决方案，同时要尽可能的节约成本；利用该系统的扩展性和伸缩性，既可以扩大部署在国家级的大型数字图书馆项目，也可以缩小部署在国内的一些中、小型的数字图书馆检索系统上，从而带动国内数字图书馆的发展。 文章第一章主要介绍了信息资源和信息检索的概念，并对项目背景作了介绍。第二章介绍了数字图书馆检索系统的几种模式和与搜索引擎的差异。第三章介绍了集群技术。第四、五章着重介绍数字图书馆检索系统架构的基础理论和架构的设计，并通过实验进行了测试并做出推演。

目录

文摘

英文文摘

声明

第1章绪论

1.1数字信息资源概述

1.2信息检索原理及历史发展

1.2.1信息检索原理

1.2.2信息检索的历史发展

1.2.3数字图书馆与检索系统

1.3本章小结

第2章数字图书馆检索系统

2.1检索系统的效果评价指标

2.2数字图书馆检索系统分析

2.2.1数据库检索系统

2.2.2全文检索技术

2.2.3数字图书馆检索系统

2.3本章小结

第3章集群系统

3.1集群概述

3.2集群节点与网络连接

3.2.1集群节点类型

3.2.2集群网络连接

3.3集群的类别

3.3.1科学计算群集

3.3.2负载均衡群集

3.3.3高可用性群集

3.4集群与大型机比较分析

3.5本章小节

第4章数字图书馆检索系统架构

4.1基于集群检索系统架构理论基础

4.1.1单检索请求系统架构

4.1.2并发检索请求系统架构

4.2国家数字图书馆检索系统索引设计与部署

4.2.1中文信息处理字符集

4.2.2中文自动分词与索引设计

4.3国家数字图书馆检索系统架构原始设计

4.3.1检索系统架构起始设计

4.3.2检索系统起始设计的问题

4.4国家数字图书馆检索系统改进架构

4.5本章小结

第5章检索系统测试与推演

5.1检索系统测试

5.1.1实验环境

5.1.2检索负载格式与分布

5.1.3测试工具

5.1.4测试方法

5.1.5实验结果

5.2推演

5.2.1推演一

5.2.2推演二

5.2.3推演三

5.3本章小结

结论

参考文献

致谢