基于对等网络的文档搜索技术

摘要

对等计算(P2PComputing)作为一种全新的分布式计算模式越来越多的受到学术界和工业界的共同关注。由于P2P系统具有良好的可扩展性、鲁棒性和信息可用性，因而被认为是未来Internet应用的前沿技术之一。同时，由于互联网的出现，人们迫切的需要从网上的海量数据中进行有效的文本检索。基于对等网络的文档检索系统由于其分布计算的性质和良好的扩张性，可以增强系统检索大规模文本的能力，特别适合互联网上不断增长的信息检索的需要。目前，学术界提出了一些在对等网络进行基于关键词查询的文本检索系统，但是这些系统存在着消耗带宽过多，查询执行时间较长，搜索准确率不高和查询负载不平衡等缺点。针对以上的问题，我们提出了一种新的在DHT网络中进行文档发布和检索的方法，对于网络中节点选择和负载平衡方法进行了研究，并开发了两个基于对等网络的信息检索系统。本文的主要贡献如下： ·提出了KEYNOTE，一种新的基于Chord网络的信息检索平台。KEYNOTE采用全新的term-node的信息发布方法，大大减少了带宽消耗和存储代价。模拟实验证明，KEYNOTE可以应用到Internet规模的信息检索，并且成功解决了对等网络中的文档全局排序的问题。 ·提出了两种简单但是非常有效的基于DHT网络的节点选择方法。实验证明，这两种节点选择的方法可以保证大多数和查询相关的文档可以通过访问网络中一小部分节点来获得。设计了一种基于Chord的负载平衡方法，这种方法能够保证在O(10gN)的路由跳转数内实现某个节点上面关于某个关键词的负载平衡。 ·开发了两个基于对等网络的信息检索系统，包括基于非结构化对等网络的信息检索系统BSearch和基于DHT对等网络的消息检索系统SIPPER。

目录

文摘

英文文摘

论文说明：图目录

第一章引言

第二章相关工作

第三章DHT网络中信息发布和搜索技术研究

第四章节点选择和负载平衡研究

第五章系统开发

第六章总结

参考文献

致谢

作者在校期间发表论文

论文独创性声明及论文使用授权声明