基于DHT的分布式索引技术研究与实现

摘要

针对索引创建和维护效率不高的问题,设计了一种基于DHT(Distrbuted Hash Table)的分布式倒排索引构建算法.该算法利用基于改进的Chord网络的分布式哈希表技术,将分词后的结果分散到多个索引服务器上并行构建索引,同时采用前驱列表定位和减少服务器定位延迟的技术,大大缩短了索引构建时间.通过采用统一调度的基于分块的增量式倒排索引更新策略,索引更新时不再需要移动已有的索引文件,提高了索引更新效率.利用周期性稳定算法和前驱列表定位提高了系统的稳定性、容错性和索引的一致性.