一种并行的信息检索方法——基于最小分块的PageRank实现

摘要

大数据时代对信息检索效率提出了愈来愈高的要求.结合矩阵分块实现并行计算是提高PageRank检索效率的常用方法,但分块规则不理想时,分块后的并行计算将较为复杂,影响信息检索效率.提出一种基于最小分块,采用MapReduce框架实现PageRank算法的方法.实质是将结果矩阵中每次计算所需的元素作为最小分块,使用MapReduce并行框架分块存储计算.由于分块简单,计算所需分块在本地存储,减少了I/O传输开销.实验环境采用Hadoop平台,通过筛选和抽样方法,形成数据规模和稀疏度不同的实验矩阵,实验表明实现方法提高了PageRank算法的计算效率,从而奠定了改善信息检索效率的基础.