基于MapReduce的SON算法实现

摘要

在挖掘频繁项集的算法中,SON算法能够有效地降低CPU和I/O负载,但是SON算法在单节点上运行时仍然受限于内存和CPU;并且随着海量数据的来临,单节点也无法满足数据的存储。在深入研究SON算法的基础之上,提出了MapReduce编程模型实现SON算法的方法。算法的执行需要两轮MapReduce迭代,第一轮迭代求出局部频繁项集,第二轮迭代求出全局频繁项集。实验结果表明:SON算法采用MapReduce编程模型并行化后,部署在Hadoop集群上运行,随着分区数目的增加能够获取较好的加速比。