Hadoop平台下基于快速搜索与密度峰值查找的聚类算法

摘要

针对K-means并行化算法中需要人为初始化起始中心点以及每次迭代都要重复计算所有点与中心点距离的低效率问题提出了一种基于快速搜索与密度峰值查找的并行化算法.采用了"化整为一"原则对算法进行并行化处理,即将每个节点的Map阶段得到的局部CFSFDP聚类结果集中的每个簇视为一个待聚类样本点,在Reduce阶段将这些样本点再进行一次CFSFDP聚类,从而能够快速的将相似的簇聚集在一起归并为同类别.采用Hadoop平台下的并行编程方法,以海量的新闻信息聚类进行实验.实验结果显示,嵌入了基于快速搜索与密度峰值查找的聚类算法后,相对于传统的K-means并行化算法在效率与聚类的结果准确度上都有着明显的提升.