基于MapReduce的Web标签SOINN聚类算法

摘要

Web标签有助于用户根据自己特定的兴趣完成信息资源的分类、组织和检索然而,正是由于协同标记系统特有的公开性、自由化的特点,采用其对信息资源进行描述、组织、分类和检索，存在着信息描述不精确、标签组织混乱和标签语意模糊等问题。本章在这个背景下提出了三种基于特征向量表示法(FVR)的Web标签SOINN聚类算法:基于资源的特征向量表示法,基于其他共现标签的特征向量表示法和基于全集共现标签的特征向量表示法。同时将SOINN算法应用MapReduce框架进行并行化实验表明,当类中心数量超过2000时.三种分布式聚类算法FVR算法的召回率和准确度优于原始算法,可获得很好的加速比。从而证明本文提出的分布式聚类算法具有很好的可扩展性,可以应对更为海量的Web日志聚类分析系统中.