海量数据的一种集合模糊匹配关联算法

摘要

在海量数据背景下,在实际数据匹配关联时,集合数据往往因失真而不能做到精确匹配,再者由于数据量的急剧增加导致匹配之后的一般关联操作效率较低.因此,本文借助优化后的分布式处理策略提出了一种在Hadoop平台下进行集合模糊匹配度的关联算法(A Fuzzy Matching Linking Algorithm about Set under Hadoop,FMLASH).在相同实验环境下,FMLASH算法与MRSimJoin 算法相比,在处理时间上缩小20％,并且FMLASH算法在增加节点数和数据量时表现出更好的可扩展性.