流数据环境下基于k集合覆盖的分布式标签共现算法

摘要

通过分析集值属性的标签共现频率,可以挖掘频繁模式以及进行异常的检测.为了提高标签共现计算的性能,提出了一种流数据环境下基于后集合覆盖的分布式标签共现算法.采用多集合的容斥原理对标签共现问题进行了分析,并提出了一种分布式标签共现计算流程;通过引入信息检索中的倒排索引对标签及其出处进行索引,基于k集合覆盖的思想将整个倒排索引划分到多个分布式从节点上,并根据流数据的变化动态地更新每个从节点的局部索引,在对所有从节点的结果进行汇聚后得到最终结果.实验表明,提出的基于k集合覆盖的分布式标签共现算法与其他算法相比较,不仅具有较低的平均更新时间,而且使用更少的索引副本,因而更适用于大规模流数据的标签共现计算.