一种基于Spark平台的并行序列模式挖掘方法

摘要

本发明公开了一种基于Spark平台的并行序列模式挖掘方法，针对现有的串行化序列模式挖掘算法在处理海量数据时计算能力低效的问题和现有的基于Hadoop的并行序列模式挖掘算法具有高IO开销和负载不平衡的问题，设计了合理的序列数据库分解策略，最大限度的解决了负载不平衡的问题。在此基础上根据MapReduce编程框架的特性，对原始GSP算法进行了并行化，利用Spark云计算平台的大规模并行计算能力提高了海量数据序列模式挖掘效率。