基于Spark的自适应差分进化极限学习机研究

摘要

为了解决传统自适应差分进化极限学习机(SaDE-ELM)在单机环境下运行效率低下的问题,本文提出了基于Spark平台的并行化自适应差分进化极限学习机算法(PSaDE-ELM).该算法的主要思想是:将差分进化算法中的原始种群均匀地分割为几个子种群,每个子种群均占有RDD的一个分区,在每个分区中使用SaDE-ELM算法独立进化,并且周期性地将各个子种群中的最优个体按照一定的拓扑结构替换掉其他子种群的最差个体,以此来达到各个子种群共同进化的目的.实验结果表明:PSaDE-ELM算法的预测准确率与SaDE-ELM算法相比基本没有丢失,且随着数据集样本数或子种群数量的增加,算法的运行效率至少提升了1.5倍,在一定程度上证明了本文提出的并行化算法的有效性.