面向多核的并发HTM空间池算法

摘要

层级时序记忆(Hierarchical Temporal Memory,HTM)是一种模拟生物大脑皮层结构的神经形态机器学习算法.由于HTM空间池(Spatial Pooler,SP)训练时需要搜索整个模型空间查找活跃微柱,算法时间复杂度高且不适用现有方法进行加速.针对此,本文提出了面向多核的并发HTM空间池算法,利用多核处理器的并发计算能力将空间池的训练分布在多个计算核心上并行完成,以加快查找速度,减少训练所需的时间开销.所提出的空间池训练方法包括基于分区的微柱激活策略和并发的近端树突调整算法.在多核大数据平台Phoenix上实现了面向多核的并发HTM(Multicore Concurrent Hierarchical Temporal Memory,MCHTM)空间池算法原型,并使用NYC-Taxi、NAB和MNIST数据集进行了测试.实验结果表明,MCHTM相较于HTM,在NYC-Taxi、NAB和MNIST数据集上空间池的训练时间开销分别降低97.29%、97.25%和96.29%,预测准确率分别提高3.28%、1.83%和0.91%.相同训练时间开销下,相较于长短期记忆网络(Long Short-Term Memory,LSTM),MCHTM在NYC-Taxi和NAB数据集上均方根误差分别降低0.1266和0.089,在MNIST数据集上准确率提高0.42%.