一种基于梯度的并行BP神经网络

摘要

自20世纪80年代,在Rumelhart和McCelland的一书中提出了误差逆传播算法(Error-Back-Propagation Algorithm),又称BP算法.由于BP网络具有中间隐含层,其误差逆传播算法有相应的学习规则可循,使得它对非线性模式具有较强识别能力,特别是其数学意义明确、步骤分明的特性,使其具有广泛的应用价值. 但BP神经网络并不完善,主要表现在:学习时间长,尤其在训练大规模的神经网络时;收敛速度慢,在单机环境下甚至不能确定它是否收敛.为减少网络训练时间,获得实时应用需要的时间,并行处理是很有必要的.本文研究并行训练计算方式存在的问题及基于梯度的并行神经网络模型。