具有温度属性的人工神经网络学习算法的研究

摘要

“人工神经网络”（ARTIFICIALNEURALNETWORK）是一门是近年来再度兴起并得到迅速发展的前沿交叉学科,它是一种在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的工程系统.我们提出了一种新的有导师的多层感知器训练算法--具有温度属性的学习算法.该算法的神经元模型引入神经元的温度作为个体属性,并把这个参数看作是一种可调参数.整个算法由两个阶段组成,分别是在权值空间的Backpropagation阶段和在温度参数空间的梯度上升阶段.当BP阶段在权值空间的学习过程中陷入到一个未满足学习要求的极小值中时,刚开始梯度上升阶段,通过沿着梯度上升的方向修改温度参数的方式,这种学习算法可以比较有效的帮助网络脱离局部最小值.我们将新算法应用到异或问题,Parity问题和阿拉伯数字的识别问题等一系列训练任务来验证算法的性能.实验的结果表明新的算法具有脱离局部最小值的能力,因而比传统的BP算法有更加可靠的全局汇聚性能.由于采用确定性搜索方式,新方法相对于模拟退火技术有更快的汇聚速度.

目录

文摘

英文文摘

符号说明

1引言

2人工神经网络简介

2.1从人脑神经元到人工神经元

2.2人工神经网络模型

2.3人工神经网络特点

2.4人工神经网络研究的发展

3感知器及其学习算法

3.1感知器原理

3.2感知器的学习算法

3.3简单感知器的局限性

4误差反传训练算法(BP算法)

4.1多层感知器

4.2传统BP训练算法

4.1.1BP算法的数学表达

4.1.2传统的误差反传算法的缺陷

5局部最小值问题

5.1误差平面与局部最小值

5.2基于BP网络的模拟退火算法

6具有温度属性的神经网络学习算法

6.1新的神经元模型——具有温度属性的神经元

6.2具有温度属性的神经元网络学习算法的数学描述

6.2.1 Backpropagation阶段

6.2.2梯度上升阶段

6.2.3局部最小值的判断

7实验模拟

7.1实验方法

7.2异或问题(exclusive-or problem)

7.3 N-Parity问题(N-Parity problem)

7.4阿拉伯数字识别问题(Arabic Numeral Recognition Problem)

8结束语

参考文献

致谢

攻读学位期间发表的学术论文