幂激励和正交基神经网络的权值直接确定方法

摘要

人工神经网络（Artificial Neural Network，ANN，简称神经网络）是由大量神经元相互连接而构成的系统，以其并行处理、分布式存储、自适应自组织自学习和高度容错能力等特性，在诸多学科和领域取得了广泛的应用。作为一种重要和典型的神经网络模型，BP神经网络存在着诸如收敛速度慢、易陷入局部极小点、隐神经元数难确定、学习率难选取等各种不确定性的本质弱点。人们提出了许多改进算法，但似乎仍然无法从理论根本上解决这些长久以来存在的弱点。 本文根据数值逼近和多项式插值理论，从网络结构和激励函数入手，分别以一组阶次渐增的幂函数和多种正交多项式作为隐层神经元的激励函数，构造了一类可统一描述的新型前向神经网络模型。基于这类网络模型，探讨了其实现网络逼近的可行性和有效性。类似于误差回传（BP）的经典做法，推导出了其权值修正的迭代公式（包括标量形式和矩阵形式）。区别于反复迭代训练而达到最优权值的标准做法，本文基于矩阵伪逆的思想提出了一种权值直接确定的方法。该新方法可以一步直接计算出网络的最优权值，从而避免了传统神经网络算法冗长的迭代学习过程。 计算机仿真结果显示，本文所构造的新型前向神经网络模型和基于此类模型提出的权值直接确定方法，具有优良的函数逼近能力，学习速度快、仿真与预测精度高。并且其网络结构简单、易于硬件实现。 值得指出的是，在此权值直接确定法的基础上，本文还进一步探索出一种确定神经网络最优结构的方法。这种网络结构自确定法可以快速有效地计算出神经网络满足性能要求的最优隐神经元数。

目录

文摘

英文文摘

声明

第1章 引言

1.1什么是人工神经网络

1.2人工神经网络的生物学基础

1.3神经网络发展简史

1.4神经网络应用

1.5本文的研究内容与意义

1.6本文的基本框架

第2章 传统神经网络模型及学习算法

2.1人工神经元模型

2.2人工神经网络模型

2.3神经网络学习算法

2.4 BP神经网络模型及BP学习算法

第3章 幂激励神经网络权值直接确定法

3.1相关数学基础

3.2幂激励前向神经网络

第4章 正交基神经网络权值直接确定法

4.1正交多项式激励函数

4.2 Hermite正交基神经网络

4.3 Chebyshev正交基神经网络

4.4 Laguerre正交基神经网络

4.5小结

第5章 基于权值直接确定法的Laguerre正交基神经网络结构自确定算法

5.1神经网络结构自确定算法之步骤描述

5.2计算机仿真实例

5.3小结

第6章 结语

6.1权值直接确定法相对BP算法的突破

6.2权值直接确定法对网络激励函数的要求

6.3理论与应用上的新意

参考文献

攻读学位期间学术成果

致谢