基于核方法的脉冲神经元脉冲序列在线学习研究

摘要

人工神经网络已经成功应用在很多领域，近年来研究者们对人工神经网络的关注逐渐转向了更具生物特性的脉冲神经网络，尤其是脉冲神经网络学习算法的理论研究。从对脉冲序列的学习方式来看，脉冲序列的学习算法主要可分为离线学习和在线学习。传统的脉冲神经网络大都采用离线的学习方式，一般适用于静态数据的学习，然而对于实时性数据的处理，在线学习方式则更具有优势。由于脉冲神经元内在的不连续和非线性机制，构建高效的脉冲神经网络在线学习算法非常困难，同时也是该研究领域的重要方向。
　　本文首先对脉冲神经元的建模方法和几种常见的脉冲神经元的模型进行讨论，基于传统的神经元学习规则 Widrow-Hoff规则，给出了脉冲神经元突触权值的在线学习规则和线性脉冲序列核的在线学习算法。并通过不同核函数的性能对比，脉冲序列的学习过程和不同参数设置时的学习性能对该算法进行实验分析，经实验结果表明，对于大规模数据集和复杂环境的学习问题，该算法的学习精度和速度都要高于相同条件下的离线学习方式。
　　其次，从神经元突触信息传递过程来看，脉冲序列核的在线学习算法是线性的，因为它忽略了树突信息的传递特性。因此从生物可解释性的角度，本文基于两种脉冲神经元脉冲序列的非线性机制，给出了两种非线性脉冲神经元突触权值的学习规则和非线性脉冲序列核的在线学习算法。并通过不同核函数、脉冲序列学习过程、不同输入神经元数目、不同脉冲序列的发放频率和不同输入脉冲序列的长度对该算法进行分析，实验结果表明更具生物特性的非线性脉冲序列核在线学习算法的学习精度和速度都要高于相同情况下的线性过程。
　　最后，由于每个核函数本身都具有不同的空间映射特性，在不同的应用情景下，会产生较大的性能差别，而线性和非线性在线学习算法都是基于单个特征空间的单一核函数，因此我们考虑将多个核函数进行组合，从而来获得更加稳定高效的脉冲序列核表示方式。于是我们将支持向量机中的多核学习机制引入到脉冲序列的在线学习中，采用基本多核学习中的合成核方法对核函数进行组合，提出了基于多脉冲序列核的脉冲神经元在线学习算法，本文中主要采用合成核方法中的累加核方法和乘积核方法来构造脉冲序列多核学习机制。并通过对输入脉冲序列的复杂程度、输入脉冲序列的长度和输入神经元的数目实验来验证多脉冲序列核在线学习算法的性能，实验表明该算法具有较高的学习效率和更稳定的学习性能。

目录

封面

声明

西北师范大学研究生学位论文作者信息

目录

中文摘要

英文摘要

1 绪论

1.1 研究背景及意义

1.2核方法的相关理论

1.3神经网络在线学习算法的研究进展

1.4本文的研究工作

1.5论文的组织结构

2 基于线性脉冲序列核的脉冲神经元在线学习算法

2.1脉冲神经元模型概述

2.2 脉冲序列及其核的表示

2.3基于线性脉冲序列核的在线学习算法

2.4实验结果与分析

2.5本章小结

3基于非线性脉冲序列核的脉冲神经元在线学习算法

3.1脉冲神经元的非线性突触模型

3.2基于非线性脉冲序列核的在线学习算法

3.3实验结果与分析

3.4本章小结

4基于多脉冲序列核的脉冲神经元在线学习算法

4.1多核学习算法的研究概述

4.2脉冲序列核的合成方法

4.3基于多核的脉冲序列在线学习规则

4.4模拟实验

4.5本章小结

5 总结与展望

5.1文章总结

5.2研究展望

参考文献

7攻读硕士学位期间的学术成果

致谢