任意前馈神经网络的稀疏化算法

摘要

主要讨论前馈神经网络的稀疏化,即如何确定和删除网络中冗余的神经元和连接。首先给出前馈神经网络的数学定义,并将偏序和拓扑排序引入到前馈神经网络的学习算法和稀疏化算法中。在此基础上提出了冗余神经元和连接的判断依据,并按照自构形和自调整的策略,提出了适用于前馈神经网络的自构形学习算法和自调整删减算法。实验结果表明,上述的稀疏化算法不仅能够有效地删除网络中冗余的神经元和连接,而且能够改善网络的性能。