使用最小二乘法减少神经网络的隐单元

摘要

提出新的逐步减少神经元个数并保持神经网络性能的方法 .每一步中利用提出的规则之一选择被消去的单元 ,然后求解一个线性最小二乘问题调整网络中部分剩余权值 ,使简化网络的输入 -输出关系在训练集上尽量保持不变 .该方法可以得到比已有的启发式方法规模更小 ,但性能相近的网络 。