一种卷积神经网络的模型压缩算法

摘要

卷积神经网络的研究取得一系列突破性成果,其优秀表现是由深层结构支撑的.针对复杂的卷积神经网络在参数量及计算量上存在大量的冗余问题,提出一种简洁有效的网络模型压缩算法.首先,通过计算卷积核之间的皮尔逊相关系数判断相关性,循环删除冗余参数,从而压缩卷积层.其次,采用局部-全局的微调策略,恢复网络性能.最后,提出一种参数正交正则,促使卷积核之间的正交化,进而减少冗余特征.实验结果表明,在MNIST数据集上,该压缩算法能够在不损失测试精度的前提下,使AlexNet卷积层的参数量压缩率达到53.2％,浮点操作计算量可以减少42.8％,并且网络模型收敛后具有较小的误差.