一种神经网络规则化位串行计算的压缩方法及装置

摘要

本发明公开了一种神经网络规则化位串行计算的压缩方法，它包括：步骤1、对已训练的全精度神经网络模型中的权重和激活值进行量化；步骤2、对量化后的神经网络模型进行带有指导性的位稀疏训练；步骤3、对位稀疏训练的神经网络模型进行组结构化约束训练来解决权值中非零比特分布不均匀的问题；步骤4、将训练好的神经网络模型部署到带有结构化位串行乘法部件的神经网络加速器上；解决了现有技术位串行加速器虽然能提高权值位稀疏度，但位稀疏度在权值中的分布依旧不均匀，也存在加速器中运算单元负载不均衡的问题。