一种面向长短期记忆网络的权值和激活值的量化方法

摘要

本发明公开了一种面向长短期记忆网络的权值和激活值的量化方法，包括步骤：1)收集长短期记忆网络的权重值和激活值数集；2)确定对应的目标量化范围，开始阈值遍历循环，根据计算出的不同阈值情况下的缩放因子和饱和值，将权重值和激活值进行缩放或置为饱和值；3)遍历完成后，分别计算权重值和激活值的初始数集与映射后数集的KL散度，最终分别输出正、负数方向截断阈值以及最小的KL散度值。本发明实现了将高精度浮点数训练完成的长短期记忆网络转化为定点数网络，创新性地设计了针对长短期记忆网络的权重值和激活值的量化结构，在保证算法硬件实施精度的同时，减小了硬件开销，提高了运行速度。