人工神经网络语言模型的快速计算方法

摘要

基于深度神经网络(DNN)和递归神经网络(RNN)的语言模型(LM)在超大规模词汇量连续语音识别(ULVCSR)应用中极大的提高了识别性能.这类方法沉重的计算负担,却成为在实际产品应用中的障碍.其原因主要是ULVCSR的词表极大,导致DNN/RNN LM中归一化因子的计算量巨大,本文研究了一系列减少归一化因子计算量的方法.实验表明,本文所探讨的方法均可极大降低计算量,其中自归一化方法可以减少多达99.6％的计算量,同时几乎对识别精度不产生影响.