结合瓶颈特征的注意力声学模型

摘要

目前基于注意力机制的序列到序列声学模型成为语音识别领域的研究热点.针对该模型训练耗时长和鲁棒性差等问题,提出一种结合瓶颈特征的注意力声学模型.该模型由基于深度置信网络(Deep Belief Network,DBN)的瓶颈特征提取网络和基于注意力的序列到序列模型两部分组成:DBN能够引入传统声学模型的先验信息来加快模型的收敛速度,同时增强瓶颈特征的鲁棒性和区分性;注意力模型利用语音特征序列的时序信息计算音素序列的后验概率.在基线系统的基础上,通过减少注意力模型中循环神经网络的层数来减少训练的时间,通过改变瓶颈特征提取网络的输入层单元数和瓶颈层单元数来优化识别准确率.在T IM IT数据库上的实验表明,该模型在测试集上的音素错误率降低至了17.80％,训练的平均迭代周期缩短了52％,训练迭代次数由139减少至89.