基于局部感知递归神经网络的字符级语言模型预测方法

摘要

本发明公开一种基于局部感知递归神经网络的字符级语言模型预测方法，使用递归神经网络的处理形式，将三层网络按层次组合在一起，低层次获取局部字符间的特征，高层次获取文本的语义特征，从而使新模型具有更强的信息综合能力，且更容易处理较长的数据序列。该方法使用BPTT‑RNN(递归神经网络反向传播算法)有监督的方法训练；首先使用adadelta(自适应学习率调整)优化训练至测试集BPC低于1.45，使之快速收敛，再使用学习速率0.0001、动量为0.9的SGD(随机梯度下降)优化方法训练，以获得较好的测试结果。