一种神经网络语言模型训练方法、装置、设备及存储介质

摘要

本申请公开了一种模型训练方法，包括：获取多组用于模型训练的批处理数据；通过运行于多块图形处理器上的多个计算节点，基于不同的批处理数据，并行训练同一神经网络语言模型；在当前轮次迭代时，通过多个计算节点中每个计算节点确定各参数的梯度；汇总各参数的梯度得到各参数的全局梯度，控制多个计算节点基于全局梯度同步进行参数更新；通过第一计算节点基于测试数据集对当前轮次更新后的神经网络语言模型进行性能评测得到当前语言模型性能指标值；通过第一计算节点广播当前语言模型性能指标值；根据当前语言模型性能指标值与上一轮次确定的语言模型性能指标值的大小关系，控制多个计算节点是否停止训练。本申请还公开了对应的系统。