用于预训练语言模型的处理方法和口语语言理解系统

摘要

公开了一种用于预训练语言模型的处理方法和口语语言理解系统。所述方法包括：获取对样本中的字进行掩码处理的掩码训练样本；将掩码训练样本输入所述预训练语言模型，获得所述预训练语言模型针对被掩码字输出的损失值；在所述预训练语言模型将被掩码字预测为所述被掩码字同音或近音字时，降低所述损失值；以及根据所述损失值，调整所述预训练语言模型中神经网络模型的参数。由此，通过在预训练期间在输入文本的某些部分被同音字或近音字替换时减少语言表示的波动来得到对自动语音识别错误具有鲁棒性的预训练模型，即，得到能够容忍自动语音识别模型错误的预训练模型。