大规模语言模型去偏倚方法、系统、设备及存储介质

摘要

本发明提供一种大规模语言模型去偏倚方法、系统、设备及存储介质，包括：获取基于神经网络的大规模预训练语言模型；针对所述大规模预训练语言模型采用数据自生成方法获得用于性别偏倚分析的文本数据，形成语料库，基于所述语料库建立一系列模板；利用所述模板计算所述大规模预训练语言模型的性别偏倚水平，根据性别偏倚水平反向传播计算大规模预训练语言模型的纠偏梯度；根据纠偏梯度更新大规模预训练语言模型中的模型参数，重复寻优更新直至满足预设更新完成条件，得到去性别偏倚的大规模语言模型。因此本发明从信息论的角度分析语言模型的性别偏倚，且将偏差修正问题视为多目标优化问题，以减少偏倚，采用自动生成算法来解决训练数据不足的问题。