一种基于深度学习的多标签文本分类场景下的噪声标签检测方法及系统

摘要

本发明公开了一种基于深度学习的多标签文本分类场景下的噪声标签检测方法，包括以下步骤：步骤A：获取初始数据集：包含噪声标签的多标签文本分类数据集D；步骤B：设定BERT预训练模型中所有参数为W，训练时常数学习率为η；步骤C：训练过程中采用动态学习率进行训练，并同步更新W；步骤D：在训练过程中，记录每个样本的每个二分类任务，即每个标签类别对应的损失函数值Li,j，并进行标准化计算；步骤E：计算每个样本的每个二分类任务在所有训练轮次中的标准化损失值之和步骤F：将每个样本的每个标签类别根据降序排序以得到每个样本的每个标签类别为噪声标签概率的排序R。