一种用于提升深度学习分类模型准确率的正则化损失函数

摘要

针对现有深度学习分类模型存在由标签边缘化效应引起的过拟合问题,提出了一种新的正则化损失函数--得分聚类损失函数.该函数为每个类别学习一个得分中心,将同类别样本的得分向得分中心聚集.得分中心经过softmax函数归一化后的概率向量,即为最佳的平滑标签.该函数避免了根据经验手工设置标签平滑系数,起到了自动平滑标签的作用,从而减轻了模型过拟合的风险.给出了得分聚类损失函数的定义和推导,并在刚性和非刚性图像分类任务上与其他正则化损失函数进行了实验比较.实验结果表明,应用本文的得分聚类损失函数能显著提高分类模型的准确率.