一种有效的困难样本学习策略

摘要

针对困难样本在深度哈希算法中难以收敛以及过多的困难样本产生的噪声干扰问题,提出一种通过损失决定梯度的困难样本学习策略。首先,提出一种非均匀梯度归一化方法,通过计算困难与整体样本损失的比例,对整体样本反向传播梯度进行加权,提高模型对困难样本的学习能力;其次,针对存在过量困难样本的情况,设计了一种加权随机采样方法,根据损失大小对样本进行加权欠采样,滤除噪声并保留少量的困难样本避免过拟合。基于公开数据集,哈希特征检索平均精度值分别约提高了4.7%与3.4%。实验结果表明,该策略改进的哈希算法准确率优于对标哈希算法,能更好地学习到数据集中困难样本的特征信息。