双损失估计下强化学习型图像匹配方法

摘要

学习型特征检测器利用神经网络来检测和匹配图像特征点,其网络参数通常通过优化低层视觉的匹配准确率而训练得到,然而在高级视觉任务中,低层图像配准率的提升未必能带来更佳性能。针对该问题,提出一种双损失误差策略下的强化学习方法,一方面,将学习不变特征变换(LIFT)所得到的特征点和描述符以概率形式表示,估算出图像间的相对位姿,并与真实位姿比较获得位姿误差。另一方面,利用匹配图像间极线约束的几何性质,估算出匹配特征点间描述子的误差。然后基于上述两种损失误差优化LIFT,最终学习得到神经网络参数。实验中使用H-Patches数据集和自制数据集,将图像输送到LIFT特征检测器和视觉管道中,以端到端的方式训练神经网络参数。实验结果表明,该算法显著提高了特征点的匹配精度。