基于语义边缘驱动的实时双目深度估计算法

摘要

针对立体匹配中不适定区域视差边缘模糊、视差不平滑、单个物体视差不连续、存在空洞的问题,提出了一种轻量化的实时双目深度估计算法,将场景图、通过语义分割得到的语义标签图和通过边缘检测得到的边缘细节图作为辅助损失,以地面真值图为主要损失,构造了联合损失函数,以更好地监督视差图的生成.此外,构造了一个轻量化的特征提取模块,以降低特征提取模块的冗余性,从而更好地简化特征提取步骤,提高了网络的实时性和轻量性.最后利用由粗到精的思想实现视差图的渐进细化过程,利用低分辨率视差图变形与高分辨率特征图融合的方式,分阶段生成不同尺度的视差图,细节特征逐渐丰富,从而获得了最终的精准视差图.在KITTI 2012数据集上得到1.72％的3px错误率,在Middlebury 2014数据集中,Vintge错误率为1.23％,Playroom错误率为2.23％,Recycle错误率为1.65％,并且在Scene Flow数据集上计算时间低至0.76 s,内存占用量为2.4 G,显著提高了立体匹配算法在不适定区域的准确性和计算效率,能够满足工程实践中的实时性要求,对于实时三维重建任务有着很重要的指导意义.