基于视差图融合的三维超分辨率方法

摘要

本发明是一种基于深度图融合的三维超分辨率方法，涉及计算机视觉领域。该方法引入相位相关算法：平移双目摄像机组获得同一场景的多幅深度图，利用相位相关的特性算出每幅深度图各像素与基准深度图的平移参数，根据平移参数将各深度图中的像素逐一插入到基准深度图，再由基准深度图对应摄像机参数将深度图投影到三维空间，最后得到超分辨率三维重建结果。解决双目三维重建系统在实际应用中，由于图像采集设备分辨率低、信噪比低等因素，导致三维重建结果分辨率较低的问题。

说明书

技术领域

本发明涉及一种三维超分辨率算法，尤其涉及一种基于视差图融合的三维超分辨率算法，属于计算机视觉领域。

背景技术

三维重建是计算机视觉领域中的重要研究方向之一，其目的是从单幅图像加景物约束或从两幅、两幅以上图像恢复空间点的三维坐标。三维重建在医学图像处理、虚拟现实和数字媒体创作等领域有着广泛应用。双目三维重建直接模拟人类双眼处理景物的方式，从两个视点观察同一个景物，即由不同位置的两台摄像机拍摄同一场景，以三角测量为基础，计算空间点在两幅图像像素间的视差来恢复目标物体的视差信息，进而获取物体的三维形状。但在实际应用中，图像采集设备分辨率低、信噪比低等因素，均会导致三维重建结果分辨率较低，不仅不能获得良好的视觉效果，还影响了基于重建结果测量的精准性。目前针对这一不足，一方面可以提高硬件条件，如使用较高分辨率的摄像机，但会增加成本；另一方面可以对采集图像进行超分辨率处理，然后对处理后的图像进行三维重建，获得较高分辨率的三维重建结果，但该类方法受限于图像超分辨率的性能，若目标分辨率与原始分辨率相差过大，该类方法也很难满足要求。

发明内容

本发明所要解决的技术问题是提供一种基于视差图融合的三维超分辨率方法，在低分辨率成像条件下，提高双目重建系统的三维重建结果分辨率。

本发明的解决方案是：通过平移双目摄像机组获得同一场景的多幅视差图，利用相位相关的特性算出每幅视差图各像素与基准视差图的平移参数，根据平移参数将各视差图中的像素逐一插入到基准视差图，最后由基准视差图对应摄像机参数将融合后视差图投影到三维空间得到超分辨率三维重建结果。

本发明为实现上述解决方案，其方法步骤如下所示：

1. 通过平移双目摄像机组获得同一场景的多幅视差图。保持两个摄像机的相对位置不变，对双目摄像机组作平行于摄像机成像面的平移，拍摄N组双目图像对{                                                ，  ，通过立体匹配算法求取各组图像对相应的视差图   ；

2. 利用相位相关法算出每幅视差图各像素与基准视差图的平移参数。指定基准视差图  （base ∈ {1，2, 3 …… N}），以每像素（x,y）为中心，截取R*R的方形窗口  。同样对其余视差图 (other ∈{1，2, 3 …… N} 且 other ≠ base)，以每像素(x,y)为中心，截取R*R的方形窗口 。分别对 、  进行傅里叶变换得到  、 。进一步计算互功率谱：   （*表示复共轭）,将互功率谱进行傅里叶逆变换得到脉冲函数σ，由其峰值位置得到各像素点平移参数（ , ；

3. 根据平移参数将各视差图中的像素逐一插入到基准视差图并投影到三维空间。根据已知基线B、相机焦距f、CCD水平像素间距px、CCD垂直像素间距py、图像中心坐标（midHeight, midWidth），将基准视差图投影到三维空间,对像素（u,v）有：

X =   

Y =   

Z =   

然后根据与基准视差图的平移参数，将其余视差图各像素（u,v）投影到三维空间：

X =   

Y =   

Z =   

得到基于视差图融合的超分辨率三维重建结果。