一种基于迭代指导滤波的立体匹配方法

摘要

本发明涉及计算机视觉、航空摄影测量及工业自动化领域，具体涉及一种基于迭代指导滤波的立体匹配方法。本发明包括：计算原始匹配成本；根据指导图像的灰度变化为每一待匹配点确定支撑窗口大小；根据支撑窗口大小利用指导滤波累积原始匹配成本；计算视差；根据计算视差图修正原始匹配成本；重复执行步骤（3）直到达到给定的最大迭代次数为止。本发明利用积分图像技术计算自适应窗口及指导滤波，有效提高了立体匹配方法的匹配效率；该方法利用计算视差修正原始匹配成本并用指导滤波进行累积，增强了匹配成本对噪声及辐射差异的鲁棒性，进而提高了视差匹配的准确率。

说明书

技术领域

本发明涉及计算机视觉、航空摄影测量及工业自动化领域，具体涉及一种基于迭代指导 滤波的立体匹配方法。

背景技术

立体匹配是计算机视觉领域中的一个热点问题，它利用同一场景的两幅或者多幅图像抽 取场景的三维信息。目前为止，已经提出了大量的立体匹配方法解决立体对应问题，这些立 体匹配方法根据视差选择方式不同可大致分为：局部立体匹配方法和全局立体匹配方法。局 部立体匹配方法是利用“胜者全取”方法选择视差，而全局立体匹配方法则是通过全局优化 方法选择视差。这些立体匹配方法最终都是通过最小化匹配成本选择视差，因此定义和计算 匹配成本是局部及全局立体匹配方法的关键所在。匹配成本的好坏直接影响立体匹配方法的 匹配精度，匹配成本的一般计算方法是通过在一个预定义支撑区域内累积原始匹配成本即成 本累积。成本累积主要包含两类：一类是基于自适应窗口成本累积方法，另一类是基于自适 应权重成本累积方法。基于自适应窗口成本累积方法的主要原理是为每一点选择一个合适的 支撑窗口，尽量保证窗口内所有像素点的视差都等于待匹配点的视差，即保证支撑窗口内的 局部场景符合“前视平坦”假设。如果当支撑窗口内像素点的视差存在较大变化时，则会导 致立体匹配方法产生“粘合”现象。这种现象多发生在物体边界处，这是因为在物体边界处 的支撑窗口经常包含了不同视差。基于自适应权重成本累积方法的主要思想是根据指导图像 为支撑窗口内的像素点计算权重信息，然后根据其相应的权重信息累积原始匹配成本。该方 法可以有效解决立体匹配当中的“粘合”现象及匹配不确定性问题，其匹配准确率接近于全 局立体匹配方法，但是该方法的时间复杂度过高。

Yoon K J等人在2006年提出一种基于自适应权重的立体匹配方法，该方法利用双边滤 波器累积原始匹配成本，然后通过“胜者全取”方法计算视差值。该方法可以获得高精度的 视差图，但是该方法的时间复杂度较高，之后人们陆续提出一些改进措施降低了该方法的时 间复杂度。由于基于自适应权重的立体匹配方法具有较高的匹配精度，因此该类方法已成为 当前立体匹配研究领域中的一个热点问题。He Kaiming在2010年提出一种指导图像滤波， 该方法根据指导图像内容计算滤波输出，指导滤波是一种边保护滤波，它类似于双边滤波， 但该方法在边缘附近有更好的效果，而且该方法接近于线性时间复杂度，独立于滤波核大小。 Hosni A等人在2011年利用He Kaiming提出的指导滤波设计一种基于指导滤波的立体匹配方 法，该方法的立体匹配效果优于Yoon K J等人提出的基于自适应权重的立体匹配方法，而且 该方法具有线性时间复杂度，累积过程独立于支撑窗口大小。但是由于该方法利用指导滤波 计算匹配成本时采用的是固定窗口，因此该方法在物体边界处存在一些“粘合”现象。

发明内容

本发明的目的在于提供一种更有效提高视差图质量，具有更快的匹配速度的基于迭代指 导滤波的立体匹配方法。

本发明的目的是这样实现的：

（1）计算原始匹配成本：

构成三维视差空间图c(x,y,d)

c(x,y,d)＝(1-α)·min(‖I_L(x,y)-I_R(x-d,y)‖,τ₁)+ α·min(‖▽_xI_L(x,y)-▽_xI_R(x-d,y)_i‖,τ₂)

式中，I_L(x,y)表示参考图像中(x,y)点的灰度值，I_R(x,y)表示匹配图像中(x,y)点的灰 度值，α(＜＝1)表示权重比，d表示视差，▽_x(·)表示函数在x方向的梯度变化，τ₁和τ₂分别 表示灰度和梯度截断阈值；

（2）根据指导图像的灰度变化为每一待匹配点确定支撑窗口大小：

其中，表示(x,y)点的最优支撑窗口大小，W表示窗口选择范围，λ表示预定义灰 度变化阈值，E_w(I_L(x,y))表示I_L在支撑窗口w内的均值，

$E_w\left(I_L(x,y)\right)=\frac{\underset{p=-w/2}{\overset{w/2}{\Sigma }}\underset{q=-w/2}{\overset{w/2}{\Sigma }}{I}_L(x+p,y+q)}{\left|w\right|},$

表示在支撑窗口w内的均值：

$E_w\left(I_L{(x,y)}^2\right)=\frac{\underset{p=-w/2}{\overset{w/2}{\Sigma }}\underset{q=-w/2}{\overset{w/2}{\Sigma }}{I}_L^2(x+p,y+q)}{\left|w\right|},$

其中，|w|表示支撑窗口w内的像素个数；

（3）根据支撑窗口大小利用指导滤波累积原始匹配成本：

根据支撑窗口大小及原始匹配成本，利用指导滤波进行累积，获得累积后的视差空间图 C(x,y,d)，滤波输出q与指导图像I在局部范围内符合线性模型：

$q_i=a_k{I}_i+b_k,\forall i\in w_k;$

其中，a_k，b_k分别表示线性系数，w_k表示以k点为中心的局部支撑窗口，I_i表示指导图 像I在i点的灰度值，利用最小二乘法求解模型参数a_k，b_k：

$a_k=\frac{\frac{1}{\left|w\right|}{\Sigma }_{i\in w_k}{I}_i{p}_i-{\mu }_k{\bar{p}}_k}{{\sigma }_k^2+ϵ}$

$b_k={\bar{p}}_k-a_k{\mu }_k$

p_i表示i点的滤波输入，μ_k和分别表示指导图像I在以k点为中心的支撑窗口w_k内的 均值及方差，|w|表示支撑窗口w_k内的像素个数，ε表示规范参数以防止a_k过大，表示滤 波输入p在以k点为中心的支撑窗口w_k内的均值：

${\bar{p}}_k=\frac{1}{\left|w\right|}{\Sigma }_{i\in w_k}{p}_i;$

对每个像素点i具有|w|个滤波输出求平均，每个像素点i的滤波输出q_i：

$q_i=\frac{1}{\left|w\right|}\underset{k:i\in w_k}{\Sigma }{a}_k{I}_i+b_k={\bar{a}}_i{I}_i+{\bar{b}}_i,$${\bar{a}}_i=\frac{1}{\left|w\right|}{\Sigma }_{k\in w_i}{a}_k,b_i=\frac{1}{\left|w\right|}{\Sigma }_{k\in w_i}{b}_k$

I_L为参考图像；

（4）计算视差：

根据累积后的视差空间图C(x,y,d)，计算每一点视差d(x,y)：

$d(x,y)=\arg \underset{d\in D}{\min }C(x,y,d)$

式中，D表示视差范围；

（5）根据计算视差图修正原始匹配成本：

$c(x,y,d)=c(x,y,d)+\frac{|d(x,y)-d|}{D_{\max }},$

D_max表示最大视差范围；

（6）重复执行步骤（3）直到达到给定的最大迭代次数为止。

本发明的有益效果在于：

本发明利用灰度信息及梯度信息计算原始匹配成本，可以有效保证匹配成本能正确反映 匹配约束；

本发明利用积分图像技术计算自适应窗口及指导滤波，有效提高了立体匹配方法的匹配 效率；

本发明提出一种自适应窗口指导滤波，该方法在弱纹理区域选择较大的支撑窗口，在纹 理区域选择较小的支撑窗口，防止支撑窗口跨越视差边界，减少“粘合”现象发生；

本发明提出一种迭代成本累积方法，该方法利用计算视差修正原始匹配成本并用指导滤 波进行累积，增强了匹配成本对噪声及辐射差异的鲁棒性，进而提高了视差匹配的准确率。

附图说明

图1为基于迭代指导滤波的立体匹配方法的流程框架图；

图2为本发明的实验效果图。

具体实施方式

下面结合附图和实例对本发明的技术方案做进一步的描述：

图像的灰度变化可以近似反应图像的纹理变化，在弱纹理区域图像的灰度变化相对较小， 而在纹理区域图像的灰度变化相对较大；同时立体匹配方法生成的视差图可以被用来修正匹 配成本以提高立体匹配方法对噪声及辐射差异的鲁棒性。针对立体匹配当中存在的这些特性， 本发明提出一种基于迭代指导滤波的立体匹配方法，该方法可以有效提高视差图质量，并且 具有较快的匹配速度，是一种行之有效的立体匹配方法，其具体步骤如下：

（1）计算原始匹配成本；

该步骤中，根据视差范围及左右图像的灰度信息及梯度信息计算原始匹配成本，构成一 个三维视差空间图c(x,y,d)，其计算公式如下：

c(x,y,d)＝(1-α)·min(‖I_L(x,y)-I_R(x-d,y)‖,τ₁)+ α·min(▽_xI_L(x,y)-▽_xI_R(x-d,y)_i‖,τ₂)

式中，I_L(x,y)表示参考图像中(x,y)点的灰度值，I_R(x,y)表示匹配图像中(x,y)点的灰 度值，α(＜＝1)表示权重比，d表示视差，▽_x(·)表示函数在x方向的梯度变化，τ₁和τ₂分别 表示灰度和梯度截断阈值。

（2）根据指导图像的灰度变化为每一待匹配点确定支撑窗口大小；

该步骤中，根据指导图像的灰度变化自适应地为每一待匹配点确定支撑窗口大小，在弱 纹理区域选择较大的支撑窗口以包含足够的灰度变化范围确定可靠的匹配，在纹理区域选择 较小的支撑窗口以防止支撑窗口跨越视差边界导致“粘合“现象发生，其自适应窗口的计算 公式如下：

式中，表示(x,y)点的最优支撑窗口大小，W表示窗口选择范围，λ表示预定义灰 度变化阈值，E_w(I_L(x,y))表示I_L在支撑窗口w内的均值，其计算表达式为：

$E_w\left(I_L(x,y)\right)=\frac{\underset{p=-w/2}{\overset{w/2}{\Sigma }}\underset{q=-w/2}{\overset{w/2}{\Sigma }}{I}_L(x+p,y+q)}{\left|w\right|},$

表示在支撑窗口w内的均值，其计算表达式为：

$E_w\left(I_L{(x,y)}^2\right)=\frac{\underset{p=-w/2}{\overset{w/2}{\Sigma }}\underset{q=-w/2}{\overset{w/2}{\Sigma }}{I}_L^2(x+p,y+q)}{\left|w\right|},$

其中，|w|表示支撑窗口w内的像素个数。

（3）根据支撑窗口大小利用指导滤波累积原始匹配成本；

该步骤中，根据支撑窗口大小及原始匹配成本，利用指导滤波进行累积，获得累积后的 视差空间图C(x,y,d)。指导滤波的主要思想是假设滤波输出q与指导图像I在局部范围内符 合线性模型，其线性模型表达式为：

$q_i=a_k{I}_i+b_k,\forall i\in w_k$

式中，a_k，b_k分别表示线性系数，w_k表示以k点为中心的局部支撑窗口，I_i表示指导图 像I在i点的灰度值。然后，利用最小二乘法求解模型参数a_k，b_k，其计算表达式为：

$a_k=\frac{\frac{1}{\left|w\right|}{\Sigma }_{i\in w_k}{I}_i{p}_i-{\mu }_k{\bar{p}}_k}{{\sigma }_k^2+ϵ}$

$b_k={\bar{p}}_k-a_k{\mu }_k$

式中，p_i表示i点的滤波输入，μ_k和分别表示指导图像I在以k点为中心的支撑窗口 w_k内的均值及方差，|w|表示支撑窗口w_k内的像素个数，ε表示规范参数以防止a_k过大，表 示滤波输入p在以k点为中心的支撑窗口w_k内的均值，其计算表达式为：

${\bar{p}}_k=\frac{1}{\left|w\right|}{\Sigma }_{i\in w_k}{p}_i.$

然后将线性模型应用到整幅图像中的所有局部支撑窗口，每个像素点i具有|w|个滤波输 出。由于这些滤波输出是在不同的支撑窗口内计算的，因此他们彼此各不相同。为获得一个 唯一的滤波输出，需要对这些滤波输出求平均，每个像素点i的滤波输出q_i最终计算为：

$q_i=\frac{1}{\left|w\right|}\underset{k:i\in w_k}{\Sigma }{a}_k{I}_i+b_k={\bar{a}}_i{I}_i+{\bar{b}}_i$

式中，${\bar{a}}_i=\frac{1}{\left|w\right|}{\Sigma }_{k\in w_i}{a}_k,$$b_i=\frac{1}{\left|w\right|}{\Sigma }_{k\in w_i}{b}_k.$

本发明利用上述指导滤波思想累积匹配成本，其滤波输入p为视差空间图中的每一视差 d所对应的成本矩阵c(x,y,d)，指导图像I为参考图像I_L，累积成本C(x,y,d)最终计算为：

$C(x,y,d)={\bar{a}}_i{I}_i+{\bar{b}}_i$

式中，x,y表示像素点i横纵坐标，

（4）根据“胜者全取”方法计算视差；

该步骤中，根据累积后的视差空间图C(x,y,d)，采用“胜者全取”方法计算每一 点视差d(x,y)，其视差计算公式为：

$d(x,y)=\arg \underset{d\in D}{\min }C(x,y,d)$

式中，D表示视差范围。

（5）根据计算视差图修正原始匹配成本；

该步骤中，根据步骤（4）中计算的视差图d(x,y)修改原始匹配成本c(x,y,d)，其计算 公式为：

$c(x,y,d)=c(x,y,d)+\frac{|d(x,y)-d|}{D_{\max }}$

式中，D_max表示最大视差范围。然后，转到步骤（3）重复估计匹配成本、计算视差，直 到达到给定的最大迭代次数为止。

图1显示了本发明基于迭代指导滤波的立体匹配方法的流程框架图，第一列为立体像对 中的参考图像，第二列为真实视差图，第三列为计算视差图，下面结合该流程框架图详细说 明每一步骤的具体实现方式：

（1）计算原始匹配成本；

①首先输入最大视差值d_max及左右图像，同时创建三维视差空间图c(x,y,d)，并对其进行初始化。

②根据最大视差值d_max及左右图像，利用灰度信息及梯度信息为每一像素点(x,y)计算 每一视差d(0≤d≤d_max)所对应的原始匹配成本，其计算公式如下：

c(x,y,d)＝(1-α)·min(‖I_L(x,y)-I_R(x-d,y)‖,τ₁)+ α·min(▽_xI_L(x,y)-▽_xI_R(x-d,y)_i‖,τ₂)

式中，I_L(x,y)表示参考图像中(x,y)点的灰度值，I_R(x,y)表示匹配图像中(x,y)点的灰 度值，α(＜＝1)表示权重比，▽_x(·)表示函数在x方向的梯度变化，τ₁和τ₂分别表示灰度和梯 度截断阈值。

（2）根据指导图像的灰度变化为每一待匹配点确定支撑窗口大小；

①为I_L及建立积分图像，其计算公式如下：

inteimage_1(x,y)＝I_L(x,y)+inteimage_1(x-1,y)+ inteimage_1(x,y-1)-inteimage_1(x-1,y-1)

inteimage_2(x,y)＝[I_L(x,y)]²+inteimage_2(x-1,y)+   。 inteimage_2(x,y-1)-inteimage_2(x-1,y-1)

②根据积分图像inteimage_1、inteimage_2为每一像素点(x,y)计算表达式E_w(I_L)和 在每一支撑窗口w∈W上的值，其计算公式如下：

$\mathrm{inteimage}\_1(x_1,y_1)-\mathrm{inteimage}\_1(x_2-1,y_1)-$$E_w\left(I_L(x,y)\right)=\frac{\mathrm{inteimage}\_1(x_1,y_2-1)+\mathrm{inteimage}\_1(x_2-1,y_2-1)}{\left|w\right|}$

$\mathrm{inteimage}\_2(x_1,y_1)-\mathrm{inteimage}\_2(x_2-1,y_1)-$$E_w\left(I_L{(x,y)}^2\right)=\frac{\mathrm{inteimage}\_2(x_1,y_2-1)+\mathrm{inteimage}\_2(x_2-1,y_2-1)}{\left|w\right|}$

式中，W表示窗口选择范围，x₁,y₁代表支撑窗口的右下角点的坐标，其计算公式为：

x₂,y₂代表支撑窗口的左上角点的坐标，其计算公式为：

其中，符号表示取整。

③根据步骤①-②的计算结果，利用自适应窗口公式为每一像素点(x,y)计算窗口大小， 其计算公式如下：

式中，表示(x,y)点的最优支撑窗口大小，λ表示预定义灰度变化阈值。

（3）根据支撑窗口大小利用指导滤波累积原始匹配成本；

①初始化视差变量d，确定滤波输入p及指导图像I，其计算公式如下：

d＝0,I＝I_L,p＝c(:,:,d)

式中，I_L表示参考图像，c(:,:,d)表示视差变量d所对应的二维成本矩阵。

②为p及I×p建立积分图像，其计算公式如下：

inteimage_3(x,y)＝p(x,y)+inteimage_3(x-1,y)+ inteimage_3(x,y-1)-inteimage_3(x-1,y-1)

inteimage_4(x,y)＝I(x,y)p(x,y)+inteimage_4(x-1,y)+ inteimage_4(x,y-1)-inteimage_4(x-1,y-1)

③根据积分图像inteimage_3、inteimage_4及每一点的支撑窗口大小计算表达式 μ_k,及在每一像素点k的值，其计算公式如下：

${\Sigma }_{i\in w_k}{I}_i{p}_i=\mathrm{inteimage}\_4(x_1,y_1)-\mathrm{inteimage}\_4(x_2-1,y_1)-,$$\mathrm{inteimage}\_4(x_1,y_2-1)+\mathrm{inteimage}\_4(x_2-1,y_2-1)$

$\mathrm{inteimage}\_1(x_1,y_1)-\mathrm{inteimage}\_1(x_2-1,y_1)-$${\mu }_k=\frac{\mathrm{inteimage}\_1(x_1,y_2-1)+\mathrm{inteimage}\_1(x_2-1,y_2-1)}{\left|w\right|},$

$\mathrm{inteimage}\_3(x_1,y_1)-\mathrm{inteimage}\_3(x_2-1,y_1)-$${\bar{p}}_k=\frac{\mathrm{inteimage}\_3(x_1,y_2-1)+\mathrm{inteimage}\_3(x_2-1,y_2-1)}{\left|w\right|},$

$\mathrm{inteimage}\_1(x_1,y_1)-\mathrm{inteimage}\_1(x_2-1,y_1)-$$E_w\left(I_L(x,y)\right)=\frac{\mathrm{inteimage}\_1(x_1,y_2-1)+\mathrm{inteimage}\_1(x_2-1,y_2-1)}{\left|w\right|},$

$\mathrm{inteimage}\_2(x_1,y_1)-\mathrm{inteimage}\_2(x_2-1,y_1)-$$E_w\left(I_L{(x,y)}^2\right)=\frac{\mathrm{inteimage}\_2(x_1,y_2-1)+\mathrm{inteimage}\_2(x_2-1,y_2-1)}{\left|w\right|},$

${\sigma }_k^2=E_w\left(I_L^2\right)-{\left[E_w\left(I_L\right)\right]}^2$

式中，x₁,y₁代表支撑窗口的右下角点的坐标，其计算公式为：

x₂,y₂代表支撑窗口的左上角点的坐标，其计算公式为：

其中，符号表示取整，x,y表示像素点k的横纵坐标。

④为每一像素点k计算线性系数a_k，b_k，其计算公式如下：

$a_k=\frac{\frac{1}{\left|w\right|}{\Sigma }_{i\in w_k}{I}_i{p}_i-{\mu }_k{\bar{p}}_k}{{\sigma }_k^2+ϵ}$

$b_k={\bar{p}}_k-a_k{\mu }_k$

式中，ε表示规范参数。

⑤为线性系数a，b创建积分图像，其计算公式如下：

inteimage_a(x,y)＝a(x,y)+inteimage_a(x-1,y)+ inteimage_a(x,y-1)-inteimage_a(x-1,y-1)

inteimage_b(x,y)＝b(x,y)+inteimage_b(x-1,y)+ inteimage_b(x,y-1)-inteimage_b(x-1,y-1)

⑥根据每一像素点的支撑窗口大小及积分图像inteimage_a、inteimage_b为每 一像素点i计算平均线性系数

${\bar{a}}_i=\frac{1}{\left|w\right|}\left(\begin{array}{c}\mathrm{inteimage}\_a(x_1,y_1)-\mathrm{inteimage}\_a\left(x_2{-1,y}_{\text{1}}\right)-\\ \mathrm{inteimage}\_a(x_1,y_2-1)+\mathrm{inteimage}\_a(x_2-1,y_2-1)\end{array}\right)$

${\bar{b}}_i=\frac{1}{\left|w\right|}\left(\begin{array}{c}\mathrm{inteimage}\_b(x_1,y_1)-\mathrm{inteimage}\_b\left(x_2{-1,y}_{\text{1}}\right)-\\ \mathrm{inteimage}\_b(x_1,y_2-1)+\mathrm{inteimage}\_b(x_2-1,y_2-1)\end{array}\right)$

式中，x₁,y₁代表支撑窗口的右下角点的坐标，其计算公式为：

x₂,y₂代表支撑窗口的左上角点的坐标，其计算公式为：

式中，符号表示取整，x,y表示像素点i的横纵坐标。

⑦根据指导滤波公式为每一像素点i计算在不同视差d下的匹配成本C(x,y,d)，x,y表 示像素点i的横纵坐标，其计算公式为：

$C(x,y,d)={\bar{a}}_i{I}_i+{\bar{b}}_i.$

⑧d＝d+1，转入步骤①，直到d大于最大视差D_max为止。

（4）根据“胜者全取”方法计算视差，其视差计算公式为：

$d(x,y)=\arg \underset{d\in D}{\min }C(x,y,d)$

式中，D表示视差范围。

（5）根据计算视差图修正原始匹配成本；

①根据计算视差图d(x,y)修改原始匹配成本c(x,y,d)，其计算公式为：

$c(x,y,d)=c(x,y,d)+\frac{|d(x,y)-d|}{D_{\max }}$

式中，D_max表示最大视差范围。

②转到步骤（3）重复估计匹配成本、计算视差，直到达到给定的最大迭代次数为止。