一种基于光场双色反射模型和全变分的高反光去除方法

摘要

本发明涉及光场测量技术，具体涉及一种基于光场双色反射模型和全变分的高反光去除方法，首先对原始光场图像解码并得到多个视角的子孔径图像，运用自适应阈值分割算法提取中心子孔径图像中的高反光像素点。在RGB颜色空间内，使用最小二乘法对每个高反光像素点的多个视角进行空间线性拟合；通过双色反射模型DRM和TI分析，建立拟合的空间直线和DRM的关联，最终得到所对应拟合空间直线的截距项常量即为每个高反光像素点的漫反射颜色。经过遍历图像高反光像素点得到高光去除后的图像。将遮挡视为噪点，使用TV去噪模型去除图像纹理边缘的遮挡效应。该方法在复杂纹理、强反射表面、室内和室外场景的多个场景中，具有很强的鲁棒性。

说明书

技术领域

本发明属于光场测量技术领域，特别涉及一种基于光场双色反射模型和全变分的高反光去除方法。

背景技术

当前高反光去除主要是基于偏振片和单幅或者多幅图像。偏振片利用镜面反射的极化作用去除高反光，但是对于金属材质，则会失效。基于单幅图像去除方法，利用图像颜色分割和双色反射模型，但是很多都假设光源已知，并且对于复杂的纹理区域和强反射表明其去除效果较差。对于多幅图像的去除方法，通常使用相机阵列或者移动相机来获取多个视角的图像，但是这种方法需要假设光源不变，并严格控制相机移动和拍摄视角，时间和空间复杂度较高，对于后期的立体匹配算法有很高的要求。

发明内容

针对背景技术存在的问题，本发明提供一种基于光场双色反射和全变分 TotalVariation(TV)去噪模型的高反光去除方法。

为解决上述技术问题，本发明采用如下技术方案：一种基于光场双色反射模型和全变分的高反光去除方法，包括以下步骤：

步骤1、对原始光场图像解码，得到多个视角图像并提取中心子孔径图像I

步骤2、运用自适应阈值分割算法提取Ic中的高反光像素点；

步骤3、在RGB颜色空间内，使用最小二乘法对每个高反光像素点的多个视角进行空间线性拟合；

步骤4、通过双色发射模型(DRM)和Tristimulus Integration(TI)分析，建立拟合的空间直线与DRM的联系，得到每个高反光像素点的漫反射颜色对应拟合空间直线的截距项常量，光源颜色为直线的斜率；遍历图像高反光像素点得到高反光去除后的图像；

步骤5、对所得到的高反光去除后的图像使用TV去噪模型去除图像纹理边缘的遮挡效应，得到优化的无高反光图像。

在上述的基于光场双色反射模型和全变分的高反光去除方法中，步骤1所述原始光场图像是使用Lytro光场相机拍摄的一幅LFR格式的光场图像；所述多个视角的子孔径图像是通过斯坦福大学研制的LFToolBox工具箱解码所得。

在上述的基于光场双色反射模型和全变分的高反光去除方法中，步骤2的实现包括：将中心子孔径图像I

在上述的基于光场DRM和TV的高反光去除方法中，步骤3的实现包括：对于每一个高反光像素点，提取其对应多个视角的像素点，在RGB颜色空间绘制散点图，使用最小二乘法拟合出一条空间参数方程：

C

C

C

式(1)变换成为矢量的形式：

(C

(2)式中，(C

在上述的基于光场双色反射模型和全变分的高反光去除方法中，步骤4的实现包括：

步骤4.1、DRM定义为：

I(λ,l,v,n)＝I

(3)式中，I表示物体表面反射的颜色，I

每个部分的反射是不同波长的反射光的相对功率谱与物体几何形状之间的相互作用，则每个部分表示为：

I

I

步骤4.2、结合式(1)和式(2)，DRM重写为：

I(v)＝R

(5)式中，R

步骤4.3、简化分析，将对象反射光写为：

I(v)＝{R

其中F(n，l)是关于n和l的函数，对于一个物点的不同视角来说是常量；

步骤4.4、一个像素点在光场中不同视图上的反射定义为：

I(v)＝R

式(6)中，对于不同视角的同一个物点，F(n，l)设为1，R

步骤4.5、TI分析：在颜色空间中，像素值C

步骤4.6、TI线性变换：C

(9)式中C

步骤4.7、考虑到在特定点上不同视图的颜色C

步骤4.8、联合式(2)得到的颜色空间的线性关系以及常数项：

式(9)表示物体表面上的漫反射颜色，是光场多视点图像拟合的线性截距项，而物体点的界面反射是直线矢量的斜率；

步骤4.9、漫反射颜色为要恢复高光点的颜色：

其中I

在上述的基于光场双色反射模型和全变分的高反光去除方法中，步骤5的实现包括：

步骤5.1、将光场相机遮挡视为噪点，使用TV去噪模型对图像进行优化；

基于步骤2得到的高反光像素点，从I

式(13)的第一项反映数据的保真度，而第二项表示图像的平滑度，μ是正则化系数；

步骤5.2、将有噪声的图像定义为：

式(14)中i表示第i个颜色通道，(x，y)索引像素位置，n表示原始图像的噪声；

步骤5.3、重新定义式(13)：

(15)式中Ω对应于图像I

步骤5.4、采用陡降法实现TV去噪得：

采用微分熵代替偏导数：

步骤5.5、经过TV正则化去噪得到一幅平滑无混叠的图像。

与现有技术相比，本发明的有益效果：能够对纹理特征复杂的强反射表面物体每一个高光像素点进行提取，实现像素级的高光去除，并且在去除高光同时保留着高光部分本来的颜色纹理信息，有着很好的技术效果。本发明在复杂纹理、强反射表面、室内和室外场景的多个场景中具有很强的鲁棒性。

附图说明

图1为本发明一个实施例光场高反光去除方法流程图；

图2为本发明一个实施例一个像素在RGB颜色空间中对应的多个视角的颜色分布示意图；

图3(a)为本发明一个实施例TV去噪前的噪点图像；

图3(b)为本发明一个实施例TV去噪后无噪点图像；

图4(a)为本发明一个实施例使用镜面残余占比SR方法评价结果柱状图；

图4(b)为本发明一个实施例使用图像信息熵H的方法评价结果柱状图；

图4(c)为本发明一个实施例使用SR和H乘积SRH定量评估结果柱状图。

具体实施方式

下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。

本实施例一种基于光场双色反射模型和全变分(TV)的高反光去除方法，首先，对原始光场图像解码并得到多个视角的子孔径图像并提取中心视角图像Ic 作为参考，运用自适应阈值分割算法提取Ic中的高反光像素点。在RGB颜色空间内，使用最小二乘法对每个高反光像素点的多个视角进行空间线性拟合；通过双色反射模型(DRM)和TristimulusIntegration(TI)分析，建立拟合的空间直线和DRM的联系，并得到每个高反光像素点的漫反射颜色所对应拟合空间直线的三个常量，而光源颜色即为直线的斜率。为此，经过遍历图像高反光像素点得到高光去除后的图像。此外，由于光场相机基线过小，同一个物点在不同视角会存在遮挡现象，因此，本实施例将遮挡视为噪点，建立优化方程，使用TV去噪模型去除图像纹理边缘的遮挡效应。

如图1所示，本实施例通过以下技术方案来实现，一种基于光场双色反射模型和全变分的高反光去除方法，包括以下步骤：

步骤一、使用Lytro光场相机在自然环境下拍摄得到一幅LFR格式的光场图像，使用斯坦福大学研制的LFToolBox工具箱解码得到多个视角的子孔径图像，并把提取的中心子孔径图像I

步骤二、确定高反光像素点。将中心子孔径图像I

步骤三、对于每一个高反光像素点，提取其对应多个视角的像素点，在RGB 颜色空间绘制散点图，使用最小二乘法拟合出一条空间参数方程：

C

C

C

等式(1)可以成为矢量的形式：

(C

式中，(C

步骤四、4.1、结合DRM和TI得到漫反射图像。这里，DRM定义为：

I(λ,l,v,n)＝I

其中，I表示物体表面反射的颜色，I

每个部分的反射光是不同波长的光的相对功率谱与物体几何形状之间的相互作用，因此，每个部分又可表示为：

I

I

其中，等式(2)意味着光的每个分量都可以分解为两部分：相对光谱功率 (SPD)分布R

I(v)＝R

由于漫反射与视角无关，因此对于一个像素点，K

为了简化分析，可以将对象反射光进一步写为

I(v)＝{R

其中F(n，l)是n和l的函数，其对于一个物点的不同视角来说是不变的。

对于同一个物点，在相应的微透镜下的多个视图的漫反射颜色在理论上是相同的。每个视角之间的唯一区别是镜面反射颜色，即，K

I(v)＝R

为了简化分析，在等式(6)中，对于不同视角的同一个物点，F(n，l) 被至为1，R

4.2、TI的分析。在颜色空间中，像素值C

TI是一种线性变换，即，C

其中C

此外，联合等式(2)得到的颜色空间的线性关系，可以得到常数项

等式(9)表示物体表面上的漫反射颜色，是光场多视点图像拟合的线性截距项，而物体点的界面反射是直线矢量的斜率。

因此，漫反射颜色即为要恢复高光点的颜色，有：

其中I

然而，由于光场相机基线比较小，容易产生遮挡效应如图3(a)所示，以上得到的漫反射图像边缘纹理会出现混叠现象。但是通过观察这种遮挡相对于物体来说只是占很小一部分，因此，可把遮挡视为噪点，使用TV去噪对图像进行优化。

步骤五、基于步骤二得到的高反光像素点，从I

等式(13)的第一项反映数据的保真度，而第二项表示图像的平滑度，μ是正则化系数。

而一个有噪声的图像定义为：

其中i表示第i个颜色通道，(通常为RGB三色通道)，(x，y)索引像素位置，n表示原始图像的噪声。

式(13)可以被重新定义为：

其中Ω对应于图像I

然后，采用陡降法实现了TV去噪：

为了简化表达式，便于实现，采用微分熵代替偏导数:

经过TV正则化去噪后，最终得到一幅平滑无混叠的图像。如图3(b)所示。

图3(a)、图3(b)分别为TV去噪的图像前后对比，由此可见，通过以上五步骤，能够检测到每一个高光像素点，实现像素级的高光去除，并且在去除高光同时保留着高光部分本来的颜色纹理信息，有着很好的技术效果。

步骤六、实验结果评价。使用镜面残余占比(SR)和图像信息熵(H)，及其结合方法(SRH)对高光去除效果进行评价，数据表明本实施例在不同场景和不同材质的物体都具有很强的鲁棒性。

对步骤一到步骤五使用斯坦福数据集和使用Lytro在自然光照下拍摄的室内和室外的图像进行验证，同时和最新的几种方法进行对比，如图4(a)、图4(b)、图4(c)所示。对比可知，本实施例能够有效去除高反光。

步骤七、实验结果定量分析。对步骤六得到的实验结果分别使用镜面残余占比(SR)和图像信息熵(H)的方法进行分析。

7.1、使用镜面残余占比(SR)进行分析：SR＝1-经过算法处理后的图像高反光像素点的数量/原始图片高反光数量，如图4(a)所示。

7.2、使用图像信息熵(H)的方法进行分析：图像信息熵反映图像像素点的特征点的丰富程度，如图4(b)所示。

7.3、通过以上分析可知，SR和H越大，图像高反光处理效果越好。为了能够同时反映高光检测和去除效果，本实施例结合SR和H乘积表示为SRH，进行定量评估。SFR和H分别定义为：

其中，其中S

最后，SRH表示SR和H的组合，定义乘积形式：

如图4(a)所示，Shen和本方法的SR高达1，这表明Shen和本算法成功地检测到了所有的高光像素，而Ashika表现出很大的波动性，并且每个高反光像素在所有场景中没有被完全恢复，留下很多类似噪声的像素点。

如图4(b)所示，由于Ashika的图像中存在许多噪声，致使图像熵仍然很高，而Shen的信息熵在不同场景都很低。显然，本实施例方法在不同场景得到的信息熵处于一个很高的位置。

最后，如图4(c)所示，考虑了图4(a)和图4(b)方法的优点，综合体现了算法对高光点的检测和去除效果。此外，在图4(c)中，本实施例在复杂纹理、强反射表面、室内和室外场景的多个场景中具有很强的鲁棒性。

更直观地来说，表1列出了SRH的数据对比，很明显，在表1中，可看出本实施例的SRH都在6以上，比其他方法至少提高20％。这种数据分析能够及时定量提供反馈数据，有利于算法的监督。

表1 ：SFRH数据以及对比

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。