一种去除图像中阴霾退化的方法

摘要

本发明涉及数字图像处理领域，尤其是涉及一种单幅图像去阴霾的技术：去除图像中阴霾退化的方法。本发明基于大气光散射模型，并引入表征近似黑体辐射的暗点来作为图像先验知识来去除图像的阴霾退化，恢复清晰图像。具体的步骤有：输入图像；盒式滤波以获得亮度图和局部最小值点；图像分割以区分天空区域和地面目标；对天空区域作大气光估计；对地面目标作暗点选取；阴霾分布估计；衰减补偿计算；无衰减图像重建；色彩还原；输出图像。本发明实现了从一幅阴霾退化的图像中恢复一个等效晴天拍摄的清晰图像，即去阴霾。

说明书

技术领域

本发明涉及数字图像处理领域，尤其是涉及一种单幅图像去阴霾的技术。

背景技术

人类正在进入信息时代，计算机将越来越广泛地进入到几乎所有的领域。通过利 用计算机，可以使人们从一些简单而重复的工作中解放出来，使人们更多的精力投入到创 造性的工作中来。基于计算机视觉的算法，从底层的图像特征提取，到高层的图像内目标识 别、行为分析往往建立在处理的图像是清晰的图像基础之上的。而在阴霾天气条件下拍摄 的图像，内容模糊，对比度下降，图像的整体颜色偏灰白色，这样的图像会导致大多数基于 计算机视觉的算法不能正常的工作。为此，在数字图像处理、计算机视觉等领域人们提出了 一系列的算法来处理由于在阴霾天气条件下成像造成的图像质量的下降。

目前图像去阴霾方法中，比较经典的是基于物理模型并引入暗通道先验的方法， 物理模型主要是利用大气散射模型，通过求解图像退化过程的逆过程来恢复清晰图像。空 气中杂质的存在会造成所拍摄室外场景图像的阴霾退化。退化的程度与空气中杂质对光的 衰减强度和光从目标物体至拍照设备间的距离相关。在均匀大气假设下，地面物体成像的 大气光衰减模型可以表示如下：

I_vis＝τ·d_l·I_obj+I_air(1-τ·d_l)

其中，I_vis、I_obj、I_air分别表示接收到的光强、目标物漫反射光强、大气光强，τ是散 射系数表示介质对光的吸收散射能力，d_l表示从目标物体到接收者间光程距离造成的衰减 大小。

暗通道先验是颜色先验图像的统计规律。可以表示为：图像中每个像素点周围总 会存在亮度很低的点，这些点来源于物体的阴影、黑色物体以及具有鲜艳颜色的物体中。根 据这一规律，通过计算暗通道，即可获得阴霾分布的信息，从而推算出无阴霾条件下的清晰 图像。然而，基于暗通道先验方法还存在着种种不足。首先，远处的物体的阴影、黑色物体以 及具有鲜艳颜色的物体反应在图像中往往十分小，甚至不足一个像素的空间角，此时暗通 道亮度极低的假设并不成立，因此造成结果中远处的阴霾无法完全去除的问题；其次，基于 暗通道先验的算法未考虑天空区域与地面区域光线来源不同，导致去雾霾后天空颜色失真 严重；再次，基于暗通道先验的算法估计大气光时，直接以天空区域的最亮值作大气光，其 对噪声敏感导致最终结果不稳定，鲁棒性低；然后，基于暗通道先验的算法并没有考虑到同 颜色的光具有相同的光强衰减而RGB三个颜色的光强衰减是不一样的，因此算法恢复的图 像存在色彩失真等问题；最后，基于暗通道先验的算法并没有考虑到大气光是太阳光经过 大气散射形成的，对这部分的颜色与光强缺少处理导致最终成像存在图像整体偏暗，色彩 失真等问题。

发明内容

本发明的目的是提出一种去除图像中阴霾退化的方法，从一幅阴霾退化的图像中 恢复一个等效晴天拍摄的清晰图像，即去阴霾。

为此，本发明提出的去除图像中阴霾退化的方法包括如下步骤：S1、输入图像：输 入一幅待处理的图像；S2、滤波：对输入的图像作滤波；S3、图像分割：将所有剩余的像素点 分别标记为天空区域像素点或者地面区域像素点，完成分割图像；S4、大气光估计：针对大 气区域的亮度统计信息，按局部邻域像素亮度均匀一致程度筛选用于估计大气光的点，以 这些点的均值计算的大气光，分别记录大气光三个颜色通道的强度；S5、暗点选取：选取暗 点，求出所有暗点的集合；暗点是图像中表征场景近似黑体辐射物体的像素点，通过统计所 有局部最小值点周围邻域的统计信息，只有周围邻域与局部最小值点亮度接近的点才是暗 点；S6、阴霾分布估计：获得图像各像素点的阴霾分布；S7、衰减补偿计算：将不同颜色的光 强衰减系数，以及各个暗点处的由距离造成的光强衰减程度分别求出，将距离衰减系数通 过双边滤波传播到整幅图像，由此计算整幅图像的阴霾分布和RGB三个颜色通道的光强衰 减信息，计算图像中各个点的衰减补偿量；S8、无衰减图像重建：将大气光调整为纯白光，将 整幅图像各颜色通道亮度等比例放大来还原无阴霾情况下的清晰图像，以此来补偿阴霾造 成的整体亮度偏低和目标物体的颜色失真，得到去除光程中大气衰减因素造成的光亮变化 后所有像素点各颜色通道的亮度值；S9、色彩还原：去除由于大气光造成的颜色失真；S10、 输出图像:将每个点的各颜色通道的亮度值保存下来，以图像格式输出，即得到了去除阴霾 影响的图像。

本发明将整幅图像各颜色通道亮度等比例放大来还原无阴霾情况下的清晰图像。 以此来补偿阴霾造成的整体亮度偏低和目标物体的颜色失真，从而实现了从一幅阴霾退化 的图像中恢复一个等效晴天拍摄的清晰图像。

附图说明

附图为本发明实施例方法流程图。

具体实施方式

本实施例的目的是去除单幅图像中的阴霾退化，恢复等效于晴天拍摄的清晰图 像。解决目前经典的基于暗通道先验的方法所存在种种问题如远处阴霾无法去除，天空区 域失真严重，大气光估计值不稳定，色彩存在偏差，图像整体偏暗等。大气光强衰减模型可 表示如下：

I_c(i，j)＝d_l(i，j)·τ_c·P_c(i，j)+A_c(1-d_l(i，j)·τ_c)

其中，(i，j)表示像素点位置，c∈{R，G，B}表示各颜色通道，I_c(i，j)表示输入图像 (i，j)位置的像素点c颜色通道的亮度值，P_c(i，j)表示无衰减时(i,j)位置的像素点c颜色 通道的亮度值，d_l(i，j)表示该点由距离远近造成的光强衰减程度，τ_c表示图像中c颜色通道 的光强衰减系数，A_c表示c颜色通道的大气光。

本发明人发现，现有技术在去除阴霾时所存在的问题可由如下原因导致并相应提 出了应对方案：

首先，针对室外场景图像中暗通道的信息来源存在误差。暗通道的信息均来源于 局部区域的亮度极小值点，这些点可以是物体的阴影、黑色物体以及具有鲜艳颜色的物体。 然而，由于相机分辨率的限制，这些物体一旦距离过远，其将与周围其他物体发出的光同时 作用于相机单个像素中，造成该点不满足暗通道的条件。本发明中引入暗点的概念，暗点是 图像中表征场景近似黑体辐射物体的像素点，通过统计所有局部最小值点周围邻域的统计 信息，只有周围邻域与局部最小值点亮度接近的点才是暗点，这些暗点在无衰减图像中存 在P_c(i,j)→0的规律。

其次，天空区域与地面目标物体的光线来源不同。天空区域的光线完全是由太阳 光在大气中散射造成的，既不符合地面物体成像的大气光强衰减模型，也不符合暗通道先 验，直接按经典方法处理，必然导致失真。本发明针对天空区域与地面目标物体的亮度统计 信息不同，将图像分割为天空区域和地面目标区域。由于人们对天空区域关心的正是阴霾 散射信息，因此本发明对于天空区域不作去阴霾处理，使其保留阴霾散射信息。

再次，由于图像中噪声的存在，直接以最大亮度作大气光估计值将导致结果不稳 定。为此，本发明针对大气区域的亮度统计信息，按局部邻域像素亮度均匀一致程度筛选用 于估计大气光的点，以这些点的均值计算的大气光。该方法的估计结果对噪声不敏感，稳定 性好。

然后，由暗点来分别计算图像的阴霾分布和RGB三个颜色通道的光强衰减信息。将 三种颜色的光强衰减模型列出后，转化为矩阵形式，引入矩阵的低秩分解，将不同颜色的光 强衰减系数，以及各个暗点处的由距离造成的光强衰减程度分别求出，将距离衰减系数通 过双边滤波传播到整幅图像，由此计算整幅图像的阴霾分布和RGB三个颜色通道的光强衰 减信息。

最后，本发明基于获得的无衰减图像，将大气光调整为纯白光，将整幅图像各颜色 通道亮度等比例放大来还原无阴霾情况下的清晰图像。以此来补偿阴霾造成的整体亮度偏 低和目标物体的颜色失真。

本实施例解决了从一幅阴霾退化的图像中恢复一个等效晴天拍摄的清晰图像，即 去阴霾。本发明的处理步骤为：输入图像，盒式滤波，图像分割，大气光估计，暗点选取，阴霾 分布估计，衰减补偿计算，无衰减图像重建，色彩还原，输出图像。各个步骤具体的描述如 下：

输入图像：输入一幅图像，记其大小为M×N，每个点的像素值记为I_c(i，j)，其中，c ∈{R，G，B}，表示红、绿、蓝三个颜色通道。(i，j)表示该像素点所在的坐标。

盒式滤波：对输入的图像作滤波，分别按如下公式处理，获得亮度图L(i,j)和暗通 道图M(i，j)

L(i，j)＝0.299I_R(i，j)+0.587I_G(i，j)+0.114I_B(i，j)

$M(i,j)=\underset{(s,t)\in \Omega \left(ij\right)}{min}\left(\underset{c\in \{R,G,B\}}{min}{I}_c\right(s,t\left)\right)$

图像分割：对M(i，j)作直方图统计，获取直方图分布谷值的亮度值大小作为阈值 T_c,并计算两个上下限阈值

T_s＝T_c+α(255-T_c)

T_o＝T_c-βT_c

对于大于阈值T_s有像素求均值，标记为S，低于阈值T_o有像素求均值，标记为O。对于 未标注点，通过最小化如下函数来标记：

$E\left(X\right)=\gamma \underset{M_{\omega }\in \Omega \left(X\right)}{\Sigma }{\left(M_{\omega }-M_X\right)}^2\left[1-{\left({\Delta }_X-{\Delta }_{\omega }\right)}^2\right]+\frac{M_X}{T_c}\left(1-{\Delta }_X\right)+\frac{255-M_X}{255-T_c}{\Delta }_X$

上式中，L为未标记点的暗通道值，Δ(L)为该点的标记。M_X表示像素点X的暗通道 值，M_ω表示像素点X的邻域Ω(X)中像素点ω的暗通道值，γ是方程中的平滑参数，可以去 0.1到10的参数作调整，一般取1。

${\Delta }_X=\left(\begin{array}{cc}1,& X\in S\\ 0,& X\in O\end{array}\right)$

最终将所有剩余的像素点X分别标记为S或者O，即完成分割图像。

大气光估计：对于所有标记为S的点，选取所有满足如下方程的点：

$\underset{(s,t)\in \Omega (i,j)}{max}L(s,t)-\underset{(s,t)\in \Omega (i,j)}{min}L(s,t)=0$

其中，Ω(i,j)为点(i，j)的邻域。选取所有满足以上方程的点(i,j)，计算这些点 各颜色通道的均值，作为大气光的估计值。大气光三个颜色通道的强度分别记为A_R、A_G、A_B。

暗点选取：对于所有标记为O的点，计算所有满足如下方程的局部最小值点。

L(i，j)-M(i，j)＝0

对于所有局部最小值点(i，j)，按如下方程筛选为暗点：

$\underset{\left(x,t\right)\in \Omega \left(i,j\right)}{\Sigma }{\left(L\right(s,t)-L(i,j\left)\right)}^2<ϵ$

其中，Ω(i，j)是(i，j)的邻域。记所有暗点的集合为DP，数量为n。

阴霾分布估计：暗点(i，j)∈DP的各颜色通道亮度值均满足如下的方程：

$d_l\left(i,j\right)·{\tau }_c=1-\frac{I_c(i,j)}{A_c}$

将所有n个暗点的坐标简记为1，2，…，k，…，n，则有如下矩阵方程成立：

$\left(\begin{array}{c}{d}_l\left(1\right)\\ d_l\left(2\right)\\ .\\ .\\ .\\ d_l\left(k\right)\\ .\\ .\\ .\\ d_l\left(n\right)\end{array}\right)\left(\begin{array}{ccc}{\tau }_R& {\tau }_G& {\tau }_B\end{array}\right)=\left(\begin{array}{ccc}1-\frac{I_R\left(1\right)}{A_R}& 1-\frac{I_G\left(1\right)}{A_G}& 1-\frac{I_B\left(1\right)}{A_B}\\ 1-\frac{I_R\left(2\right)}{A_R}& 1-\frac{I_G\left(2\right)}{A_G}& 1-\frac{I_B\left(2\right)}{A_B}\\ .& .& .\\ .& .& .\\ .& .& .\\ 1-\frac{I_R\left(k\right)}{A_R}& 1-\frac{I_G\left(k\right)}{A_G}& 1-\frac{I_B\left(k\right)}{A_B}\\ .& .& .\\ .& .& .\\ .& .& .\\ 1-\frac{I_R\left(n\right)}{A_R}& 1-\frac{I_G\left(n\right)}{A_G}& 1-\frac{I_B\left(n\right)}{A_B}\end{array}\right)$

按如下方法求解该方程可得：

$\frac{{\tau }_G}{{\tau }_R}=\frac{\left|\right|\left(\begin{array}{cccccc}1-\frac{I_G\left(1\right)}{A_G}& 1-\frac{I_G\left(2\right)}{A_G}& \mathrm{...}& 1-\frac{I_G\left(k\right)}{A_G}& \mathrm{...}& 1-\frac{I_G\left(n\right)}{A_G}\end{array}\right)|{|}_2}{\left|\right|\left(\begin{array}{cccccc}1-\frac{I_R\left(1\right)}{A_R}& 1-\frac{I_R\left(2\right)}{A_R}& \mathrm{...}& 1-\frac{I_R\left(k\right)}{A_R}& \mathrm{...}& 1-\frac{I_R\left(n\right)}{A_R}\end{array}\right)|{|}_2}$

$\frac{{\tau }_B}{{\tau }_R}=\frac{\left|\right|\left(\begin{array}{cccccc}1-\frac{I_B\left(1\right)}{A_B}& 1-\frac{I_B\left(2\right)}{A_B}& \mathrm{...}& 1-\frac{I_B\left(k\right)}{A_B}& \mathrm{...}& 1-\frac{I_B\left(n\right)}{A_B}\end{array}\right)|{|}_2}{\left|\right|\left(\begin{array}{cccccc}1-\frac{I_R\left(1\right)}{A_R}& 1-\frac{I_R\left(2\right)}{A_R}& \mathrm{...}& 1-\frac{I_R\left(k\right)}{A_R}& \mathrm{...}& 1-\frac{I_R\left(n\right)}{A_R}\end{array}\right)|{|}_2}$

其中，||...||₂表示计算向量的2-范数也即是向量的模。

$\frac{d_l\left(k\right)}{d_l\left(1\right)}=\frac{\left(\begin{array}{ccc}1-\frac{I_R\left(k\right)}{A_R}& 1-\frac{I_G\left(k\right)}{A_G}& 1-\frac{I_B\left(k\right)}{A_B}\end{array}\right){\left(\begin{array}{ccc}1& \frac{{\tau }_G}{{\tau }_R}& \frac{{\tau }_B}{{\tau }_R}\end{array}\right)}^T}{\left(\begin{array}{ccc}1-\frac{I_R\left(k\right)}{A_R}& 1-\frac{I_G\left(k\right)}{A_G}& 1-\frac{I_B\left(k\right)}{A_B}\end{array}\right){\left(\begin{array}{ccc}1& \frac{{\tau }_G}{{\tau }_R}& \frac{{\tau }_B}{{\tau }_R}\end{array}\right)}^T}$

记所有求得的为且原矩阵方程转化为如下：

$Z\left(\begin{array}{c}{\hat{d}}_l\left(1\right)\\ {\hat{d}}_l\left(2\right)\\ .\\ .\\ .\\ {\hat{d}}_l\left(k\right)\\ .\\ .\\ .\\ {\hat{d}}_l\left(n\right)\end{array}\right)\left(\begin{array}{ccc}1& \frac{{\tau }_G}{{\tau }_R}& \frac{{\tau }_B}{{\tau }_R}\end{array}\right)=\left(\begin{array}{ccc}1-\frac{I_R\left(1\right)}{A_R}& 1-\frac{I_G\left(1\right)}{A_G}& 1-\frac{I_B\left(1\right)}{A_B}\\ 1-\frac{I_R\left(2\right)}{A_R}& 1-\frac{I_G\left(2\right)}{A_G}& 1-\frac{I_B\left(2\right)}{A_B}\\ .& .& .\\ .& .& .\\ .& .& .\\ 1-\frac{I_R\left(k\right)}{A_R}& 1-\frac{I_G\left(k\right)}{A_G}& 1-\frac{I_B\left(k\right)}{A_B}\\ .& .& .\\ .& .& .\\ .& .& .\\ 1-\frac{I_R\left(n\right)}{A_R}& 1-\frac{I_G\left(n\right)}{A_G}& 1-\frac{I_B\left(n\right)}{A_B}\end{array}\right)$

其中，Z定义为Z＝d_l(1)τ_R，按如下方程计算：

$Z=\frac{\left(\begin{array}{ccc}1-\frac{I_R\left(1\right)}{A_R}& 1-\frac{I_G\left(1\right)}{A_G}& 1-\frac{I_B\left(1\right)}{A_B}\\ 1-\frac{I_R\left(2\right)}{A_R}& 1-\frac{I_G\left(2\right)}{A_G}& 1-\frac{I_B\left(2\right)}{A_B}\\ .& .& .\\ .& .& .\\ .& .& .\\ 1-\frac{I_R\left(k\right)}{A_R}& 1-\frac{I_G\left(k\right)}{A_G}& 1-\frac{I_B\left(K\right)}{A_B}\\ .& .& .\\ .& .& .\\ .& .& .\\ 1-\frac{I_R\left(n\right)}{A_R}& 1-\frac{I_G\left(n\right)}{A_G}& 1-\frac{I_B\left(n\right)}{A_B}\end{array}\right)\left(\begin{array}{c}1\\ \frac{{\tau }_G}{{\tau }_B}\\ \frac{{\tau }_B}{{\tau }_R}\end{array}\right)\left(\begin{array}{cccccc}\widehat{d_l}\left(1\right)& \widehat{d_l}\left(2\right)& ...& \widehat{d_l}\left(k\right)& ...& \widehat{d_l}\left(n\right)\end{array}\right)}{\left(\begin{array}{c}\widehat{d_l}\left(1\right)\\ \widehat{d_l}\left(2\right)\\ .\\ .\\ .\\ \widehat{d_l}\left(k\right)\\ .\\ .\\ .\\ \widehat{d_l}\left(n\right)\end{array}\right)\left(\begin{array}{ccc}1& \frac{{\tau }_G}{{\tau }_R}& \frac{{\tau }_B}{{\tau }_R}\end{array}\right)\left(\begin{array}{c}1\\ \frac{{\tau }_G}{{\tau }_R}\\ \frac{{\tau }_B}{{\tau }_R}\end{array}\right)\left(\begin{array}{cccccc}\widehat{d_l}\left(1\right)& \widehat{d_l}\left(2\right)& ...& \widehat{d_l}\left(k\right)& ...& \widehat{d_l}\left(n\right)\end{array}\right)}$

将暗点处求得的按如下方程传播到图像中所有像素点。

${\hat{d}}_l\left(i,j\right)=\frac{{\Sigma }_{\left(s,t\right)\in DP}\left[{\hat{d}}_l\left(s,t\right)·\exp \left(-\frac{{\left(i-s\right)}^2+{\left(j-t\right)}^2}{2{\sigma }_d^2}-\frac{{\Sigma }_{c\in \left\{R,G,B\right\}}{\left(I_c\left(i,j\right)-I_c\left(s,t\right)\right)}^2}{2{\sigma }_c^2}\right)\right]}{{\Sigma }_{\left(s,t\right)\in DP}\exp \left(-\frac{{\left(i-s\right)}^2+{\left(j-t\right)}^2}{2{\sigma }_d^2}-\frac{{\Sigma }_{c\in \left\{R,G,B\right\}}{\left(I_c\left(i,j\right)-I_c\left(s,t\right)\right)}^2}{2{\sigma }_c^2}\right)}$

计算出图像中所有像素点的即获得了图像的阴霾分布。

衰减补偿计算：定义衰减补偿D_c(i,j)，其中c∈{R，G，B}，(i，j)为图像中像素点坐 标。D_c(i，j)分别按如下方程计算：

$D_R(i,j)=Z·{\hat{d}}_l(i,j)·1$

$D_G\left(i,j\right)=2·{\hat{d}}_l\left(i,j\right)·\frac{{\tau }_G}{{\tau }_R}$

$D_B\left(i,j\right)=2·{\hat{d}}_l\left(i,j\right)·\frac{{\tau }_B}{{\tau }_R}$

无衰减图像重建：得到衰减补偿系数，按如下方程计算所有点各颜色通道的亮度 值：

$P_c(i,j)=\frac{I_c(i,j)-A_c(1-D_c(i,j\left)\right)}{D_c(i,j)}$

其中，c∈{R，G，B}。得到的P_c(i，j)为去除光程中大气衰减因素造成的光亮变化。

色彩还原：将得到的P_c(i，j)按如下方程作调整，去除由于大气光造成的颜色失 真。

$Q_c(i,j)=\frac{P_c(i,j)}{A_C}*255$

计算得到的Q_c(i，j)即去除阴霾影响的清晰图像。

图像输出：将每个点的各颜色通道的亮度值保存下来，以图像格式输出，即得到了 去除阴霾影响的图像。