融合颜色对比图和颜色空间分布图的图像显著性检测方法

摘要

本发明公开了一种融合颜色对比图和颜色空间分布图的图像显著性检测方法。通常的自下而上的图像显著性检测方法是利用图像的颜色、亮度、边缘等底层特征来计算。本发明综合图像底层颜色对比特征图和图像颜色空间分布特征图来得到最后的显著性图。首先根据SLIC超像素分割后的图像求取图像的颜色对比特征图，接着，利用K‑Means聚类后的图像通过计算获得初步的颜色空间分布特征图，再映射到超像素分割图上，进而根据图像颜色的相似度来进一步优化颜色分布特征图。最后融合颜色对比特征图和优化后的图像颜色空间分布特征图得到最终的显著图。本发明能够在较低的时间复杂度内得到较准确、完整的显著图。

说明书

技术领域

本发明属于计算机图像处理领域，涉及检测图像的显著性区域，具体涉及融合颜色对比图和颜色空间分布图的图像显著性检测方法。

背景技术

图像的显著性检测是将图像中最重要的、包含丰富信息的区域标记出来。显著性检测在图像分割、图像压缩、图像检索、目标识别等领域具有重要应用，对于图像的理解及处理有着重要的应用价值。如何快速准确地从大量的图像信息中检索到人们想要关注的信息是一个极其重要的课题。研究发现人类的视觉系统具有视觉选择性能力，并且人类的视觉系统主要分为两种，即自底向上策略注意机制和自顶向下策略注意机制。前者是利用图像的颜色、亮度、边缘等特征来计算，而后者主要针对图像的特定特征来计算图像的显著性区域。由于目前所检测的图像大多是不确定的、无目标的区域，因此大多数的算法均为自底向上模型。

下面对国内外的基于自底向上的图像显著性检测方法进行介绍。其中，最早由Itti等人(“A Model of Saliency-Based Visual Attention for Rapid SceneAnalysis”)于1998年提出的著名的生物启发模型，根据视觉系统的行为和神经网络结构，提取图像的亮度、颜色以及方向特征，利用中心-周边差来得到图像在不同尺度下的特征。在Itti模型的基础上Hofmann等人(“Graph-Based Visual Saliency”)于2006年提出了基于图论的GBVS算法，该算法采用Itti的特征提取方法，把像素点(或者图像块)作为节点并计算节点间的差异得到一个带权无向图，最后利用Markov链计算最终的显著图。Zhai等人(“attention detection in video sequences using spatiotemporal cues”)于2006年提出的LC算法，可以通过计算每个像素与其余像素灰度信息的差异计算得到显著图，但缺少色彩信息。Hou等人(“A Spectral Residual Approach”)于2007年从频域角度提出了频谱差法SR，利用图像的傅里叶频谱与平均频谱之差做反傅里叶变换得到显著图。该方法适用于尺寸较小的显著目标，但显著图往往只有注视点区域，没有清晰边界。Achanta等人(“Salient region detection and segmentation”)于2008年提出的AC算法中，显著性被定义为图像区域相对于其在多尺度下的邻域的局部对比度，是一种全分辨算法，可得到清晰的边界信息。Achanta等人(“Frequency-tuned Salient Region Detection”)于2009年提出一种基于DOG算子的频域调制算法FT，该算法利用图像在lab色彩空间中每个通道与色彩均值之差，可得到全局对比度的显著图。Cheng等人(“Global Contrast based SalientRegion Detection”)于2011年提出了基于全局对比度的检测方法。该方法对量化后的图像建立颜色直方图，通过计算每种颜色与其他颜色之间的差异度来获取直方图对比度(HC)。利用上述直方图把图像分割为不同的颜色块，再组合空间关系来计算每个区域的显著值(RC)，最后得到基于区域对比度的显著图。Hornung等人(“Contrast based filtering forsalient region”)于2012年提出了一种基于滤波来提高计算效率的方法，显著图的计算元素是SLIC超像素分割后的每一个超像素块，综合颜色对比度和颜色分布方差来计算显著图。郭迎春等人(“基于Local特征和Regional特征的图像显著性检测”)于2013年利用图像在多个尺度下计算得到的子块的局部特征和区域特征进行自然图像的显著性检测。张旭东等人(“结合区域协方差分析的图像显著性检测”)于2016年提出了一种基于协方差矩阵的检测方法，但部分显著目标不完整。

发明内容

本发明的目的是针对现有技术的不足，提出一种利用超像素分割与聚类分割结合计算图像颜色对比度和颜色空间分布性的显著性检测方法。该方法能够有效地抑制背景区域的显著性，检测出图像准确的显著性区域，特别是一些以往仅以颜色为特征的检测方法只能检测出错误区域的特殊图像，该方法可以根据颜色空间分布信息改正偶然错误的颜色对比图而得到最终准确的显著图。

本发明的具体步骤如下：

步骤1、将输入图像进行平滑处理，得到平滑图像。

步骤2、利用SLIC超像素分割算法将平滑图像分割成超像素图，并计算每个超像素的平均颜色和平均位置：

其中，R_i表示第i个超像素，像素I_i∈R_i，为像素I_i的颜色向量，为像素I_i的位置向量，c_i为R_i中所有像素的平均颜色向量，p_i为R_i中所有像素的平均位置向量，|R_i|表示R_i中像素的个数。

步骤3、利用中心-周围原则计算超像素图中每个超像素的颜色对比值F_i，得到颜色对比图。

其中，C(c_i,c_j)＝||c_i-c_j||表示c_i与c_j的欧氏距离，W^p(p_i,p_j)是调节对比值的空间权重，P(p_i,p_j)＝||p_i-p_j||表示p_i与p_j的欧氏距离。1/Z_i是使得的归一化因子，σ_p取值0.5，exp为指数运算，N＝|R_i|-1，c_j为R_j中所有像素的平均颜色向量，p_j为R_j中所有像素的平均位置向量，R_j表示第j个超像素。

步骤4、利用K-Means聚类算法把平滑图像按照颜色聚类分割为M个类，M≤10，得到聚类图，类又称为颜色分量。按下式计算每个颜色分量的平均颜色和平均位置。

其中，G_i表示第i个颜色分量，像素P_i∈G_i，为像素P_i的颜色向量，颜色向量采用l分量、a分量和b分量表达，为像素P_i的位置向量；c^g_i为颜色分量G_i的平均颜色向量，即颜色分量G_i在颜色上的聚类中心；p^g_i为颜色分量G_i的平均位置向量，即颜色分量G_i在空间上的聚类中心，|G_i|表示颜色分量G_i中像素的个数。

步骤5、计算聚类图中的类间空间方差、类内空间方差以及类内颜色方差。

其中，V_iⁱⁿ和V_i^out分别表示颜色分量G_i的类内空间方差和类间空间方差，表示颜色分量G_i的类内颜色方差，表示颜色分量G_j在空间上的聚类中心。

步骤6、将步骤5求得的类间空间方差、类内空间方差以及类内颜色方差非线性组合成初步的颜色空间分布值。

采用高斯权值为类内颜色方差分配权重，即取5。

步骤7、由聚类图得出每个类初步的颜色空间分布值之后，映射到超像素图上进行优化，得到优化的颜色空间分布值D_i′，并进行归一化处理，得到优化的颜色空间分布图：

其中，U_i是指超像素R_i的邻接超像素个数；K_i和K_j分别是超像素R_i和超像素R_j的初步的颜色空间分布值，v_i指超像素R_i中每个像素点初步的颜色空间分布值。

步骤8、融合颜色对比图和优化的颜色空间分布图，得到显著图。

S_i＝F_i·D_i′(11)

由于F_i和D_i′都与显著图成正比，所以，若某一处超像素的灰度值为零，从公式(11)得出最后的显著图中相应的S_i也为零。

C(c_i,c_j)表达了超像素R_i与超像素R_j的颜色差，颜色差计算时只取a分量和b分量两个通道的差异。

本发明的有益效果：

本发明得到的显著图结合了颜色空间分布性，特别地对于颜色高对比度区域并非显著区域的图像，能够高效地检测出准确的显著性目标区域，同时，降低了背景区域的显著性。

附图说明

图1(a)、1(b)、1(c)分别为输入图像、平滑图像与超像素图；

图2(a)、2(b)、2(c)分别为颜色对比图、聚类图与初步的颜色空间分布图；

图3(a)、3(b)、3(c)分别为基于超像素的初步颜色空间分布图、优化的颜色空间分布图与显著图；

图4(a)、4(b)分别为本发明得到的显著图进行二值化后的结果图、基准显著图；

图5为本发明的算法流程图。

具体实施方式

本实施例中没有详细说明的部分请参照发明内容的描述。

如图5所示，融合颜色对比图和颜色空间分布图的图像显著性检测方法，具体步骤如下：

步骤1、对于一幅待处理的输入图像，为了高效处理等比例调整长宽最大分辨率为400。为了避免噪声的影响，采用卷积核大小为3*3的高斯低通滤波器将图像进行平滑处理，滤波后得到平滑图像。输入图像与平滑图像分别见图1(a)与图1(b)。

步骤2、利用SLIC超像素分割算法(Achanta等人发表的论文“SLIC superpixelscompared to state-of-the-art superpixel methods”中提出的超像素分割算法)将平滑图像分割成大约400个超像素，并按照公式(1)计算每个超像素的平均颜色和平均位置，超像素图见图1(c)。

步骤3、利用中心-周围原则按照公式(2)、(3)计算每个超像素的颜色对比值F_i，得到颜色对比图，并归一化到[0，1]，颜色对比图见图2(a)。

步骤4、利用K-Means聚类算法(Macqueen等人发表的论文“Some Methods forClassification and Analysis of MultiVariate Observations”中的聚类算法)把平滑图像按照颜色向量进行聚类分割，结果为10个类并且每个类中的像素点特征是相似的，类又称为颜色分量。按照公式(4)计算每个颜色分量的平均颜色和平均位置，聚类图见图2(b)。

步骤5、按照公式(5)、(6)、(7)分别计算得到聚类图中的类间空间方差、类内空间方差以及类内颜色方差。

步骤6、根据步骤5中的类间空间方差、类内空间方差以及类内颜色方差按照公式(8)非线性组合计算得到初步的颜色空间分布图见图2(c)。在计算过程中，和分别为对类内空间方差、类间空间方差和类内颜色方差三个因子的归一化处理，使得数值范围变成[0，1]。其中，类内空间方差和类间空间方差是与显著性成反比，所以借助指数函数归一化后，类内空间方差和类间空间方差越大越接近于0；类内颜色方差与显著性成正比，所以借助指数函数归一化后，类内颜色方差越大越接近于1。

步骤7、在步骤2得到的超像素图中，查找组成每个超像素的所有像素点，在初步颜色空间分布图中对应位置的这些像素点的均值就是超像素的新值，这样就把聚类图中的初步颜色空间分布图映射到了超像素图中，从而得到基于超像素的初步的颜色空间分布图见图3(a)，再根据基于超像素的初步的颜色空间分布图以及超像素之间的差异利用公式(9)进行优化，得到优化的颜色空间分布图见图3(b)，并归一化到[0，1]。

步骤8、根据公式(11)融合步骤3和步骤7得到的颜色对比度图和优化的颜色空间分布图得到显著图见图3(c)。

步骤9、为了得到二值化图，求取显著图平均灰度值的2倍作为阈值，大于或等于阈值的像素点，赋值为1，小于阈值的像素点，赋值为0，得到二值化图见图4(a)。基准显著图见图4(b)。