从视觉量创建的多个凸显图中获得一个凸显图的方法

摘要

本发明涉及一种从不同视觉量创建的多个凸显图中获得一个凸显图的方法，包括－基于每一视觉量的理论最大值归一化所述凸显图的步骤，－选择每一凸显图中的主特征区域的图内竞争步骤，－图间竞争步骤，该步骤基于各图内竞争和图间冗余项的总和，该图间冗余项是图内竞争的乘积与在所述凸显图中点出现的概率的函数。

说明书

技术领域

本发明涉及一种从不同视觉量创建的多个凸显图(saliency map)中获得一个凸 显图的方法。

背景技术

人类具有选择性的视觉注意，意思是，我们的视觉系统主要响应一定数 量的来自我们环境中物体和事件的信号。

引起我们注意的最明显和最直觉的信号无疑是一个场景中一个物体的突 然出现。

最后，各种研究尝试从真正固定点估计吸引我们目光的视觉特性的相似 之处。作为普遍规则，这些研究涉及各种量的测量，例如通过图像的平均亮 度归一化的方差、在被测的固定点以及它周围之间的熵(entropy)和相关性。

主要结论如下：

-固定区域的对比度测量高于随机取的区域的对比度测量。也就是说， 即使当所述区域与观测者所执行的任务无关时，区域的对比度也会吸引我们 的注意，而不管区域的性质(亮度、颜色、运动、纹理等)如何。

-基于相关性测量，这些研究也显示所述固定点与其附近的不同。

在图像中凸显点的检测使得随后有可能改进编码和索引的方法。获取凸 显图作为获得图像中凸显点列表的一种途径，这在以Thomson Licensing SA 名义在2003年12月18日提交的公开号为EP1544792的欧洲专利申请中描述。

凸显图的创建与不同的视觉量有关：一个凸显图可能与多个彩色分量有 关，每个彩色分量一个图，或者甚至与无色分量有关。但是，一旦创建了不 同的凸显图，合并它们可能会产生不希望的结果。

传统的合并方法在于归一化不同的凸显图以获得相同的动态范围。图C 的归一化用N(C)表示，使用在图C上确定的整体最大值。于是可以按照 如下关系简单得到最终的凸显图S：

CS(s)＝N(N(CSA(s))+N(CS_Cr1(s))+N(CS_Cr2(s)))

其中，CSA(s)表示无色分量的凸显图，CS_Cr1(s)表示第一彩色分量的凸显 图，CS_Cr2(s)表示第二彩色分量的凸显图。

该方法的一个优点是它的简单。但是，它存在各方面的缺点：

-该方法不区分具有准均匀分布的凸显图和具有一个或更多凸显峰值的 凸显图；

-当多个凸显峰值出现在一个凸显图中时，这种类型的合并无疑地偏好 最高的凸显峰值；

-该方法对脉冲噪声非常敏感；

-图之间没有交互。

发明内容

因此本发明意在补偿至少一个上述缺点。为此，本发明提出了一种从不 同视觉量创建的多个凸显图中获得一个凸显图的方法。

按照本发明，所述方法包括

-基于每一视觉量的理论最大值归一化所述凸显图的步骤，

-选择每一凸显图中的主凸显区域的图内竞争步骤，

-图间竞争步骤，该步骤基于各图内竞争和图间冗余项的总和，该图间 冗余项是图内竞争的乘积与在所述凸显图中点出现的概率的函数。

这种合并凸显图的方法包括两种竞争方法：

-图内竞争，用来识别该图最相关的区域；

-图间竞争，利用不同图的冗余和互补性。图间冗余的使用是当特定区域产生 多维上的凸显时，增强特定区域的凸显的一种途径。相反，当一个区域仅在一个视 觉维上产生凸显时，有必要使用图间互补性。

按照优选实施例，在归一化步骤中：

-将所述凸显图的点相对于视觉量值的理论最大值进行归一化，

-利用预定数量的级将所述图线性量化。

按照优选实施例，在图内竞争步骤中，

-定义一包含假定要凸显的点的预备列表，假定要凸显的点中包括视觉 量值高的点，

-按照所述值的降序扫描假定要凸显的点的预备列表，并且禁止在以假 定要凸显的点为中心、预定半径的圆形区域内存在的其余假定要凸显的点，

-建立凸显点的列表，包括与下一更高值点的值之比大于预定阈值的未 禁止点。

按照优选实施例，所述视觉量与所述彩色和无色分量有关。

按照优选实施例，所述与彩色分量有关的凸显图被合并，然后将得到的 凸显图和与无色分量有关的凸显图进行合并。

具体实施方式

参照单个附图，通过示例性实施例和有利的实现(绝非限制性的)将更好地理 解和说明本发明，该附图表示示例性搜索在未更改的分量A上的局部最大值。

下述描述的实施例提出对来自分量Cr1和Cr2的、标记为CS^Cr1和CS^Cr2的两个图的连贯合并。很容易构想出推广到n个凸显图。

所述合并方法包含一个初步动态归一化步骤。不像已知的使用基于每个 图的整体最大值的归一化那样，所述合并方法中使用的归一化是基于每一视 觉维数的理论最大值。这些最大值是用具体测试凭实验确定的。例如，对于 分量Cr1，一个具有均匀亮度但是具有饱和的红色图案的图像，产生接近视 觉轴Cr1的最大动态值的动态值。重复这种类型的实验是一种定义分量A、 Cr1、Cr2的理论最大值的方法。

所述两个图CS^Cr1和CS^Cr2随后被归一化和在L级上线性量化。在归一化 和量化后，它们分别以CS_NQ^Cr1和CS_NQ^Cr2标记。

接下来是归一化步骤，所述方法包括图内竞争步骤。所述图内竞争按照 最近的局部最大值来更改图CS_NQ^Cr1和CS_NQ^Cr2的每一点(site)s的值。该类型的竞 争由下述关系式给出：

${\mathrm{IntraMap}}^{\mathrm{Cr}1}\left(S\right)=\frac{{\mathrm{CS}}_{\mathrm{NQ}}^{\mathrm{Cr}1}\left(s\right)}{{\mathrm{NearestMaxc}}_{r1}\left(s\right)}$

${\mathrm{IntraMap}}^{\mathrm{Cr}2}\left(S\right)=\frac{{\mathrm{CS}}_{\mathrm{NQ}}^{\mathrm{Cr}2}\left(s\right)}{{\mathrm{NearestMaxc}}_{r2}\left(s\right)}$

函数NearestMaxc_r1(相应地NearestMaxc_r2)返回最接近点s的分量Cr1(相应地 Cr2)的局部最大值。该值由大小为K1(相应地K2)个值的列表L1(相应地L2) 中得到。所述列表大小通过如下方式确定的，即，为了获得大于阈值(任意设置为 1.3)的局部最大值n与局部最大值n+1之比。这样就有可能只考虑主要凸显区域。

所述局部最大值n+1是由图1中所示的，通过禁止一个以局部最大值n为中心 并且具有两个视觉度的半径的圆形区域来确定的。圆的大小与观测距离成正比。

图内竞争步骤之后，进行图间竞争。所述图间竞争利用不同图的冗余和互补性。 所述项Intermap通过如下关系式给出：

Intermaps(s)＝complementarity(s)+redundancy(s)

项“complementarity(s)”是通过将图内竞争的结果相加在一起得到的：

complementarity(s)＝intraMap^Cr1(s)+intraMap^Cr2(s)

基于对要合并的图的分布的联合分析来处理所述图间冗余。

${\mathrm{redundancy}\left(s\right)=\mathrm{intraMap}}^{\mathrm{Cr}1}\left(s\right)*{\mathrm{intraMap}}^{\mathrm{Cr}2}\left(s\right)\frac{\mathrm{Log}\frac{N}{H({\mathrm{CS}}_{\mathrm{NQ}}^{\mathrm{Cr}1}\left(s\right),{\mathrm{CS}}_{\mathrm{NQ}}^{\mathrm{Cr}2}\left(s\right))}}{3\mathrm{Log}\left(L\right)}$

N表示相关图的点的数量。

因子由图CS_NQ^C1和CS_NQ^C2的组合直方图推导出，并且按照 其出现的概率来改变有关的点s的值。通过点s传达的信息量与其出现的概率成反比。 因而，当点s出现的概率低时上述因子增加点s的值。相反，当点s出现的概率高时 上述因子减少点s的值。

图CS^Cr1和CS^Cr2的合并由项intermap(s)给出。

当视觉量Cr1和Cr2表示彩色分量时，也可以引入与无色分量有关的第三凸显 图。于是引入分级方法用于执行所述三个凸显图的合并。

所述凸显图这样获得的：首先合并与无色分量有关的两个凸显图，然后扶行由 此得到的彩色凸显图与所述无色凸显图之间的合并。

也可通过时间凸显图与空间凸显图的合并来应用这样的分级方法。所述彩色和 无色凸显图然后按照上述分级方法来合并。然后执行该空间凸显图与时间凸显图的 分级合并。