法律状态公告日
法律状态信息
法律状态
2019-07-05
未缴年费专利权终止 IPC(主分类):G06T7/40 授权公告日:20121205 终止日期:20180717 申请日:20090717
专利权的终止
2018-07-27
专利权的转移 IPC(主分类):G06T7/40 登记生效日:20180706 变更前: 变更后: 申请日:20090717
专利申请权、专利权的转移
2012-12-05
授权
授权
2010-02-17
实质审查的生效
实质审查的生效
2009-12-23
公开
公开
技术领域
本发明涉及图像处理技术领域,具体地说是一种纹理图像分割的方法,可用于对SAR图像的分割。
背景技术
一直以来,国内外学者提出了为数众多的纹理图像分割方法,主要有共生矩阵法、基于小波和Gabor滤波器的方法、马尔可夫随机场方法等。近年来,多尺度思想在图像分割领域得到了广泛应用,图像多尺度分解的优点在于,低分辨率的图像极大地降低了对图像处理的复杂度,同时为高分辨率图像的处理过程提供指导信息,从而大大减少图像处理对先验知识的依赖,从处理的图像特征角度看,多尺度分割方法可分为基于变换域和空间域两大类。基于变换域多尺度分割方法则先对图像做变换,如小波变换,然后分析变换域系数、建立合适的模型,最后运用建立的模型计算各个尺度上的初分割。基于空间域多尺度分割方法通常对图像下采样建立塔型结构,然后运用MRF(Markov Random Field)方法对各个尺度上的特征建模,并得到多尺度的初分割结果。
在基于变换域的多尺度统计图像建模方面,M.S.Crouse等人提出的小波域HMT模型能有效地描述小波系数在尺度间、尺度内的统计相关性,它是一种新的统计图像感知与识别方法。在图像分割领域,H.Choi等人提出了基于小波域HMT模型的多尺度图像分割方法HMTseg,实验表明HMTseg方法对均匀纹理分割性能良好,但对于非均匀纹理分割效果则有待提高。在基于空间域统计图像建模方面,Li和Gray等人提出的2D-HMM(Two-Dimensional Hidden Markov Model)对纹理有较强的描述能力,该模型先将纹理图像分割成大小相同的图像块,在考虑图像块内纹理特征的同时,更强调了对图像块间相关性的统计建模。2D-HMM捕捉了纹理图像宏观上的结构关系,应用到图像分割中效果良好。从捕捉纹理图像的宏观和微观特征出发,Lu和Carin等人将空间域的HMM模型和变换域的HMT模型相结合提出了HMM-HMT(Hidden Markov Model-Hidden Markov Tree)模型。他们认为,HMTseg方法是基于图像块内的分割方法,该方法更侧重于考虑图像块内的统计特性,因此HMT模型不能准确地描述纹理图像的宏观统计规律性,尤其对结构型纹理图像HMT模型难以捕捉其纹理子结构间复杂的空间结构关系。为此,Lu和Carin等人对每一类纹理均联系一个HMM-HMT模型,然后通过HMM和HMT分别对图像块间的相关性和图像块内特征建模。HMM-HMT有效地描述了纹理图像块间的宏观和图像块内的微观统计特征,故该模型在一个尺度上得到了较可靠的初分割结果。然而,应用HMM-HMT模型计算各个尺度上的初分割时需由于要分别训练各个尺度上的HMM-HMT模型参数,因而极大地增加了计算复杂度;如果为了减小计算复杂度,只计算最粗尺度上的初分割而不计算其它各细尺度上的HMM-HMT模型参数,则会造成最终分割结果区域一致性差和边界保持不良的缺陷。
发明内容
本发明的目的在于克服上述已有问题的缺陷,提出一种基于增强HMM-HMT和多状态加权HMT的纹理图像分割方法,以降低计算复杂度,提高图像分割的区域一致性和边界保持度。
实现本发明目的的技术方案是:在最粗尺度分割上,对现有HMM-HMT模型中对纹理宏观结构关系描述进行改进,提出增强HMM-HMT模型,以改善最粗尺度的初分割结果;在细尺度分割上,提出多状态加权隐马尔可夫树模型(Multi-States Weighted Hidden Markov Tree,MSWHMT),以减少计算复杂度,提高各个细尺度上对区域间边界的感知能力,其具体实现步骤包括如下:
(1)输入纹理图像的类别数E,并将纹理图像初始分割成16×16大小互不重叠的粗图像块,对每一个图像块做二维离散小波变换;
(2)对二维离散小波变换后的各个图像块内的系数,通过EM算法训练出各图像块的隐马尔可夫树模型HMT参数HMTsm,HMTs,sm代表平滑图像块,s代表奇异图像块;
(3)对初始分割的各个图像块周围邻域的8个图像块进行标记,其中将中心块记为C,将与中心块直接相邻的4个块记为I类邻域块,将与中心块对角线方向的4个块记为II类邻域块;
(4)采用类Viterbi算法训练各个初始分割图像块的块隐状态概率πk=p(B=k)、中心块C至I类邻域块的隐状态转移概率αm,n和中心块C至II类邻域块的隐状态转移概率βm,n,构成增强HMM的参数,其中k={sm,s},m,n={sm,s},sm代表平滑图像块,s代表奇异图像块;
(5)输入HMT参数HMTsm,HMTs和增强HMM的参数πk、αm,n、βm,n,并利用这些参数计算各类纹理图像的似然:
>
其中,
(6)从各类纹理的似然值中找出最大的一个似然值,用该最大似然所对应的纹理类别作为粗图像块的初分割结果;
(7)依次将纹理图像分割成8×8、4×4和2×2大小互不重叠的细图像块,利用粗图像块上的得到的模型参数πk、HMTsmt和HMTst,计算各细图像块上各节点i的似然值,并在各类纹理的似然值中找出最大的一个似然值,作为各细图像块的初分割结果,该似然值的计算公式如下:
>
其中,t=1,2,…,E,E为纹理类别数,θt为第t类纹理的增强HMM-HMT参数,似然lsmt(Wij)和lst(Wij)分别由参数HMTsmt和HMTst在四叉树上通过一次自下而上的扫描过程计算得到,其表达式为:
>
其中,Tij表示由图像块内的小波系数构成的四叉树上的一个节点,
(8)将粗尺度j上的初分割结果以1∶4扩展,使之与细尺度j-1上的初分割的各个节点一一对应,然后判断粗尺度节点s是否为边界节点,确定出纹理图像的边界;
(9)采用基于最大后验概率MAP的多尺度融合策略确定纹理图像边界节点的纹理类别,按照粗图像块的初分割结果确定纹理图像非边界节点的纹理类别,得到最终的纹理分割结果。
本发明与现有的技术相比具有以下优点:
1、本发明提出的增强HMM-HMT模型对中心块与8邻域内的所有块建立直接联系,增强了模型对纹理空间结构的描述能力。实验表明,增强HMM-HMT模型在最粗尺度分割结果上得到了区域一致性好的初分割结果,相比HMM-HMT模型性能有所提高;
2、本发明在计算各个细尺度上的初分割时,提出了多状态加权HMT模型。与增强HMM-HMT模型相比,多状态加权HMT模型只需要增强HMM-HMT模型在最粗尺度上的模型训练参数,因而多状态加权HMT模型极大地降低了时间复杂度;其次,多状态加权HMT模型舍弃了各个细尺度上块与邻域块间的联系,消除了块邻域成员对中心块的影响,不再通过描述块间的邻域关系来刻画该细尺度上的纹理空间结构信息,而采用基于块内的HMT模型来捕捉其细微特征,进而提高了该模型在各个细尺度上的边界保持度。
附图说明
图1是本发明的I类邻域块和II类邻域块结构图;
图2是本发明的纹理分割方法流程图;
图3是现有的由微纹理合成的2-6类测试纹理图;
图4是用本发明与现有其它不同方法对图3微纹理的分割结果比较图;
图5是现有由宏纹理合成的2-6类测试纹理图;
图6是用本发明与现有其它不同方法对图5宏纹理的分割结果比较图;
图7是现有由混合纹理合成的2-6类测试纹理图;
图8是用本发明与现有其它不同方法对图7混合纹理的分割结果比较图。
具体实施方式
步骤1,输入纹理图像,以及纹理图像的类别数E。
输入的纹理图像包括图3所示的由微纹理合成测试纹理图,其中图(a)是合成纹理图像mosaic7,图(b)是合成纹理图像mosaic8,图(c)是合成纹理图像mosaic1,图(d)是合成纹理图像mosaic4,图(e)是合成纹理图像mosaic9;图5所示的由宏纹理合成的测试纹理图,其中图(a)是合成纹理图像mosaic10,图(b)是合成纹理图像mosaic11,图(c)是合成纹理图像mosaic2,图(d)是合成纹理图像mosaic5,图(e)是合成纹理图像mosaic12;图7所示的由混合纹理合成的测试纹理图,其中图(a)是合成纹理图像mosaic13,图(b)是合成纹理图像mosaic14,图(c)是合成纹理图像mosaic3,图(d)是合成纹理图像mosaic6,图(e)是合成纹理图像mosaic 15;这三种纹理图像的类别数均为2-6类;
步骤2,对初始纹理图像分为16×16大小互不重叠的粗图像块,对每个图像块进行二维离散小波变换;
步骤3,利用增强HMM-HMT模型计算粗尺度的初分割结果,具体步骤为:
(3.1)对二维离散小波变换后的各个图像块内的系数,通过EM算法训练出各图像块的隐马尔可夫树模型HMT参数HMTsm,HMTs,sm代表平滑图像块,s代表奇异图像块;
(3.2)对初始分割的各个图像块周围邻域的8个图像块进行标记,其中将中心块记为C,将与中心块直接相邻的4个块记为I类邻域块,将与中心块对角线方向的4个块记为II类邻域块;其邻域结构图如图1所示;
(3.3)采用类Viterbi算法训练各个初始分割图像块的块隐状态概率πk=p(B=k)、中心块C至I类邻域块的隐状态转移概率αm,n和中心块C至II类邻域块的隐状态转移概率βm,n,构成EHMM的参数,其中k={sm,s},m,n={sm,s},sm代表平滑图像块,s代表奇异图像块;
(3.3.1)对于每一个图像块所联系的块隐状态变量,其初始值可任意赋值,并初始化增强HMM参数πk,αm,n,βm,n,k={sm,s},m,n={sm,s};
(3.3.2)依据块隐状态变量的值对所有图像块分成HMTsm和HMTs 2组,HMTsm代表平滑图像块组HMT参数,HMTs代表奇异图像块组HMT参数,更新每一组的HMT参数,并计算每一个图像块
(3.3.3)计算中心块C的后验概率δC(kC)和中心块C与其8邻域的联合状态概率δI,II(kI,II):
>
其中,>
>
>
>
>
(3.3.4)对(1)式求最大值,估计最可能的状态序列{k1,k2,k3,k4,k5,k6,k7,k8,k9},并对中心块C的隐状态变量赋值为kC;
(3.3.5)将每一个图像块均当作中心块C一次,并按步骤(3.3.3)和(3.3.4)估计出每个图像块的隐状态变量的值;
(3.3.6)若参数收敛,则满足终止条件,训练停止;否则,转步骤(3.3.2);
(3.4)输入HMT参数HMTsm,HMTs和增强HMM的参数πk、αm,n、βm,n,并利用这些参数计算各类纹理图像的似然:
>
其中,
(3.5)从各类纹理的似然值中找出最大的一个似然值,用该最大似然所对应的纹理类别作为粗图像块的初分割结果。
步骤4,利用多状态加权HMT模型计算各细尺度的初分割结果,具体方法为:
依次将纹理图像分割成8×8、4×4和2×2大小互不重叠的细图像块,利用粗图像块上的得到的模型参数πk、HMTsmt和HMTst,计算各细图像块上各节点i的似然值,并在各类纹理的似然值中找出最大的一个似然值,作为各细图像块的初分割结果,该似然值的计算公式如下:
>
其中,t=1,2,…,E,E为纹理类别数,θt为第t类纹理的增强HM-HMT参数,似然lsmt(Wij)和lst(Wij)分别由参数HMTsmt和HMTst在四叉树上通过一次自下而上的扫描过程计算得到,其表达式为:
>
其中,Tij表示由图像块内的小波系数构成的四叉树上的一个节点,
步骤5,将粗尺度j上的初分割结果以1∶4扩展,使之与细尺度j-1上的初分割的各个节点一一对应,然后判断粗尺度节点s是否为边界节点,确定出纹理图像的边界,具体步骤如下:
(5.1)若粗尺度j上节点s的8邻域中存在与该节点s不同纹理类别的节点,则s为边界节点;
(5.2)若粗尺度j上节点s的纹理类别与其细尺度j-1上子节点t的纹理类别不一致,则还需要利用细尺度j-2上的边界信息判断节点s是否为边界节点;
(5.3)若同时满足如下两个子条件,则认为s是否为边界节点:
第一个条件是:对于粗尺度j上节点s的似然>取ls的各分量中次小者为候选纹理,且候选纹理类别与细尺度上子节点t的纹理类别Labelt一致;
第二个条件是:以细尺度j-1上子节点t为中心划3×3大小的窗口,将该窗口联系一个窗口似然矢量>其中各分量,如
>
其中,var(l1t,…,l4t,l5t,l6t,…,l9t)定义为:
>
步骤6,采用基于最大后验概率MAP的多尺度融合策略确定纹理图像边界节点的纹理类别,按照粗图像块的初分割结果确定纹理图像非边界节点的纹理类别,得到最终的纹理分割结果;微纹理图像、宏纹理图像和混合纹理图像的分割结果分别如图4、图6、图8所示,其中(a)是分割的模板,(b)是HMT分割方法,(c)是结合边界信息的多尺度MAP融合HMT分割方法,(d)是多尺度MAP融合EHMM-HMT分割方法(e)是结合边界信息的多尺度MAP融合EHMM-HMT分割方法。
本发明的效果可通过以下仿真实验进一步说明:
为了具体说明本发明的优势和特点,下面对该发明的实现过程进行详细介绍,并应用到纹理图像分割过程中去,得到的分割结果见附图。
实验1:最粗尺度上的初分割结果
实验1目的是测试并比较EHMM-HMT模型和HMM-HMT模型在最粗尺度上的初分割性能。我们将不同性质的纹理合成了3类测试纹理,分别进行了仿真实验。它们分别是均匀纹理、非均匀纹理及其混合纹理的和纹理。实验的各纹理均是Brodatz纹理图像库里的纹理样图,它包含112幅自然纹理图像,大小均为640×640,256级灰度。如图2所示,第一行由三幅4类测试纹理组成,其中mosaic1由均匀纹理D9、D75、D95、D68合成,mosaic2由非均匀纹理D42、D63、D91、D71合成,mosaic3由均匀非均匀混合纹理D95、D9、D68、D91合成;第二行由三幅5类测试纹理组成,其中mosaic4由均匀纹理D35、D21、D16、D18、D95合成,mosaic5由非均匀纹理D42、D63、D91、D71、D108合成,mosaic6由均匀非均匀混合纹理D75、D9、D68、D95、D42合成。
表1给出了EHM-HMT与HMM-HMT在最粗尺度上的初分割精度。
表1 EHMM-HMT与HMM-HMT在最粗尺度上初分割性能比较(正确率:%)
由表1可见,对于大多数测试纹理,EHMM-HMT在最粗尺度的初分割性能比HMM-HMT要优。同时可见,由于EHM-HMT对中心块与8邻域内的所有块建立直接联系,增强了模型对纹理空间结构的描述能力,进而提高了粗尺度的初分割性能。
实验2:各细尺度的初分割结果
本部分以实验1中的测试图像为例,分别运用EHMM-HMT、HMT、MSWHMT计算各细尺度上的初分割,然后给出了它们的边界检测精度和所耗时间。由于基于小波域的EHMM-HMT在最细尺度上剖分得到的图像块大小为2×2,此时基于块的HMT模型退化为IM模型,故在表4、表5、表6中未给出其结果,并将其边界检测精度和耗时分别标记为“×”和“/”。本实验的硬件测试平台是:Pentium 4CPU,主频2.9GHz,内存1.0GB;软件平台为:Windows XP操作系统和Matlab 7.3.0。
表2 对均匀纹理在各尺度上的边界检测精度及耗时
表3 对非均匀纹理在各尺度上的边界检测精度及耗时
表4 对混合纹理在各尺度上的边界检测精度及耗时
表2、表3和表4分别给出了EHMM-HMT、HMT、MSWHMT在各细尺度上的初分割结果。结果表明,EHMM-HMT模型在更精细的尺度,比如:8×8、4×4和2×2上重新估计EHMM-HMT参数不仅增加了算法的运行时间,而且得到的边界检测精度不尽如人意,在多数指标上逊于MSWHMT模型的结果。一方面,由于纹理特征通常以观察者所选取尺度的不同而变化,因此对图像分割而言,一幅图像针对某特定的应用总存在其最合理的尺度;另一方面,由于EHMM-HMT在细尺度上剖分的块随尺度变小而变小,而细尺度上较小的块却不能提供足够多的基本信息,于是基于较小的块计算出的似然可信度差,最终导致在此基础之上训练得到的EHMM参数并不能准确地描述纹理的宏观特征。分析MSWHMT模型我们发现,一方面,MSWHMT舍弃了图像块与邻域图像块间的联系,消除了块邻域成员对中心图像块的影响,不再通过描述图像块间的邻域关系来捕捉纹理空间结构信息,提高了MSWHMT对区域间边界的感知能力。另一方面,MSWHMT保留了描述不同纹理子结构的全局统计信息,实现了对各纹理子结构的宏观估计与局部描述的有机结合,在各细尺度上达到了减少区域边界误分的目的,因而在细尺度上对边界的检测比EHMM-HMT、HMT性能更优。
机译: 基于纹理特征的图像分割装置及方法
机译: 基于所述量度的颜色纹理距离和图像分割的测量方法和装置
机译: 基于所述量度的颜色纹理距离和图像分割的测量方法和装置