基于纹理特征点的太赫兹与可见光图像配准方法及装置

摘要

本发明公开了一种基于纹理特征点的太赫兹与可见光图像配准方法及装置，该方法包括：S1、提取可见光图像和太赫兹图像的前景图像；S2、对前景图像提取纹理信息得到纹理特征图；S3、提取纹理特征图中的纹理特征点并作特征点描述；S4、进行特征点匹配、配准参数计算及图像配准；S5、判断是否需要修正，如是，利用监督下降的方法进行修正后进入下一步，如否，直接进入下一步；S6、将太赫兹图像与可见光图像融合。本发明通过提取纹理特征点，减少了环境带来的干扰，同时也可以将太赫兹与可见光图像的相似之处以特征点的形式描述出来，从而实现了可见光与太赫兹图像的实时配准融合。

说明书

技术领域

本发明涉及安检安防领域，尤其涉及一种基于纹理特征点的太赫兹与可见光图像配准方法及装置。

背景技术

单一传感器获取到的信息往往比较单一，在大部分情况下已经不能满足实际需求，所以多传感器融合的方案效果较佳。

太赫兹安检仪也是如此，从太赫兹图像中可以检测到被检人携带的隐匿物，但太赫兹图像因为成像特性原因，使得被检人的外貌特征丢失严重，而可见光图像虽然不容易检测出隐匿物，但包含了丰富的外貌特征，如果将太赫兹图像的隐匿物信息与可见光图像的外貌信息融合，那将会使太赫兹安检仪的适用性更强。对于太赫兹探测器和摄像头，其成像原理、视场、安装的位置等都会不同，这将导致两种探测器获取到的图像之间可能存在平移、缩放、旋转等不匹配的现象，需要利用图像配准技术对其配准。

常用的图像配准算法主要基于特征、基于相关性和基于变换域等，随着人工智能的发展，在图像配准领域深度学习的方法也有很多，效果比较好的有ASLFeat。其中，基于特征的配准方法因为提取了图像的显著特征，所以计算量小速度快，对图像灰度变化有很好的鲁棒性，但对特征的提取与匹配比较敏感，需要可靠的特征和鲁棒性好的匹配方法；基于相关性的配准方法虽然不需要提取特征，但对灰度变换比较敏感，且通常计算量大；基于变换域的配准方法对配准图像的重叠区域要求比较高；ASLFeat是对D2-Net的进行改进，ASLFeat引入了空洞卷积增加感受野，从而增强网络的特征提取能力，提出了新的多尺度检测机制，提高关键点的准确性。但对异源图像的配准效果仍然不够理想，尤其是太赫兹与可见光这种差异性比较大的图像，并且速度也比较慢，达不到实时要求。

发明内容

本发明的目的在于提供一种基于纹理特征点的太赫兹与可见光图像配准方法及装置，以实现太赫兹图像与可见光图像准确、实时的配准融合。

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

根据本发明的一方面，提供了一种基于纹理特征点的太赫兹与可见光图像配准方法，包括以下步骤：

S1、提取可见光图像和太赫兹图像的前景图像；

S2、对前景图像提取纹理信息得到纹理特征图；

S3、提取纹理特征图中的纹理特征点并作特征点描述；

S4、进行特征点匹配、配准参数计算及图像配准；

S5、判断是否需要修正，如是，利用监督下降的方法进行修正后进入下一步，如否，直接进入下一步；

S6、将太赫兹图像与可见光图像融合。

在一实施例中，该方法的所述S1包括：以偶树复小波变换为基础，通过频域处理对可见光图像做前景提取，并处理成二值化图像；对太赫兹图像利用自适应二值化做前景提取。

在一实施例中，该方法的所述S2包括：对提取的前景图像进行预处理，预处理包括闭运算和平滑处理；利用gabor模板对前景图像进行卷积，得到纹理特征图。

在一实施例中，该方法的所述S3中的提取纹理特征图中的纹理特征点包括：先提取像素级角点，再求出亚像素角点。

在一实施例中，该方法采用Shi-Tomasi角点检测算子提取像素级角点，采用最小二乘法计算出亚像素角点。

在一实施例中，该方法的所述S3中的特征点描述包括：利用形状上下文算法统计目标轮廓形状的空间分布，建立全局形状上下文描述子。

在一实施例中，该方法的所述S4中的特征点匹配包括：

匹配度计算，两个特征点直接的匹配度统计值计算公式如下：

其中H

根据匹配度进行双向匹配，选择最佳匹配对作为匹配点对。

在一实施例中，该方法的所述S5中判断是否需要修正包括：通过计算交并比和/或配准误差判断是否需要修正。

在一实施例中，该方法的所述S6包括：将太赫兹图像与可见光图像加权融合；其中，存在隐匿物的区域太赫兹的加权系数更大，没有隐匿物的区域可见光的加权系数更大。

根据本发明的另一方面，还提供了一种基于纹理特征点的太赫兹与可见光图像配准装置，包括：前景图像提取模块，用于提取可见光图像和太赫兹图像的前景图像；纹理特征图生成模块，用于对前景图像提取纹理信息得到纹理特征图；纹理特征点提取模块，用于提取纹理特征图中的纹理特征点并作特征点描述；图像配准模块，用于进行特征点匹配、配准参数计算及图像配准；修正模块，用于判断是否需要修正，如是，利用监督下降的方法进行修正；融合模块，用于将太赫兹图像与可见光图像融合。

本发明实施例的有益效果是：通过提取纹理特征点，减少了环境带来的干扰，同时也可以将太赫兹与可见光图像的相似之处以特征点的形式描述出来，从而实现了可见光与太赫兹图像的实时配准融合。优选地，采用形状上下文描述方法描述纹理特征点，每个特征点的描述子都会包含更多的临近点信息，因此抗误匹配性能更好。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1是本发明方法实施例中可见光前景提取结果示意图；

图2是本发明方法实施例中太赫兹轮廓提取结果示意图；

图3是本发明方法实施例中纹理特征图；

图4是本发明方法实施例中纹理特征点示意图；

图5是本发明方法实施例中纹理特征点和轮廓特征点对比示意图；

图6是本发明方法实施例的T

图7是本发明方法实施例的多匹配取最优示意图；

图8是本发明方法实施例的太赫兹与可见光前景融合示意图；

图9是本发明方法实施例的流程图；

图10是本发明装置实施例的模块图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

如图9所示，本发明实施例提供了一种基于纹理特征点的太赫兹与可见光图像配准方法，包括以下步骤：

S1、提取可见光图像和太赫兹图像的前景图像；

在可能的实施例中，S1包括：以偶树复小波变换为基础，通过频域处理对可见光图像做前景提取，并处理成二值化图像；详细内容可参见岳爱菊等人的《一种变换域纹理图像特征提取和分割方法》。为了减少可见光与太赫兹图像细节性差异，将前景图像处理成二值化图像，如图1所示。太赫兹图像背景与前景有明显差异，利用自适应二值化(比如OTSU)即可去除背景，可以得到图2所示的效果。

S2、对前景图像提取纹理信息得到纹理特征图；

具体包括：对提取的前景图像进行预处理，预处理包括闭运算和平滑，主要目的是减少断裂和毛刺的影响，然后利用gabor模板对前景图像进行卷积可以得到纹理特征图，如图3所示。

S3、提取纹理特征图中的纹理特征点并作特征点描述；

先采用Shi-Tomasi角点检测算子提取像素级角点，再采用最小二乘法计算出亚像素角点。提取的纹理特征点效果如图4和图5所示。

虽然可见光图像与太赫兹图像细节信息差异很大，但轮廓形状具有相似性。利用形状上下文算法统计目标轮廓形状的空间分布，建立全局形状上下文描述子。对于第k个特征点与第i个特征点之间的距离值和角度值，可以用如下的公式计算：

利用公式(1)对所有特征点进行全局形状上下文描述，得到距离矩阵和角度值矩阵。

利用式(2)对距离矩阵作归一化，得到取值为0，1，2...4的距离编码值。

其中d

同样地利用式(3)对角度矩阵作归一化，得到取值为1，2，3...8的角度编码值。

其中θ

最后将角度编码值和距离编码值按式(4)组合得到一个直方图，即描述子

S4、进行特征点匹配、配准参数计算及图像配准；

S4.1、匹配度计算

在特征匹配之前需要计算匹配的依据，即匹配度，利用χ

其中H

S4.2、双向匹配

太赫兹图像中的每个特征点都会与可见光图像中的每个特征点一起计算得到一个匹配度，对于单个特征点会对应一个匹配度向量，将匹配度向量按从小到大的顺序排序，然后通过阈值设定匹配候选点个数m，对于特征点K，依次检查它的m个候选点与它是否互为候选点，如果是则形成匹配点对，如图6所示，如果存在多对一的情况，则选择最佳匹配对作为匹配点对，如图7所示，当m＞2时，太赫兹中的T

4.3、配准参数计算

配准参数计算和特征点筛选采用RANSAC算法，以减少匹配误差带来的影响。实践中可以利用opencv的findHomography()函数搭载RANSAC算法获取转换矩阵H。

4.4、图像配准

图像配准，即将待配准图像与配准矩阵相乘做透射变换即可得到配准图像，设待配准图像某点的坐标为(x

[u，v，w]＝[x

S5、判断是否需要修正，如是，利用监督下降的方法进行修正后进入下一步，如否，直接进入下一步；

S5.1、配准评价

配准评价指标有两个，一个是两个图像中公共目标的交并比IOU，另一个指标是，配准误差ML，以人体为例，将对可见光和太赫兹图像做分割，提取出人体，这一步其实在第一步已经完成了，然后将人体做二值化即可计算交并比，例如图8中的B图所示，太赫兹与可见光的前景融合结果，因为可见光中存在衣服，所以与太赫兹不会完全重合，图中白色(灰度值255)部分表示太赫兹与可见光前景相交部分，灰色(灰度值127)部分表示不相交部分，容易得到前景的交集如图8中的C图，和并集如图8中的D图，知道交集和并集的计算方法后可用式(7)计算IOU。

其中p

配准误差的计算可以利用式(8)得到，其中假设待配准像素坐标为(x

配准评价时可以综合IOU和ML，形成一个综合评价指标，也可以依次用单独指标进行评价，当且仅当两个指标都满足要求才认为配准达标，IOU越大代表配准性能越好，ML越小代表配准性能越好，比如IOU＞80％且ML＜5。

S5.2、修正

修正可以采用人脸关键点对齐的算法，比如TCDNN、SDM等。

S6、将太赫兹图像与可见光图像融合。

为了能清楚的辨认行人，又能看清携带的隐匿物，太赫兹与可见光图像融合采用加权融合的方案，根据隐匿物目标检测结果利用不同的加权系数，即有隐匿物的地方太赫兹权重大，没有隐匿物的地方可见光的权重大，比如式(9)的融合方案：

与上述方法对应的，本发明实施例还提供了一种基于纹理特征点的太赫兹与可见光图像配准装置，如图10所示，包括：

前景图像提取模块201，用于提取可见光图像和太赫兹图像的前景图像；

纹理特征图生成模块202，用于对前景图像提取纹理信息得到纹理特征图；

纹理特征点提取模块203，用于提取纹理特征图中的纹理特征点并作特征点描述；

图像配准模块204，用于进行特征点匹配、配准参数计算及图像配准；

修正模块205，用于判断是否需要修正，如是，利用监督下降的方法进行修正；

融合模块206，用于将太赫兹图像与可见光图像融合。

综上所述，本发明通过频域处理来提取前景可以减少环境带来的干扰。通过提取纹理特征的特征点，进一步减少环境带来的干扰，同时也将太赫兹与可见光图像的相似之处以特征点的形式描述出来。纹理特征点因为增加了临近点，在描述时都用形状上下文描述方法对特征点进行描述，所以每个特征点的描述子都会包含更多的临近点信息，抗误匹配性能比轮廓特征点要好。对于单个特征点来说，相当于增加了更多定位信息，如图5所示，描述子更具有区分度。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。