一种基于昇腾处理器的指节纹和指静脉身份识别装置

摘要

一种基于昇腾处理器的指节纹和指静脉身份识别装置，包括昇腾处理器图像处理子系统以及指节纹和指静脉图像采集子系统，系统以搭载昇腾310处理器的Atlas200模块为核心设计嵌入式平台，构建了昇腾处理器图像处理子系统；以650nm和850nm光波长的LED阵列和摄像头为核心搭建指节纹和指静脉图像采集子系统，光强可调；同时，在图像采集过程中通过预处理和图像评估获得最佳质量图像，并使用Triplet Loss函数神经网络进行高效的特征匹配，实现身份识别。本发明有效地解决不同环境下指节纹和指静脉图像差异明显、手指图像识别算法难以实时实现以及低功耗和小型化条件下系统开发的难题。

说明书

技术领域

本发明属于生物特征识别及模式识别技术领域，特别涉及将指节纹和指静脉两种生物特征结合起来的多模态、非接触式身份识别系统。

背景技术

随着信息时代的到来，个人身份信息的安全越来越重要。而随着技术的进步，造假水平的提高，传统的身份识别方式难以为继。因此需要一种安全性更高的身份认证技术——多特征生物识别技术。这是一种基于多种特征信息进行融合的识别技术，将多种不同优势的单一生物特征进行融合，从而获得任何一种单一特征所不具有的全面特性的识别技术。

传统的手部识别方式是指纹识别，但存在伪造、磨损、识别率低等问题。而比起指纹，指节纹受到磨损的概率更低，识别特征也更为简单，但是相对的，指节纹的生物信息并没有那么丰富，因此还需要静脉生物特征作为补充。指静脉血管位于手指表皮下，很难被伪造和复制，有非常高的安全性。由于指节纹和指静脉采集的是手指信息，所以采集装置可以更为小巧、便携。使用指静脉与指节纹的身份识别方法具有易采集、非侵入、稳定、唯一、识别率高等特点。

生物的多模态融合最早始于1995年，Brunelli等人提出了使用生物的多特征进行身份认证；Zhu等人采用基于指关节、指形、掌纹等多模态方法；2011年，Song等人设计了一种基于透射方式的手指特征采集装置；Nanni等人提出了基于指关节特征匹配方法；Ribaric等人采用PCA方法定义五个手指的特征。国内也相继对手部多模态特征进行研究。2008年罗荣芳等提出一种基于小波分析的指节纹识别算法，对手指图像进行定位、分割、归一化后通过水平投影得到指节纹一维信号，利用小波提取手指第一第二折痕线特征并通过欧式距离进行匹配。2012年中国民航大学的杨金锋等人研制了多光谱手指静脉成像系统，采用不同波长的近红外光作为采集系统的光源，利用手指中不同组织对不同波长的光有不同的吸收性能，可以获得质量较高的手指静脉图像，但该装置只解决了采集部分，图像处理仍然是在PC端实现的。相关的研究至今已取得了一定的进展，但是为满足工程应用需求，仍需解决以下难题：1)指节纹和指静脉图像处理算法所需要的计算量庞大，难以在硬件端实时实现；2)低功耗和小型化条件下的高速图像处理算法开发，并对指节纹和指静脉图像特征进行有效的提取、融合与识别；3)采集的指节纹和指静脉图像容易受到不同人、环境的影响，质量差异非常明显。

昇腾310处理器本质上是一个片上系统(System on Chip，SoC)，拥有高达16T的现场算力，一秒钟可处理上千张图片，可以为各行各业提供触手可及的高效算力。其主要的架构组成部件包括特制的计算单元、大容量的存储单元和相应的控制单元。昇腾310处理器内部核心分为专用于控制芯片整体运行的主控CPU和专用于承担非矩阵类复杂计算的AICPU，两类任务占用的CPU核数可由软件根据系统实际运行情况动态分配。除了CPU之外，该芯片真正的算力担当是采用了达芬奇架构的AI Core。这些AI Core通过特别设计的架构和电路实现了高通量、大算力和低功耗，特别适合处理深度学习中神经网络必须的常用计算如矩阵相乘等。目前该芯片能对整型数或对浮点数提供强大的乘加计算力。由于采用了模块化的设计，可以很方便的通过叠加模块提高后续芯片的计算力。

Triplet loss最初是在《FaceNet:A Unified Embedding for Face Recognitionand Clustering》论文中提出的，可以学到较好的人脸的embedding。Triplet loss通常是在个体级别的细粒度识别上应用，传统的是人脸识别、人员重识别、车辆重识别等，但今年来也被用于需求更精确的识别中。基于度量学习的误差函数Triplet loss，通过定义三元组损失函数应用梯度下降，学习神经网络的参数得到优质的图片特征信息。

发明内容

为了克服现有技术的不足，本发明提供了一种基于昇腾处理器的指节纹和指静脉身份识别装置，昇腾310处理器内部具有可动态分配的主控CPU和承担复杂计算的AI CPU和采用达芬奇架构的AI Core，面向于边缘计算场景，具有高通量、大算力和低功耗的特点；该装置有效地解决不同环境下指节纹和指静脉图像差异明显、手指图像识别算法难以实时实现以及低功耗和小型化条件下系统开发的难题。

为了解决上述技术问题，本发明提供如下的技术方案：

一种基于昇腾处理器的指节纹和指静脉身份识别装置，所述装置包括指节纹和指静脉图像采集子系统以及昇腾处理器图像处理子系统，所述的指节纹和指静脉图像采集子系统分时采集手指的指节纹和指静脉图像，然后将图像数据通过相应接口发送至昇腾处理器图像处理子系统；所述的昇腾处理器图像处理子系统先对接收的图像进行预处理和评估，根据评估结果调整所述的指节纹和指静脉图像采集子系统参数以采集最佳质量图像，然后使用最佳质量的图像进行实时图像处理，最后使用Triplet Loss函数神经网络进行特征匹配，实现身份识别。

进一步，所述的指节纹和指静脉图像采集子系统包括：

命令接口，用于接收昇腾处理器图像处理子系统发送的控制命令；

PWM接口，用于接收昇腾处理器图像处理子系统发送的光强调节信号；

MIPI接口，用于传输CMOS摄像头拍摄的图像数据；

650nm波长LED阵列，通过LED阵列驱动信号控制发出650nm的红光，用于反射手指获取指节纹图像；

850nm波长LED阵列，通过LED阵列驱动信号控制发出850nm的近红外光，用于透射手指获取指静脉图像；

MP3202芯片，用于将PWM接口接收到的光强调节信号转化为对应的LED阵列驱动信号；

CMOS摄像头，用于拍摄指节纹和指静脉图像。

以上的指节纹和指静脉图像采集子系统根据昇腾处理器图像处理子系统发送的PWM信号和命令调节LED阵列的光源强度，完成手指的指节纹和指静脉图像采集。

再进一步，所述的昇腾处理器图像处理子系统包括：

命令接口，用于发送昇腾处理器图像处理子系统对指节纹和指静脉图像采集子系统的控制命令；

SD卡，用于存放系统代码和保存数据，昇腾310处理器完成自启动后将会从SD卡运行程序，并将处理完后的图像特征数据保存在SD卡中用于比对；

FLASH芯片，用于保存系统相关参数和设置，处理器调用其内数据；

LED指示灯，用于提示系统状态和身份识别结果，根据灯颜色区分；

按键，用于对系统进行必要的操作，包括启动身份识别、启动特征采集、完成特征采集；

千兆以太网芯片、千兆以太网接口，用于传输昇腾处理器图像处理子系统的数据给上位机；

PWM接口，用于传送给指节纹和指静脉图像采集子系统的光强调节信号，实现对LED阵列光强的调节；

MIPI接口，用于接收指节纹和指静脉图像采集子系统发送的图像数据；

USB Hub芯片，用于将一个USB3.0口转换为四个USB3.0接口，实现调试信息传输、上位机控制系统；

Atlas200模块，搭载昇腾310处理器，用于通过PWM信号和命令控制指节纹和指静脉图像采集子系统进行光强调节和图像采集，并由相应接口将图像数据传输至处理器，在处理器内对图像进行处理，将处理后的特征数据保存在SD卡内或与保存的特征数据比对，除此之外还用于控制千兆以太网芯片传输图像数据，控制USB Hub芯片进行调试数据交互，根据系统状态控制指示灯颜色，通过按键获取操作指令。

以上的昇腾处理器图像处理子系统完成了图像数据的接收，图像数据的处理，调试数据的传输与系统控制。

所述所昇腾处理器图像处理子系统中，图像处理和匹配步骤如下：①对采集的指节纹和指静脉图像进行预处理，即感兴趣区域分割、归一化后，得到的初步图像进行二维熵图像质量评估；②图像质量评估结果满足设定的要求，则进入下一步，否则重新采集图像并运行上一步；③对预处理后的图像进行特征提取、融合，得到指节纹和指静脉特征信息；④处理完成的指节纹和指静脉特征信息根据需要进行特征存储或特征识别；⑤从特征库中按编号依次读取身份特征信息，并使用Triplet Loss函数神经网络匹配算法进行快速匹配；⑥若特征匹配则表示身份识别成功，若特征未匹配则继续运行上一步，直至全部身份特征比对完，若特征还未匹配，则宣告身份识别失败。

所述的昇腾310处理器内部采用了达芬奇架构的AI Core作为算力担当，用于算法中复杂的神经网络的矩阵计算；丰富的高速数据互连接口，实现了大规模的图像数据吞吐量；专用于控制芯片整体运行的主控CPU和专用于承担非矩阵类复杂计算的AI CPU，可以分开实现系统的控制和图像处理运算，实现了功耗的自适应；最终，使得昇腾310处理器在低功耗下实现指节纹和指静脉图像数据高速率传输与图像算法高效计算。

本发明以搭载昇腾310处理器的Atlas200模块为核心设计嵌入式平台，发挥昇腾310处理器高通量、大算力、低功耗的特性，构建了昇腾处理器图像处理子系统，同时，通过相应的接口传输数据，可实现昇腾处理器图像处理子系统与指节纹和指静脉图像采集子系统的高速数据交互，完成指节纹和指静脉图像的采集和实时处理，整个装置具有强大的数据交互能力和数据实时处理能力。

本发明的有益效果表现在：有效地解决不同环境下指节纹和指静脉图像差异明显、手指图像识别算法难以实时实现以及低功耗和小型化条件下系统开发的难题。

附图说明

图1为本发明实施例基于昇腾处理器的指节纹和指静脉身份识别装置结构示意图；

图2为本发明实施例指节纹和指静脉图像采集子系统结构示意图；

图3为本发明实施例昇腾处理器图像处理子系统结构示意图；

图4为本发明实施例基于昇腾处理器的指节纹和指静脉身份识别装置系统流程图。

具体实施方式

为了更为具体地描述本发明，下面结合附图1～4及具体实施方式对本发明的技术方案进行详细说明。

图1所述的是本发明实施例基于昇腾处理器的指节纹和指静脉身份识别装置结构示意图，该装置具体包括：昇腾处理器图像处理子系统100、指节纹和指静脉图像采集子系统200，其中，昇腾处理器图像处理子系统100包括：千兆以太网接口101，可以完成图像数据至上位机的传输；USB3.0接口102，用于接收外部发来的对昇腾处理器图像处理子系统100的调试命令和发送昇腾处理器图像处理子系统100的运行信息；昇腾处理器图像处理子系统100与指节纹和指静脉图像采集子系统200通过MIPI接口和PWM接口互连，实现指节纹和指静脉图像采集子系统200的图像数据通过MIPI接口同步传输至昇腾处理器图像处理子系统100。昇腾处理器图像处理子系统100通过命令接口104与指节纹和指静脉图像采集子系统200进行命令交互，实现指节纹和指静脉图像采集和数据传输控制。

本发明装置可根据系统算法计算的需求和计算模型的需要配置昇腾处理器图像处理子系统100的计算调用资源；同时，昇腾处理器图像处理子系统100通过命令接口可以控制指节纹和指静脉图像采集子系统200进行光强调节、图像采集和图像数据传输，具有系统控制灵活、功耗低、环境适应度高等特点。

如图2所示的是本发明实施例昇腾处理器图像处理子系统100的结构示意图，该子系统包括：搭载昇腾310处理器的Atals200模块111、USB Hub芯片110、千兆以太网芯片109、PWM接口108、MIPI接口107、按键106、LED指示灯105、命令接口104、调试接口103、USB3.0接口102以及千兆以太网接口101。其中，千兆以太网接口101与搭载昇腾310处理器的Atals200模块111之间连接有千兆以太网芯片109，USB3.0接口102与搭载昇腾310处理器的Atals200模块111之间连接有USB Hub芯片110。PWM接口108控制指节纹和指静脉图像采集子系统200进行光强调节；命令接口104中的START信号控制指节纹和指静脉图像采集子系统200开启或关闭摄像头。搭载昇腾310处理器的Atals200模块111通过MIPI接口107接收图像数据，实现指节纹和指静脉图像算法的实时计算，通过LED指示灯105进行系统状态提示，或将图像数据通过千兆以太网芯片109与千兆以太网接口101进行传输，图像数据传输至上位机显示。

如图3所示的是本发明实施例指节纹和指静脉图像采集子系统200的结构示意图，该子系统包括：MIPI接口207、命令接口206、PWM接口205、CMOS摄像头204、850nmLED阵列203、650nmLED阵列202以及多片MP3202芯片201。其中，PWM接口205接收指节纹和指静脉图像采集子系统200的光强控制信号，多片MP3202芯片201对得到的光强控制信号进行同步转化为驱动信号，这些驱动信号最终传给850nmLED阵列203和650nmLED阵列202，实现光强的控制与调节。命令接口206接收到的命令让CMOS摄像头204拍摄图像，并通过MIPI接口207将图像数据传输至昇腾处理器图像处理子系统100，实现指节纹和指静脉图像采集子系统200与昇腾处理器图像处理子系统100之间的命令交互与图像数据传输。

如图4所示的是本发明实施例基于昇腾处理器的指节纹和指静脉身份识别装置系统流程图，主要流程如下：

(1)启动自检：基于昇腾处理器的指节纹和指静脉身份识别装置上电开机后，将会先从内部引导启动，并自行检查相关器件是否能正常工作、系统是否能正常使用。

(2)图像预采集与评估：身份特征待采集人员或待识别人员通过昇腾处理器图像处理子系统100的按键106进行身份特征采集流程，LED指示灯105显示白色提示正在采集；昇腾处理器图像处理子系统100使用当前参数通过PWM接口108和多片MP3202芯片201驱动850nmLED阵列203和650nmLED阵列202光源强度，通过命令接口104控制CMOS摄像头204拍摄一副图像，并经MIPI接口207和MIPI接口107将图像数据传送回搭载昇腾310处理器的Atals200模块111，待搭载昇腾310处理器的Atals200模块111对图像进行预处理，将得到的结果进行质量评估，根据设定的要求判断图像是否可用，若可用则进入下一步图像处理，否则昇腾处理器图像处理子系统100根据评估结果调节参数，再次控制指节纹和指静脉图像采集子系统200采集图像并进行预处理和评估，直到调节图像质量为满足系统设定要求；然后昇腾处理器图像处理子系统100通过命令接口104控制CMOS摄像头204和850nmLED阵列203和650nmLED阵列202关闭。

(3)特征处理：上一步得到的满足图像质量要求的图像会由昇腾处理器图像处理子系统100进行特征提取、特征融合，得到完整清晰的指节纹和指静脉融合后的特征信息；根据先前按键动作，选择进入特征保存或特征匹配流程，LED指示灯105显示黄色提示正在识别；若是特征存储，搭载昇腾310处理器的Atals200模块111会将特征数据编号并存入SD卡身份特征库内；若是特征识别流程，搭载昇腾310处理器的Atals200模块111会从SD卡身份特征库内依次读取身份特征，并使用Triplet Loss函数的神经网络进行特征匹配，实现身份识别；若比对上即身份识别成功，LED指示灯105显示绿色，若全部特征数据库都匹配不了即表示身份识别失败，LED指示灯105显示红色。

Triplet loss函数运用在指节纹和指静脉的特征匹配中可用不等式表示：

||x

其中x

该不等式本质上定义了同类样本和异类样本之间的距离关系，即所有同类样本之间的距离加阈值threshold，要小于异类样本之间的距离。当距离关系不满足上述不等式时，我们可通过求解下列误差函数，通过反向传播算法来调节整个网络：

只有括号内公式的值大于0时，才计算误差。利用该公式可分别计算出x

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。