目标跟踪方法、目标跟踪装置、计算机可读介质

摘要

本公开提供一种目标跟踪方法，包括：获取目标场景的搜索神经形态数据，所述搜索神经形态数据表征所述目标场景的光强变化信息；将所述搜索神经形态数据输入目标跟踪模型，利用所述目标跟踪模型中的脉冲神经网络获取所述目标场景的特征数据；分别确定所述目标场景的特征数据与至少一个待跟踪目标的特征数据的相似度关系；根据所述目标场景的特征数据与各个所述待跟踪目标的特征数据的相似度关系，确定在所述目标场景中针对各个所述待跟踪目标的跟踪结果。本公开还提供一种目标跟踪装置、一种计算机可读介质。

说明书

技术领域

本公开涉及计算机视觉技术领域，特别涉及一种目标跟踪方法、一种目标跟踪装置、一种计算机可读介质。

背景技术

目标跟踪是计算机视觉研究的重点领域，基于深度学习算法的目标跟踪技术已经有了长足的发展。

但是，一些相关技术中，目标跟踪的性能还有待提升。

发明内容

本公开实施例提供一种目标跟踪方法、一种目标跟踪装置、一种计算机可读介质。

第一方面，本公开实施例提供一种目标跟踪方法，包括：

获取目标场景的搜索神经形态数据，所述搜索神经形态数据表征所述目标场景的光强变化信息；

将所述搜索神经形态数据输入目标跟踪模型，利用所述目标跟踪模型中的脉冲神经网络获取所述目标场景的特征数据；

分别确定所述目标场景的特征数据与至少一个待跟踪目标的特征数据的相似度关系；

根据所述目标场景的特征数据与各个所述待跟踪目标的特征数据的相似度关系，确定在所述目标场景中针对各个所述待跟踪目标的跟踪结果。

在一些实施例中，获取目标场景的搜索神经形态数据，包括：

基于神经形态视觉传感器获取所述目标场景的事件数据，所述目标场景的事件数据表征所述目标场景的光强变化信息；

根据预设的时间步长，对所述目标场景的事件数据进行组帧，得到所述搜索神经形态数据。

在一些实施例中，根据预设的时间步长，对所述目标场景的事件数据进行组帧，得到所述搜索神经形态数据，包括：

确定起始时间点；

将以所述起始时间点为起点、长度满足第一预设条件的时间范围内的所述目标场景的事件数据进行组帧，得到所述搜索神经形态数据。

在一些实施例中，确定起始时间点，包括：

根据预设时间间隔，确定至少一个起始时间点。

在一些实施例中，所述预设时间间隔为第一时间间隔；根据预设时间间隔，确定至少一个起始时间点，包括：

每间隔所述第一时间间隔，确定一个所述起始时间点；其中，所述第一时间间隔等于所述时间步长。

在一些实施例中，所述预设时间间隔为第二时间间隔；根据预设时间间隔，确定至少一个起始时间点，包括：

每间隔所述第二时间间隔，确定一个所述起始时间点；其中，所述第二时间间隔小于所述时间步长。

在一些实施例中，所述预设时间间隔为第三时间间隔；根据预设时间间隔，确定至少一个起始时间点，包括：

每间隔所述第三时间间隔，确定一个候选时间点；其中，所述第三时间间隔与所述时间步长满足第一预设关系；

对于任意一个所述候选时间点，将目标时间区间内的所述目标场景的事件数据进行组帧，得到目标帧数据；其中，所述目标时间区间以所述候选时间点为起点、长度与所述时间步长满足第二预设关系；

根据所述目标帧数据确定所述目标时间区间内存在所述待跟踪目标的概率；

在所述目标时间区间内存在所述待跟踪目标的概率满足第二预设条件的情况下，在所述目标时间区间内每间隔第四时间间隔，确定一个所述起始时间点；其中，所述第四时间间隔小于所述时间步长。

在一些实施例中，长度满足第一预设条件的时间范围包括：长度等于所述时间步长的时间范围。

在一些实施例中，将所述搜索神经形态数据输入目标跟踪模型，利用所述目标跟踪模型中的脉冲神经网络提取所述目标场景的特征数据，包括：

利用所述脉冲神经网络提取所述搜索神经形态数据的时空特征数据；

整合所述时空特征数据中的时间维度信息，得到所述目标场景的特征数据。

在一些实施例中，整合所述时空特征数据中的时间维度信息，得到所述目标场景的特征数据，包括：

对所述时空特征数据在时间维度进行数据平均化处理，得到所述目标场景的特征数据。

在一些实施例中，分别确定所述目标场景的特征数据与至少一个待跟踪目标的特征数据的相似度关系，包括：

对于任意一个所述待跟踪目标，对所述待跟踪目标的特征数据与所述目标场景的特征数据进行互相关运算，得到所述目标场景的特征数据与所述待跟踪目标的特征数据的相似度关系。

在一些实施例中，对所述待跟踪目标的特征数据与所述目标场景的特征数据进行互相关运算，得到所述目标场景的特征数据与所述待跟踪目标的特征数据的相似度关系，包括：

以所述待跟踪目标的特征数据为卷积核对所述目标场景的特征数据进行卷积，得到响应度得分矩阵，所述响应度得分矩阵表征所述目标场景的特征数据与所述待跟踪目标的特征数据的相似度关系。

在一些实施例中，根据所述目标场景的特征数据与各个所述待跟踪目标的特征数据的相似度关系，确定在所述目标场景中针对各个所述待跟踪目标的跟踪结果，包括：

将所述待跟踪目标的响应度得分矩阵中、大于或等于相似度阈值的响应度得分所对应的所述目标场景中的子区域，确定为所述待跟踪目标在所述目标场景中的位置。

在一些实施例中，所述目标跟踪模型包括孪生网络，所述孪生网络包括两个输入通道，每一个所述输入通道对应一个所述脉冲神经网络；

其中，在分别确定所述目标场景的特征数据与至少一个待跟踪目标的特征数据的相似度关系之前，所述方法还包括：

获取所述待跟踪目标的模板神经形态数据，所述模板神经形态数据表征所述待跟踪目标的光强变化信息；

将所述模板神经形态数据输入所述孪生网络的一个输入通道，利用所述脉冲神经网络获取所述待跟踪目标的特征数据；

其中，将所述搜索神经形态数据输入目标跟踪模型，利用所述目标跟踪模型中的脉冲神经网络获取所述目标场景的特征数据的步骤包括：

将所述搜索神经形态数据输入所述孪生网络的另一个输入通道，利用所述脉冲神经网络获取所述目标场景的特征数据。

在一些实施例中，所述方法还包括：

采用逻辑误差函数对所述孪生网络进行训练。

在一些实施例中，所述脉冲神经网络至少包括二维卷积层、批量标准化层、整流线性单元激活函数层、最大池化层、泄露集成和发放层中的一个或多个。

第二方面，本公开实施例提供一种目标跟踪装置，包括：

数据获取模块，被配置为获取目标场景的搜索神经形态数据，所述搜索神经形态数据表征所述目标场景的光强变化信息；

特征提取模块，被配置为将所述搜索神经形态数据输入目标跟踪模型，利用所述目标跟踪模型中的脉冲神经网络获取所述目标场景的特征数据；

数据处理模块，被配置为分别确定所述目标场景的特征数据与至少一个待跟踪目标的特征数据的相似度关系；

目标跟踪模块，被配置为根据所述目标场景的特征数据与各个所述待跟踪目标的特征数据的相似度关系，确定在所述目标场景中针对各个所述待跟踪目标的跟踪结果。

第三方面，本公开实施例提供一种目标跟踪装置，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例第一方面中任意一项所述的目标跟踪方法。

第四方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开实施例第一方面中任意一项所述的目标跟踪方法。

本公开实施例中，在进行目标跟踪时，获取了表征目标场景的光强变化信息的搜索神经形态数据，基于脉冲神经网络的目标跟踪模型能够根据搜索神经形态数据获取目标场景的特征数据，进而根据目标场景的特征数据与至少一个待跟踪目标的特征数据的相似度关系，确定在目标场景中针对各个待跟踪目标的跟踪结果；其中，获取的表征目标场景的光强变化信息的搜索神经形态数据的冗余少、时延低；利用脉冲神经网络对搜索神经形态数据进行处理，能够省去大量的乘积运算。基于以上特征，能够节约进行目标跟踪所需的存储资源、提升了目标跟踪的运算速率、降低了进行目标跟踪的功耗，从而增强了目标跟踪性能。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：

图1是本公开实施例中一种目标跟踪方法的流程图；

图2是本公开实施例中另一种目标跟踪方法中部分步骤的流程图；

图3是本公开实施例中一种确定起始时间点的示意图；

图4是本公开实施例中又一种目标跟踪方法中部分步骤的流程图；

图5是本公开实施例中一种获取特征数据的架构示意图；

图6是本公开实施例中再一种目标跟踪方法中部分步骤的流程图；

图7是本公开实施例中再一种目标跟踪方法中部分步骤的流程图；

图8是本公开实施例中再一种目标跟踪方法中部分步骤的流程图；

图9是本公开实施例中再一种目标跟踪方法中部分步骤的流程图；

图10是本公开实施例中再一种目标跟踪方法中部分步骤的流程图；

图11是本公开实施例中一种孪生网络的架构示意图；

图12是本公开实施例中再一种目标跟踪方法中部分步骤的流程图；

图13是本公开实施例中一种目标跟踪装置的组成框图；

图14是本公开实施例中一种目标跟踪装置的组成框图；

图15是本公开实施例中一种计算机可读介质的组成框图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

经本公开的发明人研究发现，一些相关技术中基于传统相机和卷积神经网络(CNN，Convolutional Neural Network)进行目标跟踪具有如下缺点：

数据采集方面：传统相机以固定频率进行全局采样，包含大量冗余信息，造成资源浪费；传统相机的分辨率低，无法捕捉高速运动目标。

跟踪算法方面：卷积神经网络中存在大量乘积运算，功耗高，运算速度较慢；卷积神经网络无法利用数据的时空信息。

有鉴于此，第一方面，参照图1，本公开实施例提供一种目标跟踪方法，包括：

S1、获取目标场景的搜索神经形态数据，搜索神经形态数据表征目标场景的光强变化信息；

S2、将搜索神经形态数据输入目标跟踪模型，利用目标跟踪模型中的脉冲神经网络获取目标场景的特征数据；

S3、分别确定目标场景的特征数据与至少一个待跟踪目标的特征数据的相似度关系；

S4、根据目标场景的特征数据与各个待跟踪目标的特征数据的相似度关系，确定在目标场景中针对各个待跟踪目标的跟踪结果。

在本公开实施例中，搜索神经形态数据是利用神经形态视觉传感器生成的神经形态数据。其中，神经形态视觉传感器是一种模仿生物视觉的工作机理的传感器，能够检测目标场景中光强变化并输出表征光强变化的事件信息。在一些实施例中，神经形态视觉传感器以异步时空脉冲信号表示场景光强变化。在一些实施例中，神经形态视觉传感器包括动态视觉传感器(DVS，Dynamic Vision Sensor)。

需要说明的是，相比于传统相机，神经形态视觉传感器具有高时间分辨率、高动态范围、低功耗、数据冗余少、时延低等优势，基于此，本公开实施例利用基于神经形态视觉传感器来获取搜索神经形态数据，进而将搜索神经形态数据输入目标跟踪模型来获取目标场景的特征数据，能够节约存储资源、提升运算速率、降低功耗。

在本公开实施例中，以脉冲神经网络(SNN，Spiking Neural Network)作为目标跟踪模型的骨干网络。其中，脉冲神经网络中的神经元只有在膜电位达到特定的阈值时才被激活，脉冲神经网络各层神经元间传递数值为0或1的脉冲序列。利用脉冲神经网络对搜索神经形态数据进行处理，能够省去大量的乘积运算，有利于提升运算速率、降低功耗；同时，脉冲神经网络还具有提取时间信息的能力，能够增强目标跟踪模型的性能。

在本公开实施例中，可以在目标场景中针对单个目标进行跟踪，也可以在目标场景中针对多个目标进行跟踪。本公开实施例对此不做特殊限定。

在本公开实施例中，待跟踪目标的特征数据与目标场景的特征数据的形式可以相同。在一些实施例中，待跟踪目标的特征数据与目标场景的特征数据的形式相同是指，得到目标场景的特征数据和得到待跟踪目标的特征数据时，执行了相同的处理过程。例如，针对待跟踪目标执行与步骤S1中相同的处理得到模板神经形态数据，并对模板神经形态数据执行与步骤S2中相同的处理得到待跟踪目标的特征数据。

在本公开实施例中，待跟踪目标的特征数据可以是预先获取并存储的，也可以是实时获取的。本公开实施例对此不做特殊限定。

本公开实施例对在目标场景中针对待跟踪目标的跟踪结果不做特殊限定。例如，跟踪结果可以是待跟踪目标在目标场景中的位置，也可以是待跟踪结果在目标场景中的移动轨迹，还可以是在待跟踪目标进行识别的基础上确定的待跟踪目标的位置或移动轨迹。

本公开实施例提供的目标跟踪方法中，在进行目标跟踪时，获取了表征目标场景的光强变化信息的搜索神经形态数据，基于脉冲神经网络的目标跟踪模型能够根据搜索神经形态数据获取目标场景的特征数据，进而根据目标场景的特征数据与至少一个待跟踪目标的特征数据的相似度关系，确定在目标场景中针对各个待跟踪目标的跟踪结果；其中，获取的表征目标场景的光强变化信息的搜索神经形态数据的冗余少、时延低；利用脉冲神经网络对搜索神经形态数据进行处理，能够省去大量的乘积运算。基于以上特征，能够节约进行目标跟踪所需的存储资源、提升了目标跟踪的运算速率、降低了进行目标跟踪的功耗，从而增强了目标跟踪性能。

在一些实施例中，参照图2，步骤S1包括：

S11、基于神经形态视觉传感器获取目标场景的事件数据，目标场景的事件数据表征目标场景的光强变化信息；

S12、根据预设的时间步长，对目标场景的事件数据进行组帧，得到搜索神经形态数据。

在一些实施例中，神经形态视觉传感器输出形式为(x,y,t,p)四元组的事件数据，每一个事件数据对应一个事件。其中，坐标分量(x,y)表示事件的坐标；时间分量t表示事件的发生时间；极性分量p表示事件的极性，即光照是增强还是减弱，例如，0表示光照减弱，1表示光照增强。

在一些实施例中，步骤S12中根据预设的时间步长对目标场景的事件数据进行组帧可以为：作为示例，预设的时间步长用T表示，按照时间步长T将形式为(T,C,H,W)的事件数据封装为维度为(T,C,H,W)的帧数据，其中，C表示通道(Channel)，H表示帧数据的高度(Height)，W表示帧数据的宽度(Width)。

这样，通过步骤S11至S12得到搜索神经形态数据，使得搜索神经形态数据携带时间信息，从而在步骤S2中能够利用脉冲神经网络对搜索神经形态数据进行时空特征提取，相比于无法利用数据时空信息的卷积神经网络，能够进一步增强目标跟踪性能。

本公开实施例对于如何根据预设的时间步长对目标场景的事件数据进行组帧不做特殊限定。

在一些实施例中，根据预设的时间步长，对目标场景的事件数据进行组帧，得到搜索神经形态数据，包括：

确定起始时间点；

将以起始时间点为起点、长度满足第一预设条件的时间范围内的目标场景的事件数据进行组帧，得到搜索神经形态数据。

需要说明的是，在本公开实施例中，通过合理的选择组帧的起始时间点，能够提高目标跟踪的成功率，从而增强目标跟踪性能。

本公开实施例对第一预设条件不做特殊限定。

在一些实施例中，长度满足第一预设条件的时间范围包括：长度等于时间步长的时间范围。

本公开实施例对于如何确定起始时间点不做特殊限定。

在一些实施例中，确定起始时间点，包括：

根据预设时间间隔，确定至少一个起始时间点。

在本公开实施例中，预设时间间隔越大，将目标场景的事件数据进行组帧得到的搜索神经形态数据的数据量越小，而数据量越小，目标跟踪的运算量越小、精度越低；预设时间间隔越小，将目标场景的事件数据进行组帧得到的搜索神经形态数据的数据量越大，而数据量越大，目标跟踪的运算量越大、精度越高。

在本公开实施例中，通过合理选择预设时间间隔，能够平衡目标跟踪的运算量和精度，提升目标跟踪性能。

在一些实施例中，以时间步长T为间隔依次选取起始时间点并进行组帧，得到的帧数据在时间维度上不重叠。

相应地，在一些实施例中，所述预设时间间隔为第一时间间隔；根据预设时间间隔，确定至少一个起始时间点，包括：

每间隔第一时间间隔，确定一个起始时间点；其中，第一时间间隔等于时间步长。

需要说明的是，在本公开实施例中，以时间步长T为间隔依次选取起始时间点并进行组帧，能够避免帧数据冗余，有利于降低计算量，节约计算资源。

在一些实施例中，在长度等于时间步长T的时间区间内，依次选择多个起始时间点并分别进行组帧，得到的帧数据在时间维度上存在重叠。

相应地，在一些实施例中，所述预设时间间隔为第二时间间隔；根据预设时间间隔，确定至少一个起始时间点的步骤包括：

每间隔第二时间间隔，确定一个起始时间点；其中，第二时间间隔小于时间步长。

本公开实施例对第二时间间隔的长度不做特殊限定。例如，第二时间间隔的长度可以等于T/8、T/4、T/2等。

需要说明的是，在本公开实施例中，在长度等于时间步长T的时间区间内依次选择多个起始时间点并分别进行组帧，能够提升目标跟踪的精度。

在一些实施例中，所述预设时间间隔为第三时间间隔；根据预设时间间隔，确定至少一个起始时间点，包括：

每间隔第三时间间隔，确定一个候选时间点；其中，第三时间间隔与时间步长满足第一预设关系；

作为示例，上述第一预设关系可以为第三时间间隔等于上述时间步长。

对于任意一个候选时间点，将目标时间区间内的目标场景的事件数据进行组帧，得到目标帧数据；其中，目标时间区间以候选时间点为起点、长度与时间步长满足第二预设关系；

作为示例，上述第二预设关系可以为目标时间区间以候选时间点为起点、长度等于上述时间步长。

根据目标帧数据确定目标时间区间内存在待跟踪目标的概率；

在目标时间区间内存在待跟踪目标的概率满足第二预设条件的情况下，在目标时间区间内每间隔第四时间间隔，确定一个起始时间点；其中，第四时间间隔小于时间步长。

作为示例，上述第二预设条件可以包括：目标时间区间内存待跟踪目标的概率大于概率阈值，本说明书实施例对上述概率阈值的具体数值不作具体限定。

结合图3进一步解释说明。如图3所示，t1、t2、t3、t4为候选时间点，t1与t2之间的时间区间0的长度等于时间步长T，t2与t3之间的时间区间1的长度等于时间步长T，t3与t4之间的时间区间2的长度等于时间步长T。对于候选时间点t1，将时间区间0内的目标场景的事件数据进行组帧，若确定时间区间0内存在待跟踪目标的概率不大于概率阈值，则选取下一个候选时间点t2。需要说明的是，对于候选时间点t1，相当于进行了粗匹配，进行粗匹配时，每隔时间步长T进行一次组帧推理。需要说明的是，粗匹配是与精匹配相对的概念，粗匹配的匹配精度低于精匹配的匹配精度，但粗匹配的数据冗余量低于精匹配的数据冗余量。

对于候选时间点t2，将时间区间1内的目标场景的事件数据进行组帧，若确定时间区间1内存在待跟踪目标的概率大于概率阈值时，则在时间区间1内重新确定多个起始时间点，例如，图3中在时间区间1内确定了8个起始时间点，并组帧得到帧数据0、帧数据1、…、帧数据7共8组帧数据。需要说明的是，对于候选时间点t2，相当于进行了精匹配，通过上述精匹配的方式能够实现时间维度的精确跟踪。

对于候选时间点t3，在对候选时间点t2进行精匹配的过程中，相当于同时在时间区间2进行了精匹配，不需要再进行粗匹配。

如图3所示的确定起始时间点的方案，能够在不存在跟踪目标的情况下降低计算量、节约计算资源，并能够在存在跟踪目标的情况下，维持时间维度的跟踪精度，从而提升了目标跟踪性能。

相应地，在一些实施例中，参照图4，步骤S2包括：

S21、利用脉冲神经网络提取搜索神经形态数据的时空特征数据；

S22、整合时空特征数据中的时间维度信息，得到目标场景的特征数据。

图5为一些实施例中获取目标场景的特征数据的架构示意图。如图5所示，根据时间步长T将事件数据(x,y,t,p)

在一些实施例中，通过Sum Layer在时间维度对时空特征数据进行平均化处理，从而对时空特征数据进行降维，得到的目标场景的特征数据的维度为(C,H,W)。

相应地，在一些实施例中，参照图6，步骤S22包括：

S221、对时空特征数据在时间维度进行数据平均化处理，得到目标场景的特征数据。

在公开实施例中，对时空特征数据在时间维度进行数据平均化处理，从而对时空特征数据进行降维，能够整合时间维度的信息，从而能够利用时空信息增强目标跟踪性能。

在一些实施例中，对时空特征数据在时间维度进行数据平均化处理可以包括：在时间维度上做核为预定的时间步长的平均池化。应当理解，本领域技术人员也可采用其它方式实现时空特征数据的降维，本公开对此不作限制。

在一些实施例中，参照图7，步骤S3包括：

S31、对于任意一个待跟踪目标，对待跟踪目标的特征数据与目标场景的特征数据进行互相关运算，得到目标场景的特征数据与待跟踪目标的特征数据的相似度关系。

在本公开实施例中，基于互相关运算确定目标场景的特征数据与待跟踪目标的特征数据的相似度关系，有利于提升相似度判断的精度，进而增强目标跟踪性能。

本公开实施例对于步骤S31中的互相关运算不做特殊限定。

在一些实施例中，参照图8，步骤S31包括：

S311、以待跟踪目标的特征数据为卷积核对目标场景的特征数据进行卷积，得到响应度得分矩阵，响应度得分矩阵表征目标场景的特征数据与待跟踪目标的特征数据的相似度关系。

需要说明的是，响应度得分矩阵中的每一个元素都可以为一个响应度得分，响应度得分可以表征其对应的目标场景的特征数据中的部分与待跟踪目标的特征数据的相似度，也就能够表征其对应的目标场景中的子区域与待跟踪目标的相似度。

在一些实施例中，响应度得分与其对应的目标场景中的子区域和待跟踪目标的相似度正相关，响应度得分越大，其对应的目标场景中的子区域和待跟踪目标的相似度越高。

相应地，在一些实施例中，参照图9，步骤S4包括：

S41、将待跟踪目标的响应度得分矩阵中、大于或等于相似度阈值的响应度得分所对应的目标场景中的子区域，确定为待跟踪目标在目标场景中的位置。

在本公开实施例中，通过合理确定相似度阈值，能够使相似度判断满足需求，进而增强目标跟踪性能。

在一些实施例中，将响应度得分矩阵中大于或等于相似度阈值的全部响应度得分所对应的目标场景中的子区域，确定为待跟踪目标在目标场景中的位置。

在一些实施例中，将响应度得分矩阵中大于或等于相似度阈值的响应度得分中最大的一者所对应的目标场景中的子区域，确定为待跟踪目标在目标场景中的位置。

在一些实施例中，目标跟踪模型包括孪生网络(Siamese Network)，孪生网络包括两个输入通道，每一个输入通道对应一个脉冲神经网络；

参照图10，在步骤S3之前，上述方法还包括：

S51、获取待跟踪目标的模板神经形态数据，模板神经形态数据表征待跟踪目标的光强变化信息；

S52、将模板神经形态数据输入孪生网络的一个输入通道，利用脉冲神经网络获取待跟踪目标的特征数据；

参照图10，步骤S2包括：

S23、将搜索神经形态数据输入孪生网络的另一个输入通道，利用脉冲神经网络获取目标场景的特征数据。

在本公开实施例中，基于孪生网络的目标跟踪模型，能够分别通过孪生网络的两个输入通道同步获取待跟踪目标的特征数据和目标场景的特征数据，确保获取待跟踪目标的特征数据和目标场景的特征数据的精度，从而有利于提升目标跟踪的效率、增强目标跟踪性能。

在一些实施例中，Siamese网络的架构如图11所示。

在图11中，根据时间步长T将事件数据(x,y,t,p)

在图11中，根据时间步长T将事件数据(x,y,t,p)

如图11所示，对待跟踪目标的特征数据和目标场景的特征数据进行互相关运算，得到表征目标的特征数据和目标场景的特征数据的相似度关系的响应度得分矩阵。

在一些实施例中，参照图12，上述方法还包括：

S6、采用逻辑误差函数对孪生网络进行训练。

在本公开实施例中，采用逻辑误差函数对孪生网络进行训练，能够提升训练精度，进而提高训练得到的孪生网络的性能，即增强目标跟踪性能。

在一些实施例中，采用逻辑误差函数对孪生网络进行训练包括：

利用如公式(1)计算响应度得分矩阵(Score Map)与有效值标签(Ground TruthLabel)对应位置的相似度：

l(y,v)＝log(1+exp(-yv)) (1)

其中，y对应Ground Truth Label，v对应Score Map；

利用公式(2)计算Score Map和Ground Truth Label所有对应点的损失和，并取平均：

根据计算结果更新孪生网络的参数。

在一些实施例中，如图11所示，脉冲神经网络至少包括二维卷积层(Conv2D)、批量标准化层(Batch Normalization)、整流线性单元激活函数层(ReLU，Rectified LinearUnits)、最大池化层(MaxPool)、泄露集成和发放层(LIF，Leaky Integrate and Fire)中的一个或多个。

在一些实施例中，如图11所示，脉冲神经网络包括Conv2D、Batch Normalization、ReLU、MaxPool、LIF。

需要说明的是，在如图11所示的脉冲神经网络中，脉冲神经网络的神经元为LIF神经元：

神经元之间突触连接方式如公式(3)所示：

I

其中，I

神经元根据公式(4)计算膜电位：

其中，

神经元根据公式(5)判断是否发放脉冲：

其中，F

神经元发放后，根据公式(6)重置膜电位：

根据公式(7)执行泄露：

其中，α表示乘法衰减，β表示加法衰减。

神经元输入用公式(8)表示：

Y

第二方面，参照图13，本公开实施例提供一种目标跟踪装置，包括：

数据获取模块101，被配置为获取目标场景的搜索神经形态数据，搜索神经形态数据表征目标场景的光强变化信息；

特征提取模块102，被配置为将搜索神经形态数据输入目标跟踪模型，利用目标跟踪模型中的脉冲神经网络获取目标场景的特征数据；

数据处理模块103，被配置为分别确定目标场景的特征数据与至少一个待跟踪目标的特征数据的相似度关系；

目标跟踪模块104，被配置为根据目标场景的特征数据与各个待跟踪目标的特征数据的相似度关系，确定在目标场景中针对各个待跟踪目标的跟踪结果。

第三方面，参照图14本公开实施例提供一种目标跟踪装置，包括：

一个或多个处理器201；

存储器202，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本公开实施例第一方面任意一项的目标跟踪方法；

一个或多个I/O接口203，连接在处理器与存储器之间，被配置为实现处理器与存储器的信息交互。

其中，处理器201为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器202为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)203连接在处理器201与存储器202间，能实现处理器201与存储器202的信息交互，其包括但不限于数据总线(Bus)等。

在一些实施例中，处理器201、存储器202和I/O接口203通过总线204相互连接，进而与计算设备的其它组件连接。

第四方面，参照图15，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本公开实施例第一方面中任意一项的目标跟踪方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。