一种感兴趣区域深度感知传感器及深度感知传感模块

摘要

本发明公开了一种感兴趣区域深度感知传感器，包括：主动光源发射装置，包括面阵光源和结构光光源，用于照明感兴趣空间区域；TOF传感器，用于感知回波信号，并对所述回波信号进行信号解调，其中所述回波信号由所述主动光源发射装置辐射出的光信号经空间物体反射而来；CMOS图像传感器，用于感知所述结构光光源辐射出光信号在空间中形成的图案；处理器，用于控制所述主动光源发射装置、TOF传感器以及CMOS图像传感器的工作时序，以实现器件复用，采集所述TOF传感器解调出的相位信号以及所述CMOS图像传感器感知的图案，并进行深度计算和处理。还公开了一种感兴趣区域深度感知模块，包括多组上述的感兴趣区域深度感知传感器。

说明书

技术领域

本发明涉及传感器技术领域，尤其涉及一种感兴趣区域深度感知传感器及深度感知传感模块。

背景技术

深度信息获取技术无外乎主动式和被动式两种，主动式包括飞行时间技术（Timeof Flight，TOF）、结构光技术等，被动式包括双目立体成像技术、光场成像技术等。深度信息感知技术在机器视觉、机器人、消费电子、安防等领域有着广泛的应用。不同的深度感知技术有着各地独特的优势，但也是由于各自的设计原理导致其天生的缺陷。激光雷达技术因为将激光能量聚焦到很小的角度上，因而可探测距离较远，但是他需要扫描以实现空间多点测距，扫描的点数越多帧率越低。结构光利用投影在被观察物体上的大小和形状计算深度信息，其探测距离的精度与距离成平方退化关系，适合近距离范围深度感知，受强自然光和反光影响较大，不适于户外场景。TOF利用发射光脉冲并接收反射回来的光脉冲计算深度信息，同时感知面阵距离信息，帧率高，算法简易，对环境光有一定的抑制能力，但探测距离受限脉冲光强度，此外易受多路径反光影响探测距离不准确。双目计算复杂，受环境影响大，可靠性差。

发明内容

本发明实施例的目的是提供一种感兴趣区域深度感知传感器及深度感知传感模块，以解决相关技术中存在的线激光雷达结合TOF的方案各自独立工作对场景测量所需时间长的问题，以及单TOF传感器进行深度测量时对低反光或者距离偏远的物体识别偏低的问题。

根据本发明实施例，提供一种感兴趣区域深度感知传感器，包括：

主动光源发射装置，包括面阵光源和结构光光源，用于照明感兴趣空间区域；

TOF传感器，用于感知回波信号，并对所述回波信号进行信号解调，其中所述回波信号由所述主动光源发射装置辐射出的光信号经空间物体反射而来；

CMOS图像传感器，用于感知所述结构光光源辐射出光信号在空间中形成的图案；

处理器，用于控制所述主动光源发射装置、TOF传感器以及CMOS图像传感器的工作时序，以实现器件复用，采集所述TOF传感器解调出的相位信号以及所述CMOS图像传感器感知的图案，并进行深度计算和处理。

进一步地，所述面阵光源和结构光光源的光源时间调制信号均与所述TOF传感器的解调信号同步，所述调制信号为正弦波、快速方波序列或者脉冲序列。

进一步地，所述面阵光源由多个辐射角度不一的光源组成，角度越小辐射距离越远，角度越大照明距离越近。

进一步地，所述结构光光源由一组或者多组线激光光源组成，用于对感兴趣区域内目标场景进行照明；所述CMOS图像传感器采集线激光照明在空间中形成的图案。

进一步地，所述TOF传感器由一组或者多组TOF传感芯片组成，所述一组或者多组TOF传感芯片和CMOS图像传感器有各自独立的镜头，且空间感知具有重合的视野范围。

进一步地，所述面阵光源进行面阵投射照明，并配合所述TOF传感器工作；所述结构光光源辐射能量集中的线激光，经空间调制后对感兴趣区域进行照明，并配合所述TOF传感器和所述CMOS图像传感器同时工作。

进一步地，当所述面阵光源和所述TOF传感器同时工作时，对面阵投射照明区域和TOF传感器感知区域的重合区域内所有物体的深度信息进行探测。

进一步地，当所述结构光光源、所述TOF传感器和所述CMOS图像传感器同时工作时，对结构光光源辐射区域进行稀疏的空间深度感知，所述结构光光源和所述TOF传感器对感兴趣区域内远处的目标进行感知，所述结构光光源和CMOS图像传感器对对感兴趣区域内近处的目标进行感知。

进一步地，采集所述TOF传感器解调出的相位信号以及所述CMOS图像传感器感知的图案，并进行深度计算和处理，包括：对采集到的TOF传感器号解调出的相位信进行深度计算和标定，经过图像处理后根据内参输出深度信息；从CMOS图像传感器所采集的图案中提取结构光照明图案，得到目标场景的照明信息，并根据几何关系得到目标区域深度信息；对TOF传感器和CMOS图像传感器测得的深度信息进行转换，根据多传感器之间的外参合并到同一坐标系下后输出。

根据以上技术方案，本发明实施例的有益效果如下：

本发明实施例提供一种感兴趣区域深度感知传感器主要包括主动光源发射装置、 TOF传感器、CMOS图像传感器及处理器。主动光源发射装置包括一个结构光光源，该结构光光源在深度感知过程中复用，其配合TOF传感器形成TOF原理的厘米级深度感知，其配合CMOS图像传感器形成结构光方案的毫米级深度感知。本发明实施例中TOF传感器和CMOS图像传感器既可以同时，主动光源发射装置按照预设的调制频率向目标感兴趣区域中透射光信号，TOF传感器接收感兴趣区域反射的回波信号，计算光波飞行时间得到各方位角的远距离深度信息；CMOS图像传感器采特定照明下的结构光图像，根据几何关系得到近距离深度信息，两者信息叠加构成从近到远的深度测距。此外，TOF传感器和CMOS图像传感器又可以分别独立工作，配合主动光源发射装置进行面阵深度测距和空间场景的二维成像。主动光源发射装置中的结构光光源、TOF传感器以及CMOS图像传感器通过工作时序的调整实现复用，从硬件层面降低了成本；通过硬件底层时序调整避了多传感器工作时的相互干扰。

本发明实施例以较低成本实现室内外环境下高分辨率快速深度信息获取，适用于近距离及较远距离。兼具TOF技术的快速测量，激光雷达的远距离测距和结构光近距离高精度等优点，降低了无法识别和错误识别的风险，稳定性和可靠性更好。同时或分时采集近距离面阵信息和远距离线阵信息，远距离线阵信息不畅面阵成像在空间测量上的盲区，线激光结构光成像同时保证近距离测距的准确性。在不明显提高计算复杂度的同时实现了感兴趣区域的相对完整的测距。

附图说明

为了更好的理解，在以下的描述中将参照附图更详细地解释本发明。应理解，本发明不限于此示范性实施例，指定的特征也可以被方便地结合和/ 或修改，而不背离本发明的由权利要求书所限定的范围。在附图中：

图1是根据一示例性实施例1示出的AGV实际运行工作的感兴趣区域俯视图示例；

图2是根据一示例性实施例1示出的AGV实际运行工作的感兴趣区域侧视图示例；

图3是根据一示例性实施例1示出的一种感兴趣区域深度感知传感器结构示意图；

图4是根据一示例性实施例1示出的一种感兴趣区域深度感知传感器的空间布局和空间感知图示；

图5是根据一示例性实施例1示出的一种感兴趣区域深度感知传感器CMOS图像传感器深度感知原理示意；

图6是根据一示例性实施例1示出的一种感兴趣区域深度感知传感器TOF传感器深度感视差方向信号强度分布；

图7是根据一示例性实施例2示出的一种感兴趣区域深度感知传感器的传感器空间布局和空间感知图示；

图8是根据一示例性实施例3示出的一种感兴趣区域深度感知传感器TOF传感器感知盲区示意图；

图9是根据一示例性实施例3示出的一种感兴趣区域深度感知传感器的传感器空间布局和空间感知图示；

图10是根据一示例性实施例4示出的一种感兴趣区域深度感知传感器的传感器空间布局和空间感知图示；

图中的附图标记有：1为AGV小车，2为近距避障离感兴趣区域，3为中远距定位导航感兴趣区域；4、CMOS图像传感器；5、TOF传感器；6、处理器；7、主动光源发射装置；8、感兴趣空间区域；9、面阵光；10、线激光；11、近距离被测目标物体；12、远距离被测目标物体；13、线激光投射器；14、面阵光源；15、被测物体；16、mems扫描器；17、感兴趣空间深度感知模块。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

在以下描述中，陈述多个特定细节以提供对实施例的透彻理解。然而，相关领域的技术人员应认识到，本文所描述的技术可被实践而不需一或多个特定细节，或使用其它方法、组件、材料等。

实施例1：

图1是根据一示例性实施例1示出的AGV实际运行工作的感兴趣区域俯视图示例；图2是根据一示例性实施例1示出的AGV实际运行工作的感兴趣区域侧视图示例；；如图1和图2所示，在自主运动机器人（AGV小车1）领域，通常既需要对远距离的物体进行测距以实现定位和行驶预警，又需要对近处的物体进行测距以实现近处停障，实现自主导航和避障。远距离信息通常不需要面阵信息，只需要提供二维平面内的深度信息即可，而近处的立体避障则需要实时三维空间测距，也即图1和图2中所示中远距离定位导航感兴趣区域3所示的远距离测距在z方向需要更远而在y方向上则不需要很大，近距避障离感兴趣区域2所示的近距离测距在z方向上可以进行妥协，但在y方向则需要更大的保护范围。需要说明的是，这里的近距离和远距离只是表示一个相对的用词，两者没有严格距离界限划分。

图3是根据一示例性实施例1示出的一种感兴趣区域深度感知传感器结构示意图；如图3所示，本发明实施例提供一种感兴趣区域深度感知传感器，包括CMOS图像传感器4、TOF传感器5、处理器6以及主动光源发射装置7，所述主动光源发射装置7，包括面阵光源和结构光光源，用于照明感兴趣空间区域8；所述TOF传感器5用于感知回波信号，并对所述回波信号进行信号解调，其中所述回波信号由所述主动光源发射装置辐射出的光信号经空间物体反射而来；所述CMOS图像传感器4用于感知所述结构光光源辐射出光信号在空间中形成的图案；所述处理器6用于控制所述主动光源发射装置、TOF传感器以及CMOS图像传感器的工作时序，以实现器件复用，采集所述TOF传感器解调出的相位信号以及所述CMOS图像传感器感知的图案，并进行深度计算和处理。

基于以上描述，本发明实施例提供一种感兴趣区域深度感知传感器主要包括主动光源发射装置、 TOF传感器、CMOS图像传感器及处理器。主动光源发射装置包括一个结构光光源，该结构光光源在深度感知过程中复用，其配合TOF传感器形成TOF原理的厘米级深度感知，其配合CMOS图像传感器形成结构光方案的毫米级深度感知。本发明实施例中TOF传感器和CMOS图像传感器既可以同时，主动光源发射装置按照预设的调制频率向目标感兴趣区域中透射光信号，TOF传感器接收感兴趣区域反射的回波信号，计算光波飞行时间得到各方位角的远距离深度信息；CMOS图像传感器采特定照明下的结构光图像，根据几何关系得到近距离深度信息，两者信息叠加构成从近到远的深度测距。此外，TOF传感器和CMOS图像传感器又可以分别独立工作，配合主动光源发射装置进行面阵深度测距和空间场景的二维成像。主动光源发射装置中的结构光光源、TOF传感器以及CMOS图像传感器通过工作时序的调整实现复用，从硬件层面降低了成本；通过硬件底层时序调整避了多传感器工作时的相互干扰。

图4是根据一示例性实施例1示出的一种感兴趣区域深度感知传感器的空间布局和空间感知图示；如图4所示，所述主动光源发射装置7包括面阵光源和结构光光源，所述结构光光源辐射具有可实现远距离照明的水平辐射的线激光10，面阵光源辐射近距离面阵照射的面阵光9，线激光10和面阵光9所辐射的时间可以由光源驱动器控制实现分别照明或者同时照明。所述TOF传感器5既可以感知远距离的线激光10也可以感知近距离的面阵光9，所述面阵光源和结构光光源的光源时间调制信号均与TOF传感器5的解调信号同步。本发明实施例中TOF调制和解调信号为正弦信号。深度解析需要四张相位图（phase1，phase2，phase3，phase4）然后根据下式计算得到深度图:

其中，Dist(x,y)为深度图Dist对应(x,y)坐标的深度值，f为调制频率，c为光速，phase1(x,y)、phase2(x,y)、phase3(x,y)、phase4(x,y)为相位图对应(x,y)坐标的相位值。

本实施例中CMOS图像传感器4为能够感知线激光10的面阵传感器。如图3所示，对于不同距离的目标物体，图中近距离被测目标物体11和远距离被测目标物体12，其成像在CMOS图像传感器中的位置不一样，则根据三角几何关系便可以计算出近距离被测目标物体11和远距离被测目标物体12的距离。

本实施例中，所述面阵光源由多个辐射角度不一的光源组成，角度越小辐射距离越远，角度越大照明距离越近。所述结构光光源由一组或者多组线激光光源组成，用于对感兴趣区域内目标场景进行照明；所述CMOS图像传感器采集线激光照明在空间中形成的图案。所述TOF传感器由一组或者多组TOF传感芯片组成，所述一组或者多组TOF传感芯片和CMOS图像传感器有各自独立的镜头，且空间感知具有重合的视野范围。

具体地，本实施例所述主动光源发射装置7采用850nm激光模组，所辐射的线激光10采用6MHz正弦波调制，所辐射的面阵光9调制频率为24MHz的正弦波信号。根据相位法TOF测距原理，线激光10最远可以实现24m的探测距离，面阵光9最远实现6.25m空间立体测距。线激光10和面阵光9均由TOF传感器感知经物体反射的信号进行测距。本申请实施例中，所述主动光源发射装置7也可以分为线激光投射器13和面阵光投射器。

图5是根据一示例性实施例1示出的一种感兴趣区域深度感知传感器CMOS图像传感器深度感知原理示意；如图5所示，结构光感知深度测距原理为三角法测距。根据图中几何关系有：

其中，A为激光与CMOS图像传感器4主光轴夹角，D为线激光投射器13与CMOS图像传感器4的距离，

图6是根据一示例性实施例1示出的一种感兴趣区域深度感知传感器TOF传感器深度感视差方向信号强度分布；如图6所示，远距离线激光TOF传感器5所测深度值，取TOF图像中心一行数据，此做法一方面通过缩减图像帧尺寸降低像素数量，可以降低帧采集时间，减小运算量；另外一方面也可以利用视差，根据光源的高斯分布，近处物体反射的回波信号，成像在传感芯片原理中心的位置，远处物反射的回波信号，成像在传感芯片靠近中心的位置，远近物体在传感芯片中心像素位置信号强度接近，而提高线激光测距的动态范围。

本申请实施例中，所述TOF传感器5和CMOS图像传感器4有各自的镜头，需要先进行内外参标定，同时像素的映射关系依赖各自的深度信息。使用时，优选将所述的TOF传感器5和CMOS图像传感器4平行放置；所述的TOF传感器5和CMOS图像传感器4前方各加一片同波段滤光片。TOF传感器5接收主动光源发射装置7辐射的光到场景目标并反射回来的回波信号包括线激光10和面阵光9，根据信号的时间调制计算飞行时间，进一步得到场景深度信息。所述的CMOS图像传感器4接收主动光源发射装置7照明下的线激光。根据TOF传感器5所测立体距离信息和远距离平面二维信息和CMOS图像传感器4所感知近距离二维平面信息，以及他们的外参R、T矩阵将点云合并输出供导航避障和精定位对接使用。

本实例中，所述面阵光源进行面阵投射照明，并配合所述TOF传感器工作；所述结构光光源辐射能量集中的线激光，对感兴趣区域进行照明，并配合所述TOF传感器和所述CMOS图像传感器同时工作。

当所述面阵光源和所述TOF传感器同时工作时，对面阵投射照明区域和TOF传感器感知区域的重合区域内所有物体的深度信息进行探测。

当所述结构光光源、所述TOF传感器和所述CMOS图像传感器同时工作时，对结构光光源辐射区域进行稀疏的空间深度感知，所述结构光光源和所述TOF传感器对感兴趣区域内远处的目标进行感知，所述结构光光源和CMOS图像传感器对对感兴趣区域内近处的目标进行感知。

本实例中，采集所述TOF传感器解调出的相位信号以及所述CMOS图像传感器感知的图案，并进行深度计算和处理，包括：

（1）对采集到的TOF传感器5解调出的相位信号进行深度计算和标定，经过图像处理后根据内参输出深度信息；具体地，根据公式（1），对所获得的相位图phase1、phase2、phase3、phase4上每组对应像素的相位值进行相位到深度的解析，此时获得深度值与真实距离依然存在偏差，仍需要根据内参系数进行矫正以获得准确的深度值：

其中，Depth(x,y)为矫正之后深度图Depth(x,y)对应(x,y)像素坐标的深度值，f为矫正函数，本实施例中矫正函数为多项式。

（2）从CMOS图像传感器4所采集得的图案中提取结构光照明图案，得到目标场景的照明信息，并根据几何关系得到目标区域深度信息；具体地，对采集到的目标场景的照明信息图片进行包括坏点去除，黑白点去除，中值滤波，二值化处理操作之后提取线激光信息中心，本实施例中采用聚类的方法剔除离散的信息中心，根据信息中心的像素坐标位置，根据公式（2）进行深度反演计算。

（3）对TOF传感器5和CMOS图像传感器4测得的深度信息进行转换，根据多传感器之间的外参合并到同一坐标系下后输出。具体地，根据外参转换关系：

其中，

将TOF传感器所测得的目标位置和CMOS图像传感器所测得目标位置转换到同一个坐标系下。

本发明实施例考虑的是如何通过光源设计优化对AGV实际使用中所关心的远距离平面测距信息和近距离立体信息，以及精定位对接时所需高精度距离信息进行感知。结合高精度线激光结构光方案和TOF方案各自的特点，合理布局和组合TOF传感器5、CMOS图像传感器4以及主动光源发射装置7。兼具有二维激光的远距离探测能力，TOF的面阵深度感知能力以及结构光近距离高精度和高分辨率感知能力，大幅降低算法要求，提高测量速度。相对于简单的多种传感器融合，不仅成本降低，集成度更好，而且性能上也更稳定。

实施例2：

图7是根据一示例性实施例2示出的一种感兴趣区域深度感知传感器的传感器空间布局和空间感知图示；如图7所示，该实施例的所述主动光源发射装置7所辐射的光既具有可实现远距离照明的水平辐射的线激光10，又具有近距离面阵照射的面阵光9，线激光10和面阵光9所辐射的时间可以由光源驱动器控制实现分别照明或者同时照明。本实施例中TOF传感器由两个独立的TOF传感芯片组成，两组TOF传感芯片具有各自独立的成像镜头。传感器可在两种工作模式下切换，在一模式下，其中一组TOF传感芯片与与辐射面阵光的面阵光源同时工作，采集近处立体空间信息；在另一模式下，另外一组TOF传感芯片，分辨率更低像元尺寸更大，与线激光10和CMOS图像传感器4同时工作；两种模式工作时间错开交替进行深度感知，以防止远距离线激光与面阵光发生交叉干扰。分辨率大像元TOF传感芯片具有测距更远测距速度更快的优势，同时线激光10调制频率和面阵光9调制的频率不同，独立传感芯片分别解调两种回波信号，避免频率切换过程中锁相导致的延时。

本实例中，所述线激光10采用6MHz正弦波调制，其调制信号与TOF传感器5的解调信号频率相同相位差固定，所述面阵光9采用24MHz正弦波调制，其调制信号从TOF传感器5发出。通过工作时序的调整，CMOS图像传感器4和低分辨大像元线阵的TOF传感器5同时工作，分别对近距离进行高精度测距，以及对远距离进行低精度测距。TOF传感器5感知近距离面阵光，对近处立体空间进行三维测距。

实施例3：

图8是根据一示例性实施例3示出的一种感兴趣区域深度感知传感器TOF传感器感知盲区示意图；如图8所示，在进行空间三位感知时，TOF相机始终存在一个探测极限的问题（也即最远探测距离），即便在感兴趣的区域内通常也存在信号过低或者深度过远导致无法探测的情况，以至于不能对区域B中物体进行有效识别。

图9是根据一示例性实施例3示出的一种感兴趣区域深度感知传感器的传感器空间布局和空间感知图示；如图9所示，面阵光源14向空间中辐射的光信号经被测物体15反射而被TOF传感器5所感知，TOF传感器5因为探测能力的限制不能对整个区域进行感知，因为反射率过低或者距离过远。线激光投射器13和mems扫描器16根据探测受限区域的方位角进行特定区域再扫描探测。本实施例采用mems作为空间调制器，进行空间扫描，具有扫描速度快衰减小的特点，相比于振镜可以更快实现线激光扫描区域的切换。由于线激光能量更集中，TOF传感器5感知能力更远，因而可以对探测受限区域进行探测补偿。

本申请实施例中线激光10采用6MHz正弦波调制，其调制信号与TOF传感器5的解调信号频率相同相位差固定，mems扫描器16扫描频率50HZ，其扫描频率与TOF传感器5的数据输出时钟同步。面阵光9采用24MHz正弦波调制，其调制信号从TOF传感器5发出。

本申请实施例中感兴趣区域深度感知传感器可以工作在两种模式下，在一模式下， TOF传感器5与辐射面阵光的面阵光源14同时工作，采集近处立体空间信息；在另一模式下，线阵TOF传感器5与线激光10同时工作，mems扫描器16根据探测受限区域的方位角进行定向扫描；两种模式工作时间错开，以防止远距离线激光与面阵光发生交叉干扰。同时可以对整个ROI区域进行尽可能完整的3D成像。

实施例4：

如图10所示，本实施例还提供一种感兴趣区域深度感知模块，包括多组实施例1-3任一项所述的感兴趣区域深度感知传感器。本实施例需要说明的是，多组实施例1-3任一项所述的感兴趣区域深度感知传感器可以共用一个处理器。本实施例利用多个上述实施例中所描述传感器，每个传感器模块视场角受限，只有θ，满足不了对更大视场角的需求。通过合理安排传感器之间的布局，本实施例可实现角度更大、分辨率更高的空间探测和测量。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。