室外导盲模块、导盲装置及其导盲方法

摘要

本发明提供一种室外导盲模块、导盲装置及其导盲方法，本发明的导盲方法基于卫星地图的拓扑地图，实现语音确定目的地；节点信息帮助高效完成初步路径规划工作；地图扩放与栅格化使障碍检测与临时地图融合，实现快速精确的动态避障工作；并且，本发明通过单目相机的色度分析、阴影去除，单双目融合下的距离测算、特殊障碍识别，大大提高了环境影响下障碍的识别率与障碍空间信息的获取。

说明书

技术领域

本发明涉及智能装备领域，具体涉及室外导盲模块、导盲装置及其导盲方法。

背景技术

目前主流的导盲方法可以分为机器导盲与动物导盲。其中机器导盲往往模拟动物导盲的模式使用牵引式的方法，但其缺陷在于，户外的环境往往存在很多的地形变化，翻越不同的地形对机器本身的要求极高，如路边台阶、颠簸路面等；导盲犬在这方面有显著优势，可以无视地形影响，但导盲犬本身没有目的性，只是起到避障的功能，而且本身价值高及养护成本高。相对室内环境来讲，户外的空间环境反而比较简单，且人在渐变环境下行走时身体起伏状况并不大，因此，如何设计一种基于视觉的可穿戴式导盲装置一直是本领域亟需解决的技术问题。

发明内容

有鉴于此，本发明的目的是提供一种室外导盲模块、导盲装置及其导盲方法，以解决背景技术中提到的技术问题。

为了达到上述目的，本发明所采用的技术方案是：室外导盲模块，包括：

供电模块，为其它模块提供电源；

GPS模块，在用户行进过程中，实时获取用户的定位信息，并将用户的实时定位信息传送至信息处理单元；

障碍物识别模块，在用户行进过程中，识别用户在不同位置时的障碍物信息，并将识别的障碍物信息传送至信息处理单元；

语音模块，获取用户发出的目的地语音信息并进行识别，并将识别后的目的地信息传送至信息处理单元；

信息处理单元，用于在接收到障碍物信息、目的地信息以及用户的实时定位信息后，切换路径规划模块的工作状态；

路径规划模块，内置有离线地图信息，当信息处理单元接收到目的地信息后，控制路径规划模块规划初始路径；当信息处理单元接收到障碍物信息后，实时规划行进路径。

进一步的，还包括特征标识获取模块，当 GPS模块获取的用户定位信息位于路口时，信息处理单元控制特征标识获取模块持续获取图像，并根据图像判断通行情况。

进一步的，还包括连接至语音模块的蓝牙模块，该蓝牙模块通过蓝牙连接件与用户进行交互工作。

进一步的，所述场景信息识别模块和特征标识获取模块在工作时，通过单目相机、深度相机以及红外光发射器采集相应的信息。

本发明的室外导盲装置，包括导盲模块主体和与导盲模块主体相匹配的外壳，外壳的左右两端设置有固定带连接处并通过固定带实现该导盲装置的固定，所述导盲模块主体采用上述的室外导盲模块。

进一步的，所述外壳的中间位置开设有与导盲模块主体相匹配的滑槽，导盲模块主体通过滑槽可插拔的固定在外壳内。

本发明室外导盲装置的导盲方法，包括以下步骤：

步骤1、在使用前，通过离线方式下载所需的地图信息；

步骤2、使用时，用户通过语音向室外导盲装置发送目的地语音信息，室外导盲装置的语音模块获取用户发出的目的地语音信息并进行识别，并将识别后的目的地信息传送至信息处理单元；

步骤3、信息处理单元在接收到目的地信息后，控制路径规划模块规划初始路径；

步骤4、在用户行进过程中，通过GPS模块实时获取用户的定位信息，并通过场景信息识别模块识别用户在不同位置时的障碍物信息，然后将识别的障碍物信息以及实时定位信息传送至信息处理单元；

步骤5、当信息处理单元接收到障碍物信息时，控制路径规划模块实时规划行进路径，重复该步骤，直至抵达目标点。

进一步的，当 GPS模块获取的用户定位信息位于路口时，信息处理单元控制特征标识获取模块持续获取图像，并根据图像判断通行情况。

进一步的，步骤5中，当信息处理单元接收到障碍物信息时，依据环境情况生成局部地图，实时规划行进路径过程中，导航信息通过不断的语音提醒用户行走方向，直至抵达目的地。

进一步的，步骤3在初始路径规划完成后，室外导盲装置通过语音播报对用户进行提醒。

与现有技术相比，本发明的有益效果是：本发明基于卫星地图的拓扑地图，实现语音确定目的地；节点信息帮助高效完成初步路径规划工作；并将障碍检测与临时地图融合，实现快速精确的动态避障工作。

附图说明

图1是本发明室外导盲装置的导盲方法的流程示意图；

图2是实施例中提供的室外导盲装置的结构示意图；

图3是实施例中提供的障碍识别的流程示意图；

图4是实施例中提供的特征标识获取的流程示意图；

图5是实施例中提供的初始路径规划的流程示意图；

图中标记：1、固定带连接处，2、左深度相机，3、开机键，4、红外光发射器，5、右深度相机，6、单目相机，7、导盲模块主体，8、外壳。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的室外导盲模块主要包括：供电模块，为其它模块提供电源；GPS模块，在用户行进过程中，实时获取用户的定位信息，并将用户的实时定位信息传送至信息处理单元；障碍物识别模块，在用户行进过程中，识别用户在不同位置时的障碍物信息，并将识别的障碍物信息传送至信息处理单元；语音模块，获取用户发出的目的地语音信息并进行识别，并将识别后的目的地信息传送至信息处理单元；信息处理单元，用于在接收到障碍物信息、目的地信息以及用户的实时定位信息后，切换路径规划模块的工作状态；路径规划模块，内置有离线地图信息，当信息处理单元接收到目的地信息后，控制路径规划模块规划初始路径；当信息处理单元接收到障碍物信息后，实时规划行进路径；特征标识获取模块，当 GPS模块获取的用户定位信息位于路口时，信息处理单元控制特征标识获取模块持续获取图像，并根据图像判断通行情况；连接至语音模块的蓝牙模块，该蓝牙模块通过蓝牙连接件与用户进行交互工作。

其中，为避免外界噪声对设备与使用者的影响，使用蓝牙耳机完成设备与用户的交互工作；运行内存较大的可编程逻辑器件作为信息处理单元。在使用前，需通过离线方式下载所需的地图信息。使用时，使用者通过蓝牙耳机发送目的点语音信息，路径规划模块开始规划初始路径，完成规划后通过语音播报提醒使用者；开始行程后，通过GPS模块获取较精准定位信息，通过单目相机与深度相机获得场景信息，判别盲道、红绿灯、人行横道等；在遇到障碍物时，依据环境情况生成局部地图，运行过程中，导航信息通过不断的语音提醒使用者行走方向，直至抵达目的地。

本发明提供的室外导盲装置包括导盲模块主体7和与导盲模块主体相匹配的外壳8，外壳8的左右两端设置有固定带连接处1并通过固定带（未在图中画出）实现该导盲装置的固定，所述导盲模块主体7采用上述的室外导盲模块，本实施例提供的室外导盲装置将上述室外导盲模块的各个模块集成在电路板上，并选配锂电池为供电模块，然后在导盲模块主体7的外壁上依次设置固定带连接处1，左深度相机2，开机键3，红外光发射器4，右深度相机5以及单目相机6，具体设置位置请参阅图2。

进一步的，所述外壳的中间位置开设有与导盲模块主体相匹配的滑槽，导盲模块主体通过滑槽可插拔的固定在外壳内。

本发明室外导盲装置的导盲方法的流程示意图如图1所示，主要包括障碍识别与路径规划过程。初步路径规划给出整体行进路线，单目与深度相机的结合使用识别障碍物与标志物，实时路径规划给出详细的行走方向与距离。

其中，本实施例中提供的障碍识别的流程示意图如图3所示，具体包括：

通常情况下，单目相机通过运动视觉可以判断障碍的深度信息，但需要知道相机本身的运动情况，当设备佩戴于人体时，人体行走时的身体起伏很难被精确描述，故此引入深度相机判断障碍距离。具体步骤如下：

1、依据颜色直方图判断环境突变；获取前一帧图像中相机前1.5-2米对应像素点的颜色信息作为颜色标准值，提取其颜色直方图，与当前帧图像中的相同位置进行颜色匹配工作，如果颜色无突变则认为当前道路连续，如果突变则进入下一步判断。

2、路面阴影消除；道路绿化等其他物体可能在道路上添加阴影，影响障碍物判断，需要消除其影响，具体步骤如下：

（1）从图像颜色突变处上下取dh（h为一小段高度）的图像块与前一帧相同位置的图像块；

（2）使用角点检测器提取两个图像中的角点特征值；

（3）对比两个图像中的特征值数量，如果差距超过一定阈值，则认为存在障碍，进入下一步，否则认定为阴影。

3、障碍距离判定；为节省系统资源，深度相机通常获取图像但不进行处理。当确定存在障碍时，则结合深度相机判断障碍的整体轮廓，具体步骤如下：

（1）使用角点检测器获取单目图像对应位置的深度特征点；

（2）计算区域内所有特征点的深度值；

（3）如果特征点与周围一定特征点深度连续，则认为其为某物体轮廓线，若多个特征点深度一致，则认为其构成某物体表面，孤立深度的特征点不予考虑；

（4）遍历各障碍物集合，取其边缘值构建三维轮廓，并将边缘轮廓与机体的深度距离结合计算其在地图坐标系中的位置，加入地图的临时障碍集。

（5）连续多帧计算距离，将精确位置信息传递给路径规划单元。

本发明通过单目相机的色度分析、阴影去除，单双目融合下的距离测算、特殊障碍识别，大大提高了环境影响下障碍的识别率与障碍空间信息的获取。

本实施例提供的特征标识获取的流程示意图如图4所示，具体包括：室外导盲的关键在于穿越路口，所有此步骤仅在GPS模块获取用户位置位于路口时触发，具体步骤如下：

（1）图像二值化，白色为1，其余为0；

（2）根据二值化图像判定人行道所在位置，引导使用者移动到人行横道中心位置；

（3）红绿灯一般为固定样式的物品，通过深度学习训练常见红绿灯图片，框出红绿灯在图像中的位置；

（4）持续获取图像，截取红绿灯所在位置图像，根据颜色直方图判断通行情况；

（5）行进中提取红绿灯特征点所在平面作为目标点，获取深度信息，判断移动情况。

本实施例提供的初始路径规划的流程示意图如图5所示，具体包括：

（1）下载卫星地图，生成带有地标信息的拓扑地图；

（2）获取目标点后，匹配拓扑地图上的目标位置；

（3）将拓扑地图中的各个路口作为节点；

（4）以起始点为坐标原点，构建坐标系，将所有节点的坐标存放在同一个数组中；

（5）遍历所有节点，将节点间连线，连线不穿过障碍物的节点存放在同一个数组中，最终生成一个对应节点数组的二维可连通数组及其对应连线的欧氏距离作为连接权重；

（6）遍历所有节点，将总权重最低的路径作为规划路径。

本实施例中提供的实时规划行进路径的流程具体包括：

（1）从障碍识别模块获取障碍信息；

（2）以当前点为原点，一定距离（5或10米）后的初步路径点为终点构建栅格地图，地图边界为起点与终点距离所构成的正方形，步长为10cm，保证精度与计算速度；

（3）将障碍信息按比例投影在栅格地图中；

（4）使用D*算法搜索此地图内最短路径；

（5）判断算法生成路径中栅格与物体位置关系，按照一定宽度（安全范围）修改路径，获得最终路径；

（6）到达目标点前不断重复此过程，直至抵达目标点。

需要说明的是，本发明只在发现障碍物时精确规划实时避障。

本发明基于卫星地图的拓扑地图，实现语音确定目的地；节点信息帮助高效完成初步路径规划工作；地图扩放与栅格化使障碍检测与临时地图融合，实现快速精确的动态避障工作。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。