基于Kinect的盲人室内智能辅助行走系统设计与开发

摘要

目前，盲人的导盲工具以导盲仗为主，但是导盲仗功能过于简单，无法为盲人提供更丰富的场景信息，盲人往往会因为无法预测前方场景的具体情况，心里产生一种对未知环境的恐惧从而减少自己的出行活动。为了帮助盲人克服心理障碍，提高生活质量，本文基于Kinect设计并开发了一套盲人智能辅助行走系统，具体实现了避障、导航及目标识别三大功能，能向盲人反馈障碍物信息及场景内容，让盲人在行走过程中，全面整体地认识空间布局，减少心理恐惧感。本文主要研究内容如下： （1）结合安全识别区与形态学去噪的障碍物提取，及基于动态时间规划（Dynamic Time Warping，DTW）算法的楼梯检测。首先检测Kinect的有效测距范围及测距精度，以此为基础在盲人身前构建一块安全识别区，提取安全识别区内的障碍物并绘制二值图像，然后利用形态学的方式去除障碍物图像中的杂斑，减少伪障碍影响，提高真实障碍物的检测精度。除此以外，针对目前避障系统中，较少有对楼梯检测的情况，利用DTW算法将场景深度图与楼梯深度图的深度波形进行匹配，检测楼梯的存在，提示盲人是否需要上下楼梯。 （2）基于词袋模型的定位标签识别与基于深度学习 Single Shot MultiBox Detector（SSD）的场景目标识别。针对Kinect中缺少定位芯片的缺陷，设计并制作定位标签，不同标签代表不同地点，利用色彩阈值分割和词袋模型检测并识别标签内容，获取位置信息；针对目前导盲系统中较少对识别目标进行三维描述的问题，利用 SSD 算法识别场景内目标，然后结合深度图像，将目标的二维信息还原成真实场景中的三维信息，实现对目标的种类及相对于盲人具体位置信息的反馈。 （3）提出一种考虑行走难度的改进A*室内路径规划算法实现室内导航。首先根据室内布局绘制室内平面地图，本文将室内平面地图设计成格网形式，分为可行走区域、不可行走区域及定位标签区域三大块，并以盲人的步长为单位设计比例尺，便于重构移动代价函数；然后考虑转向及路径宽度这两个影响盲人行走的阻碍因素，将其引入到 A*算法的移动代价函数中替换原来的曼哈顿距离，可搜索到更宽敞，更适合盲人行走的路径，再结合标签定位即可实现室内导航。

目录

第一个书签之前