基于联合视觉和无线信号特征的高精度室内定位方法

摘要

一种基于联合视觉和无线信号特征的高精度室内定位方法，在离线阶段对待定位的室内场地采集和构建Wi‑Fi指纹库和图像数据库，获取环境的场景信息；在在线阶段，移动终端实时采集Wi‑Fi指纹数据和图像数据，对采集到的Wi‑Fi指纹数据进行粗定位，确定用户的潜在区域，再对粗定位区域的图像数据采用基于深度神经网络回归的方法，完成精确定位位置的预测。本发明通过融合无线信号特征和视觉特征，在减少计算资源、降低计算复杂度的同时，进一步减小定位误差，实现高精度的室内定位。

说明书

技术领域

本发明涉及的是一种室内无线定位领域的技术，具体是一种基于联合视觉和无线信号特征的高精度室内定位方法，适用于各类配置Wi-Fi和相机的室内定位系统，如目前数量众多的移动机器人及其他智能设备。

背景技术

现有的基于Wi-Fi位置指纹的定位方法，需要通过对复杂环境进行精确建模以减轻多径传播带来的影响，并且对一些不可预测的障碍物(例如行人移动)引起的瞬时信号波动十分敏感，导致无线信号的衰减和扭曲。

部分改进技术针对性地结合视觉信息进行实时定位，但这类技术需要依靠相机采集待定位用户周围环境图像，并对图像进行特征提取来实现定位。但由于相机内参的变化、相机采集过程存在运动模糊，以及室内场景中光照条件变化等外界环境因素的影响，都会使得定位精度受到极大限制，而且需要耗费大量人力、物力按时对图像数据库进行更新。并且这些技术中大多基于信号的定位与基于视觉的定位是分别进行的，仅是利用前者的定位结果来选择一些候选区域来限制后者定位阶段的处理复杂性，却忽略了两种方案之间的相互作用。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于联合视觉和无线信号特征的高精度室内定位方法，通过融合无线信号特征和视觉特征，在减少计算资源、降低计算复杂度的同时，进一步减小定位误差，实现高精度的室内定位。

本发明是通过以下技术方案实现的：

本发明涉及一种基于联合视觉和无线信号特征的高精度室内定位方法，在离线阶段对待定位的室内场地采集和构建Wi-Fi指纹库和图像数据库，获取环境的场景信息；在在线阶段，移动终端实时采集Wi-Fi指纹数据和图像数据，对采集到的Wi-Fi指纹数据进行粗定位，确定用户的潜在区域，再对粗定位区域的图像数据采用基于深度神经网络回归的方法，完成精确定位位置的预测。

本发明涉及一种实现上述方法的系统，包括：数据库构建单元、在线图像、Wi-Fi获取单元、粗定位单元以及精确定位单元，其中：数据库构建单元分别与粗定位单元、精确定位单元相连并传输预构建的图像及Wi-Fi指纹信息，在线图像、Wi-Fi获取单元与粗定位单元相连并传输待定位用户的图像及Wi-Fi指纹信息，粗定位单元与精确定位单元相连并传输待定位用户所在子区域信息，精确定位单元传输待定位用户精确位置信息。

技术效果

本发明整体解决了现有无线信号定位系统中存在的无线信号易受干扰等问题，又减轻了视觉定位系统中存在的易受外界环境影响等问题。

与现有技术相比，本发明有效地发掘随机无线信号特征和确定性视觉图像特征之间的内在关系，利用机器学习算法与深度神经网络结合的方法，成功融合无线信号特征和视觉图像特征的优势，使用从粗-细的定位方式，提高了整体定位系统的定位精度。

附图说明

图1为联合视觉和无线信号特征的高精度定位方法的总流程图；

图2为KNN算法选取参考点示意图；

图3为用于精准定位的神经网络框架图；

图4为办公楼走廊场景布局图和图5为移动机器人；

图6为不同定位系统的CDF实验结果对比图；

图7为不同网格尺寸下的CDF实验结果对比图。

具体实施方式

如图4所示，本实施例涉及一种联合视觉和无线信号特征的高精度定位方法，在4000平方米办公楼走廊具体环境设置下进行测试，办公楼走廊环境由于走廊里存在浮动人员，会对Wi-Fi信号造成影响，这样的环境对实现良好的基于Wi-Fi信号的定位提出了挑战。而且在走廊的一侧有许多窗户，光线条件在一天中会发生巨大变化，本方法在1.5m的网格尺寸下得以实现0.62m定位精度，该方法具体包括如图1所示的步骤：

步骤1：室内场景信息采集，获取RSSI值及图像数据，具体为：在离线阶段，在预定范围的室内场景下，利用如图5所示的带有Wi-Fi模块和图像采集模块的移动机器人与多个无线访问接入点建立通信，接收每个无线访问接入点的信号强度(RSSI)值，同时通过移动机器人的图像采集模块对待定位的场地进行采集图像数据，获取环境场景的图像信息。

步骤2：构建包括每个无线访问接入点的位置

步骤3：通过移动终端采集查询Wi-Fi和图像数据，再利用基于Wi-Fi指纹的定位方法进行位置排除以确定待定位用户的粗定位区域，具体包括：

步骤3.1：Wi-Fi指纹匹配选取粗定位参考点：利用邻近算法(KNN)从Wi-Fi指纹库中去除一些信号强度较差的无线访问接入点的RSSI值，选择与用户所在位置(观测点)RSSI值最相近的多个能够组成拓扑形状的参考点，如图2所示，即得到粗定位匹配点。

步骤3.2：似然概率的计算得到粗定位区域：通过支持向量机(SVM)算法计算用户实时位置的概率向量

步骤4：基于视觉的精确定位，具体为：从图像数据库中选择对应粗定位区域的图像子集作为训练数据，输入神经网络。

所述的训练数据，优选先经数据预处理，对图像进行零均值处理、裁剪和尺寸归一化，使得每个图像的输入尺寸大小为224×224像素。

所述的训练是指：卷积核和权重进行随机初始化，偏置项置为0。采用Adam优化算法对网络进行网络参数的更新和梯度的优化，当网络迭代次数达到预设值时，训练停止并保存训练好的深度卷积神经网络。除了回归层的全连接层，其余卷积层和全连接层都使用ReLU激活函数，进行非线性转换。

如图3所示，所述的神经网络包括：

特征提取器(CNNs)：以一个用于分类任务的22层深度神经网络(GooLeNet)作为基础特征提取器，提取图像级特征，且为提高特征表示能力和节省训练时间，特征提取器的训练权重由其他公开分类数据集获得。在特征提取器末尾，加入一个全连接层执行平均池化并输出一个一维特征向量。

LSTM单元(LSTMs)：将一维特征向量变形为32×64维特征向量，之后为了利用连续帧之间的时间信息，进一步利用图像间的空间依赖性，以提高整体定位精度，在特征层加入上、下、左、右四个方向的长短期记忆网络(LSTM)。

回归层(Regressor)：将四个LSTM单元的输出向量进行串联，之后经过由一个全连接层组成的回归模块来预测待定位用户位置，得到精确定位后的位置坐标

如图4所示，在4000平方米办公楼走廊环境中进行测试。办公楼走廊环境属于典型的室内场景，由于走廊里存在浮动人员，会对Wi-Fi信号造成影响，这样的环境对实现良好的基于Wi-Fi信号的定位提出了挑战。而且在走廊的一侧有许多窗户，光线条件在一天中会发生巨大变化，因此实现基于视觉的定位也是极具有挑战性的。因此，本实施例在此极具挑战的场景下验证了所提出的定位方案的有效性。

优选地，所述的移动机器人通过SLAM算法自动获取在走廊的实时坐标；移动机器人采取s形轨迹路线来采集数据，并在走廊中人为放置几个斜坡，以增加移动机器人的位置变化，丰富数据库。为了保证用户定位精度，移动机器人将定期采集无线信号和图像数据，以保持Wi-Fi指纹库和图像数据库的更新。

构建数据库后，在离线阶段，将整个采集范围内走廊区域划分为15个连续的子区域，并对图像数据库中的数据进行标注，注明其所属子区域的类别。在线阶段，利用智能手机上的Wi-Fi模块从5个Wi-Fi接入点收集50个RSSI样本数据，利用KNN算法挑选邻近24个参考点，并利用SVM算法计算其似然概率，进行粗定位。确定粗定位区域后，利用智能手机上的相机采集752×780像素的图像数据，其中包括104张查询图像，先经数据预处理，对图像进行零均值处理、裁剪和尺寸归一化，使得每个图像的输入尺寸大小为224×224像素，再输入神经网络进行精确定位。数据训练过程是在带有Pytorch平台和NVIDIATitan X GPU的定位服务器上进行的。

将本实施例与两个基线系统进行比较，其中基线一(Baseline 1)采用的是专利文献CN110602651A“基于WIFI位置指纹的定位方法以及机器人的定位系统”中记载的Wi-Fi定位系统，基线二(Baseline 2)采用的是A.Kendall,M.Grimes,and R.Cipolla,在“Posenet:A Convolutional Networkfor Real-time 6-DOF Camera Relocalization,”(inProc.IEEE International Conference on ComputerVision,2015,pp.2938–2946.)中记载的Wi-Fi和视觉融合系统。基于定位误差累积分布函数(CDF)的实验对比结果如图6所示。

由图可见，比起基线一和无额外图像标志做特征提取的基线二，本方法获得了更准确、可靠的定位结果，具体为：基线一系统实现的定位精度为2.43m，基线二系统的定位精度为1.75m，而本方法定位精度为0.62m，明显优于前两者。此外，本实施例在57％的情况下可实现1m内的定位误差，而其他基线方案达到此精度的概率不到40％。

本实施例中，相邻参考点之间的距离分别设置为1m、1.5m和2m。不同网格尺寸下的定位误差累积分布函数(CDF)如图7所示，当参考点之间距离设置为1m时，本实施例平均定位误差为0.83m；当参考点之间距离设置为1.5m时，平均定位误差达到0.62m；当参考点之间距离设置为2m时，平均定位误差为1.19m。此外，值得注意的是，当网格尺寸从1m增大至1.5m，在数据和标签的采集成本减少一半的同时，定位精度提高了25.3％；当网格尺寸继续增大，从1.5m增大至2m，定位误差开始增大。基于以上结果，在数据库构建阶段，1.5m是一个合理的网格尺寸大小。

本实施例中不同定位系统的总运行时长比较实验结果如表1所示。由表1可看出，基线一系统耗费的时间最少，因其不考虑样本数，只考虑在在线定位阶段进行简单的匹配和分类过程。本方法的平均耗时仅为0.18s，远小于基线二耗费时长。这是由于基线二系统中特征提取模块使用的SIFT算法需要存储每张训练图像的特征向量，并执行线性搜索以找到与查询图像的特征向量最相似的图像，这将耗费大量的时间。本实施例提出的方案复杂度低，使实际系统实现了实时定位。

表1不同定位系统的总运行时长比较

本发明相比现有技术的实质性区别包括：1、数据库中既包含每个无线访问接入点的位置及其RSSI值，又包括图像数据及其位置、旋转角度。2、利用KNN-SVM算法，通过计算-筛选的方式，计算待测点与参考点处RSSI值之间的似然概率，确定似然概率最大的区域为粗定位区域。3、所用的移动机器人为获得多样的数据库数据，采取s形轨迹路线来采集数据，并在走廊中人为放置几个斜坡，以增加移动机器人的位置变化，丰富数据库。同时为了保证用户定位精度，移动机器人将定期采集无线信号和图像数据，以保持Wi-Fi指纹库和图像数据库的更新。

上述具体实施可由本领域技术人员在不背离本实施例原理和宗旨的前提下以不同的方式对其进行局部调整，本实施例的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本实施例之约束。