基于边缘匹配的空间非合作目标三维跟踪方法

摘要

本发明公开了一种基于边缘匹配的空间非合作目标三维跟踪方法，提出利用unity3D导入空间目标模型，根据不同需求搭建不同仿真绕飞场景，用于验证所提算法的可行性，整套系统具有通用性、便捷性。本申请在基于边缘匹配算法的基础上提出一种全局优化的思想，减少当背景杂乱、光照不均时，易出现局部极小值导致的误匹配问题，同时通过运动补偿来评估像素点观测概率，补偿由于前景层和背景层建模不当导致引起的误差。有利于提高匹配准确率，从而提高位姿解算精度和跟踪准确率。

说明书

技术领域

本发明属于计算机视觉领域，具体地涉及一种基于边缘匹配的空间非合作目标三维跟踪方法。

背景技术

根据是否能够提供有效合作信息，将空间的被测目标分为合作目标(CooperativeTargets)与非合作目标(Non-Cooperative Targets)两大类。空间合作目标通常安装有合作标志，如标志灯、光学反射器(反射标志)、特殊形状的标记等。空间非合作目标没有安装合作标志，也不能主动提供姿态信息。按照外形信息是否已知，分为模型已知的非合作目标(简称已知目标)和模型未知的非合作目标(简称未知目标)两类。

失效航天器的在轨捕获与维护、空间垃圾清除、攻防对抗等重大航天任务针对的目标大多为非合作目标。因此在空间任务中，对非合作目标的相对位姿估计与跟踪算法展开研究颇具挑战性，应用前景也非常广阔。

航天器缺乏足够的纹理信息，边缘或轮廓是大多数情况下可以检测到的重要视觉线索。因此，非合作目标位姿估计与跟踪一般采用基于模型的算法，将给定的三维对象模型投影到输入视频帧上，然后将投影轮廓与二维场景边缘相匹配，通过严格的特征关联方程求解得到目标的姿态值，此类方法可取得较高的估计精度，关键难点在于建立精确的3D-2D关联。

Rapid[4]是第一个基于模型的跟踪算法，通过沿模型投影边缘搜索梯度最大值来提取3D-2D对应点，该方法能够实现快速跟踪，但会因为边缘之间的模糊性而出现误匹配问题。为此，Drummond等人[5-8]提出了多假设点改进策略；Sharma等人[9]采用边缘特征和直线特征的组合获取目标模型和图像特征关联的候选点对；Seo等人[10]进一步利用水平集区域分割知识，结合边缘特征建立3D-2D对应关系。上述方法可以有效地提高位姿估计的鲁棒性，然而，由于在特征关联过程中存在较大的候选空间，3D-2D匹配点的对应关系是独立搜索的。当背景杂乱、光照不均时，易出现局部极小值导致的误匹配问题，降低算法效率和准确率。

[4]Harris C,Stennett C.RAPiD—A video-rate object tracker(RAPiD一视频速率目标跟踪器)[J].university of oxford,1990.

[5]Drummond,Tom,Cipolla,et al.Real Time Visual Tracking of ComplexStructures.(复杂结构的实时可视化跟踪)[J].IEEE Transactions on PatternAnalysis&Machine Intelligence,2002.

[6]Barandiaran I,Paloc C,Grana M.Real-time optical markerlesstracking for augmented reality applications(用于增强现实应用的实时光学无标记跟踪)[J].Journal of Real-Time Image Processing,2010,5(2):129-138.

[7]Wuest H,Vial F,Strieker D.Adaptive line tracking with multiplehypotheses for augmented reality(具有多个假设的增强现实自适应线跟踪)[C]//IEEE&Acm International Symposium on Mixed&Augmented Reality.ACM,2005.

[8]Kanani K,Petit A,Marchand E,et al.Vision Based Navigation forDebris Removal Missions(基于视觉的碎片清除任务导航)[J].InternationalAstronautical Congress,2012.

[9]Sharma S,Ventura J,D'Amico S.Robust Model-Based Monocular PoseInitialization for Noncooperative Spacecraft Rendezvous(用于非合作航天器交会的基于鲁棒模型的单目姿态初始化)[J].Journal ofSpacecraft and Rockets,2018,55(6):1414-1429.

[10]Byung-Kuk,Seo,Hanhoon,et al.Optimal Local Searching for Fast andRobust Textureless3D Object Tracking in Highly Cluttered Backgrounds.(在高度杂乱的背景中进行快速且稳健的无纹理3D对象跟踪的最佳局部搜索算法)[J].IEEEtransactions on visualization and computer graphics,2014.

发明内容

针对现有技术存在的问题，本发明提供一种基于边缘匹配的空间非合作目标三维跟踪方法，提出利用unity3D导入空间目标模型，根据不同需求搭建不同仿真绕飞场景，用于验证所提算法的可行性，整套系统具有通用性、便捷性。

本发明的技术方案是：基于边缘匹配的空间非合作目标三维跟踪方法，具体步骤如下：

步骤一、利用Unity3D对目标模型进行建模，并利用Unity3D对首帧I

步骤二、采用OpenCV对输入视频捕获当前帧I

步骤三、基于前背景分割获得当前帧I

步骤四、采用OpenGL生成目标模型3D采样投影点X

步骤五、搜索3D采样投影点X

步骤六、当前帧I

步骤七、判断当前帧I

本专利考虑最小化X

进一步的，步骤五中获得一系列3D-2D匹配点对的具体步骤为：

(1)沿目标模型投影边缘法线初步搜索目标模型投影点X

(2)令

(3)构建能量函数：

其中：E

E

其中：x

(4)根据能量函数构造图模型，求解最优路径，进而建立精确3D-2D关联，得到3D-2D匹配点对:

为计算P(p

H(Ω)＝{h

P

P

(5)为计算每个二维匹配点属于前背景的概率，进一步定义p

其中，

(6)计算RGB空间中每个二维候选匹配点p

其中：N＝N

若二维匹配点p

(7)基于背景可视为平面的假设，通过运动补偿来评估像素观察概率，基于连续帧中背景运动引起的单应变换的估计，使用运动补偿框架，补偿误分类问题；

(8)提取帧I

(9)将

(10)计算每个二维候选匹配点p

(11)通过高斯核函数评估二维匹配点属于前景p

若二维匹配点p

本发明的有益效果是：

1、由于空间非合作目标在执行实际任务前，较难获得实际绕飞场景。同时在进行算法性能分析与可行性验证时，需要在多种不同条件下的绕飞场景下进行，搭建多套实际绕飞场景代价、难度太大。针对本问题本专利提出利用unity3D导入空间目标模型，根据不同需求搭建不同仿真绕飞场景，用于验证所提算法的可行性，整套系统具有通用性、便捷性。

2、本文在基于边缘匹配算法的基础上提出一种全局优化的思想，减少当背景杂乱、光照不均时，易出现局部极小值导致的误匹配问题，同时通过运动补偿来评估像素点观测概率，补偿由于前景层和背景层建模不当导致引起的误差。有利于提高匹配准确率，从而提高位姿解算精度和跟踪准确率。

附图说明

图1为基于边缘匹配的空间非合作目标三维跟踪方法的流程图；

图2为搜索二维候选匹配点示意图

图3为根据能量函数

其中：

图4为搭建仿真场景界面视角图；

图5为某一帧绕飞场景截图。

具体实施方式

下面结合附图对本发明做进一步的说明。

本申请以模型已知的空间非合作目标的相对位姿解算作为研究背景。精确解算空间非合作目标的相对姿态，进行三维跟踪是完成空间非合作目标如(失效航天器、空间垃圾)交会对接、在轨服务等航天任务的关键技术。

非合作目标由于无法提供合作信息，位姿解算的难度较大。地面仿真和在轨试验结果表明[1-3]，目前非合作目标的位姿解算精度、稳定性、通用性等方面与实际空间任务的导航需求仍存在差距，国内对于空间非合作目标基于视觉相对位姿解算的研究仍处于实验验证阶段，尚无成熟工程应用。

[1]Jankovic M,Paul J,Kirchner F.GNC architecture for autonomousrobotic capture of a non-cooperative target:Preliminary concept design(用于非合作目标的自主机器人捕获的GNC架构：初步概念设计)[J].Advances in SpaceResearch,2015,57(8):1715-1736.

[2]Heike,Benninghoff,Florian,et al.European Proximity OperationsSimulator 2.0(EPOS)-A Robotic-Based Rendezvous and Docking Simulator(欧洲接近操作模拟器2.0(EPOS)-基于机器人的交会和对接模拟器)[J].Journal of large-scaleresearch facilities JLSRF,2017,3.

[3]郝刚涛,杜小平,宋建军.空间翻滚非合作目标相对位姿估计的视觉SLAM方法[J].宇航学报,2015,36(6):706-714.

考虑到空间非合作目标表面比较光滑，缺乏足够纹理信息，所以边缘轮廓是大多数情况下可以检测到的重要线索，因此本申请研究基于边缘匹配的空间非合作目标三维跟踪系统是具有理论研究价值，并且具备实际应用前景的。

本实施例中提供基于边缘匹配的空间非合作目标三维跟踪方法，如图1所示，具体步骤如下：

步骤一、利用Unity3D对目标模型进行建模，并利用Unity3D对首帧I

步骤二、采用OpenCV对输入视频捕获当前帧I

步骤三、基于前背景分割获得当前帧I

步骤四、采用OpenGL生成目标模型3D采样投影点X

步骤五、搜索3D采样投影点X

步骤六、当前帧I

步骤七、判断当前帧I

本专利考虑最小化X

优选的，步骤五中获得一系列3D-2D匹配点对的具体步骤如下：

(1)沿目标模型投影边缘法线初步搜索目标模型投影点X

(2)令

(3)构建能量函数：

其中E

E

E

其中，x

(4)根据能量函数构造图模型，求解最优路径，进而建立精确3D-2D关联，得到3D-2D匹配点对:

为计算P(p

H(Ω)＝{h

P

P

(5)为计算每个二维匹配点属于前背景的概率，定义p

其中，

(6)计算RGB空间中每个二维候选匹配点p

其中N＝N

若二维匹配点p

(7)基于背景可视为平面的假设，通过运动补偿来评估像素观察概率，基于连续帧中背景运动引起的单应变换的估计，使用运动补偿框架，补偿误分类问题；

(8)提取帧I

(9)将

(10)计算每个候选匹配点的误差

(11)通过高斯核函数评估二维匹配点属于前景p

若二维匹配点p

根据能量函数

由于空间非合作目标在执行实际任务前，较难获得实际绕飞场景。同时在进行算法性能分析与可行性验证时，需要在多种不同条件下的绕飞场景下进行，搭建多套实际绕飞场景代价、难度太大。本实施例中利用unity3D导入空间目标模型，可根据需求改变条件，搭建不同的仿真绕飞场景，用于验证所提算法的可行性，整套系统具有通用性、便捷性。实验结果表明，改进算法可以在上述不利条件下进行快速、稳健的三维跟踪。

建立精确的3D-2D关联时，3D-2D匹配点的对应关系是独立搜索的。当背景杂乱、光照不均时，易出现局部极小值导致的误匹配问题，同时为补偿由于对轨迹点的一些错误分类而导致的前景层和背景层建模不当导致的3D-2D误匹配问题。本实施例中基于背景可视为平面的重要假设，通过运动补偿，基于连续帧中背景运动引起的单应性变换估计来评估像素点观测概率。在此基础上，沿目标模型投影边缘法线初步搜索X_i(r)对应的二维候选匹配点{p_i,1,p_i,2,…,p_i,j,…}；采用全局优化思想，构建图模型确定精确3D-2D匹配点对。最终利用3D-2D匹配点对解算出当前帧的位姿。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。