基于级联神经网络的实时目标检测

摘要

近年来，随着计算机视觉和深度学习相关技术的飞速发展，许多精确的二维检测算法相继被提出。然而，仅有二维检测框或分割掩码并不能完全满足实际应用中的需求。在一些实际场景中，特别是在自动驾驶，机器人应用，AR/VR等领域，三维检测任务能够更好地发挥作用。 由于激光雷达能够提供精确的深度信息，许多三维检测方法使用雷达点云作为它们的输入数据。相对地，一些方法利用图像数据替换雷达数据作为算法的输入。由于雷达设备具有价格昂贵，不易携带等特点，此类算法很难广泛应用在轻量级的任务上。同时，借助于单目/双目深度估计领域的突破性进展，我们可以利用彩色图片数据获取深度，从而令利用图像数据进行高进度的三维检测任务成为了可能。据此，本文提出了一种面向室外场景的三维检测框架。具体来说，不同于之前直接依赖于彩色图像的方法，本文的方法在重建的三维空间中进行三维检测。本文利用一个数据转换模块将彩色图像数据转换为三维点云，然后利用面向点云的深度学习技术来处理这个问题。为了增强生成点云数据的信息量，本文还提出了一个多模态数据融合模块在点云数据中嵌入RGB特征，从而提升模型的性能和鲁棒性。本文强调除了数据精确性以外，数据表达形式也是影响三维检测性能的一个重要因素。 本文在KITTI数据集上验证了所提出的算法，检测结果证明了本文提出的算法的有效性。具体地，我们的算法超过了现存的所有的基于图像的三维检测算法的检测精度。对比之前最好的基于单目图像的三维检测算法，本文提出的算法在IoU阈值为0.7的条件下，在对车辆类别的物体的检测性能获得了15%的mAP的绝对提升。

目录

声明

1 绪论

1.1 研究背景

1.2 研究内容

1.2.1 二维目标检测

1.2.2 单目图像深度估计

1.2.3 三维目标检测

1.3 论文主要工作

2 相关领域研究

2.1 二维目标检测

2.1.1 双阶段目标检测

2.1.2 单阶段目标检测

2.2 深度估计

2.3 三维目标检测

2.3.1 基于雷达数据的三维目标检测

2.3.2 基于图像数据的三维目标检测

2.4 本章小结

3 面向图像数据的三维目标检测

3.1 方案综述

3.2 网络架构设计

3.2.1 网络架构设计综述

3.2.2 网络架构设计细节

3.3 二维目标检测

3.4 图像深度估计

3.5 三维目标检测

3.5.1 数据转换阶段

3.5.2 三维检测阶段

3.5.3 RGB特征融合

3.6 本章小结

4 实验结果及其分析

4.1 数据库及评价指标

4.1.1 KITTI

4.1.2 Cityscapes

4.1.3 CIFAR

4.1.4 ImageNet

4.1.5 Microsoft COCO

4.2 实验结果及其分析

4.2.1 网络结构设计

4.2.2 二维目标检测

4.2.3 单目图像深度估计

4.2.4 三维目标检测

4.3 算法细节分析

4.3.1 MASK分析

4.3.2 稳定性分析

4.3.3 正则化分析

4.3.4 损失函数分析

4.3.5 网络架构分析

4.3.6 架构扩展

4.4 本章小结

结论

参 考 文 献

攻读硕士学位期间发表学术论文情况

致谢

大连理工大学学位论文版权使用授权书