基于深度学习的货架商品识别方法及应用研究

摘要

在线下超市场景中，商家需要实时掌握货架商品的相关信息，以更好地服务消费者。目前，货架商品的相关信息主要还是依靠人工盘点的方式来获取。然而这种获取货架商品信息的方法不仅耗费了人力成本，并且不能及时地更新货架商品的信息。因此研究基于视觉的货架商品检测方法很有必要。　　传统的货架商品检测方法通过提取商品的手工特征来训练分类器。然而手工特征无法有效表示种类繁多、背景复杂的商品区域，导致传统的货架商品检测方法识别效果不好。因此本文提出了基于深度学习的货架商品检测方法来更好地识别货架商品。本文的主要工作与创新点如下：　　1.本文利用深度学习的方法识别货架商品图片中的目标商品。首先收集了真实场景下不同角度、不同光照、不同背景的货架商品图片，并对图片中目标商品的位置和类别进行标注。然后构建了基于深度学习的货架商品检测网络，并在数据集上训练该网络。最后利用训练好的货架商品检测网络来识别货架商品图片中目标商品的位置和类别。实验结果表明基于深度学习的货架商品检测方法可以有效地检测出货架商品图片中的目标商品，并在测试集上达到了89.4%的mAP。　　2.本文提出了一种货架商品数据生成的方法来解决货架商品检测网络中训练数据不足的问题。首先建立带有标注信息的货架商品数据库，并随机选择货架商品数据库中的图片作为背景图片。其次通过爬虫、摆拍、截取获得目标商品图片并建立目标商品数据库。根据背景图片的标注信息获取背景图片中目标商品的位置信息和类别信息。对于背景图片中的每个目标商品，从目标商品数据库中随机选择相应类别的目标商品以泊松融合加亮度调节的方式替换背景图片中的目标商品，将背景图片中所有目标商品替换后便得到了生成的货架商品图片。最后通过实验验证了货架商品数据生成方法可以有效地解决货架商品数据不足的问题。　　3.本文利用货架商品识别的结果，提出了一种缺货检测的方法。在货架商品识别后，根据商品的位置信息可以推断出未知区域的位置(未知区域为缺货区域或商品区域)，然后再提取未知区域的边缘信息、纹理特征或颜色特征来进一步判断未知区域是否为缺货区域。最后实验结果表明本文提出的缺货检测方法可以有效地检测出货架商品的缺货区域。

目录

第1章 绪论

1.1 研究背景与研究意义

1.2 相关技术研究现状

1.2.1 货架商品识别方法

1.2.2 货架商品识别挑战

1.2.3 货架商品识别应用

1.3 论文的主要工作和组织结构

1.3.1 论文的主要工作

1.3.2 论文的组织结构

第2章 基于目标检测的货架商品识别

2.1 引言

2.2 基于深度学习的目标检测方法

2.2.1 双阶段检测算法

2.2.2 单阶段检测算法

2.3 基于Faster R-CNN的货架商品检测

2.3.1 货架商品区域推举

2.3.2 货架商品分类与回归

2.4 实验结果与分析

2.4.1 数据集与评价指标

2.4.2 货架商品检测的实验结果与分析

2.5 本章小结

第3章 基于数据生成的货架商品识别

3.1 引言

3.2 数据增强方法概述

3.2.1 传统的数据增强方法

3.2.2 基于GAG网络的数据增强方法

3.2.3 数据生成方法概述

3.3 货架商品的贴图方法

3.4 实验结果与分析

3.4.1 数据集

3.4.2 生成数据的实验结果与分析

3.4.3 数据增强的实验结果与分析

3.5 本章小结

第4章 货架商品识别应用研究

4.1 引言

4.2 缺货检测概述

4.3 缺货检测方案

4.4 关键技术介绍

4.4.1 缺货区域位置推断

4.4.2 基于Canny算子的缺货区域识别

4.4.3 基于GLCM的缺货区域识别

4.4.4 基于颜色直方图的缺货区域识别

4.5 实验结果与分析

4.5.1 测试集

4.5.2 缺货检测的实验结果与分析

4.6 本章小结

结论

参考文献

附录A 发表的论文和参加科研情况说明

致谢