一种基于深度学习的手势识别辅助交流系统

摘要

本发明涉及交流系统领域，具体涉及一种基于深度学习的手势识别辅助交流系统，包括：胸针，内载单目视觉传感器，用于实现手势交流动作视频和交流对象语音视频数据的采集，并将采集到的手势交流动作视频和交流对象语音视频数据传输至腕带；腕带，内载智能处理终端，用于实现手势交流动作视频内载交流信息的识别，并将识别的交流信息转换成音频数据经语音播放模块进行播放；还用于实现交流对象音频视频数据内载交流信息的识别，并将识别到的交流信息转换成手语数据经视频播放模块进行播放。

说明书

技术领域

本发明涉及交流系统领域，具体涉及一种基于深度学习的手势识别辅助交 流系统。

背景技术

手语是聋哑残疾人使用的语言，是一种靠动作和视觉进行交际的特殊语言。 然而让大多数正常人掌握并运用手语直接与聋哑残疾人进行交流显然是不现 实的。目前聋哑人与正常人之间的沟通仅仅限于以懂手语的正常人做翻译等手 段，在很大程度上限制了不懂手语的正常人对聋哑残疾人的理解，给聋哑残疾 人的日常生活、学习和工作带来极大的不便。

发明内容

为解决上述问题，本发明提供了一种基于深度学习的手势识别辅助交流系 统，可以实现聋哑残疾人与正常人的交流。

为实现上述目的，本发明采取的技术方案为：

一种基于深度学习的手势识别辅助交流系统，包括：

胸针，内载单目视觉传感器，用于实现手势交流动作视频和交流对象语音 视频数据的采集，并将采集到的手势交流动作视频和交流对象语音视频数据传 输至腕带；

腕带，内载智能处理终端，用于实现手势交流动作视频内载交流信息的识 别，并将识别的交流信息转换成音频数据经语音播放模块进行播放；还用于实 现交流对象音频视频数据内载交流信息的识别，并将识别到的交流信息转换成 手语数据经视频播放模块进行播放。

进一步地，所述胸针呈纽扣状，其上配置一用于控制单目视觉传感器启闭 的按钮和一用于为胸针内载的蓄电池充电的充电口。

进一步地，所述智能处理终端内载一数据处理系统，包括：

手势交流信息识别模块，用于基于DSSD_Xception_coco模型实现手势 交流动作视频内载交流信息的识别，并将识别的交流信息转换成音频数据；

音频交流信息识别模块，用于基于Xception模型实现交流对象音频视频 数据内载交流信息的识别，并将识别到的交流信息转换成手语数据。

进一步地，所述DSSD_Xception_coco模型采用DSSD目标检测算法，用 coco数据集预训练Xception深度神经网络，然后用先前准备好的手语图像及 其对应的音频数据集训练该模型，微调深度神经网络中的各项参数，最后得到 合适的用于识别手势交流动作视频内载交流信息的目标检测模型。

进一步地，所述腕带上安装有一触控屏，用于输入文字信息，TMS320DM6446 处理器接收到数字信号后经过处理将信号传输给中文语音合成芯片，中文语音 合成芯片将数字转化成语音信号，再经语音播放模块进行播放。

进一步地，所述数据处理系统内载：

数据分类模块，用于基于无限深度网络模型实现手势交流动作视频和交流 对象语音视频数据的分类。

进一步地，所述胸针和腕带基于蓝牙模块实现通讯。

进一步地，所述胸针支持手机蓝牙连接功能，对应的配置一手机APP系统， 手机APP系统内载：

数据分类模块，用于基于无限深度网络模型实现手势交流动作视频和交流 对象语音视频数据的分类；

手势交流信息识别模块，用于基于DSSD_Xception_coco模型实现手势 交流动作视频内载交流信息的识别，并将识别的交流信息转换成音频数据进行 播放；

音频交流信息识别模块，用于基于Xception模型实现交流对象音频视频 数据内载交流信息的识别，并将识别到的交流信息转换成手语数据进行播放。

本发明具有以下有益效果：

能进行手语和声音文字的双向转换，转换效率和识别程度高；使得正常 人和聋哑人之间可以通过本设备进行高效无障碍的交流；特别是针对不识字 的聋哑人仍然有效。

附图说明

图1为实施例一种基于深度学习的手势识别辅助交流系统的结构图。

图2为本发明一种基于深度学习的手势识别辅助交流系统的系统框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域 的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是， 对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若 干变形和改进。这些都属于本发明的保护范围。

如图1所示，本发明实施例的一种基于深度学习的手势识别辅助交流系统， 包括：

胸针，内载单目视觉传感器，用于实现手势交流动作视频和交流对象语音 视频数据的采集，并将采集到的手势交流动作视频和交流对象语音视频数据传 输至腕带；

腕带，内载智能处理终端，用于实现手势交流动作视频内载交流信息的识 别，并将识别的交流信息转换成音频数据经语音播放模块进行播放；还用于实 现交流对象音频视频数据内载交流信息的识别，并将识别到的交流信息转换成 手语数据经视频播放模块进行播放。

本实施例中，所述胸针呈纽扣状，其上配置一用于控制单目视觉传感器启 闭的按钮和一用于为胸针内载的蓄电池充电的充电口。

本实施例中，所述智能处理终端内载一数据处理系统，包括：

手势交流信息识别模块，用于基于DSSD_Xception_coco模型实现手势 交流动作视频内载交流信息的识别，并将识别的交流信息转换成音频数据；

音频交流信息识别模块，用于基于Xception模型实现交流对象音频视频 数据内载交流信息的识别，并将识别到的交流信息转换成手语数据。

本实施例中，所述DSSD_Xception_coco模型采用DSSD目标检测算法， 用coco数据集预训练Xception深度神经网络，然后用先前准备好的手语图像 及其对应的音频数据集训练该模型，微调深度神经网络中的各项参数，最后得 到合适的用于识别手势交流动作视频内载交流信息的目标检测模型。

本实施例中，所述腕带上安装有一触控屏，用于输入文字信息， TMS320DM6446处理器接收到数字信号后经过处理将信号传输给中文语音合成 芯片，中文语音合成芯片将数字转化成语音信号，再经语音播放模块进行播放。

本实施例中，所述数据处理系统内载：

数据分类模块，用于基于无限深度网络模型实现手势交流动作视频和交流 对象语音视频数据的分类。

本实施例中，所述胸针和腕带基于蓝牙模块实现通讯。

实施例2

如图2所示，本发明实施例的一种基于深度学习的手势识别辅助交流系统， 包括：

胸针，内载单目视觉传感器，用于实现手势交流动作视频和交流对象语音 视频数据的采集，并将采集到的手势交流动作视频和交流对象语音视频数据传 输至腕带；

手机APP系统，用于实现手势交流动作视频内载交流信息的识别，并将识 别的交流信息转换成音频数据进行播放；还用于实现交流对象音频视频数据内 载交流信息的识别，并将识别到的交流信息转换成手语数据进行播放；

本实施例中，所述手机APP系统内载：

数据分类模块，用于基于无限深度网络模型实现手势交流动作视频和交流 对象语音视频数据的分类；

手势交流信息识别模块，用于基于DSSD_Xception_coco模型实现手势 交流动作视频内载交流信息的识别，并将识别的交流信息转换成音频数据进行 播放；

音频交流信息识别模块，用于基于Xception模型实现交流对象音频视频 数据内载交流信息的识别，并将识别到的交流信息转换成手语数据进行播放；

文本转换模块，用于基于预设的模型将录入的文本数据转换成音频数据进 行播放。

本实施例中，所述胸针呈纽扣状，其上配置一用于控制单目视觉传感器启 闭的按钮和一用于为胸针内载的蓄电池充电的充电口。

本实施例中，所述DSSD_Xception_coco模型采用DSSD目标检测算法， 用coco数据集预训练Xception深度神经网络，然后用先前准备好的手语图像 及其对应的音频数据集训练该模型，微调深度神经网络中的各项参数，最后得 到合适的用于识别手势交流动作视频内载交流信息的目标检测模型。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限 于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化 或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例 和实施例中的特征可以任意相互组合。