基于手语语言学与人体运动学的手语识别研究

摘要

随着计算机应用技术在现代社会影响的迅速扩大，传统的基于鼠标和键盘的人机交互技术越来越显示出它们的局限性，因而研究多模式人机接口技术在现实生活中变得越来越重要。手语识别做为多模式人机接口领域的一项重要组成部分，已经吸引了越来越多的专家和学者们的注意。
　　理想的手语识别应能处理大量的既定的词汇，最大可能地满足使用者的移动需要，在复杂环境下实时准确的识别，并且这种识别应该面向真正的、非特定的手语操做者。目前非特定人手语识别与特定人手语识别相比还有较大的差距，造成这一差距的主要原因包括非特定人数据本身的差异性矛盾与训练样本的缺乏。数据差异性使得非特定人手语识别中提取手语数据有效的共同特征非常困难。训练样本缺乏，使得在实际应用中模型的表达能力与样本缺乏之间的矛盾成为制约识别系统效果的瓶颈。这两个问题的解决将对中国手语识别及其它相关领域具有重要的意义。在本文中，针对数据差异性和训练样本缺乏问题，我们从以下几个方面解决：
　　1、根据手语具有语言学和人体运动学特点，在保证原始数据完整性的前提下，建立了手语语言学和人体运动学相结合的标记体系。根据上述标记体系和目前没有手语数据检测方法的现况，提出了符合手语特点的数据检测方法，用于检测生成和转换的手语数据的有效性。
　　2、提出了符合手语具有手语语言学和人体运动学特点的数据生成方法，在此方法中应用了遗传算法和鲍德温效应，保证所生成数据是呈现出高质量趋势增长的手语数据。
　　3、针对非特定人手语数据的差异性问题，首先我们提出了使用正交黎曼流形的学习方法来寻找手语数据的差异性。其次，应用正交黎曼流形的切向量来改进统计识别模型，解决非特定人手语数据的差异性影响识别效果的问题。
　　4、在提出的手语数据生成方法中，遗传算法的“选择”操作是依靠目前手语识别系统实现的，为了确保遗传算法的“选择”操作的正确性，提出了对目前手语识别系统鲁棒性的验证方法。

目录

基于手语语言学与人体运动学的手语识别研究

Study On Sign Language Recognition Based On Sign Language Linguistics And Human Kinematics

摘要

Abstract

Contents

插图

List of Figures

表格

List of Tables

第1章 绪论

1.1 手语概念的界定

1.2 课题研究的目的和意义

1.3 手语语言学的研究背景

1.4 人体运动学的研究背景

1.5 基于数据手套手语识别系统的研究背景

1.6 基于数据手套手语识别系统存在的问题

1.7 本文的主要研究内容及其组织

第2章 手语语言学与人体运动学标记体系的建立与实现

2.1 手语语言学标记体系的概述

2.2 手语语言学与人体运动学相结合的中国手语标记体系

2.3 手语语言学与人体运动学的中国手语标记体系有效性验证

2.4 实验结果与分析

2.5 本章小结

第3章 基于手语语言学与人体运动学的非特定人手语数据生成

3.1 基于手语语言学的手语数据生成及其有效性检测

3.2 基于人体运动学的手语数据生成及其有效性检测

3.3 手语语言学与人体运动学相结合的非特定人手语数据生成

3.4 实验结果与分析

3.5 本章小结

第4章 稀疏空间下正交化黎曼流形学习及其对统计模型的改进

4.1 流形学习

4.2 正交化黎曼流形学习算法

4.3 正交黎曼流形的切向量对HMM统计模型的改进

4.4 稀疏数据空间下正交黎曼流形及统计模型参数的学习方法

4.5 实验结果与分析

4.6 本章小结

第5章 非特定人手语识别系统的鲁棒性验证

5.1 CyberGlove与CAS-Glove的说明

5.2 BAM神经网实现输入设备无关性的手语数据的转换

5.3 BAM神经网的收敛性证明

5.4 用于手语数据转换的BAM神经网存储容量的分析

5.5 实验结果与分析

5.6 本章小结

结论

参考文献

附录

攻读学位期间发表的学术论文

哈尔滨工业大学博士学位论文原创性声明

致谢

个人简历