Webcam Based Hand Gesture Recognition System for Static Image

摘要

网络和计算机技术自20世纪90年代以来，随着科技日新月异的发展，通过计算机和互联网来存储、修改、复制和传输的数字作品变得更加容易和频繁。因此，近年来在人机交互(HCI)领域的应用需求和研究兴趣在不断的提高。它已经发展从传统的键盘输入到和鼠标的结合，然后再到触摸板和触摸屏。
　　 现在是时候制定一个更便捷的方式与电脑互动。有很多部门在开发和应用与计算机系统的无缝通信方式。无论是游戏或日常个人生活使用中，人类与电脑的互动是通过相关的应用程序来获取传感器或相机跟踪到的人体的相应的运动，包括人的手势，眼球运动，面部表情或者任何身体其他部位的运动。相比其他的交互方式，手势可能会更加自然和直观的与计算机系统。
　　 计算机视觉领域关注通过摄像头或红外信号检测来使计算机能够理解和识别物体。它将从图片收集信息，运用不同的复杂的数学公式和算法来分析和理解，然后进一步处理以获取信息。以前的计算机不能感知外界的信息，但是，现在的电脑可以通过摄像头或者传感器来感知到。它们像人类一样具有一个“眼睛”看到外部环境。更关键的是，他们需要一个先进的图像处理方法来加载图像和进一步理解它们所“看到”的信息。
　　 手势是指人类用手掌和手指位置、形状的表达特定语言的系统。人类手势识别可以作为计算机系统的输入来操控游戏，给系统做一些操作指令命令或聋人手语翻译，这些人的交流的唯一语言是手势和一些面部表情。这一领域中已经有很多专业人士和研究人员在此领域努力增加一些价值。已经有几个算法进入这个领域，但这些研究人员发现和推荐的方法都有自己的局限性。包括无法完全的消除背景、无法检测不同的皮肤颜色，甚至无法区分在不同的照明环境下相同的皮肤颜色。一般来说，图片是像素的集合，视频是多张连续图片集合的连接。
　　 在这篇论文中，一个健壮的手势识别系统将被描述和证明其优势。这个基于摄像头的手势识别系统，通过使用许多计算机视觉和图像处理技术将更好的实现人机交互方式或手语翻译。通过计算几何计算和实时跟踪，它能正确地检测到手指和手掌的位置。由于它是使用C++编程和开源计算机视觉库（openCV的），所以它运行速度快，并且具有少的CPU运行时间。(
　　 )这个优势使得它更优选优于众多的其他图像处理工具。我们选择了一个有效的方法从输入视频帧识别到手势，同时消除噪音。
　　 噪声消除和灯光效果是图像处理中识别物体在的主要问题。所以本文采用称为码书的方法实施背景减法技术，同时也为易用性和完美的转换，输入的RGB图像转换到另一个色彩空间和其他的图像处理算法如凸包、凸性缺陷得以实施。一张彩色图像总是由三个渠道。代表三种颜色，即红色，绿色和蓝色。它的对比度和亮度的调整是通过从原始图像的每一个像素的增加或减去某个常数。
　　 该系统将使用普通低端摄像头输入帧包含了一个人作出的即时手势姿态。而得到的帧将被存储在一个临时存储器中，并在这个视频帧上应用一些图像处理技术，如扩张、侵蚀和背景减法。
　　 该系统从摄像头捕获的连续帧中跟踪的手指和手掌的位置来进行手势识别，并且输入的RGB彩色图像变换到其他颜色空间，即YCbCr图像，并进一步加工成最终的仅包含两种颜色值（白色和黑色）终的二进制图像来识别手势。白色部分表示手，黑色部分代表背景区域。这是在帧上应用侵蚀，消除噪声和平滑使用扩张技术。得到图像中的一个或多个轮廓的技术称为轮廓查找方法找到最大的轮廓，在这里本文可以能够显示的精确形状的手。
　　 在第三章中，详细介绍了本文使用的图像处理技术和方法。在第四章中讨论了一些实验结果。仿真结果清楚地表明，该系统能够从图像中消除噪声，减去不必要的背景，并清楚地显示前景。即使一个复杂的数学运算，改变图像像素算法可能需要更多的CPU的资源，因为开发工具运行速度快的优势，实验结果表明，从摄像头采用该方法能够实时的进行手势识别，没有任何延迟。
　　 本文在不同的使用场景也验证了该手势识别系统以确保系统正常运行。验证表明，手和手臂的倾斜、手掌和手臂的旋转和手指被折叠时，系统都能正常工作。
　　 在本系统中提出的手势识别接口可以适用于手语翻译，玩虚拟游戏，电视或音乐播放器的遥控的控制器系统，人类电脑和手机之间的相互作用等。

目录

声明

Dedication

ABSTRACT

摘要

TABLE OF CONTENTS

LIST OF FIGURES

LIST OF TABLES

CHAPTER 1：INTRODUCTION

1．1 Motivation

1．2 Problem Overview

1．3 Over view of the thesis

1．4 Thesis Organization

CHAPTER 2：LITERATURE REVIEW OF RELATED WORKS

2．1 Review of Related work

2．2 Magic glove with flex sensor

2．3 Microsoft Kinect Xbox based gesture recognition

2．4 Interaction with Virtual games through Hand gesture

2．5 Summary

CHAPTER 3：RESEARCH METHODOLOGY

3．1 Preliminary Processing

3．2 Image processing methods

3．2．1 Object detection

3．2．2 Erosion

3．2．3 Dilation

3．2．4 Smoothing

3．2．5 Adjusting contrast and brightness

3．2．6 Edge detection

3．2．7 Skin color detection using YCbCr color space

3．2．8 Contour Finding

3．2．9 Convex Hull

3．2．10 Code book Algorithm

3．2．11 Convexity Defect

3．2．12 Background subtraction

3．3 Track bars creation

CHAPTER 4：EXPERIMENT RESULTS AND ANALYSIS

4．1 Experiment 1-Straight Arm and Hand

4．2 Experiment 2-Tilt Arm

4．3 Experiment 3-Tilt Hand Palm

4．4 Experiment 4-Rotated Arm

4．5 Experiment Data

CONCLUSION

Conclusions

Benefits of the system

Applications areas of the system

Future Work

REFERENCES

ACKNOWLEDGEMENTS

APPENDlX A：SOURCE CODE

A1：Finding contours source code

A2：The function for thresholding the image

A3：Convex Hull source code

A4：Convexity Defects source code

A5：Blob detecting source code

A6：Skin Detection source code

A7：Hand detection source code

A8：Thresholding source code

APPENDIX B：LIST OF SYMBOLS AND ACRONYMS

APPENDIX C：LIST OF PREREQUISITES