视线跟踪技术与视线输入的人机系统研究

摘要

多媒体人机交互技术是多媒体技术和人机交互技术的结合，其主要内容是信息表示的多样化和如何通过多种输入输出设备与计算机进行交互。它包括基于视线跟踪、语音识别、手势输入等各种新的交互技术。而视线跟踪与视线输入作为这个领域中新兴的技术，成为近年来人机交互领域中倍受关注的前沿方向。围绕着视线跟踪与视线输入这个主题，本文主要探讨了人眼视觉跟踪理论与基于视线输入的人机系统等相关问题。 首先，简要论述了人机交互技术和计算机视觉理论的发展历程，并扼要介绍视线跟踪技术的现有基本原理和方法，总结其研究现状和进展。同时介绍本文的研究背景和研究内容。 其次，研究了视线跟踪技术与视线输入系统。借助现有的基于视线输入的交互系统的理论与研究模型进一步分析与总结，提出了一种人机交互系统意义上的“自然和谐”式视线输入系统，即利用以往研究者认为的“眨眼”干扰作为运动目标，运用差分法快速提取期望目标图像，进而构造该视线输入系统。 再次，在本系统模型基础之上，分析了该系统的各个组成部分功能与结构的现有设计方法，针对该系统研究领域中的相关重点与难点进行分析与设计，以此作为本文的主要研究内容。针对人机交互系统要求具备实时迅速的人眼图像处理能力，提出了将人眼跟踪划分为粗定位与精确定位两个部分进行处理，利用运动差分法初步跟踪人眼，把背景与人眼区域分开，然后利用Hough变换提取瞳孔中心，得到精确的人眼位置，以辅助光源在人眼角膜上的普尔钦斑点及瞳孔偏移为依据，通过对实验照片进行图像处理及分析来检测与判断视线输入方向。针对现有视线输入系统要求使用者头部只能固定不动的缺点，采用云台控制CCD摄像机，以适应使用时头部一定范围的自由活动，以此降低系统对使用者的操作要求。并结合系统要求设计了云台与计算机的串口通信程序。 最后，作为视线输入人机交互系统的一个典型应用，本文介绍了国外最新研究的DASHER助残文字输入系统。 关健词：人机交互;视线跟踪;视线输入;数字图像处理

目录

文摘

英文文摘

第1章绪论

1.1选题的理论背景与意义

1.1.1人机交互的理论背景

1.1.2人机交互的研究现状

1.1.3本文研究的目的和意义

1.2本文研究的主要内容

第2章视线跟踪技术

2.1视线跟踪技术的理论基础

2.1.1计算机视觉理论

2.1.2模式识别理论

2.1.3图像处理理论

2.2视线跟踪技术综述

2.2.1眼动的基本概念和主要参数指标

2.2.2视线跟踪的基本原理和实现技术

2.2.3视线跟踪技术的硬件实现

2.3本章小结

第3章视线跟踪系统的流程设计

3.1系统流程的比较与分析

3.1.1视线跟踪的流程设计基础

3.1.2基于人脸和人眼的视线跟踪流程设计

3.1.3直接利用人眼图像的视线跟踪流程设计

3.2系统流程的建立

第4章系统实现的分析与设计

4.1眼睛窗口初次定位

4.1.1基于形态学的眼睛窗口定位

4.1.2基于投影的眼睛窗口定位

4.1.3差分法运动分割

4.2人眼窗口二次定位

4.2.1霍夫变换法

4.2.2变形模板法

4.2.3边缘特征分析法

4.2.4对称变换法

4.3摄像系统原理与设计

4.3.1摄像系统的设计

4.3.2摄像机成像的几何模型

4.4云台控制设计

4.4.1云台控制

4.4.2.串口通信程序的两种实现方法

4.5视线跟踪在人机交互文字输入系统中的应用

第5章论文总结与工作展望

参考文献

作者在攻读硕士学位期间发表的学术论文

致 谢