触觉动漫装置及二次开发平台实验研究

摘要

触觉动漫是采用触觉显示表达动漫信息的一种艺术表现形式。论文针对目前触觉动漫没有可用设备的问题，开发了触觉动漫装置，借助该装置，用户可通过触觉感知动漫信息，并可利用论文设计的动漫手语与动漫内容进行互动，此外，论文设计了触觉动漫二次开发平台，允许用户对触觉动漫装置进行自定义和扩展，定制属于自己的触觉动漫装置。
　　论文的主要内容包括:
　　1.理论分析。研究了触觉显示技术的现状、发展趋势和课题的意义，并深入研究了触觉的显示机理。触觉动漫装置属于一种典型的人机交互平台(Human Computer Interface，HCI)，论文研究了HCI设计原则，为触觉动漫装置的开发提供了理论依据。
　　2.装置开发。设计了触觉动漫装置的总体架构，然后基于S3C2440A处理器开发了装置的硬件电路，主要包括图像采集模块、处理器模块、驱动模块、串口通讯模块、显示器及其接口和触觉刺激模块，最后开发了装置的上位机和下位机软件。
　　3.手语识别。对比研究了手势识别技术的现状，确定了通过视觉方法进行动漫手语识别的方案，并提出了一种基于全像素的神经网络手势识别方法。待识别手势图像先经过图像预处理，成为标准化的二值化图像，将图像的全像素二值化数据作为BP神经网络的输入，进行学习、分类和识别。实验表明，该识别方法能达到较好的准确率和识别速度。
　　4.平台设计。设计了触觉动漫二次开发平台，该平台基于论文所开发的触觉动漫装置，并借鉴了当前主流2D游戏开发引擎Cocos2D-x的设计思想，从便于用户理解的角度将触觉动漫装置的各功能进行封装，使得用户通过调用二次开发平台提供的API便能实现对装置的自定义和扩展。
　　5.实验研究。论文对触觉动漫装置的主要功能进行了实验，并对结果进行了分析。经实验验证，论文设计的触觉动漫装置能实现触觉显示的功能，动漫手语识别模块能达到较好的识别准确率和识别速度，二次开发平台可实现用户对装置的定制。
　　论文开发的触觉动漫装置不仅具有触觉显示器的功能，而且允许用户在通过触觉体验动漫信息的同时，与动漫内容进行交互。此外，用户可利用论文设计的二次开发平台对装置进行自定义和扩展，这是对触觉显示器功能的一次创新性尝试。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．2．1 基础研究

1．2．2 应用研究

1．3 发展趋势

1．4 论文组织结构

第二章 触觉显示原理

2．1 原理

2．2 生物学基础

2．2．1 触觉感受器

2．2．2 肤觉

2．2．3 神经未梢

2．2．4 经穴

2．3 触觉感知参数

2．3．1 两点辨别阈

2．3．2 触觉感知强度

2．3．3 触觉感觉差阈值

2．4 触觉显示器

2．4．1 触觉刺激界面及刺激参数

2．4．2 HCI设计原则

2．5 本章小结

第三章 触觉动漫装置

3．1 装置原理

3．2 硬件设计

3．2．1 总体结构

3．2．2 电路架构

3．2．3 图像采集模块

3．2．4 处理器模块

3．2．5 串口通讯模块

3．2．6 显示器及其接口

3．2．7 驱动模块

3．2．8 振动刺激模块

3．3 软件设计

3．3．1 软件架构

3．3．2 上位机程序

3．3．3 下位机程序

3．4 本章小结

第四章 动漫手语识别

4．1 概述

4．2 技术发展现状

4．3 总体方案

4．4 图像预处理

4．4．1 颜色分割

4．4．2 形态学处理

4．4．3 灰度化处理

4．4．4 目标主体提取

4．4．5 目标位置调整

4．4．6 特征区域截取

4．5 人工神经网络设计

4．5．1 人工神经网络概述

4．5．2 网络模型选择

4．5．3 分类器设计

4．5．4 样本采集

4．5．5 网络训练

4．5．6 动漫手语识别

4．6 本章小结

第五章 触觉动漫二次开发平台

5．1 二次开发平台概述

5．2 Cocos2D-X开发引擎

5．2．1 概述

5．2．2 原理

5．2．3 优缺点

5．3 触觉动漫装置二次开发平台

5．3．1 摄像头类

5．3．2 串口类

5．3．3 刺激器类

5．3．4 图像类

5．3．5 动漫手语类

5．3．6 物理类

5．3．7 输入输出类

5．4 本章小结

第六章 实验研究

6．1 触觉显示实验

6．1．1 实验目的

6．1．2 实验过程

6．1．3 实验结果

6．1．4 结果分析

6．2 动漫手语识别实验

6．2．1 实验目的

6．2．2 实验设计

6．2．3 样本采集

6．2．4 学习训练

6．2．5 识别实验

6．2．6 结果分析

6．3 二次开发平台实验

6．3．1 实验目的

6．3．2 实验过程

6．3．3 实验结果

6．4 本章小结

第七章 总结与展望

7．1 总结

7．2 展望

致谢

参考文献

作者简介