一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法

摘要

本发明公开一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法，包括以下步骤：(1)总结出基于沉浸式虚拟现实中的古琴体验模块层次及虚拟场景设定；(2)比照实体古琴，完成样式择选，进行优化建模，获得古琴的三维模型；(3)结合Leap Motion开发，以手势动画引导完成曲目弹奏体验，以Leap Motion所识别的手指触弦先后顺序判断每首曲目的跟奏正确率并给予体验者反馈；(4)设计引导交互及模块讲解展示动画；(5)创建体验的虚拟环境，设置贴图、光源及音效效果；(6)在Unity 3D中设定交互体验系统与用户之间的交互功能；(7)设置虚拟现实接口，通过HTC Vive VR头盔、Leap Motion及实体古琴实现沉浸式虚拟古琴演奏多通道交互弹奏体验。

说明书

技术领域

本发明涉及乐器虚拟体验与模拟实践教学领域领域，特别是涉及一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法。

背景技术

虚拟现实(Virtual Reality,简称VR)，是极具拓展性的前沿交叉学科，它通过计算机仿真技术与计算机图形学、人机接口技术、传感技术、多媒体技术相结合，生成一种融合多源信息的高可信度的三维立体动态虚拟情景。虚拟现实技术开发主要涉及到四个研究领域：虚拟情境的实现，通过计算机图形技术完成实时动态的三维立体图像

多通道人机交互(Multi-modal Human-Computer Interaction)技术，是一种对输入、输出通道的综合使用，也是对传递方式和服务的最恰当应用以满足用户需求的一种手段，多通道交互同时具备实现多设备协同和跨设备场景迁移的价值特征

本课题主要以沉浸式虚拟现实技术为主要开发媒介，结合手势识别、三维扫描等多通道交互组件的研究使用，搭建出一套提供给广大一般用户使用的关于古琴弹奏的VR体验系统。

VR技术诞生伊始就引起了全世界的广泛关注，美国率先将航天、军事、生物、高教、医疗、建筑、仿真等领域结合VR进行创新性开发

古琴作为中华民族最古老的弹拨乐器之一，自古以来为贤达雅士所器重，居于“琴棋书画”四艺之首

然而现代人接触到古琴的机会少之又少，了解和学习古琴弹奏的机会更少，且需要较为贵重的古琴乐器。

随着我国传统文化领域及博物馆展示的数字化技术相互融合发展，基于沉浸式虚拟古琴演奏多通道交互体验系统的开发也将具有重大的实践意义，用VR技术连接起使用者的视觉、听觉、触觉通道，用数字化的语言让古琴这一门悠远臻道的高雅古艺更加轻松的走入到现代人的视野中去，也让更多人领略和感受到古琴艺术的独特魅力和深厚内涵

发明内容

本发明的目的是为了克服现今古琴接触机会少，教学途径单一，古琴的文物属性，以及琴音、琴道文化传播相对受限的问题，提供一种基于沉浸式VR技术虚拟东方意境中的古琴知识学习与弹奏，借助多通道交互的形式，实现弹奏体验的方法，本发明将利用一种全新的模式促进古琴文化的感知与学习，在把握数字化体验的内核后完善古琴在新时代语境下的角色扮演，依托多通道交互方法，创新出非物质文化遗产的数字化记录传承方式，让古琴艺术不再束之高阁，人闻之而敬之后远之，扩展并带给广大体验者便捷即时的体验中华传统文化艺术的方式，并提出非遗数字化传承样例。

通过本发明方法对交互体验系统的构建，应用了虚拟现实技术、手势识别技术、音频处理技术、沉浸式视觉感知、实体感知交互技术等，实现为古琴弹奏体验者提供沉浸式虚拟现实多通道交互体验。以丰富的感官调动和准确的响应反馈，让古琴的数字化体验传播更为清晰、便捷，在传统的古琴教学模式上突破创新，虚拟环境设定以充满东方意蕴的青绿山水绘画的虚拟场景代入让体验者的临场感更加充实；既可应用在绘画艺术展馆尤其是青绿山水画陈展的环境下，让人得以在VR中感知青绿山水的意境还原，以崭新的视角感受山水情愫的三维符号化呈现；亦可应用于博物馆的古琴展示专栏或中国古代乐器陈展，让体验者在阅览馆藏后，更有兴致临场体验，加深博物馆体验深度；对于关注古琴，对古琴文化感兴趣的用户，只需下载安装本系统便可随时随地进行体验；对于了解并掌握古琴基本技法的体验者也可以以全新方式感受古琴活力，在体验时更易体味意境，在本系统中找寻天人合一，臻我之境。

本发明是基于HTC Vive VR头盔显视装备的虚拟现实系统，结合Leap Motion进行手部识别实现交互，运用古琴实体感知模块，以期打通视、听、触三维度交互通道，设计的系统中既有青绿山水画卷的虚拟现实复现，同时也具备体系结构完备明晰的琴艺普及教学设计和高精度的手势识别功能开发实现；在以Unity 3D引擎作为虚拟现实应用软件的开发环境，结合虚拟现实关键技术的基本原理，手势识别的应用范式

本发明的目的是通过以下技术方案实现的：

一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法，包括以下步骤：

(1)结合文献查阅、专家咨询、赏析古琴名画的方式了解并掌握古琴历史文化背景，梳理古琴弹奏技艺及乐理知识，总结出基于沉浸式虚拟现实中的古琴体验模块层次及虚拟场景设定；

(2)比照实体古琴，完成样式择选，进行优化建模，获得古琴的三维模型；

(3)结合Leap Motion开发，以手势动画引导完成曲目弹奏体验，以Leap Motion所识别的手指触弦先后顺序判断每首曲目的跟奏正确率并给予体验者反馈；

(4)设计引导交互及模块讲解展示动画；

(5)创建体验的虚拟环境，设置贴图、光源及音效效果；

(6)在Unity 3D中设定交互体验系统与用户之间的交互功能；

(7)设置虚拟现实接口，通过HTC Vive VR头盔、Leap Motion及实体古琴实现沉浸式虚拟古琴演奏多通道交互弹奏体验。

进一步的，步骤(1)中针对古琴体验模块的设计，以散音《沧海一声笑》、泛音《沧海一声笑》、《仙翁操》三个曲目为基础，涵盖古琴的入门通识教育，并在C4D中完成虚拟现实中的手势动画引导调节工作；以明代画家仇英作品《桃源仙境图》为场景模型参考，完成虚拟场景的建模工作。

进一步的，步骤(2)中完成古琴三维模型的建模时，使用C4D完成古琴三维模型的搭建及纹理映射，并在实体古琴中去除琴轸，保留较松琴弦，以提供寻弦拿捏碰触之感而少异声。

进一步的，步骤(4)中设计讲解展示动画时，以轻松明快的讲解方式降低体验者的使用障碍，配合讲解动画翻页功能，使相对熟悉古琴的体验者亦能快速上手体验。

进一步的，包括HTC Vive VR头盔、Leap Motion和实体古琴，HTC Vive VR头盔内通过Unity 3D编写设置有古琴体验模块，所述古琴体验模块包括古琴通识模块、散音体验模块、泛音体验模块和按音体验模块；Leap Motion内设置有手势识别模块，用于对体验者的弹奏过程进行识别和判断。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.规划了使用HTC Vive VR头盔+Leap Motion+实体古琴的硬件组合方案，将古琴实物带入到VR场景中。

2.强调构建更佳自然的多通道交互环境，实体交互+手势识别交互+视线追踪交互+语音提示交互。

3.通过本发明方法设计的系统可以提供了体验+知识学习的内容；且强调置身于虚拟情境中的古琴弹奏体验；

4.通过本发明方法设计的系统可以设置于博物馆现场的展示体验专区，可以用于商业区域的体验项目，也可以在平台发布，供用户下载到本地使用自身设备进行参与体验。

5.本发明提供的方法不仅将古琴这一高雅且较为晦涩的古典艺术提供了便利的数字化交互手段，让体验者得以在系统中亲自体味高山流水遇知音的快乐，结合了古代青绿山水画卷意境，优化了画面设计，减少了体验者进入体验系统后的不适感。

6.本发明突破以往的言语传授琴艺方式，使人们摆脱物理乐器及师者干预便可完成弹奏，能够快速掌握古琴的标记法则，按弦规律，指法变化，降低古琴学习门槛，为年轻一代接触传统琴艺探索数字化通路，也为传统音乐的线上无人化教学提供范例，减少了偶发背景下的非必要人员聚集。

7.本发明方法设计的系统可以结合不同的古琴曲目打造对应的场景，每首古琴曲目的背后都有其丰富悠久的文化传承及寓意，通过本系统中不同场景的再建与更替，可让系统体验中每首古琴曲目的临场弹奏感更加强烈，系统场景的灵活性也将更好的照顾不同体验群体的需求。

8.本发明可以为对古琴艺术感兴趣的受众起到初始分流的效益，使第一次接触古琴艺术的人通过本系统的体验了解，确立对古琴艺术文化的感兴趣程度，从而判断自身是否需要选择传统琴道学习方法，以期达到古琴技艺的精进，从而获得更广阔的学习空间与体验。

9.本发明运用多通道的交互方式，将视觉、听觉、触觉有机结合起来，制造出更加完备的模拟体验系统，让整体弹奏环节真实可感，大大提升乐器类虚拟交互系统可用性。

10.本发明可运用于博物馆数字化建设及展示中，亦可在各种平台优化发布，扩展古琴文化的影响边界。

附图说明

图1是本发明系统的开发流程示意图。

图2是本实施例中所开发系统的体验流程示意图。

图3是Leap Motion的参数说明。

图4是HTC Vive VR头盔显视装备参数图。

图5是运行交互体验系统的电脑推荐配置图。

图6是VR头盔中主菜单用户选项示意图。

图7是弹奏准确率反馈界面的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法，

本实施例中，为实现对沉浸式虚拟古琴演奏多通道交互体验系统的设计，首先要保证古琴结构的准确翔实，其次结合考究《桃源仙境图》，对于场景的设置和还原有所参考，并且为了给与体验者最好的体验，针对场景进行一些风格化设计

具体的，交互体验系统的设计方法可分为模型素材获取阶段、Leap Motion开发阶段及程序合成开发阶段。

1、模型素材获取阶段

在模型素材获取阶段，采用原画数据扫描采集+C4D的双创作模式，具体的实现流程如图1所示。

场景的设计以扫描所得的画作为创作依据，结合C4D创作出基本模型，根据画面颜色及纹理完成场景的贴图映射与指定工作；原画中虽然所涉细节颇多，但均为散点透视且较难确定画中物体具体方位，但仍有标志性的绘画符号及物体得以在场景中保留，因此可基本确定物象在三维场景中的位置摆放，在基本模型搭建完毕后，以原画扫描数据作为贴图信息，结合C4D中的Sculpt雕刻功能完成山体与石块的细节雕刻，运用BP-3D Paint绘画映射功能完成贴图绘制，并导出相关模型及贴图数据在Unity 3D中使用，经过二次创作场景的丰富性与可赏性也在系统的最终呈现中有了极大提升。

在择选确定毕实体古琴后，保有琴弦，拆去紧弦琴轸，体验者可在得到触觉反馈时，极少感知声音的响动。

2、Leap Motion开发阶段，图3是关于Leap Motion的参数说明。

在确定了相关弹奏曲目后，开始进行Leap Motion的开发，具体开发流程如图1所示；根据成熟的演奏视频确定相应的三维动画引导手势的动作调节，在C4D中完成手部动画的调试后，体验者可在每首曲目的弹奏时清晰的看到应做的手部动作，按照指引，完成跟奏。

在C4D完成手部建模及动作相关调节后，将模型导出为.fbx格式。

在Untiy 3D中新建场景，将之前导出的手部动画模型及古琴模型放入Unity 3D中；Leap Motion具有多种交互事件，单击交互对象组件的Add New Event Type按钮，即可添加相应的事件处理方法；由于Leap Motion中的交互基于碰撞检测，所以交互对象需要确保具有某种形式的Collider组件，本实施例中设置七根琴弦为String Collider并以此命名，在添加了Interaction Behaviour组件的游戏对象上，会自动添加Rigidbody组件；

手势识别模块以追踪具体触弦手指及触弦顺序为弹奏正确率判断标准进行开发。具体代码如下：

3.程序合成开发阶段

在得到了相应的场景素材及Leap Motion手势识别模块后，开始进行最终的系统集成开发。

本实施例中设计的系统体验分为四个功能模块，具体参见图2；结合前期讲解动画的制作，将会在体验者选择不同体验模块时播放，还可展示体验系统中的动画讲解效果。三维动画引导手势及古琴徽位、弦序也会有相应高亮提示，弹奏时也配有相应的减字谱例演示。如弹奏时减字谱出现名左手名指按十徽右手勾五弦字样，头盔中可见古琴的五弦发出亮光及动画引导手的右手中指内勾五弦，体验者跟随弹奏即可；一系列引导素材使体验者做出相应手势并在相应位置触弦得音，在体验者做出相应动作后，结合Leap Motion检测识别模块完成正确率的判断并给予体验者反馈，弹奏准确率反馈样例参见图7。

此外涉及到系统的体验效果，需要在系统中设置UI，辅助用户操作，参见图6中展示的主菜单界面用户选项。设置UI需要提前在PS中制作好图形界面，并依据交互需求对界面进行划分，将有交互操作的部分单独导出.png格式文件，放入场景中制作UI模块；本实施例所设计系统的交互部分除手势识别外，也以注视交互为主代替手柄操作；注视交互的功能在Unity 3D中的实现方法为：使用OVRCameraRig替换MainCamera，删除场景中的Camera，将其替换为OVR/Prefabs目录下的OVRCameraRig预置体。选择Hierarchy中的EventSystem对象。在Inspector中，移除StandaloneInputModule组件，添加Assets/Scripts目录下的OVRInputModule。OVRInputModule用于处理射线指示，接着指定一个RayTransform属性。将OVRCameraRig下的CentreEyeAnchor拖到这个属性上，方可使射线始终从中间眼位置发出。添加GazePointer。在Assets/Prefabs目录下找到GazePointerRing预置体，拖放到场景中。将OVRCameraRig对象拖放到脚本上的CameraRig位置上，这样OVRGazePointer就能获取到所需的CameraRig。设置Canvas，找到并选择Computer对象下的JointsCanvas对象。把OVRCameraRig下的Camera作为Canvas的EventCamera。在Inspector中，便可看到Canvas绑定了GraphicRaycaster组件。它用于监测鼠标与GUI元素的交互。移除它，替换为OVRRaycaster脚本，便可用于处理射线而非鼠标。在OVRRaycaster对象下，改变BlockingObjects下拉列表为All。这可以确保注视行为可以锁定场景中的其他可交互对象，完成上述步骤后，运行场景，注视功能就已经可以实现，凝视某个UI元素便可以完成交互。在场景交互中也将菜单的排列选为横向放置，以方便体验者小幅度扭头便可完成点选，减少体验中的不适感。

程序的基本功能开发完成后，需要设置连接虚拟现实设备环境下的使用，在Unity3D中借助Steam VR插件实现，切换为VR播放模式后便实现连接VR头盔进行系统体验。

本实施例所设计系统的实施，对于硬件和场地有一定的要求。需要10㎡-25㎡的场地面积、虚拟现实设备、运行电脑的配置有一定的要求。在具体实施的过程中，上述条件的具体信息如下：

场地：约5×5×3米的空间，且空间内不能堆放其他物品，并且要求地面光滑，保证使用者在进入虚拟系统后的活动空间及安全。因为涉及到安装Lighthouse(信号捕捉设备)基站，用于定位和动作捕捉。因此空间应具有至少3米的高度。

虚拟现实设备：见图4，HTC Vive VR相对于其他虚拟现实头盔，进入市场较早，体系相对成熟，本系统开发的主用设备为HTC Vive VR PROⅡ版本，其性能强大，成像分辨率有了较大提升，适合较长时间的佩戴使用，支持蓝牙无线套件连接的特性，也为其行动边界的拓展得到了有效保证。

系统运行电脑配置：虚拟现实技术对电脑主机有一定的要求，配置不够要求的设备往往运行不顺畅，给使用带来负面效果。推荐使用图5所示及更高参数配置的电脑运行本系统。

本发明方法得到的系统是基于HTC Vive VR头盔显视装备，结合Leap Motion进行手部识别开发，完成古琴实体感知模块的准备，并以Unity 3D引擎作为虚拟现实应用软件的开发环境，结合虚拟现实关键技术的基本原理，手势识别的应用范式，实现整套沉浸式虚拟多通道交互系统的搭建，给与使用者体验了解古琴文化、技艺的全新途径，让古琴文化迸发出新的活力，扩展古琴文化影响边界，创新古琴学艺方式，由传统的口传心授学琴方式转变为自主性和便捷性更强的个人习修，本系统也可在日后不断增扩古琴曲库及高级指法、技法教学模组，使古琴在当代具有的音乐教育,文化弘扬,国民整体素质涵养,民族传承等方面价值有了更好的作用平台及发展前景

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

参考文献

[1]朱翔宇.基于虚拟现实技术的彩绘秦俑上色体验系统的设计与实现[D].天津.天津大学，2018

[2]陈建华,崔东华,罗荣，等.军事指挥系统多通道人机交互技术[J].指挥控制与仿真,2019.41(4):110-113

[3]常亚娜.基于手势互动的土家虚拟乐器系统研发[D].武汉.华中师范大学，2018

[4]董浩文.基于Unity3D引擎秦始皇帝陵出土青铜马车虚拟装配系统的设计与实现[D].天津.天津大学，2017

[5]王子初.马王堆七弦琴和早期琴史问题[J].上海文博论丛,2005(04):40-45.

[6]龚一.古琴演奏法[M].重庆:重庆出版社,2017.

[7]杨帆.古琴声学特性与音响表现关系解析[J].人民音乐,2015(01):85-87.

[8]张世程.手势识别与民族弓弦乐器虚拟演奏研究[D].杭州.杭州师范大学，2015

[9]周昌乐,顾亚丽,林国平,等.一种古琴音色重构仿真方法及其实现[J].系统仿真学报,2009,21(02):572-575.

[10]高宇,何小海,吴晓红,等.基于Leap Motion的动态手势识别方法[J].计算机系统应用，2019.28(11):208-212.

[11]Martinez J,Griffiths D,Biscione V,et al.Touchless Haptic Feedbackfor Supernatural VR Experiences[C]2018IEEE Conference on Virtual Reality and3D User Interfaces(VR).IEEE Computer Society,2018.

[12]王娟.试论浏阳古乐及其开发构想[J].湖南科技学院学报,2010,31(05):202-204.

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。