一种用于沉浸式文化娱乐的增强现实系统及方法

摘要

本发明公开了一种用于沉浸式文化娱乐的增强现实系统及方法，所述增强现实系统包括：头戴式显示装置、虚拟屏幕、移动装置以及图像工作站，通过图像工作站通过移动装置根据预设运动参数向头戴式显示装置实时传输预先存储与预设运动参数对应的立体图像序列，同时，头戴式显示装置通过移动装置按照预设运动参数运动，并实时获取设置在虚拟银幕的边缘的红外发射装置的红外信号，从而实时显示头戴式显示装置在不同位置的与实景结合的影像，提高了影像的显示质量以及虚拟图像和实景的结合精度。

说明书

技术领域

本发明涉及增强现实领域，尤其涉及一种用于沉浸式文化娱乐的增强现实系统及方法。

背景技术

大型高科技沉浸式文化娱乐系统，是指借助立体影像系统、多声道音响系统、多自由度机械运动和自动控制系统、软件系统、置景系统、灯光系统、特技系统等子系统，并结合丰富的文化故事内容，为人们提供立体化、多维度、全方位身心感官体验的综合性文化娱乐集成系统。在产业应用领域以黑暗乘骑、4D影院、球幕飞行影院、幻影剧场等为代表，广泛应用在主题公园、科技馆、展览馆等文化和娱乐场景中。

高科技沉浸式文化娱乐系统主要是通过异形银幕、立体视觉、实景氛围营造、虚拟立体画面和现实实景无缝结合、配合乘骑设备的高真实感运动仿真，讲述一个有趣的故事，使用户经历一个惊险而刺激的游玩过程，具有文化属性明显、沉浸感强烈，系统复杂，科技含量高等特点。

以黑暗乘骑类型为例，观众乘坐高速多轴动感小车，在一系列情景化设置的主题场景中穿行。主题场景中设置有一系列巨幅银幕，用于播放具有立体感的故事画面，这些画面的场景细节、立体深度、透视关系和周围实景完全融为一体，动感小车的运动和虚拟画面的运动完全匹配，观众不能分辨何为真实场景何为虚拟画面。

然而，要建立这样一个沉浸式文化娱乐系统，需要搭建一系列包括特殊形状的立体银幕，安装立体投影设备等大型硬件系统，导致项目成本非常昂贵。如果能把增强现实系统和大型高科技沉浸式文化娱乐系统结合起来，用增强现实设备代替大型银幕和立体投影系统，就能大幅降低系统成本，降低系统规模和系统复杂性。

而近年来被广泛推广的小型增强现实系统存在虚拟图像真实度不高、虚实结合痕迹明显、延时大、视场小的缺陷，导致用户体验较差，不能直接用在沉浸式文化娱乐系统中。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种用于沉浸式文化娱乐的增强现实系统及方法，旨在解决增强现在用于沉浸式文化娱乐系统时存在虚拟影像画面质量差、虚实结合痕迹明显的问题。

本发明的技术方案如下：

一种用于沉浸式文化娱乐的增强现实系统，其中，包括：

头戴式显示装置，所述头戴式显示装置上设有红外摄像装置，所述头戴式显示装置与所述红外摄像装置连接；

虚拟屏幕，所述虚拟屏幕与实景连接，在所述虚拟屏幕的边缘设有若干个红外发射装置；

移动装置，用于使所述头戴式显示装置按照预设运动参数移动；

图像工作站，所述移动装置和所述头戴式显示装置均与所述图像工作站连接，所述图像工作站预先存储有与所述预设运动参数对应的立体图像序列。

所述的增强现实系统，其中，所述头戴式显示装置包括：

头盔；

处理单元，所述处理单元与所述红外摄像装置连接；

透视显示屏，所述透视显示屏设置于所述头盔上，并与所述处理单元连接；

图像接收单元，所述图像接收单元与所述透视显示屏连接；

其中，所述处理单元根据所述红外信号在所述透视显示屏上建立显示区域，所述图像接收单元接收所述图像工作站传来的立体图像序列，所述显示区域用于显示所述立体图像序列。

所述的增强现实系统，其中，所述透视显示屏为具有160度视野的弯曲面的透视式显示屏。

所述的增强现实系统，其中，所述红外摄像装置包括两个红外摄像头，所述两个红外摄像头设置在所述头盔上，并位于并与人眼的视觉方向一致。

所述的增强现实系统，其中，所述虚拟屏幕为矩形虚拟屏幕，所述若干个红外发射装置包括四个红外发光二极管，所述四个红外发光二极管分别位于所述矩形虚拟屏幕的四个顶角。

所述的增强现实系统，其中，所述预设运动参数包括预先设定的运动路径、运动速度和运动加速度。

所述的增强现实系统，其中，所述立体图像序列为预先通过跟踪摄影机根据所述预设运动参数渲染生成的连续的立体图像序列。

所述的增强现实系统，其中，所述移动小车装置包括：移动小车以及设置在所述移动小车上的定位发射装置，所述定位发射装置与所述图像工作站连接；所述移动小车用于搭载佩戴所述头戴式显示装置的用户并以所述预设运动参数移动。

一种用于沉浸式文化娱乐的增强现实方法，其中，采用如上所述的用于沉浸式文化娱乐的增强现实系统实现，所述增强现实方法包括：

移动装置使头戴式显示装置以所述预设运动参数进行移动；

红外摄像装置实时接收设置于虚拟屏幕的边缘的所述红外发射装置的红外信号；

图像工作站根据所述预设运动参数实时给所述头戴式显示装置发送立体图像序列，其中，所述图像工作站预先存储有所述立体图像序列；

所述头戴式显示装置根据所述红外信号和所述立体图像序列实时显示影像。

所述的增强现实方法，其中，所述立体图像序列的制备方法包括：

跟踪摄影机按照所述预设运动参数移动，并根据实景与虚拟屏幕的位置获取所述立体图像序列。

有益效果：本发明提供了一种用于沉浸式文化娱乐的增强现实系统及方法，所述增强现实系统通过图像工作站通过移动装置根据预设运动参数向头戴式显示装置实时传输预先存储与预设运动参数对应的立体图像序列，同时，头戴式显示装置通过移动装置按照预设运动参数运动，并实时获取设置在虚拟银幕的边缘的红外发射装置的红外信号，从而实时显示头戴式显示装置在不同位置的与实景结合的影像，提高了影像的显示质量以及虚拟图像和实景的结合精度。

附图说明

图1为本发明的用于沉浸式文化娱乐的增强现实系统的第一结构示意图。

图2为本发明的用于沉浸式文化娱乐的增强现实系统的第二结构示意图。

具体实施方式

本发明提供一种用于沉浸式文化娱乐的增强现实系统及方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本实施例提供一种用于沉浸式文化娱乐的增强现实系统，请参见图1和图2，包括：头戴式显示装置10，所述头戴式显示装置10上设有红外摄像装置11，所述头戴式显示装置10与所述红外摄像装置11连接；虚拟屏幕，所述虚拟屏幕与实景21连接，在所述虚拟屏幕的边缘设有若干个红外发射装置22；移动装置30，用于使所述头戴式显示装置10按照预设运动参数移动；图像工作站40，所述移动装置30和所述头戴式显示装置10均与所述图像工作站40连接，所述图像工作站40预先存储有所述移动装置30的预设运动参数和与所述预设运动参数对应的立体图像序列。

具体地，对于高科技沉浸式文化娱乐系统，通常要建立实景21以及大型银幕，通过立体投影系统将虚拟影像投影到大型银幕上，实现实景21与虚拟影像的结合。本实施例中，虚拟屏幕指的是在增强现实系统计算过程中建立的虚拟对象，真实环境中只保留空间位置，而没有实体屏幕。采用头戴式显示装置10代替立体投影系统，头戴式显示装置10用于实时显示虚拟图像，用户佩戴头戴式显示装置10通过移动装置30按照预设运动参数进行移动，在移动装置30移动的同时，头戴式显示装置10上的红外摄像头实时接收红外发射装置22发射的红外信号，头戴式显示装置10根据该红外信号能够实时获取红外发射装置22相对于头戴式显示装置10的实时空间位置，也就能够获取虚拟屏幕相对于头戴式显示装置10的实时空间位置，与此同时，移动装置30实时向图像工作站40发送自身的实时位置，因此图像工作站40能够获知头戴式显示装置10的实时位置，根据头戴式显示装置10的实时位置将预先存储的与预设运动参数对应的立体图像序列转送至头戴式显示装置10，用户在佩戴头戴式显示装置10运动过程中能够通过头戴式显示装置10能看到头戴式显示装置10上显示的虚拟图像，通过头戴式显示装置10观看该虚拟图像时，该虚拟图像的位置恰好处于虚拟屏幕的位置，而虚拟屏幕与实景21连接，也就是说，通过头戴式显示装置10能够看到虚拟图像与实景21无缝结合的景象。进一步，所述图像工作站40与所述头戴式显示装置10通过高速无线网络连接，使得头戴式显示装置10显示的立体图像能够与其位置正确对应，进一步提高虚实结合的精度。

本发明将增强现实系统和大型高科技沉浸式文化娱乐系统结合起来，采用增强现实系统代替大型银幕和立体投影系统，大幅降低了设备成本、系统规模和系统复杂性，同时也提高了影像的显示质量以及虚拟图像和实景21的结合精度。

在一种实现方式中，所述头戴式显示装置10包括：头盔12；处理单元(未示出)，所述处理单元与所述红外摄像装置11连接；透视显示屏13，所述透视显示屏13设置于所述头盔12上，并与所述处理单元连接；图像接收单元(未示出)，所述图像接收单元与所述透视显示屏13连接；其中，所述处理单元根据所述红外信号在所述透视显示屏13上建立显示区域，所述图像接收单元接收所述图像工作站40传来的立体图像序列，所述显示区域用于显示所述立体图像序列。

具体地，设置在虚拟屏幕的边缘上的红外发射装置22会一直发射红外信号，被用户佩戴的头戴式显示装置10上的红外摄像装置11实时接收红外信号，并将红外信号传送至头戴式显示装置10的处理单元，处理单元根据实时的红外信号得到红外发射装置22相对于头戴式显示装置10的第一空间位置，并在透视显示屏13上实时建立显示区域，该显示区域对应于用户透过透视显示屏13看到的虚拟屏幕的区域。随着头戴式显示装置10的移动，第一空间位置也相应地改变，也就是说，每个时刻的头戴式显示装置10的位置与每个时刻的第一空间位置是一一对应的，因此，图像接收单元接收来自图像工作站40根据预设运动参数发送的立体图像序列是与实时建立的显示区域一一对应，透视显示屏13在的实时显示区域显示对应的立体图像序列，也就是显示出影像，从而将虚拟影像和实景21结合，使用户具有身临其境的感觉。

在一种实现方式中，所述透视显示屏13为具有160度视野的弯曲面的透视式显示屏。

具体地，用户的观看角度不同，显示区域在透视显示屏13上的显示位置会不同，根据人眼的最大视度范围，将透射显示屏选为具有160度视野的弯曲面的透视式显示屏，可以在用户的整个运动过程中，显示区域始终能够位于人眼的视野范围内。

在一种实现方式中，所述红外摄像装置11包括两个红外摄像头，所述两个红外摄像头设置在所述头盔12上，并与人眼的朝向一致。

具体地，两个红外摄像头设置于头盔12的两侧，且位于透视显示屏13的上方，两个红外摄像头相互平行，红外摄像头的朝向与人眼的朝向一致，并且两个红外摄像头之间的间距与两个人眼之间的间距相当，以模拟两个人眼之间的位置。

进一步，红外摄像装置11还包括瞳孔检测装置，所述瞳孔检测装置包括两组深度相机和以及与所述两组深度相机连接的图像处理器，两组深度相机分别设置于头盔12上且位于人眼位置的前上方并斜向下朝向人眼瞳孔的位置，并且不妨碍人眼观看透视显示屏13上的虚拟影像。每组深度相机包括微型点阵投影机和微型红外检测相机，微型点阵投影机用于向人眼部投射第一红外光，微型红外检测相机用于接收眼部反射回的第二红外光，图像处理器通过检测第二红外光相对第一红外光的偏移以重建眼部的3D模型。从而确定两个瞳孔相对于与其对应的深度相机的第二空间位置。同时，图像处理器还与处理单元连接，图像处理器还用于将第二空间位置传送至处理单元，从而处理单元能够追踪人眼瞳孔的位置，根据第一空间位置和第二空间位置在透视显示屏13上建立更加精确的显示区域，进一步提高了虚实结合的精确度。

在一种实现方式中，所述虚拟屏幕为矩形虚拟屏幕，所述若干个红外发射装置22包括四个红外发光二极管，所述四个红外发光二极管分别位于所述矩形虚拟屏幕的四个顶角。

具体地，红外发射装置22是设置在虚拟屏幕的边缘，其反映了虚拟屏幕的在实际空间中的位置，通过红外发射装置22的红外信号对虚拟屏幕进行跟踪定位，在透视显示屏13上建立与虚拟屏幕相对于头戴式显示装置10的位置对应的显示区域，四个红外发光二极管可以表示出一个矩形区域，定位出虚拟屏幕的长度和宽度，当然本实施例也不局限于四个红外发光二极管，可以在虚拟屏幕增加多个红外发光二极管，使虚拟屏幕的定位更加准确，本实施例的虚拟屏幕也不局限于矩形屏幕，可以是柱面屏幕、球面屏幕或者其他形状的屏幕，具体的形状可以根据实际需要进行确定，而红外发光二极管的位置根据虚拟屏幕的形状进行设置，只要使红外发光二极管的排布能体现出虚拟屏幕的形状即可。

在一种实现方式中，所述预设运动参数包括预先设定的运动路径31、运动速度和运动加速度。

具体地，预设运动参数实时建立起了头戴式显示装置10的影像显示和与图像工作站40的立体图像序列的发送的联系，预设运动参数体现出了移动装置30的实时位置通过设定的运动路径31、运动速度和运动加速度，可以获知移动装置30的实时位置，从而可知道头戴式显示装置10的实时位置。进一步，立体图像序列为预先通过跟踪摄影机50根据所述预设运动参数渲染生成的连续的立体图像序列。根据预设运动参数驱动跟踪摄影机50，采用该跟踪摄影机50在运动过程的实时位置按照一定的角度渲染或拍摄影视级高质量连续立体图像序列，同时这些立体图像序列根据实时位置在头戴式显示装置10的透视显示屏13中不断显示，从而用户可以从透视显示屏13中看到影像。

在一种实现方式中，所述移动小车装置包括：移动小车以及设置在所述移动小车上的定位发射装置，所述定位发射装置与所述图像工作站40连接；所述移动小车用于搭载佩戴所述头戴式显示装置10的用户并以所述预设运动参数移动。

具体地，在移动小车上设置定位发射装置，定位发射装置实时向图像工作站40发射移动小车的位置，从而图像工作站40可获知头戴式显示装置10的实时位置。

在一种实施方式中，本发明还提供了一种用于沉浸式文化娱乐的增强现实方法，采用如上所述的用于沉浸式文化娱乐的增强现实系统实现，请参见图1和图2，所述增强现实方法包括：

S10、移动装置30使头戴式显示装置10以所述预设运动参数进行移动；

S20、红外摄像装置11实时接收设置于虚拟屏幕的边缘的所述红外发射装置22的红外信号；

S30、图像工作站40根据所述预设运动参数实时给所述头戴式显示装置10发送立体图像序列，其中，所述图像工作站40预先存储有所述立体图像序列；

S40、头戴式显示装置10根据所述红外信号和所述立体图像序列实时显示影像。

具体地，本发明的用于沉浸式文化娱乐的增强现实系统主要应用在具有一系列情景化设置的主题场景中，实现虚拟场景与实体场景的结合。设计情景化的主题场景，确定实景21的位置、虚拟屏幕位置和虚景内容，虚景内容就是头戴式显示装置10需要显示的影像；同时规划头戴式显示装置10的运动过程，并生成预设运动参数。预先制作虚景内容，采用跟踪摄影机50按照预设运动参数移动，根据实景21与虚拟屏幕的位置渲染或拍摄影视级高质量连续立体图像序列，将拍摄好的连续立体图像序列存入图像工作站40。在虚拟屏幕的边缘安装一系列红外发射装置22。观众佩戴头戴式显示装置10，在移动小车上按照预设运动参数在主题场景中移动，红外发射装置22所发射的红外光被观众佩戴的头戴式显示装置10上的红外摄像装置11检测到，头戴式显示装置10实时跟踪并计算出一系列红外发射装置22与头戴式显示装置10的相对位置，并根据该相对位置在头戴式显示装置10的透视式显示屏上实时建立显示区域。移动装置30实时向图像工作站40发送自身所处的实时位置，图像工作站40根据移动装置30的实时位置，实时传送与实时位置对应的立体图像序列到头戴式显示装置10；头戴式显示装置10将接收的立体图像序列实时显示在显示区域内，从而可以在头戴式显示装置10的透视显示屏13的正确位置显示出来。

综上所述，本发明提供了一种用于沉浸式文化娱乐的增强现实系统及方法，所述增强现实系统通过图像工作站通过移动装置根据预设运动参数向头戴式显示装置实时传输预先存储与预设运动参数对应的立体图像序列，同时，头戴式显示装置通过移动装置按照预设运动参数运动，并实时获取设置在虚拟银幕的边缘的红外发射装置的红外信号，从而实时显示头戴式显示装置在不同位置的与实景结合的影像，提高了影像的显示质量以及虚拟图像和实景的结合精度。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。