一种在虚拟现实中增加体验者自我元素的装置和方法

摘要

本发明公开了一种在虚拟现实中增加体验者自我元素的装置和方法。通过绿幕搭建虚拟现实的外部体验环境。利用安装在虚拟现实头盔上的鱼眼摄像机对位于绿幕内的体验者进行拍摄，图像处理模块分割出体验者自身图像。分割出来的体验者自身图像一路与生成的虚拟现实场景进行融合，另外一路进入手势识别模块，生成控制信息。这样体验者在虚拟现实画面中不但可以看到虚拟现实场景，而且可以看到自己的身体，四肢，双手，还可通过手势对虚拟现实场景进行操控，大大提升了虚拟现实的场景融入感。

说明书

技术领域

本发明涉及虚拟现实领域，具体涉及一种在虚拟现实中增加体验者自我元素的装置和方法，使体验者不但可以看到虚拟现实场景，而且可以在虚拟现实场景中看到自己的身体，自己的四肢和双手，同时这一系统还可以通过对体验者的手势识别，让体验者对虚拟现实场景进行控制。

背景技术

虚拟现实头盔为体验者提供身临其境的虚拟现实场景沉浸式的体验。但是由于虚拟现实头盔封闭性的特点，把体验者的身体同虚拟现实场景割裂开来，即戴上虚拟现实头盔之后，就看不到自己的身体，四肢，特别是最容易也处在视野范围之内的双手，也从视野中消失了，这样从心理上会大大的增加自身与观看场景的分离感，降低了虚拟现实的场景的真实感，减少了虚拟那种身临其境的感觉。同时为了对虚拟现实场景进行操控，虚拟现实头盔通常采用遥控手柄，因为遥控手柄毕竟不是身体的一部分，一旦手柄脱离了手掌，因为视线被限制在虚拟现实头盔之内，再次找到手柄就非常困难了。

为了提高虚拟现实的真实性，设备提供商在虚拟现实的显示系统和信号捕捉系统做了大量的工作，例如提高虚拟现实设备的帧率，提高信号的捕捉速度和响应速度，但是这些都是从外在的设备角度让体验者融入虚拟现实场景之中，没能够让体验者从心理上感觉自己就在场景当中。为了让体验者感觉到自己在虚拟场景当中，就要让体验者在虚拟现实场景中看到自己，看到自己的身体，看到自己的四肢。为了解决遥控手柄的弊端，人们提出了利用手势识别替代遥控手柄，这样就避免了遥控手柄脱离手掌再次寻找的麻烦。但是这些手势识别最大的问题是手部动作都是脱离视线的，这同样也会降低了体验者的临场感。解决这个问题的方法是把体验者手，手臂图像与虚拟现实场景的图像进行融合，形成融合图像，这样既可以对虚拟现实场景进行操控，又可以让体验者通过虚拟现实画面看到自己手部的动作。

发明内容

本发明公开了一种在虚拟现实中增加体验者自我元素的装置和方法。通过绿幕搭建虚拟现实的外部体验环境。利用装在虚拟现实头盔上的鱼眼摄像机拍摄位于绿幕内的体验者自身图像，图像处理模块分割出体验者自身图像。分割出来的体验者自身图像一路与生成的虚拟现实场景进行融合，另外一路进入手势识别模块，生成控制信息。这样体验者在虚拟现实画面中不但可以看到虚拟现实场景，而且可以看到自己的身体，四肢，双手，还可通过手势对虚拟现实场景进行操控。

一种在虚拟现实中增加体验者自我元素的装置和方法，其特征在于：包括以下步骤：

包括绿幕系统和头盔系统：

（1）绿幕系统提供了绿色背景和照明系统，构建演播环境；

（2）头盔系统包括图像捕捉模块，图像处理模块，显示控制模块，陀螺仪，显示器，虚拟现实输入模块；

（3）图像捕捉系模块连接图像处理模块，图像处理模块分为图像分割子模块和图像识别子模块；

（4）图像捕捉模块输出的图像经过图像处理模块的分割子模块分割成前景和背景，并生成前景掩膜；

（5）图像分割子模块分割出的前景图像输入到图像识别子模块进行识别，生成手势控制信号，输入到显示控制模块；

（6）显示控制模块接受来自图像处理模块的手势控制信号与虚拟现实输入模块输入的场景信号，生成当前的虚拟现实场景，接受来自陀螺仪的头部角度信号，根据当前虚拟现实场景生成当前角度的虚拟现实场景图像；

（7）前景图像和前景掩膜图像输入显示控制模块，与当前角度的虚拟现实场景图像融合，生行具有立体的虚拟现实场景和立体的前景图像的显示图像。

上述步骤1中建立上下左右前后六个方向的环绕绿幕，并合理配置灯光，构建一个封闭的绿色背景环境。

上述步骤2中图像采集模块为一个摄像机系统。摄像机的镜头采用视场角在150°以上的鱼眼镜头。为了减少虚拟现实系统的手势控制延迟，摄像机的帧率在60fps以上。

上述步骤3中图像处理中的图像分割子模块采用抠绿算法分割前景和背景，计算公式为：

其中M(x,y)为前景在像素点(x,y)的前景掩膜值，1表示该像素为前景，0为背景。g(x,y), b(x,y)和r(x,y)分别像素(x,y) 绿色通道，蓝色通道和红色通道值，th

上述步骤4中利用鱼眼镜头成像模型，使前景图像和前景掩膜分别向左和向右偏移θ，一般θ取值为0-4°，分别得到左眼前景图像I

上述步骤5中图像处理模块中的图像识别子模块对前景图像I

（1）对于前景图像进行肤色检测，分割出肤色图像I

（2）对肤色图像I

上述步骤6中显示控制模块根据输入的虚拟现实场景和手势控制信号，生成当前的虚拟现实场景；

显示控制模块根据输入的当前的虚拟现实场景和来自陀螺仪的头部角度信号，分别生成当前角度虚拟现实场景中的左眼图像I

显示控制模块对输入的左右眼前景图像，掩膜图像和左右眼虚拟现实场景图像进行融合，得到显示图像。其融合公式为：

上述步骤7中在显示器上同步播放I

附图说明

图1为虚拟现实头盔。

图2为虚拟现实头盔各模块连接图。

图3为图像处理模块处理流程图。

图4为显示控制模块处理流程图。

具体实施方式

下面结合附图，对本发明做进一步说明：

本发明实施提出了一种在虚拟现实中增加体验者自我元素的装置和方法。其执行过程如下：

包括绿幕系统和头盔系统：

第一步：绿幕系统提供了绿色背景和照明系统，构建演播环境；

建立上下左右前后六个方向的环绕绿幕，并合理配置灯光，构建一个封闭的绿色背景环境。

第二步：头盔系统包括图像捕捉模块，图像处理模块，显示控制模块，陀螺仪，显示器，虚拟现实输入模块；

（1）图像捕捉系模块连接图像处理模块，图像处理模块分为图像分割子模块和图像识别子模块；

图像采集模块为一个摄像机系统。摄像机的镜头采用视场角在150°以上的鱼眼镜头。为了减少虚拟现实系统的手势控制延迟，建议摄像机的帧率在60fps以上。

（2）图像捕捉模块输出的图像经过图像处理模块的分割子模块分割成前景和背景，并生成前景掩膜；

图像处理中的图像分割子模块采用抠绿算法分割前景和背景，计算公式为：

其中M(x,y)为前景在像素点(x,y)的前景掩膜值，1表示该像素为前景，0为背景。g(x,y), b(x,y)和r(x,y)分别像素(x,y) 绿色通道，蓝色通道和红色通道值，th

利用鱼眼镜头成像模型，使前景图像和前景掩膜分别向左和向右偏移θ，一般θ取值为0-4°，分别得到左眼前景图像I

（3）图像分割子模块分割出的前景图像输入到图像识别子模块进行识别，生成手势控制信号，输入到显示控制模块；

图像处理模块中的图像识别子模块对前景图像I

对于前景图像进行肤色检测，分割出肤色图像I

对肤色图像I

（4）显示控制模块接受来自图像处理模块的手势控制信号与虚拟现实输入模块输入的场景信号，生成当前的虚拟现实场景，接受来自陀螺仪的头部角度信号，根据当前虚拟现实场景生成当前角度的虚拟现实场景图像；

显示控制模块根据输入的虚拟现实场景和手势控制信号，生成当前的虚拟现实场景；

显示控制模块根据输入的当前的虚拟现实场景和来自陀螺仪的头部角度信号，分别生成当前角度虚拟现实场景中的左眼图像I

显示控制模块对输入的左右眼前景图像，掩膜图像和左右眼虚拟现实场景图像进行融合，得到显示图像。其融合公式为：

（5）前景图像和前景掩膜图像输入显示控制模块，与当前角度的虚拟现实场景图像融合，生行具有立体的虚拟现实场景和立体的前景图像的显示图像。

在显示器上同步播放I

上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。