虚拟现实交互系统与方法、计算机设备、可读存储介质及虚拟现实交互装置

摘要

本发明提供一种虚拟现实交互系统与方法及计算机设备、可读存储介质、虚拟现实交互装置。所述虚拟现实交互系统包括输入信号识别模组、主机及多屏显示终端；输入信号识别模组采集并识别体位输入指令，生成现实交互信号；主机包括深度学习模型和虚拟信号产生器，深度学习模型接收所述现实交互信号，并反馈第二输入信号，虚拟信号产生器产生第一输入信号；第二输入信号作用于第一输入信号，驱动第一输入信号形成虚拟交互信号，通过多屏显示终端配合体位输入指令合成虚拟交互场景，虚拟信号和所述体位输入指令完成虚拟现实交互。本发明通过深度学习模型准确转换体位输入指令为程序可识别的输入指令，实现虚拟现实交互，提高用户体验感。

说明书

技术领域

本发明涉及交互领域，特别的涉及一种虚拟现实交互系统与方法、计算机设备、可读存储介质及虚拟现实交互装置。

背景技术

当计算机播放某多媒体程序的时候，编程人员可以发出指令控制该程序的运行，而不是程序单方面执行下去，程序在接受到编程人员相应的指令后而相应地做出反应，这一过程和行为，我们称之为交互。

现有技术的虚拟现实交互系统中，虚拟的信号接收到现实的体位输入指令后相应地做出反应。其交互原理是现实中的体位输入指令，比如挥动手势，经过输入信号识别模组，采集并识别，生成现实交互信号；再经过主机已经设定的程序判断，所述现实交互信号是设定的输入指令时，虚拟信号接收到这个输入指令后，相应地做出反应，合成虚拟交互场景，所述虚拟信号和所述体位输入指令完成虚拟现实交互。

所述设定的程序中，现实交互信号是否为输入指令的判断方法单一，当用户实际的体位输入指令不符合设定的程序或有偏差时，系统无法准确将现实交互信号转变为设定的输入指令，使得用户的虚拟现实交互失败或错误，用户体验感降低。

发明内容

为了解决上述现实交互信号转换为设定的输入指令判断方法单一的技术问题，本发明提供一种虚拟现实交互系统。

同时还提供一种虚拟现实交互方法及计算机设备、可读存储介质、虚拟现实交互装置。

所述虚拟现实交互系统，包括输入信号识别模组、主机、及多屏显示终端；所述输入信号识别模组，采集并识别体位输入指令，生成现实交互信号；所述主机，包括深度学习模型和虚拟信号产生器；所述深度学习模型接收所述现实交互信号，并反馈第二输入信号；所述虚拟信号产生器产生第一输入信号；所述多屏显示终端，根据所述第一输入信号显示虚拟信号；其中，所述第二输入信号作用于所述第一输入信号，驱动所述第一输入信号形成虚拟交互信号，通过所述多屏显示终端配合所述体位输入指令合成虚拟交互场景，所述虚拟信号和所述体位输入指令完成虚拟现实交互。

优选地，所述主机包括第一主机和第二主机；所述第一主机包括所述深度学习模型，所述第二主机包括所述虚拟信号产生器。

优选地，所述系统还包括交换机，所述第一主机的数量为多个，所述多个第一主机分别接收多个所述现实交互信号，反馈第二输入信号至所述交换机，以传输至所述第二主机。

优选地，所述系统还包括网络模组，所述网络模组与所述主机通信。

优选地，所述多屏显示终端包括依次相接设置的第一屏、第二屏及第三屏；所述第一屏与所述第二屏及所述第二屏与所述第三屏的夹角相等。

优选地，所述输入信号识别模组包括相机、红外感应器及摄像机任意一种。

一种虚拟现实交互方法，包括：

接收现实交互信号，反馈第二输入信号；所述现实交互信号由输入信号识别模组采集并识别体位输入指令生成；

产生第一输入信号；所述第一输入信号用于传输至多屏显示终端生成显示虚拟信号；

其中，所述第二输入信号作用于所述第一输入信号，驱动所述第一输入信号形成虚拟交互信号，通过所述多屏显示终端配合所述体位输入指令合成虚拟交互场景，所述虚拟信号和所述体位输入指令完成虚拟现实交互。

一种计算机设备，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序在所述处理器中运行可实现如上所述的方法。

一种可读存储介质，存储计算机程序，所述计算机程序在处理器中运行可实现如上所述的方法。

一种虚拟现实交互装置，包括接收反馈模块和产生模块，所述接收反馈模块，用于接收现实交互信号，反馈第二输入信号；所述现实交互信号由输入信号识别模组采集并识别体位输入指令生成；所述产生模块，用于产生第一输入信号；所述第一输入信号用于传输至所述多屏显示终端生成显示虚拟信号；其中，所述第二输入信号作用于所述第一输入信号，驱动所述第一输入信号形成虚拟交互信号，通过所述多屏显示终端配合所述体位输入指令合成虚拟交互场景，所述虚拟信号和所述体位输入指令完成虚拟现实交互。

相较于现有技术，本发明提供的虚拟现实交互系统与方法及计算机设备、可读存储介质、虚拟现实交互装置，通过所述深度学习模型将所述现实交互信号转变为设定的输入指令，判断方法人工智能化，使得系统准确转换体位输入指令为程序可识别的输入指令，从而实现虚拟现实交互，提高用户体验感。

附图说明

图1是本发明所揭示的一种实施例游戏装置的立体结构示意图；

图2是图1所示游戏装置的部件连接示意图；

图3是图1所示游戏装置的三个立体显示屏的立体连接结构示意图；

图4是图1所示的虚拟现实交互系统的框图；

图5是图1所示的虚拟现实交互方法流程图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

参见图1和图2，图1是本发明所揭示的一种实施例游戏装置的立体结构示意图，图2是图1所示游戏装置的部件连接示意图。所述游戏装置10包括控制台12、主体框14、三个立体显示屏19、游戏主机11、控制主机13、路由器18、交换机16、触摸屏15及红外感应器17。

所述主体框14与所述控制台12相隔一段距离相对设置，所述三个立体显示屏19安装在所述主体框14上，当玩家面向所述控制台12操作时，玩家可以清楚地观看到所述三个立体显示屏19投射的3D虚拟画面。

所述三个立体显示屏19为多屏显示终端的一种，所述多屏显示终端可以体现为能够显示虚拟视图的任何类型的显示器，诸如液晶显示器(LCD)、发光二极管(LED)显示器、等离子体显示器、阴极射线管(CRT)、或其它类型的显示设备。所述三个立体显示屏19包括第一屏191、第二屏193及第三屏195，所述第一屏191与所述第二屏193相接设置，且形成135度的夹角，所述第二屏193与所述第三屏195相接设置，且形成135度的夹角，所述第二屏193位于所述第一屏191与所述第三屏195之间，如图3所示。

所述游戏主机11、所述交换机16及所述路由器18设置在所述主体框14远离所述三个立体显示屏19的背面，便于后台人员操控。

所述游戏主机11与所述三个立体显示屏19连接，所述游戏主机11包括虚拟信号产生器111，所述虚拟信号产生器111产生第一输入信号，通过所述三个立体显示屏19显示虚拟信号。

所述交换机16连接所述游戏主机11，所述路由器18连接所述交换机16，所述路由器18仅是网络模组的一种。所述网络模组可以体现为能够在控制主机或游戏主机与其它远程设备之间实现通信的任何通信电路、通信设备或其集合。所述网络模组可以被配置成使用使这样的通信生效的任何一个或多个通信技术(例如，无线或有线通信)以及相关联的协议(例如，以太网、蓝牙

所述触摸屏15、所述红外感应器17及所述控制主机13安装在所述控制台12。所述触摸屏15和所述红外感应器17分别连接所述控制主机13。本实施例的触摸屏15、所述红外感应器17及所述控制主机13的数量均为四，其中，四个所述控制主机13分别与所述交换机16连接。

所述触摸屏15为能够响应于被玩家触摸来生成输入数据的任何类型的触摸屏。所述触摸屏15使用任何合适的触摸屏输入技术来检测玩家对显示在所述三个立体显示器上的信息的触觉选择，所述触摸屏输入技术包括但不限于电阻式触摸屏传感器、电容式触摸屏传感器、基于相机的触摸屏传感器、表面声波(SAW)触摸屏传感器、红外触摸屏传感器、光学成像触摸屏传感器、声学触摸屏传感器、和/或其它类型的触摸屏传感器。优选，所述触摸屏15对多个同时触摸点进行响应。

所述红外感应器17能够捕获玩家的移动图像，为输入信号识别模组的一种。所述输入信号识别模组为能够采集和识别玩家的体位输入指令，生成现实交互信号的任何类型的电子传感器，所述体位输入指令包括知觉或空气手势，诸如身体和四肢运动、手和手指运动、以及面部表情。在一些实施例中，所述输入信号识别模组或许仅能够解析用户身体和四肢的大动作。在其它实施例中，所述输入信号识别模组或许能够解析玩家的脸和/或手的精细细节。当然，在其它实施例中，诸如相机和/或摄像机之类的其它部件、或以其它方式包括在所述输入信号识别模组中。

所述控制主机13包括深度学习模型131，所述深度学习模型131被配置成识别所述现实交互信号，反馈生成相应的第二输入信号。所述深度学习模型131方法包括但不限于以下三种：

(1)卷积神经网络(Convolutional neural network)；

(2)堆栈自编码网络(Stacked auto-encoder network)；

(3)以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。

玩家通过体位输入指令21与所述游戏装置10交互形成一种深度学习的虚拟现实交互系统20，如图4所示。所述虚拟现实交互系统20包括所述体位输入指令21、所述红外感应器17、所述控制主机13的深度学习模型131、所述游戏主机11的所述虚拟信号产生器111及所述三个立体显示屏19。

参见图5，所述虚拟现实交互方法如下：

S1：接收现实交互信号，反馈第二输入信号；

当玩家在所述红外感应器17的感应空间范围挥动手势时，即发出体位输入指令21，所述红外感应器17采集并识别该体位输入指令21，生成所述现实交互信号；所述深度学习模型131接收所述现实交互信号，反馈所述第二输入信号；

S2：产生第一输入信号；

所述虚拟信号产生器111产生所述第一输入信号用于传输至所述三个立体显示屏19生成显示虚拟信号；

S3：所述第二输入信号作用于所述第一输入信号，驱动所述第一输入信号形成虚拟交互信号，通过所述三个立体显示屏19配合所述体位输入指令21合成虚拟交互场景；

S4：所述虚拟信号和所述体位输入指令21完成虚拟现实交互。

所述虚拟现实交互系统20运行于笔记本、掌上电脑及云端服务器及其他桌上型计算机等计算设备中。所述虚拟现实交互系统20，可运行的系统包括但不仅限于处理器和存储器及可读存储器。本领域技术人员可以理解，所述例子仅仅是所述虚拟现实交互系统20的一种示例，并不构成对所述虚拟现实交互系统20的限定，包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如，所述游戏主机和所述控制主机是一个主机，所述虚拟现实交互系统还包括输入输出设备和总线等。

所述处理器是中央处理单元(Central Processing Unit，CPU)或者其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)以及其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器是微处理器或者该处理器或任何常规的处理器等，所述处理器是所述虚拟现实交互系统的控制中心，利用各种接口和线路连接整个所述虚拟现实交互系统可运行系统的各个部分。

所述存储器用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述虚拟现实交互系统的各种功能。所述存储器主要包括存储程序区和存储数据区，其中，存储程序区存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器包括高速随机存取存储器，还包括非易失性可读存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述虚拟现实交互系统20还可以为一种虚拟现实交互装置，包括接收反馈模块和产生模块。

所述接收反馈模块用于接收现实交互信号，反馈第二输入信号；所述现实交互信号由输入信号识别模组采集并识别体位输入指令21生成。

所述产生模块，用于产生第一输入信号；所述第一输入信号用于传输至多屏显示终端生成显示虚拟信号。

所述第二输入信号作用于所述第一输入信号，驱动所述第一输入信号形成虚拟交互信号，通过所述多屏显示终端配合所述体位输入指令21合成虚拟交互场景，所述虚拟信号和所述体位输入指令21完成虚拟现实交互。

相较于现有技术，本发明提供的虚拟现实交互系统20与方法，通过所述深度学习模型131将所述现实交互信号转变为程序可识别的输入指令，判断方法人工智能化，使得系统20准确转换体位输入指令为程序可识别的输入指令，从而实现虚拟现实交互，提高用户体验感。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。