基于增强现实的枪及射击类增强现实的实现方法

摘要

本申请公开了一种基于增强现实的枪。所述枪的一具体实施方式包括：夹持机构用于固定智能终端，且位于导电击锤的前方，扳机的上端与传动机构的下端连接，传动机构的前端固定有导电击锤，橡胶导线一端电性连接导电击锤，另一端电性连接导电握把，其中，智能终端具有摄像机、触控显示屏；扣动扳机时，扳机带动传动机构运动，进而带动传动机构前端的导电击锤点击智能终端的触控显示屏，触发智能终端生成虚拟信息，并将虚拟信息与现实信息融合叠加后展示。该实施方式将人体电容通过导电握把、橡胶导线、导电击锤进行传导，然后利用导电击锤点触触控显示屏达到物理触控交互，生成虚拟信息，与现实信息融合叠加后展示。射击操作更真实，沉浸式体验更好。

说明书

技术领域

本申请涉及玩具领域，具体涉及基于增强现实的枪及射击类增强现实的实现方法。

背景技术

AR(Augmented Reality，增强现实)技术是一种将真实世界信息和虚拟世界信息无缝集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，比如视觉信息，声音，味道，触觉等，通过科学技术，模拟仿真叠加应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。

现有的基于增强现实的枪等射击类装置，都额外集成电子器件，采集用户轨迹或接收用户触发操作及与其它终端进行通信，体验差且成本高。

发明内容

本申请的目的在于提出一种改进的基于增强现实的枪及射击类增强现实的实现方法，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种基于增强现实的枪，所述枪包括：夹持机构、扳机、导电握把、传动机构、导电击锤、橡胶导线，具体的：所述夹持机构用于固定智能终端，且位于所述导电击锤的前方，所述扳机的上端与所述传动机构的下端连接，所述传动机构的前端固定有导电击锤，所述橡胶导线一端电性连接所述导电击锤，另一端电性连接所述导电握把，其中，所述智能终端具有摄像机、触控显示屏；扣动所述扳机时，所述扳机带动所述传动机构运动，进而带动所述传动机构前端的导电击锤点击所述智能终端的触控显示屏，触发所述智能终端生成虚拟信息，并将所述虚拟信息与现实信息融合叠加后展示。

在一些实施例中，所述智能终端还通过所述摄像机采集现实信息中的图像信息，对所述智能终端进行进行运动追踪，检测所述智能终端的姿态，相应的调整虚拟信息中增强现实模型的姿态，叠加所述图像信息显示于所述智能终端的触控显示屏上。

在一些实施例中，所述导电握把是将树脂与导电物质混合，注塑而成。

在一些实施例中，所述导电物质包括但不限于如下一种：碳黑、石墨。

在一些实施例中，所述导电击锤的成分包括导电橡胶。

第二方面，本申请提供了一种一种射击类增强现实的实现方法，所述方法包括：握住导电握把，扣动扳机，所述扳机带动传动机构运动，进而带动所述传动机构前端的导电击锤触控点击固定于夹持机构中的智能终端的触控显示屏，其中，橡胶导线一端电性连接所述导电击锤，另一端电性连接所述导电握把；根据所述触控点击，生成虚拟信息，并将所述虚拟信息与现实信息融合叠加后展示。

在一些实施例中，所述方法还包括：通过所述智能终端的摄像机采集现实信息中的图像信息；对所述智能终端进行运动追踪，检测所述智能终端的姿态，相应的调整虚拟信息中增强现实模型的姿态，叠加所述图像信息信息显示于所述智能终端的触控显示屏上。

在一些实施例中，所述对所述智能终端进行运动追踪，检测所述智能终端的姿态，包括：如果所述智能终端满足第一预设条件，则借助所述摄像机、惯性传感器，采用视觉惯性融合算法，计算所述智能终端的姿态，其中，所述惯性传感器为集成于所述智能终端的硬件；如果所述智能终端满足第二预设条件，则借助所述惯性传感器，进行姿态解算，计算所述智能终端的姿态。

在一些实施例中，根据所述触控点击，生成虚拟信息，并将所述虚拟信息与现实信息融合叠加后展示，包括：根据所述导电击锤触控点击所述触控电子屏的时长、频率，发射不同威力值的的虚拟子弹，将所述虚拟子弹与现实信息融合叠加后展示。

在一些实施例中，所述虚拟信息包括但不限于如下一种或多种：动画、声音、震动。

本申请的基于增强现实的枪，不需要借助额外的电子元器件采集用户轨迹或接收用户触发操作，完全脱离电子元器件的虚拟现实交互方式，而是采用创新的交互方式，将人体电容通过导电握把、橡胶导线、导电击锤进行传导，然后利用导电击锤点触智能终端的触控显示屏达到物理触控交互，生成虚拟信息，并将虚拟信息与现实信息融合叠加后展示。射击操作更真实，沉浸式体验更好。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是是本申请一实施例中基于增强现实的积木枪的结构示意图；

图2是截取并放大图1中积木枪部分结构的结构示意图；

图3图是本申请射击类增强现实的实现方法的一实施例的流程图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

现有射击类增强现实装置通过集成控制器、传感器、反馈单元、通信单元等电子元器件收集用户手持射击类装置的运动轨迹或扣动扳机等操作，缺乏沉浸感和真实感，且成本高。

参考图1，该图是本申请一实施例中基于增强现实的积木枪的结构示意图。所谓积木枪是指采用很多细小的积木拼搭而成的枪。为便于观察内部构造，该示意图中的积木枪拆掉部分外壳积木件。

继续参考图2，该图是截取并放大图1中积木枪部分结构的结构示意图。如图2所示，积木枪包括导电握把10，导电握把10由众多导电积木件拼搭在一起，便于用户握住积木枪。在本实施例中，导电积木件的材料是导电塑料。其中，导电塑料是将树脂和导电物质混合，用注塑工艺进行加工的功能型高分子材料。例如，将树脂与碳黑或石墨混合，注塑加工成积木件。在本实施例的其它可选的实现方式中，导电积木件的材料是金属。图2中，积木件101、102是用于拼搭导电握把10的一部分导电积木件。如图2所示，橡胶导线23的一端与导电握把10中导电积木件101电性连接。在本实施例的其它可选的实现方式中，橡胶导线23与导电积木件102电性连接。

继续参考图2，扳机11通过转轴111固定于枪身上。位于转轴111下面的扳机部分通过圆销121与弹簧杆12固定。其中，弹簧杆12通过圆销123固定于枪身上。弹簧杆12具有弹簧122，用户扣动扳机11，扳机11绕转轴111逆时针转动，压缩弹簧杆12的弹簧122。

继续参考图2，扳机11的上端通过圆销131与积木件132固定。积木件132、133、134、14、15、16、17拼搭成┛形状的传动机构。其中，因不存在足够长的积木件，将积木件132、133通过积木件134固定拼接成传动机构的水平部分。当然，在本实施例的其它可选的实现中，使用一根足够长的积木件代替积木件132、133、134。积木件133通过转轴141固定于积木件14上，积木件14通过转轴142固定于枪身上，同理，积木件15通过转轴151固定于枪身上。此外，积木件16通过转轴161、162分别与积木件14、15固定连接。导电击锤18通过十字轴181与积木件17固定，积木件17通过圆销171固定于积木件16上。另外，橡胶导线23的另一端插入导电击锤18的圆孔182中。其中，导电击锤18由导电橡胶加工而成，柔韧且具有导电性。特别说明，因积木产品具有很强的可塑性，传动机构可以拼搭成其它形状。在其它实施例中，可将传动机构注塑成一个整体积木件，而不是由多个积木件拼搭而成。

继续参考图2，在导电击锤18的前方还有固定于枪身上的夹持机构19，用于固定智能手机、平板电脑等智能终端。此外，夹持机构19的下方具有两个呈┛形状的积木件191、192用于支撑智能终端。

在本实施例中，当用户手握导电握把，扣动扳机时，扳机绕转转轴逆时针转动，同时压缩弹簧杆中的弹簧，扳机的上端拽动传动机构往前运动，进而带动传动机构前端的导电击锤向前运动，使导电击锤碰撞、点击位于夹持机构中的智能终端的触控显示屏。因导电握把与导电击锤通过橡胶导线电性连接，所以，当导电击锤点击前方智能终端的触控显示屏时，触控显示屏上的部分电流通过导电击锤、橡胶导线、导电握把，流入人体。实现触控点击。当用户手指松开扳机时，弹簧杆上压缩的弹簧复位，推动扳机绕转轴顺时针转动，扳机的上端拉动传动机构，促使导电击锤往后运动，导电击锤脱离与触控显示屏的接触。

在本实施例中，智能终端指具有摄像机、触控显示屏、处理器、存储器等硬件的设备。包括但不限于：智能手机、平板电脑、操控手柄等。该智能终端通过摄像机捕获现实世界的真实场景，同时生成一些虚拟信息，然后将虚拟信息与真实场景叠加后显示于触控显示屏。例如，将机甲战士或黑衣人、小动物等虚拟信息叠加现实场景显示于显示屏上。当用户扣动扳机，导电击锤触控显示屏，相当于发射子弹，根据扣动扳机的时长、频率等会生成具有不同威力值的子弹，产生不同的子弹轨道、碰撞画面、声音、震动等虚拟的增强现实信息。例如，如果检测到导电击锤触击时间短，则默认用户发射一颗子弹，则画面上会显示一颗普通威力值的子弹飞过、击中的画面。如果检测到导电击锤触击时间长，则默认用户长时间扣动扳机，则会触发发射威力值更大的子弹，画面上会显示具有颜色的发光子弹，且击中后，有爆炸画面和声音，且伴随震动。

在其它实施例中，射击类的枪可以加工成现有技术公开的各类玩具枪的造型，也可以模拟仿真真枪来加工。要求该枪的握把是导电的，扳机通过传动机构，采用机械原理，带动传动机构前端的导电击锤触碰固定于夹持机构中的智能终端的触控显示屏，触发指令，产生虚拟信息。其中，传动机构也被称为射击触发机构。

现有方案是在玩具枪上集成通信组件与智能终端进行通信，例如蓝牙或WIFI组件。在玩具枪上集成传感器与智能终端进行交互。该方案技术复杂度高、操作不真实，且增加成本。而本申请提出一种创新的交互方案，将人体电容通过一种特殊的导电握把、橡胶导线、导电击锤进行传导，然后利用导电击锤点触智能终端的触控显示屏达到物理交互的手段。射击操作更真实，结合增强现实，沉浸式体验更好。

在一些实施例中，增加运动追踪，游戏也能摆脱场地与空间的束缚，反馈更真实，可以随时随地开始游戏，极大增加游戏的可玩性和趣味性。可以借助现有平台实现运动追踪。例如，苹果开发的ARKit平台，谷歌开发的ARCore平台及谷歌早期提供的Tango。ARCore最主要的三大功能：运动跟踪、环境理解、光估计。运动跟踪指：当您的手机在现实世界中移动时，ARCore会通过一个名为并行测距与映射的过程来理解手机对于周围世界的位置。ARCore会捕获的摄像机图像中的视觉差异特征称为特征点，并使用这些点来计算位置变化。这些视觉信息将与设备IMU的惯性测量结果结合，一起用于估测摄像机随着时间推移而相对于周围世界的姿态，即位置和方向。通过将渲染3D内容的虚拟摄像机的姿态与ARCore提供的设备摄像机的姿态对齐，开发者能够从正确的透视角度渲染虚拟内容。渲染的虚拟图像可以叠加到从设备摄像机获取的图像上，让虚拟内容看起来就像现实世界的一部分一样。

ARCore使用视觉惯性测距系统(Visual Inertial Odometry，简称VIO)的算法来实现运动跟踪。VIO在硬件上需要传感器的融合，包括摄像机摄像机和六轴陀螺仪。摄像机产生图片，六轴陀螺仪产生加速度和角速度。VIO将从摄像机中识别图像特征与内部运动传感器结合起来，以跟踪智能终端的相对位置和方向。通过跟踪方位和位置，即可以获取到智能终端在6自由度范围内的姿态。在三维物体的6自由度中，运动整体上可以分为平移和旋转两类：平移分为前后、左右、上下，旋转分为俯仰、偏航、翻滚。对于6自由度中姿态的数学表示就是矩阵，物体平移和旋转都可以用矩阵来表示。运动跟踪总的来说，就是通过定位用户，实际是定位用户的智能终端识别的位置和方向，通过摄像机的投影矩阵将虚拟设备投影到用户手机屏幕上，如果用户运动了，可以通过VIO更新用户的位置与方向信息，更新投影矩阵，这样就可以把虚拟物体固定在空间中的某个点，从而达到以假乱真的视觉体验。

为便于理解，在此举例一个应用场景或着说一种玩法。用户手持枪，将智能终端的摄像机对准空白的墙壁或地面，会生成完全虚拟的场景，例如，一个虚拟的星球，在星球表面具有行走的机甲战士，行驶中的装甲车，飞行中的飞行器。通过运动追踪，根据智能终端姿态的改变，相应的调整上述机甲战士、装甲车、飞行器等增强现实模块的姿态。如果用户扣动了扳机，还会在上述基础上渲染叠加虚拟子弹。给用户一种穿越时空在异星战斗的沉浸感。

继续参考图3，该图是本申请射击类增强现实的实现方法的一实施例的流程图。该流程主要包括如下步骤：

步骤301，握住导电握把，扣动扳机，扳机带动传动机构运动，进而带动传动机构前端的导电击锤触控点击固定于夹持机构中的智能终端的触控显示屏。

在本实施例中，用户的手掌握住导电握把，手指扣动扳机，扳机带动与其机械连接的传动机构运动，进而带动传动机构前端的导电击锤点击固定于夹持机构中的智能终端的触控显示屏。触控显示屏上的部分电流通过导电击锤、橡胶导线、导电握把，流入人体。实现触控点击。当用户手指松开扳机时，导电击锤远离触控显示屏，完成一次触控。上述智能终端括但不限于：智能手机、平板电脑、操控手柄等。

在本实施例中，上述导电握把是将树脂与导电物质混合，注塑而成。导电物质包括但不限于如下一种：碳黑、石墨。导电击锤的成分包括导电橡胶。至少导电击锤的头部为导电橡胶，柔韧而导电。

基于相同的构思，可将扳机设计成导电扳机，而将握把设计成非导电部件，橡胶导线一端电性连接上述导电扳机，另一端电性连接导电击锤。

步骤302，根据上述触控点击，生成虚拟信息，并将上述虚拟信息与现实信息融合叠加后展示。

在本实施例中，智能终端根据触控，生成虚拟信息，采用增强现实技术，将上述虚拟信息与现实信息融合叠加后展示。其中，虚拟信息包括但不限于如下一种或多种：动画、声音、震动。例如，根据用户扣动扳机后，产生震动，增加真实感。其中，增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。现实信息包括但不限于如下一声：摄像机采集的图像、声音、震动。

为便于理解，举例说明一应用场景。用户将手机固定于夹持机构中，提前点击打开APP应用程序，提前获取摄像机权限，打开摄像机，拍摄室内画面，同时生成增强现实模型，例如，一个机甲战士。将该机甲战士与室内画面融合，同时显示室内画面及机甲战士。借助机器学习，智能终端可以识别画面内的物体，例如识别桌子、沙发等家具。用户扣动扳机，发射虚拟子弹，智能终端的触控显示屏上会清晰的显示虚拟子弹像真实的子弹一样的运动轨迹，射击虚拟的机甲战士或室内物体，产生机甲战士破损、逃跑、击倒、火花等画面，同时可以配置相应的声音、震动，增加沉浸感和真实感。

在其它实施例中，为进一步增强沉浸感和真实感，追踪智能终端的姿态，进而追踪用户的姿态。例如，通过追踪智能终端，判断用户是否前进、后退，枪是被水平持握，还是被仰起一定角度或俯下一定角度持握等。相应的调整增强现实模型的姿态。例如，用户手持枪后退，摄像机拍摄的真实信息会发生变化，原真实物体变小、新的真实物体出现在画面中，相应的调整机甲战士的大小、角度等，让用户感觉该机甲战士像真的存在于现实世界中一样。

通过借助运动跟踪，游戏也能摆脱场地与空间的束缚，反馈真实化，可以随时随地开始，极大增加游戏的可玩性和趣味性。

目前主要的运动追踪算法有两种，一种基于视觉的运动追踪，另一种基于惯性传感器的运动追踪。例如，惯性传感器包括但不限于：加速计、陀螺仪和磁力计。通过上述追踪算法，计算出智能终端的姿态，该姿态可以用四元数或矩阵表示，根据该姿态，相应的调整虚拟信息中增强现实模型的姿态，再次将摄像机拍摄的图像信息与增强现实模型融合后的画面，显示在智能终端的触控显示屏上。

本申请的技术方案同时支持扣动扳机产生的虚拟信息与运动追踪。例如，用户一边往前走一边向上45度举起枪，扣动扳机，欲打击悬停的增强现实模型飞行器，则智能终端触控显示屏上，展示的是仰望45度用户视角看到变大的飞行器，变大是因为用户往前走。扣动扳机后，画面上还会叠加子弹划过空中射击飞行器的一系列画面。

因智能终端软硬件的配置有高有低，为保证更多的智能终端能实现上述增强现实的玩法，采用两种不同的的方式进行运动追踪。对于高配置的智能终端，采用第一种追踪方式：借助智能终端的摄像机、惯性传感器，采用视觉惯性融合算法，计算上述智能终端的姿态。例如，采用基于单目或双目视觉与惯性信息融合的SLAM(simultaneous localizationand mapping,同时定位与地图构建)方案。其中，上述惯性传感器包括加速度计、陀螺仪、磁力计。

因上述算法对智能终端的运算能力、摄像机拍摄画面的要求都比较高，低配置的智能终端不能满足上述要求。针对低配置的智能终端，采用第二种追踪方式：借助惯性传感器，进行姿态解算，计算智能终端的姿态。例如，采用四元数AHRS姿态解算算法或mahonyIMU姿态解算算法或PX4SO3IMU姿态解算算法等。

在其它实施例中，可以根据智能终端的自身的型号，判断智能终端配置的高低，决定采用第一种追踪方式还是第二种追踪方式，预存高配置列表、低配置列表，两列表中分别存储适用于上述第一种追踪方式、第二种追踪方式的机型，例如，列表中存放手机、平板电脑的机型。读取智能终端的机型，遍历高配置列表，如果该智能终端的机型在高配置列表中，则表示满足第一预设条件，如果如果该智能终端的机型在低配置列表中，则表示满足第二预设条件。

在其它实施例中，可以读取智能终端中处理器、摄像机的型号，根据上述两型号判断该智能终端是高配置还是低配置，进而决定是采用第一种追踪方式，还是第二种追踪方式。

在其它实施例中，借助现有平台实现运动追踪。针对iOS系统的苹果手机、平板电脑，借助ARCore平台的视觉惯性测距系统VIO实现第一种追踪方式，针对安卓系统的手机、平板电脑，借助ARKit平台实现第二种追踪方式。

本申请的基于增强现实的枪，不需要借助额外的电子元器件采集用户轨迹或接收用户触发操作，完全脱离电子传感器的虚拟现实交互方式，而是采用具有导电握把、橡胶导线、导电击锤的静态枪。采用两种不同的追踪方式，尽可能多的覆盖现有的手机、平板等智能终端，让更多的用户都能体验到增强现实射击类游戏，普适性高，且成本低，因枪是没有电子件的静态枪，智能终端是自己已经拥有的手机、平板等。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。