一种3D魔术笔及基于该3D魔术笔的显示系统及其使用方法

摘要

一种3D魔术笔，所述3D魔术笔至少包括一笔身、一控制开关和一触发器，所述笔身上设有控制开关，所述笔身的端部设有触发器，所述控制开关用于控制触发器的触发状态。同时本申请还涉及基于该3D魔术笔的XR系统，及该系统的使用方法。本发明提供了一种基于XR眼镜的3D魔术笔及系统和方法，能够很好的匹配人手的常规操作习惯，模拟人手指的捏合动作，并触发相应的交互操作，能够方便的进行虚拟场景中的2D/3D交互操作，精度高。

说明书

技术领域

本发明属于智能交互装备领域，具体涉及一种基于XR眼镜的3D魔术笔，同时本发明还涉及基于该3D魔术笔的显示系统，及该系统的使用方法。

背景技术

虚拟现实技术（VR）、混合现实技术（MR）、增强现实技术（AR）的发展越来越成熟，VR/MR/AR技术统称为XR技术，XR技术可以与包括沉浸式、高度可视化、计算机模拟环境的各种应用相关联，这些环境可以模拟用户在真实或想象世界中的物理存在，在这些模拟的数字环境中，计算机模拟可以借助于图形显示来呈现/渲染2D/3D图形图像，显示在头戴式显示器（XR眼镜）中。

现有技术中，在CN110888530A一种基于电子地图的3D可视化编辑器和编辑方法中，公开了一种基于电子地图的3D可视化编辑器,至少包括一XR眼镜,所述XR眼镜,至少用于显示一空间范围的电子地图;在所述电子地图上,至少标记一个地标点;在所述地标点上,至少创建一个虚拟电子标签;在所述虚拟电子标签内,至少添加一个与该地标点相关的可编辑信息。进入3D时代,3D化带来了一系列的变革,3D化的显示,3D化的交互,3D化的编辑。基于电子地图的3D可视化编辑器可以有效提高空间立体地编辑的效率和效果,让原来只要少数人能在脑中呈现的编辑状态,让更多人享受到其带来的便捷性。在CN110956702A一种基于时间轴的3D可视化编辑器和编辑方法公开了一种基于时间轴的3D可视化编辑器,至少包括一XR眼镜,所述XR眼镜,用于至少显示一条时间轴;在所述时间轴上,至少标记一个时间节点;在所述时间节点上,至少创建一个虚拟电子标签;在所述虚拟电子标签内,至少添加一个与所述时间节点相关的可编辑信息。进入3D时代,3D化带来了一系列的变革,3D化的显示,3D化的交互,3D化的编辑。基于时间轴的3D可视化编辑器可以有效提高空间立体地编辑的效率和效果,让原来只要少数人能用脑中呈现的编辑状态,让更多人享受到其带来的便捷性。可见在这种“大场面”、大跨度的操作空间中光凭裸手或智慧手套操作是非常受距离限制的，但凭借控制手柄操控，又很难准确和精确地发出类似鼠标左右键的操作指令，尤其是很难发出拖曳、翻转等更高复杂度的3D空间中的操作指令。

现有技术中，用户可以手持操作手柄进行操作，或者识别裸手、智慧手套进行操作，通过空间定位技术在虚拟环境中构建虚拟对象或进行虚拟操作，如进行虚拟绘画、虚拟书法、虚拟游戏等。对于使用操作手柄进行交互操作的方式，其操控性不够直观，而对于裸手进行交互操作的方式，其精密度不够，和使用空间范围有限识别装置容易产生误判等的现象。

因此，基于以上还存在的一些问题，本申请中设计了一种更好的交互工具和交互方法。

发明内容

针对以上现有技术中的不足，本发明提供了一种基于XR眼镜的3D魔术笔，能够很好的模拟人手指的捏合动作，并触发相应的交互操作，同时本发明还涉及基于该3D魔术笔的XR系统，及该系统的使用方法。

为了解决上述技术问题，本发明通过下述技术方案得以解决。

本申请中的一种3D魔术笔，所述3D魔术笔至少包括一笔身、一控制开关（根据具体实现方式可为控制器或控制按键）和一触发器，所述笔身上设有控制开关，所述笔身的端部设有触发器，所述控制开关用于控制触发器的触发状态。

一种优选的实施方式中，所述笔身为长短可改变结构，如可以采用圆柱套杆式、折叠式、剪叉式、滑片式、伸缩式等结构。

一种优选的实施方式中，所述笔身为嵌套圆柱杆、折叠杆、滑轴、手柄杆、蜗杆、剪叉杆或齿条中的至少一种，可调节长短、进行捏合操作。

一种优选的实施方式中，所述控制开关为扣压式控制器、夹握压式控制器或按压式控制器中的至少一种，可以感知人手指的按压操作，产生对应的指令。

一种优选的实施方式中，所述触发器为滑动接触片、接触片或双空间定位传感器中的至少一种，触发器碰触或相互靠拢时，可以模拟人手指的捏合操作。

一种优选的实施方式中，所述3D魔术笔还包括通讯模块和空间位置传感器。

一种优选的实施方式中，所述3D魔术笔的笔身由二笔杆构成，所述二笔杆之间无连接，或所述二笔杆在中段交叉固接，或二笔杆在端部处轴式固接。

一种优选的实施方式中，所述3D魔术笔的笔身由二笔杆构成，所述二笔杆在端部处固接，且所述二笔杆为挠性材料构成，或者所述二笔杆在端部处由弹性部件连接。

一种优选的实施方式中，所述双空间定位传感器设于与笔尖固定距离的位置。

一种优选的实施方式中，所述通讯模块将所述笔头(笔尖)/笔身的空间位置信息传送给XR设备。

一种优选的实施方式中，所述触发器相互接触时或者接近到达距离阈值时，确定为触发状态，产生相应的指令。

一种优选的实施方式中，所述通讯模块将所述触发器的状态信息传送给XR设备。

一种优选的实施方式中，所述3D魔术笔的笔杆还设有至少一控制按键和/或至少一控制指环，优选为两个，可以对应为鼠标左键和右键操作。

一种优选的实施方式中，所述通讯模块将所述控制器的控制信息传送给XR设备。

一种优选的实施方式中，所述空间位置传感器为IMU感应器、UWB感应器、微型结构光摄像头或微型TOF摄像头中的至少一种。

一种优选的实施方式中，所述通讯模块为蓝牙芯片、紫蜂芯片、IR芯片、RFID芯片、基带芯片、WIFI芯片、LIFI芯片或微波通讯芯片中的至少一种。

本申请中的一种基于3D魔术笔的显示系统，所述显示系统至少包括平面显示设备、XR眼镜和上述的3D魔术笔。

一种优选的实施方式中，所述XR眼镜至少设有计算单元、存储单元和通讯单元，3D魔术笔与平面显示设备、XR眼镜通过无线或有线方式通讯连接。

一种优选的实施方式中，所述通讯单元获取3D魔术笔的笔身/笔尖的空间位置信息、控制器的控制信息和/或接触器的状态信息，XR眼镜至少设有所述计算单元根据所述笔身的空间位置信息，供所述通讯模块推算出所述笔尖的空间位置信息。

本申请中的一种基于3D魔术笔的显示系统使用方法，包括如下任一步骤：根据所述3D魔术笔笔尖的空间位置信息，确定所述3D魔术笔的笔尖空间位置；根据所述3D魔术笔笔身的空间位置信息，判定所述3D魔术笔的笔尖空间位置；根据所述3D魔术笔的控制信息，判定所述3D魔术笔的接触片的接触情况、左右键的按压情况；根据所述3D魔术笔的触发状态信息，判定所述3D魔术笔的左/右单击、划过、悬停、双击或长按中的任一状态。

一种优选的实施方式中，所述显示系统根据所述3D魔术笔的左/右单击、划过、悬停、双击或长按中的任一所述状态，在XR系统的空间显示中为连续/不连续笔画、直线笔画、曲线笔画、模拟射击出的抛物线或展示右键菜单。

一种优选的实施方式中，一种基于3D魔术笔的显示方法，包括如下任一步骤：

根据所述3D魔术笔笔尖的空间位置信息，确定所述3D魔术笔的笔尖空间位置，并根据所述3D魔术笔的控制信息和位置信息在2D/3D显示装置中显示所述3D魔术笔的触发的2D/3D显示内容。

与现有技术相比，本发明具有以下有益效果：提供了一种基于XR眼镜的3D魔术笔，能够在3D空间中很好的模拟人手指的捏合动作，并触发相应的交互操作，作出类似2D平面操作下的鼠标控制指令，此类3D魔术笔有效地延长了人的手臂和手指，可以自由地在空间中进行点操作、线操作、面操作或多点操作（至少使用2个3D魔术笔，双手双笔协同操作）。同时本发明还涉及基于该3D魔术笔的XR系统或平面显示，即 在3D空间中比划，也可在2D平面中显示，及该系统的使用方法。

附图说明

图1为本发明中的实施方式一中的3D魔术笔的示意图。

图2为本发明中的实施方式二中的3D魔术笔的示意图。

图3为本发明中的实施方式三中的3D魔术笔的示意图。

图4为本发明中的实施方式四中的3D魔术笔的示意图。

图5为本发明中的实施方式五中的3D魔术笔的示意图。

图6为本发明中的实施方案六中的3D魔术笔的示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

以下实施方式中，自始至终相同或类似的标号表示相同或类似的原件或具有相同或类似功能的原件，以下通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本申请中的一种基于XR眼镜的3D魔术笔，所述3D魔术笔至少包括一笔身、一控制开关和一触发器，所述笔身上设有控制开关，所述笔身的端部设有触发器，所述控制开关用于控制触发器的触发状态。

本申请中，所述笔身为长短可改变结构，如可以为嵌套圆柱杆、折叠杆、滑轴/杆、手柄杆、蜗杆、剪叉杆或齿条杆中的至少一种，可调节长短、进行捏合操作。

本申请中，所述控制开关为扣压式控制器、夹握压式控制器或按压式控制器中的至少一种，可以感知人手指的按压操作，产生对应的指令。所述触发器为滑动接触片、接触片或双空间定位传感器中的至少一种，触发器碰触或相互靠拢到达距离阈值时，可以模拟人手指的捏合操作，所述双空间定位传感器设于与笔尖固定距离的位置。

此外，本申请中，所述3D魔术笔还包括通讯模块和至少一空间位置传感器。所述通讯模块将所述笔尖/笔身的空间位置信息、所述触发器的状态信息、所述控制器的控制信息传送给XR设备。优选的，所述空间位置传感器为IMU感应器、UWB感应器、微型结构光摄像头或微型TOF摄像头中的至少一种。所述通讯模块为蓝牙芯片、紫蜂芯片、IR芯片、RFID芯片、基带芯片、WIFI芯片、LIFI芯片或微波通讯芯片中的至少一种。

本申请中，所述3D魔术笔的笔杆还设有至少一控制按键和/或至少一控制指环，优选为两个，可以对应为鼠标左键和右键操作。

本申请中的一种基于3D魔术笔的显示系统，所述显示系统至少包括平面显示设备、XR眼镜和上述的3D魔术笔。所述XR眼镜至少设有计算单元、存储单元和通讯单元，3D魔术笔与平面显示设备或XR眼镜通过无线或有线方式通讯连接。

此外，该显示系统中，所述通讯单元获取3D魔术笔的笔身/笔尖的空间位置信息、控制器的控制信息和/或接触器的状态信息，XR眼镜至少设有所述计算单元根据所述笔身的空间位置信息，供所述通讯模块推算出所述笔尖的空间位置信息。

本申请中的一种基于3D魔术笔的显示系统使用方法，包括如下任一步骤：根据所述3D魔术笔笔尖的空间位置信息，确定所述3D魔术笔的笔尖空间位置；根据所述3D魔术笔笔身的空间位置信息，判定所述3D魔术笔的笔尖空间位置；根据所述3D魔术笔的控制信息，判定所述3D魔术笔的接触片的接触情况、左右键的按压情况；根据所述3D魔术笔的触发状态信息，判定所述3D魔术笔的左/右单击、划过、悬停、双击或长按中的任一状态。

优选的，所述显示系统根据所述3D魔术笔的左/右单击、划过、悬停、双击或长按中的任一所述状态，在显示系统的空间显示中为连续/不连续笔画、直线笔画、曲线笔画、模拟射击出的抛物线或展示右键菜单。

以下为本申请的具体实施例。

参见图1，该3D魔术笔具有筷子形笔身21，所述筷子形笔身21上设有夹握压式（指环）控制器22，夹握压式控制器22套在筷子形笔身21，可垂直于笔杆21任意转动调整方向，可以适应不同人的操作习惯。筷子形笔身21的前端设有接触片1，筷子笔身可以分离不连接设置，也可以连接设置，筷子形笔身21的后端为挠性连接件或弹性连接件3。可以正手握，也可反手握。

该实施例中的3D魔术笔使用时，使用者带上XR眼镜，然后像使用筷子一样使用3D魔术笔。操作时，手指的按压操作可以被夹握压式控制器22中的按压传感器识别，并将该信号传输至平面显示设备、XR眼镜、XR设备、路由器或网络设备（包括服务器），用于产生鼠标左击、右击、长按、拖动等操作，与虚拟3D空间进行交互。使用者用操作3D魔术笔使前端接触时，两个接触片1相互接触产生信号，该信号被识别为捏合操作，可以进行虚拟场景中的对应操作，使虚拟交互更加方便，且操作时精度高。

参见图2，该3D魔术笔具有镊子形笔身24，该镊子形笔身24（二侧）上设有至少一按压式/接触控制器22，镊子形笔身24的前端设有接触片1，镊子形笔身24的后端连接在一起，和常规镊子一样。

该实施例中的3D魔术笔使用时，使用者带上XR眼镜，然后像使用镊子一样使用3D魔术笔。操作时，手指的按压操作可以被按压式控制器中的按压传感器识别，并将该信号传输至XR眼镜或XR设备，用于产生鼠标左击、右击、长按、拖动等操作，与虚拟3D空间进行交互。使用者用操作3D魔术笔使前端接触时，两个接触片1相互接触产生信号，该信号被识别为捏合操作，可以进行虚拟场景中的对应操作，使虚拟交互更加方便，且操作时精度高。

参见图3，该3D魔术笔具有钳子形笔身25，该钳子形笔身25的前端设有接触片1，钳子形笔身25的后端为手握操作部251，手握操作部251上设有按压式控制器，操作方式和常规钳子一样。

该实施例中的3D魔术笔使用时，使用者带上XR眼镜，然后像使用钳子一样使用3D魔术笔。操作时，手部的按压操作可以被按压式控制器中的按压传感器识别，并将该信号传输至XR眼镜或XR设备，用于产生鼠标左击、右击、长按、拖动等操作，与虚拟2D界面/3D空间进行交互。使用者用操作3D魔术笔使前端接触时，两个接触片1相互接触产生信号，该信号被识别为捏合操作，可以进行虚拟场景中的对应操作，使虚拟交/互更加方便，且操作时精度高。

参见图4，该3D魔术笔具有夹具形笔身26，该夹具形笔身26的一端为夹具端261，该夹具端261上的两个夹杆的端部设有接触片1，该夹具形笔身26的另一端为操作端27，其上设有握杆271，握杆271上设有按压式控制器，操作方式和常规夹具一样。

该实施例中的3D魔术笔使用时，使用者带上XR眼镜，然后像使用常规夹具一样使用3D魔术笔。操作时，握杆271上的按压操作可以被按压式控制器中的按压传感器识别，并将该信号传输至XR眼镜或XR设备，用于产生鼠标左击、右击、长按、拖动等操作，与虚拟3D空间进行交互。使用者用操作3D魔术笔使前端接触时，两个接触片1相互接触产生信号，该信号被识别为捏合操作，可以进行虚拟场景中的对应操作，使虚拟交互更加方便，且操作时精度高。

除了模拟鼠标的各种操作之外，该3D魔术笔还可以模拟长/短枪操作，在笔尖和笔身各设置一空间传感器，如IMU，用户平端“手枪”时或平端延长后的笔杆时（长枪状态），系统根据前后两个IMU的空间位置信息，可以确定“枪杆”的朝向，当用户扣压握杆271上的按压式控制器时（扳机时），虚拟系统中可以触发虚拟子弹或者弩箭的弹导曲线发射。这样可以丰富3D笔的适用场景。比如在CS游戏场景，平面显示屏或者VR眼镜场景里使用。

参见图5，该3D魔术笔具有挤压滑杆形笔身，该挤压滑杆形笔身包括固定杆51和滑杆52，所述固定杆51和滑杆52的一端设有接触片1，所述固定杆51和滑杆52的另一端通过弹性体55连接，所述滑杆52具有可变形结构，该滑杆52可被按下，并可在其自身弹性或弹性体55弹力作用下复位。滑杆52按下的过程中，其端部的接触片1向固定杆51上的接触片1靠拢，并接触。所述固定杆51上设有手指操单元53，其中设有按压传感器。

该实施例中的3D魔术笔使用时，使用者带上XR眼镜，然后对3D魔术笔进行按压/挤压操作。操作时，握杆271上的按压操作可以被按压式控制器中的按压传感器识别，并将该信号传输至XR眼镜或XR设备，用于产生鼠标左击、右击、长按、拖动等操作，与虚拟2D界面/3D空间进行交互。使用者用操作3D魔术笔使前端接触时，两个接触片1相互接触产生信号，该信号被识别为捏合操作，可以进行虚拟场景中的对应操作，使虚拟交互更加方便，且操作时精度高。

除了模拟鼠标的各种操作之外，同样，该3D魔术笔还可以模拟长/短枪操作，在笔尖和笔身各设置一空间传感器，如IMU，用户平端“手枪”时或平端延长后的笔杆时（长枪状态），系统根据前后两个IMU的空间位置信息，可以确定“枪杆”的朝向，当用户扣压手指操单元53扳机时，虚拟系统中可以触发虚拟子弹或者弩箭的弹导曲线发射。这样可以丰富3D笔的适用场景。

从以上描述和实施例中可以看出，本发明提供了一种基于XR眼镜的3D魔术笔及系统和方法，能够很好的匹配人手的常规操作习惯，模拟人手指的捏合动作，并触发相应的交互操作，能够方便的进行虚拟场景的交互操作，精度高。

实施例六：

参见图6，该3D魔术笔具有手枪形笔身28，该手枪形笔身28的一端为剪叉机构281，该剪叉机构281的端部设有联动的钳子282，钳子282上的两个夹片的端部设有接触片1，该枪形笔身28包括握手部284，握手部25上设有扣压式控制器283，其上设有按压传感器，操作方式和常规手枪一样，当用户扣压时，剪叉机构281申长，且钳子282上的两个接触片1靠近接触，触发捏合操作。

除了模拟鼠标的各种操作之外，该3D魔术笔还可以模拟枪操作，在笔尖(钳子282)和笔身各设置一空间传感器，如IMU，用户平端“手枪”时，系统根据前后两个IMU的空间位置信息，可以确定“枪杆”的朝向，当用户扣压扣压式控制器283扳机时，虚拟系统中可以触发虚拟子弹或者弩箭的弹导曲线发射。这样可以丰富3D笔的适用场景。

本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。