用于控制移动增强现实仪器的显示的设计

摘要

一种用于控制用户的移动增强现实仪器的显示的方法、设备和具有指令的计算机可读存储介质。首先，生成（10）针对位置固定地位于真实周围环境中的目的地的静态导航显示。如果现在检测（11）到需要对移动增强现实仪器的显示进行适配的情况，则生成（12）与该情况适配的静态导航显示或者辅助导航显示。

说明书

技术领域

本发明涉及一种用于控制用户的移动增强现实仪器的显示的方法、设备和具有指令的计算机可读存储介质。本发明还涉及一种移动增强现实仪器，在该移动增强现实仪器中使用按照本发明的方法或按照本发明的设备。

背景技术

多年来，数字技术在社会中已日益广泛流行。可以预期，社会的这种数字化将在日常生活中显著增加。虚拟和增强现实技术及应用是一种特殊的数字化实现形式。增强现实（Augmented Reality，AR）、德文“erweiterte Realität”是虚拟元素对真实世界的丰富，这些虚拟元素在三维空间内位置准确地被登记并且允许实时交互。因为术语“AugmentedReality”已经在德语区的学术界相对于术语“erweiterte Realität”被普遍接受，所以在下文使用前者。同义词也使用术语“Mixed Reality（混合现实）”。为了呈现AR显示，例如可以使用增强现实眼镜。增强现实眼镜像正常眼镜那样被佩戴，但是具有一个或多个投影单元或者显示装置，借助于所述一个或多个投影单元或者显示装置，对于眼镜的佩戴者来说可以将信息投影到眼前或者直接投影到视网膜上。在此，眼镜构建为使得佩戴者也可以感知周围环境。增强现实眼镜的新技术（例如光场技术）、在所使用的电池技术方面的进展以及大型公司在这方面的投入容许预期到这些仪器的接受度提高。

替选地，也可以借助于增强现实智能电话或者增强现实平板电脑来生成AR显示。在此，虚拟元素在相应仪器的显示器上与由相应仪器的摄像机所拍摄的周围环境共同被显示。也能够将内容投影到真实周围环境中。

总体而言，能预见到：终端用户将越来越多地使用增强现实眼镜、增强现实智能电话以及其它增强现实仪器。便携式增强现实系统的重要应用场合是导航，不仅是在运输工具内的导航而且是在运输工具外的导航。在此，对导航指示的输出可以通过简单的移动指示来实现，例如以方向箭头或者也包括提示性文本为形式来实现。

在该上下文中，EP 2 960 630 A2描述了一种增强现实眼镜，该增强现实眼镜具有摄像机、输出单元和控制器。借助于输出单元，以指示为形式向用户输出路线引导信息。控制器检测关于当前位置的信息并且促使输出单元输出从当前位置到目的地的路线的路线引导信息。控制器在路线引导信息被输出期间从摄像机实时获得视觉信息，并且基于所检测到的视觉信息来实时更新路线引导信息。

另一种可能性在于：将视觉路径淡入到用户应该随动（folgen）的周围环境中。

在该上下文中，DE 10 2017 111 843 A1描述了一种系统，用于借助于增强现实中的步行指示将用户从当前的用户位置动态地引导到自主驾驶车辆的接载位置。在移动或便携式用户设备的显示器上向用户呈现步行指示。在用户带着便携式用户设备移动期间，以脚印或线条为形式的步行指示实时地动态地产生并发生变化。

尤其是在行人导航的情况下，并不能假定人们准确地在导航系统所建议的由增强现实仪器来显示的路径上行走。在此可能发生：使用者与固定地定位于世界中的静态导航路径偏离到该路径由于距离而在某一时刻无法识别的程度。因而，使该路径与使用者的空间位置和方向进行适配是有意义的。

增强现实显示的特点在于它是交互式的，也就是说所显示的图像具有最低图像刷新率。通常每秒生成大约60张图像。针对每张单个图像，使用用户的目前占据的位置和方向来生成增强现实显示。增强现实导航显示的重要特性是：使用者直观地理解信息，然而在此并不觉得增强现实显示令人讨厌，而是觉得增强现实显示和谐地被嵌入到周围环境中。因而，并没有从观察者的当前的摄像机视角出发针对每张所计算出的单个图像启动（lassen）导航路径的解决方案。使用者会由于不断且非常快速地变化的路径而烦躁和分心，因而导航路径会不被觉得是和谐地集成到周围环境中的对象。

发明内容

本发明的任务是提供一种用于控制移动增强现实仪器的显示的经改善的设计。

该任务通过具有权利要求1的特征的方法、通过根据权利要求8所述的具有指令的计算机可读存储介质、通过具有权利要求9的特征的设备以及通过具有权利要求10的特征的移动增强现实仪器来被解决。本发明的优选的设计方案是从属权利要求的主题。

按照本发明的第一方面，用于控制用户的移动增强现实仪器的显示的方法包括如下步骤：

- 生成针对位置固定地位于真实周围环境中的目的地的静态导航显示；

- 检测需要对移动增强现实仪器的显示进行适配的情况；并且

- 生成与该情况适配的静态导航显示或者辅助导航显示。

相对应地，计算机可读存储介质包含如下指令，所述指令在通过计算机来实施时促使计算机实施如下步骤来控制用户的移动增强现实仪器的显示：

- 生成针对位置固定地位于真实周围环境中的目的地的静态导航显示；

- 检测需要对移动增强现实仪器的显示进行适配的情况；并且

- 生成与该情况适配的静态导航显示或者辅助导航显示。

术语计算机在此应宽泛地来理解。尤其是，计算机也包括工作站、分布式系统和其它基于处理器的数据处理设备。

类似于此，用于控制用户的移动增强现实仪器的显示的设备具有：

- 图形生成器，用于生成针对位置固定地位于真实周围环境中的目的地的静态导航显示；和

- 传感装置，用于检测需要对移动增强现实仪器的显示进行适配的情况，

其中图形生成器被设立为生成与该情况适配的静态导航显示或者辅助导航显示。

按照本发明的解决方案基于如下思路：不是连续地重新创建并淡入位置固定地位于真实周围环境中的静态导航显示，而是更确切地说连续地检查是否需要对显示进行适配并且根据结果来生成经适配的显示。以这种方式，导航显示在真实世界中空间上固定地被登记或固定地被定位于世界中，然而用户也能够离开所显示的路径自由移动。如果在这种自由移动的情况下出现需要对显示进行适配的情况，例如因为用户与所显示的路径离得太远而出现需要对显示进行适配的情况，则最后生成并显示经适配的静态导航显示或者辅助导航显示。通过根据情况对显示的适配，防止了所显示的路径不断且非常快速地变化。

按照本发明的一个方面，基于用户输入来检测需要对移动增强现实仪器的显示进行适配的情况。用户输入例如可以是：用户实施所限定的注视姿势或手势或者发出语音指令。例如，如果用户在一定时间段内注视着他的脚，则可以进行适配。依据用户输入，可以非常轻易地查明何时应该对显示进行适配，使得不需要计算花费高的分析。同时，该解决方案具有如下优点：用户自己决定他希望何时对显示进行适配，也就是说用户不用面对他可能不需要的适配。

按照本发明的一个方面，辅助导航显示是朝着目的地方向的临时导航路径、罗盘或方向箭头。如果替代路径而只是根据情况显示导航信息，则该方案特别有利。通过根据情况的信息，避免了对不必要的信息的显示，同时也不需要对路径不断进行适配。例如，可以只在相对应的拐角或转弯处通过弯曲的路径来勾画出拐弯。如果用户应该会迷失方向，则该用户例如可以通过用户输入来使临时路径显现。该临时路径图解说明了到下一个导航情况所要走过的路线，但是在一定时间之后再次被淡出。替代临时路径，也可以淡入一种罗盘，该罗盘指向下一个导航情况的方向。

按照本发明的一个方面，辅助导航显示是具有方向特性的视觉信号。该解决方案具有如下优点：借助于方向特性来传达的方向说明被用户直观地领会。例如，可以使在一只眼睛或双眼或者屏幕段上的屏幕短暂闪烁，通过该闪烁来传达所需的转身方向或走动方向。该闪烁可以传达相对粗略的方向说明，例如仅仅是向左和向右之间的区分。但是，该闪烁也可以更精细地定位，以便做出更精确的方向说明，直至一种针对双眼的立体闪烁为止，该立体闪烁使人觉得是在空间上定位。

按照本发明的一个方面，真实周围环境中的通过增强现实仪器可增强的区域被分成分区，其中静态导航显示是从第一分区出发的朝着目的地方向的导航路径。现在检测用户从第一分区变换到第二分区。然后，使从第一分区出发的导航路径淡出并且使从第二分区出发的导航路径淡入。在该解决方案中，可增强的区域被分成固定大小的部分或分区，即所谓的图块。现在显示导航路径，该导航路径是静态的并且与周围环境固定地连接，也就是说起点和终点是固定的。如果观察者离开一个图块并且进入下一个图块，则使当前的导航路径淡出。这可以在有动画或者没有动画的情况下进行，例如可以使当前的导航路径越来越透明。在从旧图块出发的导航路径淡出期间，计算并且淡入针对新图块的导航路径。在此有意义的是：在任何时候都看不到两条等效路径，以便避免混淆。在呈现新导航路径之前，旧导航路径首先被淡出得很远。该方案的优点是：用户不可能远离导航路径到发生可识别性问题的程度，但是同时也不发生对路径的不断的、令人烦扰的适配。

按照本发明的一个方面，仅仅在第一分区与中间目的地之间的导航路径被淡出而在第二分区与中间目的地之间的导航路径被淡入。因为在中间目的地与目的地之间的路径被保留，所以该解决方案将对导航路径的适配缩小到比较小的部分上。以这种方式，对路径的适配对于用户来说不那么显眼并且因而不那么令人烦扰。

特别有利地，在移动增强现实仪器中、例如在增强现实眼镜中、在增强现实智能电话中或者在增强现实平板电脑中使用按照本发明的方法或按照本发明的设备。

附图说明

本发明的其它特征结合附图从随后的描述以及附上的权利要求书中可见。

图1示意性地示出了增强现实眼镜；

图2示意性地示出了在移动增强现实仪器上的固定地定位于世界中的静态导航路径；

图3示出了在用户与导航路径的距离远的情况下固定地定位于世界中的静态导航路径；

图4示意性地示出了用于控制用户的移动增强现实仪器的显示的方法；

图5示意性地示出了用于控制用户的移动增强现实仪器的显示的设备的第一实施方式；

图6示意性地示出了用于控制用户的移动增强现实仪器的显示的设备的第二实施方式；

图7以拐弯路径为例示出了对导航信息的根据情况的显示；

图8以罗盘为例示出了对辅助导航显示的显示；

图9以视觉提示为例示出了对辅助导航显示的显示；

图10示意性地图解说明了用于生成经适配的静态导航显示的方案，该经适配的静态导航显示基于将可增强的区域分成分区；

图11示意性地图解说明了对图10中的方案的扩展，其中仅重新呈现了导航路径的部分区段；以及

图12示意性地示出了用于生成经适配的静态导航显示的方法。

具体实施方式

为了更好地理解本发明的原理，随后依据附图更详细地阐述了本发明的实施方式。易于理解的是：本发明并不限于这些实施方式而且所描述的特征也可以组合或者修改，而不脱离本发明的保护范围，如该保护范围在附上的权利要求书中限定的那样。

图1示意性地示出了增强现实眼镜，作为移动增强现实仪器1的示例。增强现实眼镜1具有摄像机2，用于检测增强现实眼镜1的周围环境的周围环境数据。借助于姿态确定装置3，可以确定增强现实眼镜1的姿态，例如依据周围环境数据来确定增强现实眼镜1的姿态。图形单元4根据所确定的姿态来生成增强现实眼镜1的显示。为此，姿态确定装置3和图形单元4可以彼此交换数据。如在本例中所示，姿态确定装置3和图形单元4可以是增强现实眼镜1的组成部分。但是，该姿态确定装置和该图形单元也可以作为外部设备经由接口5来与增强现实眼镜1连接。由图形单元4生成的显示通过投影单元6来被淡入。在图1的示例中，使用单眼显示器，也就是说只在用户的一只眼睛前面布置显示器。当前描述的解决方案当然也可以利用如下增强现实眼镜1来实现，该增强现实眼镜具有如下双眼显示器，其中对于每只眼睛来说都使用显示器，或者该增强现实眼镜具有如下双眼显示器，其中针对两只眼睛使用共同的显示器。

图2示意性地示出了在移动增强现实仪器1上的固定地定位于世界中的静态导航路径41。在该示例中，增强现实仪器1是平板电脑。在平板电脑的显示器上显示由平板电脑的摄像机所拍摄的周围环境。该周围环境被导航路径41叠加，该导航路径以风格化的脚印为形式被呈现。因为用户紧挨着导航路径41，所以能良好地识别出脚印。

图3示出了在用户与导航路径41的距离较远的情况下固定地定位于世界中的静态导航路径41。如前所述，增强现实仪器1是平板电脑，在该平板电脑的显示器上显示由平板电脑的摄像机所拍摄的周围环境。这里也显示以风格化的脚印为形式的导航路径41。不过，由于用户与导航路径41的距离远，该导航路径在显示器上仍几乎无法识别。

图4示意性地示出了用于控制用户的移动增强现实仪器的显示的方法。首先，生成10针对位置固定地位于真实周围环境中的目的地的静态导航显示。如果现在检测11到需要对移动增强现实仪器的显示进行适配的情况，则生成12与该情况适配的静态导航显示或者辅助导航显示。可以基于用户输入来检测需要对移动增强现实仪器的显示进行适配的情况。用户输入例如可以是：用户实施所限定的注视姿势或手势或者发出语音指令。辅助导航显示例如可以是朝着目的地方向的临时导航路径、罗盘、方向箭头或者具有方向特性的视觉信号。

图5示意性地示出了用于控制用户的移动增强现实仪器1的显示的设备20的第一实施方式。设备20具有输入端21，经由该输入端，例如可以接收关于增强现实仪器1的用户的位置和视线方向的数据。设备20还具有图形生成器22，用于生成针对位置固定地位于真实周围环境中的目的地的静态导航显示。借助于传感装置23，可以检测需要对移动增强现实仪器1的显示进行适配的情况。传感装置23例如可以基于用户输入来检测需要对移动增强现实仪器的显示进行适配的情况。用户输入例如可以是：用户实施所限定的注视姿势或手势或者发出语音指令。如果传感装置23检测到需要对移动增强现实仪器1的显示进行适配的情况，则图形生成器22生成与该情况适配的静态导航显示或者辅助导航显示。辅助导航显示例如可以是朝着目的地方向的临时导航路径、罗盘、方向箭头或者具有方向特性的视觉信号。经由设备20的输出端26，将经适配的静态导航显示或者辅助导航显示输出给增强现实仪器1。

图形生成器22和传感装置23可以由监控单元24来控制。必要时，经由用户界面27可以改变图形生成器22、传感装置23或者监控单元24的设置。在设备20中累积的数据可以在需要时被存放在设备20的存储器25中，例如为了稍后的分析或为了由设备20的组件来使用而被存放在设备20的存储器25中。图形生成器22、传感装置23以及监控单元24可以被实现为专用硬件，例如被实现为集成电路。但是，它们当然也可以部分地或者完全地组合或者被实现为在适当的处理器上、例如在GPU或CPU上运行的软件。输入端21和输出端26可以实现为分开的接口或者可以实现为组合式双向接口。在所描述的示例中，设备20是独立组件。但是，该设备20同样可以集成在增强现实显示器设备1中或者集成在用于操控增强现实显示器设备1的计算单元中。

图6示意性地示出了用于控制用户的移动增强现实仪器的显示的设备30的第二实施方式。设备30具有处理器32和存储器31。例如，设备30是计算机或移动计算单元、例如平板电脑或智能电话。在存储器31中存放有指令，所述指令在由处理器32实施时促使设备30实施按照所描述的方法之一的步骤。因此，存放在存储器31中的指令表现为能通过处理器32实施的程序，该程序实现了按照本发明的方法。设备30具有用于接收信息的输入端33。由处理器32生成的数据经由输出端34来被提供。这些数据还可以被存放在存储器31中。输入端33和输出端34可以组合成双向接口。

处理器32可包括一个或多个处理器单元，例如微处理器、数字信号处理器或者它们的组合。

所描述的实施方式的存储器25、31不仅可具有易失性存储区而且可具有非易失性存储区，而且可包括各种各样的存储设备和存储介质，例如硬盘、光学存储介质或者半导体存储器。

图7以拐弯路径为例示出了对导航信息的根据情况的显示。在该示例中，静态导航显示41不是由路径组成，而是仅仅由根据情况的导航信息、这里是在所涉及到的拐角或转弯处的弯曲的拐弯路径组成。由此，避免了对不必要的信息的显示。如果用户应该会迷失方向，则该用户例如可以通过用户输入来使临时路径显现，作为辅助导航显示。该临时路径图解说明了到下一个导航情况所要走过的路线，但是在一定时间之后再次被淡出。临时显示的导航路径例如可以以碎片化显示的形式短暂地完整地显现。替选地，该临时显示的导航路径可以以所勾画出的从观察者出发朝着下一个导航点的方向的波的形式来被显示。在此，该波可以通过同时呈现的碎片的速度、大小、位置和数目来被参数化。

图8以罗盘为例示出了对辅助导航显示42的显示。基于用户输入，淡入辅助导航显示42，在该示例中是罗盘，该罗盘位于用户的脚周围并且指向下一个导航情况的方向。对于这种辅助导航显示42来说，有意义的是：用户输入是用户在一定时间段内注视着他的脚。一旦用户将视线从他的脚移开，就可以再次使辅助导航显示42淡出。

图9以视觉提示为例示出了对辅助导航显示42的显示。左侧示出了针对用户的左眼的显示，右侧示出了针对右眼的显示。所需的转身方向或者走动方向通过在一只眼睛或双眼或者屏幕段上的屏幕来被传达，这通过所呈现的星形来勾画出。例如可以以被显示几毫秒或几帧的光信号的形式进行闪烁。通过该闪烁可以传达相对粗略的方向说明，例如仅仅是向左和向右之间的区分。在图9中的示例中，传达向左转身。但是，视觉提示也可以更精细地定位，以便做出更精确的方向说明，直至针对双眼的在空间上定位的视觉提示。

图10示意性地图解说明了用于生成经适配的静态导航显示的方案。在此，可增强的区域被分成固定大小的部分或分区，即所谓的图块。现在，显示从与用户的第一位置44相对应的图块直至目的地40的导航路径41，该导航路径是静态的并且与周围环境固定地连接，也就是说起点和终点是固定的。如果用户从第一位置44变换到对应于另一图块的第二位置45，则使当前的导航路径41淡出，这通过线间距大的虚线来被勾画出。这可以在有动画或者没有动画的情况下进行，例如可以使当前的导航路径41越来越透明。在从旧图块出发的导航路径淡出期间，计算并且淡入针对新图块的导航路径41，这通过线间距小的虚线来被勾画出。在此有意义的是：在任何时候都看不到两条等效路径，以便避免混淆。在呈现新导航路径41之前，旧导航路径41首先被淡出得很远。

图11示意性地图解说明了对图10中的方案的扩展。在该扩展的情况下，不是整个旧导航路径41都被新导航路径41替换，更确切地说使用中间目的地43。在此，导航路径的从中间目的地43到目的地的部分区段保留。只有导航路径41的在与用户的第一位置44、45相对应的图块直至中间目的地43之间的部分区段被重新呈现。

图12示意性地示出了用于生成经适配的静态导航显示的方法，该方法基于将可增强的区域分成分区。在此，静态导航显示是从第一分区出发的朝着目的地方向的导航路径。现在检测50用户从第一分区变换到第二分区。然后，使从第一分区出发的导航路径淡出51。同时或者紧接着，使从第二分区出发的导航路径淡入52。在此，也可以规定：仅重新呈现导航路径的直至中间目的地为止的部分。

附图标记列表

1 增强现实仪器

2 摄像机

3 接口

4 姿态确定装置

5 图形单元

6 投影单元

10 生成静态导航显示

11 检测需要对显示进行适配的情况

12 生成经适配的静态导航显示或者辅助导航显示

20 设备

21 输入端

22 图形生成器

23 传感装置

24 监控单元

25 存储器

26 输出端

27 用户界面

30 设备

31 存储器

32 处理器

33 输入端

34 输出端

40 目的地

41 静态导航显示

42 辅助导航显示

43 中间目的地

44 第一位置

45 第二位置

50 检测从第一分区到第二分区的变换

51 使从第一分区出发的导航路径淡出

52 使从第二分区出发的导航路径淡入