在增强现实(AR)和虚拟现实(VR)中在有形对象上建立和使用虚拟资产

摘要

一种方法，包括标识有形对象；以用户可见的方式在所述有形对象上建立虚拟覆盖物；检测所述用户与建立在所述有形对象上的所述虚拟覆盖物的交互；以及使用所述用户与所述虚拟覆盖物的交互作为到基于处理器的系统的输入的基础。一种系统包括显示器和与所述显示器通信的基于处理器的设备。还提供了一种存储一个或多个计算机程序的存储介质。

说明书

相关申请的交叉引用

本申请是2020年2月5日提交的名称为“ESTABLISHING AND USING VIRTUALASSETS ON TANGIBLE OBJECTS IN AUGMENTED REALITY(AR)AND VIRTUAL REALITY(VR)”的美国专利申请No.16/783,070的继续申请并要求其权益，该美国专利申请要求2019年3月22日提交的名称为“ESTABLISHING AND USING VIRTUAL ASSETS ON TANGIBLE OBJECTS INAUGMENTED REALITY(AR)AND VIRTUAL REALITY(VR)”的美国临时专利申请No.62/822,712的权益，这两项申请的全部内容和公开内容均据此全文以引用方式完全并入本文。

背景技术

1.技术领域

本发明的实施方案整体涉及计算机增强和模拟技术，并且更具体地涉及增强现实(AR)和虚拟现实(VR)技术。

2.相关技术说明

增强现实(AR)是现实世界环境的交互式体验，其中现实视图被计算机生成的信息修改或增强。例如，如智能电话上的相机所看到的现实世界的实时视图可具有添加到其的计算机生成的信息、特征和/或元素。

虚拟现实(VR)是完全沉浸交互式计算机生成的体验。例如，VR头戴式设备可用于让用户沉浸在完全人工模拟的环境中。

混合现实(MR)是AR和VR两者的混合，并且可用于创建允许用户与现实世界中的虚拟对象进行交互的环境。

发明内容

一个实施方案提供了一种方法，包括：标识有形对象；以用户可见的方式在有形对象上建立虚拟覆盖物；检测用户与建立在有形对象上的虚拟覆盖物的交互；以及使用用户与虚拟覆盖物的交互作为到基于处理器的系统的输入的基础。

另一个实施方案提供了一种系统，包括：显示器；以及与显示器通信的基于处理器的设备；其中基于处理器的设备被配置为执行包括以下的步骤：标识有形对象；以在显示器上可见的方式在有形对象上建立虚拟覆盖物；检测用户与建立在有形对象上的虚拟覆盖物的交互；以及使用用户与虚拟覆盖物的交互作为到基于处理器的设备的输入的基础。

另一个实施方案提供了一种存储一个或多个计算机程序的非暂时性计算机可读存储介质，这些计算机程序被配置为使基于处理器的系统执行包括以下的步骤：标识有形对象；以用户可见的方式在有形对象上建立虚拟覆盖物；检测用户与建立在有形对象上的虚拟覆盖物的交互；以及使用用户与虚拟覆盖物的交互作为到基于处理器的系统的输入的基础。

通过参考以下详细描述和附图将获得对本发明各种实施方案的特征和优点的更好理解，这些附图阐述了其中利用本发明的实施方案的原理的说明性实施方案。

附图说明

本发明的实施方案的上述和其他方面、特征和优点将通过结合以下附图呈现的以下对本发明的更具体的描述变得更加明显，在附图中：

图1是示出根据本发明的一些实施方案的查看现实世界场景的装置的图；

图2是示出根据本发明的一些实施方案的方法的流程图；

图3是示出根据本发明的一些实施方案的查看现实世界场景的装置的图；

图4是示出根据本发明的一些实施方案的查看现实世界场景的装置的图；

图5是示出根据本发明的一些实施方案的查看现实世界场景的装置的图；

图6是示出根据本发明的一些实施方案的方法的流程图；并且

图7是示出根据本发明的实施方案的可用于运行、实施和/或执行本文示出和描述的方法、方案和技术中的任一者的基于处理器的设备/系统的框图。

具体实施方式

一些增强现实(AR)系统包括生成包括在现实世界视图中的虚拟用户界面(UI)的能力。类似地，一些虚拟现实(VR)系统包括生成包括在虚拟世界视图中的虚拟UI的能力。然而，此类UI的缺点是没有物理体验，因为用户只是在空中按下键。例如，如果用户的面前投影了电话小键盘，那么在空中按下键并不是很令人满意。

本发明的实施方案中的一些实施方案提供了可用于通过向用户提供用户在与UI交互时可触摸和感觉到的有形和物理对象来改进AR、VR和混合现实(MR)中的UI的方法、系统和技术。使用现实世界中的实际有形和物理对象，因此用户可在他或她的手中握住并感觉到对象的实际几何形状。据信，触摸、握住和感觉有形物理对象的能力提供了更加令人满意的AR、VR和MR体验。

参见图1，示出了根据本发明的实施方案正在操作的系统100。系统100包括具有显示器104和在背侧上的相机(未示出)的智能电话102。

在一些实施方案中，例如，用户可在AR模式下操作智能电话102。用户可决定他或她需要小键盘，诸如用于输入电话号码或用于输入口令或密码以获得对某种类型的安全区域的访问。因此，用户抓取可能在附近的任何有形对象，例如，诸如有形对象108，其在该示例中是书。该书是用户可实际握住的某物。智能电话102的背面上的相机捕获包括有形对象108的现实世界的视图。因此，有形对象108显示在智能电话102的显示器104上。

在一些实施方案中，用户然后通过说出单词“小键盘”来向系统100提供口头命令。单词“小键盘”可包括具有与其相关联的UI的关键词，在这种情况下是小键盘。在一些实施方案中，响应于口头命令，虚拟覆盖物110然后以通过在显示器104上可见而对用户可见的方式建立或投影到有形对象108的表面上。在该示例中，虚拟覆盖物110包括UI，并且特别是小键盘，其为可用于许多不同类型的应用的资产。在有形对象108上建立虚拟覆盖物110创建虚拟小键盘，该虚拟小键盘包括一种类型的虚拟资产。举例来说，小键盘可用作电话的一部分，用于输入电话号码，或用于输入口令或密码，如上所述。但是应当很好地理解，虚拟覆盖物110可包括任何类型的UI、特征或其他虚拟资产。

随着在有形对象108的表面上建立了小键盘虚拟覆盖物110，用户然后能够与有形的某物交互，使得用户可实际握住并感觉到物理对象而不仅仅是在空中按下键。例如，如图所示，用户的手指112的指尖正在触摸现实世界中的有形对象108。如显示器104上所示，用户的手指112正在与建立在有形对象108上的虚拟覆盖物110进行交互。在该示例中，通过触摸有形对象108并查看显示器104，用户能够将电话号码输入到包括虚拟覆盖物110的小键盘中。

在一些实施方案中，包括在智能电话100中的基于处理器的系统检测用户与在有形对象108上建立的虚拟覆盖物110的交互。在一些实施方案中，可通过跟踪用户的手指112来执行检测。在一些实施方案中，可通过使用一个或多个相机(诸如智能电话相机)或任何其他图像捕获或深度感测装置以检测用户的手指112与虚拟覆盖物110的几何形状的相交来执行跟踪。在一些实施方案中，可通过使用声学跟踪或发送以收听用户的手指112在有形对象108上的敲击来执行跟踪。

在一些实施方案中，用户与虚拟覆盖物110的交互被用作到基于处理器的系统的输入的基础，诸如包括在智能电话100中的基于处理器的系统。例如，用户与虚拟覆盖物110的交互可用作到应用程序、程序、过程、模拟等的输入的基础。在所示示例中，用户与虚拟覆盖物110的交互用于输入电话号码，该电话号码用作到例如智能电话102中包括的电话的输入。

参见图2，示出了根据本发明的实施方案的方法200。在一些实施方案中，方法200可由系统100(图1)执行。在一些实施方案中，方法200可由任何其他类型的AR、VR或MR系统执行，诸如采用头戴式设备、眼镜型用户装置、头戴式显示器(HMD)等的系统。

在步骤202中，标识有形对象。有形对象可包括现实世界中的任何有形的物理对象，诸如如上所述的书，或任何其他对象，例如，诸如杯、罐、食物盘或碟、纸垫、木块或塑料块、岩石、砖、桌面、地板、墙壁、纸板或金属盒等。在一些实施方案中，有形对象可包括用户希望诸如虚拟UI或其他特征的虚拟资产出现在其上的任何对象。在一些实施方案中，诸如纸板或塑料道具的简单道具可用于提供具有各种形状和大小的有形对象，这些形状和大小可能适于在AR、VR或MR体验中可能希望或需要的虚拟UI或其他虚拟资产。

在一些实施方案中，有形对象最初可通过用户简单地抓取它或拾取它来标识，诸如上文所描述的。然后可通过一个或多个相机或其他图像捕获装置由基于处理器的系统进一步标识对象。

更具体地，在一些实施方案中，标识有形对象的步骤的一部分还将标识或确定有形对象的几何形状、形状因子、大小、定位和/或位置。进行此类确定的一种方式便于系统使用相机或其他图像捕获装置或传感器来确定对象的几何形状和大小。例如，在一些实施方案中，可以使用诸如深度感测相机的深度感测装置。深度相机、立体相机、深度传感器等可用于确定对象的绝对几何形状、其大小以及对象距用户多远。在一些实施方案中，一个或多个此类相机和/或传感器可被使用并且可以位于用户的头戴式设备、眼镜型用户装置、HMD上，或者AR、VR或MR环境或房间中的其他地方。

在一些实施方案中，确定有形对象的大小、规模和几何形状的另一种方式是将其与已知大小、规模和几何形状的对象一起放置在相机的视野中。即，将已知大小和规模的对象与未知对象一起拍摄，并且将这两个对象在相机前一起举起。系统将已知大小和规模的对象与未知对象进行比较，以确定未知对象的大小和规模。举例来说，在一些实施方案中，系统学习并记住用户的手部大小，然后通过将其他有形对象与用户的手部进行比较来作出判断以确定其他有形对象的大小。

在一些实施方案中，用于标识或确定有形对象的几何形状和大小的另一种方式便于系统使用相机或其他图像捕获装置来识别和/或标识具有已知几何形状和大小的已知对象。一旦对象的几何形状和大小是已知的，它就将在网络中被记住和了解。例如，标准十二盎司汽水罐具有已知的大小和几何形状，并且容易被识别。一旦它在网络中被了解并学习，系统就可以检索其尺寸和几何形状，作为确定其相对于用户的定位和深度的一部分。

在一些实施方案中，可以使用有形对象的自动标识。例如，系统可使用相机或其他图像捕获装置来扫描空间，诸如整个房间，以标识许多不同的有形对象。一些对象已经具有已知的大小和规模，例如，诸如如上所述的汽水罐，以及流行的消费产品和装置，诸如智能手机、平板计算机等。系统可首先识别或标识具有已知大小和规模的那些对象。然后将已知对象与未知对象进行比较以确定未知对象的大小、规模和几何形状。因此，在一些实施方案中，通过用相机扫描房间中的每件事物然后将未知对象与已知对象进行比较来确定房间中所有对象的大小。这样，系统可使用自动标识来对房间中的许多或甚至所有对象进行预缩放。

再次参见图2，在步骤204中，以用户可见的方式在有形对象上建立虚拟覆盖物。在有形对象上建立虚拟覆盖物会创建虚拟资产。在一些实施方案中，虚拟覆盖物可包括用户界面(UI)，其可包括任何类型的UI，例如，诸如如上所述的计算器、键盘、小键盘等。虚拟覆盖物通过在诸如智能电话、平板计算机、头戴式设备、眼镜型用户装置、HMD等的装置的显示器上可见而对用户可见。通过将界面建立或投影到用户可能已经拾取或在附近的某物(例如，墙)的表面上，用户能够与UI交互，该UI对于用户来说看起来附接到具有特定形状因子并且用户可以物理地感觉到的对象。即，当用户与对象或其他有形表面上的虚拟UI交互时，用户可感觉到有形对象和形状因子。

在一些实施方案中，响应于来自用户的命令，在有形对象上建立虚拟覆盖物。举例来说，来自用户的命令可以包括音频命令，诸如口头命令或口语命令。在一些实施方案中，来自用户的命令还指定或确定虚拟覆盖物的配置或目的。例如，来自用户的命令可指定虚拟覆盖物包括特定类型的UI，诸如上文提到的UI中的任一者。

作为示例，用户可能正在使用AR、VR或MR系统并且正在体验AR、VR或MR环境。当沉浸在该环境中时，用户可能会从现实世界中拾取某物，诸如任何类型的有形物理对象，并且用户可能希望该对象是虚拟环境中的电话。用户说出单词“电话”，并且响应于该口头命令，系统通过投影或映射将虚拟电话界面建立到对象的表面上。对象可以是任何事物，诸如砖、木块或桌面表面。虚拟界面被建立到对象包括的任何形状因子上。

在一些实施方案中，在有形对象上建立虚拟覆盖物包括缩放虚拟覆盖物以适合有形对象。具体地，如上所述，系统首先检测、标识和/或识别用户已经拾取的有形对象。还如上所述，系统然后算出或确定对象的大小、规模、形状因子和/或几何形状。例如，如果对象是盒，则系统诸如通过使用深度相机来确定边缘所在的位置。

取决于有形对象的大小和几何形状，系统可能必须缩放虚拟覆盖物以便其正确地适合对象。例如，如果虚拟覆盖物包括大于对象表面的类型的UI，则系统可缩放虚拟UI以使其更小，以便正确地适合对象。或者，如果虚拟覆盖物包括形状为大致正方形的类型的UI，并且对象的表面的形状为大致矩形，则系统可诸如通过重新配置来缩放虚拟UI以使其为大致矩形以便正确地适合对象。并且作为另一个示例，系统可将虚拟UI、资产或其他特征缩放到有形对象的几何形状和大小，使得它对用户而言看起来和感觉起来是正确的并且不存在用户感知到的尴尬或断开。

参见图3，示出了根据本发明的实施方案的缩放虚拟覆盖物以适合有形对象的示例。具体地，示出了根据本发明的实施方案正在操作的系统300。系统300包括具有显示器304和在背侧上的相机(未示出)的智能电话302。

在该示例中，用户正在AR模式下操作智能电话302。类似于上文结合图1讨论的示例，用户已经决定他或她需要小键盘，诸如用于输入电话号码或用于输入口令或密码以获得对某种类型的安全区域的访问。因此，用户已经拾取或以其他方式获得有形对象308，在该示例中，该有形对象恰好包括迷你条形音箱(一种类型的消费电子装置)。智能电话302的背面上的相机捕获包括有形对象308的现实世界的视图。因此，有形对象308显示在智能电话302的显示器304上。

用户希望在有形对象308的表面上建立小键盘UI。鉴于有形对象308包括条形音箱，也许条形音箱的背面为小键盘提供更平滑的表面。用户可选择他或她偏好的任何表面。在一些实施方案中，用户然后通过说出单词“小键盘”来向系统300提供口头命令。单词“小键盘”可包括具有与其相关联的UI的关键词，在这种情况下是小键盘。在一些实施方案中，响应于口头命令，虚拟覆盖物310然后以通过在显示器304上可见而对用户可见的方式建立或投影到有形对象308的表面上。

然而，与上文结合图1讨论的示例不同，有形对象308的表面的形状是矩形，而不是像典型的十二键小键盘那样更呈正方形。因此，根据本发明的实施方案，包括虚拟覆盖物310的小键盘被缩放以便正确地适合有形对象308的矩形表面。在该示例中，缩放包括重新配置小键盘上键的排列，使得其包括两排六个键，而不是更典型的四排三个键。通过缩放小键盘以包括两行六个键，虚拟覆盖物310更好地适合于有形对象308的矩形表面。缩放还可包括使键更小或更大，以便使它们全部适合有形对象308的表面。应当很好地理解，虚拟覆盖物310可包括任何类型的UI或其他特征，并且在一些实施方案中，缩放可包括增加或减小其大小、重新配置或重新排列其输入和/或输出、修改或改变其颜色以便于更好的匹配等。

在有形对象308的表面上建立虚拟覆盖物310创建虚拟小键盘，该虚拟小键盘包括一种类型的虚拟资产。随着已经在有形对象308的表面上缩放和建立了小键盘虚拟覆盖物310，用户能够与有形的某物交互，使得用户可实际握住并感觉到物理对象而不仅仅是在空中按下键。如图所示，用户的手指312的指尖正在触摸现实世界中的有形对象308。如显示器304上所示，用户的手指312正在与建立在有形对象308上的虚拟覆盖物310进行交互。通过触摸有形对象308并查看显示器304，用户能够将诸如电话号码的号码输入到包括虚拟覆盖物310的小键盘中。

在一些实施方案中，缩放虚拟覆盖物以适合有形对象可在有形对象上建立虚拟覆盖物期间自动发生。例如，当用户说出单词“小键盘”时，该口头命令被包括在智能电话302中的基于处理器的系统听到并接收。响应于口头命令或关键词“小键盘”，系统开始在有形对象308上建立虚拟覆盖物310的过程。作为该过程的一部分，系统自动考虑有形对象308的几何形状和大小并识别虚拟覆盖物310的小键盘将需要被缩放以便其适合有形对象308。因此，作为在有形对象308上建立虚拟覆盖物310的过程的一部分，系统自动执行此类缩放。利用该自动缩放特征，系统可调整虚拟UI的大小、重新配置和/或重新排列虚拟UI以适合任何大小的有形对象。

因此，在一些实施方案中，用户握住有形对象，然后说出关键词或命令，并且作为响应，系统自动将虚拟覆盖物(诸如UI)缩放到或用于有形对象以使其正确地适合有形对象。自动缩放特征可用于自动形成许多不同类型、形状和大小的虚拟UI，并且其他虚拟特征适合于许多不同类型、形状和大小的有形对象的表面上。这允许用户拾取任何有形对象以用于虚拟资产，因为自动缩放将自动缩放资产，诸如UI，以适合于对象上。

例如，正在体验AR、VR或MR环境的用户可能希望在该环境中使用计算器。标准计算器将通常适合矩形的书。但是如果用户拾取具有正方形表面的有形对象，则系统将自动缩放虚拟计算器界面以适合对象的正方形表面。因此，利用自动缩放特征，用户在为UI选择有形对象方面具有很大的灵活性，因为系统可自动缩放以将虚拟覆盖物与任何大小的对象相关联。

在一些实施方案中，在实现自动缩放特征时，系统使用并考虑有形对象的几何形状、形状和/或大小，在一些实施方案中，可以在如上所述的有形对象的标识期间确定该几何形状、形状和/或大小。系统定义被拾取的对象的纵横比，然后通过自动缩放以正确地适合对象来将虚拟UI与对象匹配。此外，在一些实施方案中，当用户四处移动有形对象时，系统自动且连续地重新缩放虚拟覆盖物以在有形对象的各种不同位置适合该有形对象，使得该有形对象在通过AR、VR或MR装置查看时继续看起来是正确的。即，系统诸如通过调整大小或重新配置来动态地重新缩放虚拟覆盖物，以便在现实世界中的有形对象四处移动时继续适合该有形对象。在一些实施方案中，可以说，系统动态地重新缩放虚拟世界中的虚拟覆盖物以适合现实世界中的有形对象。当有形对象在现实世界中四处移动时，此类动态重新缩放保持虚拟覆盖物适当地投影和建立在该有形对象上。在一些实施方案中，此类动态重新缩放通过以下方式来实现：在有形对象移动时跟踪其取向，然后重新缩放以保持每件事物正确地取向，使得虚拟覆盖物(诸如虚拟UI)在有形的真实对象移动时保留在其上。

因此，在一些实施方案中，系统自动将虚拟资产缩放到有形对象的几何形状。并且在一些实施方案中，系统诸如通过调整大小或重新配置来自动继续将虚拟资产动态地重新缩放到有形对象的几何形状。

在一些实施方案中，在有形对象上建立虚拟覆盖物包括将有形对象上的一个或多个有形输入机构映射到虚拟覆盖物上的一个或多个虚拟输入装置。具体地，可被拾取和/或以其他方式对用户可用的有形对象中的一些有形对象包括有形键、开关和/或其他输入机构。例如，电视遥控器、固定电话、计算器、车库开门器、汽车钥匙扣、QWERTY键盘、微波炉控制面板等，全部包括有形键、开关和/或其他输入机构。在一些实施方案中，系统检测到有形对象在其上具有物理键和/或开关，并且将那些物理键和/或开关映射到虚拟资产上的虚拟键或其他虚拟输入装置。系统然后检测到用户已按下有形对象上的有形键中的一个有形键，并将其等同于激活虚拟资产上的对应映射虚拟输入装置。这允许用户在与用户的AR或VR显示器上显示的虚拟UI交互时感觉到并按下有形物理键。此外，这样，可通过映射键来将有形的真实装置(诸如电视遥控器)形成为其他某物，如计算器等。

参见图4，示出了根据本发明的实施方案的将有形输入机构映射到虚拟输入机构的示例。具体地，示出了根据本发明的实施方案正在操作的系统400。系统400包括具有显示器404和在背侧上的相机(未示出)的智能电话402。

在该示例中，用户正在AR模式下操作智能电话402。用户已决定他或她需要计算器来进行涉及数字pi(π)的一些计算，该数字约等于3.14159。因此，用户已拾取或以其他方式获得现实世界中的有形对象408，在该示例中其包括电视(TV)遥控器。智能电话402的背面上的相机捕获包括有形对象408的现实世界的视图。因此，有形对象408显示在智能电话402的显示器404上。

用户希望在有形对象408上建立虚拟计算器并将其显示在显示器404上。因此，在一些实施方案中，用户通过说出单词“计算器”来向系统400提供口头命令。单词“计算器”包括关键词，该关键词具有与其相关联的计算器UI。在一些实施方案中，响应于口头命令，虚拟覆盖物410然后以通过在显示器404上可见而对用户可见的方式建立或投影到有形对象408的表面上。即，包括一种类型的虚拟资产的虚拟计算器在显示器404上变得可见。

因为有形对象408包括电视遥控器，所以它包括若干有形的、物理的和真实的输入键。在一些实施方案中，作为在有形对象408上建立虚拟覆盖物410的过程的一部分，系统将电视遥控器的有形的、物理的和真实的输入键中的一者或多者映射到显示在显示器404上并且为虚拟计算器所需的虚拟输入。例如，如图所示，已经建立了以下键映射：

电视遥控器上的数字键1-9和0已被映射到虚拟计算器上的数字键1-9和0。

电视遥控器上的“输入”键已被映射到虚拟计算器上的小数点(即，“.”)键。

电视遥控器上的“VOL+”、“VOL-”、“CH+”和“CH-”键已分别被映射到虚拟计算器上的“÷”、“+”、“x”和“-”键。

电视遥控器上的“导航”和“静音”键已分别被映射到虚拟计算器上的“＝”和“清除”键。

此外，在一些实施方案中，有形对象上的有形的、物理的和真实的输入键中的一者或多者可在虚拟覆盖物中诸如通过被覆盖或遮蔽而完全消除，或者可被不同的资产或特征替换。例如，如图所示，已经建立了以下替换：

电视遥控器上的“电源”键已被虚拟计算器上的输出显示屏幕414替换。

随着已经在有形对象408上建立了计算器虚拟覆盖物410，电视遥控器已经通过映射键被形成为其他某物，即虚拟计算器。此外，用户能够与有形的某物交互，使得用户可实际握住并感觉到物理对象而不仅仅是在空中按下键。如图所示，用户的手指412的指尖正在触摸现实世界中的电视遥控器上的“VOL+”键。但是如显示器404上所示，用户的手指412正在触摸建立在有形对象408上的虚拟计算器上的“÷”键。通过触摸现实世界中的有形对象408并查看显示器404，用户能够与包括虚拟覆盖物410并且显示在显示器404上的虚拟计算器交互。

因此，如图所示，本发明的实施方案中的一些实施方案提供了有形的真实对象上的键和其他输入机构到虚拟资产(诸如虚拟界面)上的虚拟输入的映射。在一些实施方案中，此类映射作为在有形对象上建立虚拟覆盖物的一部分而自动执行。例如，在一些实施方案中，系统使用相机或其他图像捕获装置来标识有形对象的键布局。在一些实施方案中，系统识别有形对象并且已经知道其界面的布局，诸如其键布局。系统然后可以确定它是否可以将真实的有形对象的键布局映射到虚拟资产的键布局。即，系统可以确定布局是否足够相似以便被映射。如果是，则系统继续进行映射。例如，系统识别某物(如电视遥控器或微波炉小键盘)的键布局，然后系统将这些物理键映射到虚拟资产，诸如虚拟UI。因此，用户可按下有形的、真实的、物理的键并与之交互，并且激活显示在用户的AR、VR或MR显示器上的虚拟资产上的某物。

在现实世界中的有形对象包括具有有形键或其他输入机构的电子装置(诸如电视遥控器、微波炉小键盘、固定电话等)的场景中，优选的是，有形对象和任何相关联的装置在其键用于控制虚拟资产时被断电并保持断电。例如，如果对应于图4所示的电视遥控器的电视在电视遥控器的键被用来控制显示在显示器404上的虚拟计算器时被通电，则当用户按下键以与虚拟计算器进行交互时，电视将不断且随机地改变频道和音量。电视附近的其他人可能发现这是令人讨厌的。

在一些实施方案中，作为标识或识别现实世界中的有形对象的键界面布局的一部分，系统还标识或确定该对象和任何相关联的装置是通电还是断电。如果对象通电，则用户可能偏好不与其交互。并且如果对象断电，则优选的是采取步骤来防止对象在用户与其交互时被通电。例如，只要用户不按下电视的电源键，就可以与电视遥控器进行交互。

在一些实施方案中，系统通过例如以下方式来禁用有形对象上的任何电源键：不将它们映射到虚拟资产上的任何事物并且不在虚拟资产上显示它们。即，系统不在虚拟覆盖物中显示电源键，使得用户不会接通现实世界中的实际装置。在一些实施方案中，系统将电源键替换为虚拟资产中用户不需要触摸的某物。例如，如图4所示，电视遥控器上的“电源”键已被虚拟计算器上的输出显示屏幕414替换。即，虚拟覆盖物410用输出显示屏幕414覆盖“电源”键。输出显示屏幕414不是用户需要触摸的某物，并且因此用户很可能不会意外地使电视通电。

因此，在一些实施方案中，系统决定映射某些键而不映射其他键。例如，微波炉小键盘上的电源/启动键可通过不将其映射到虚拟资产上的任何事物而被禁用。因此，用户可与微波炉上的计时器交互，但他或她无法接通微波炉，因为启动/电源键未映射或显示在虚拟资产上。即，在一些实施方案中，系统自动映射键，因此用户不能接通现实世界中的装置，这避免了用户意外地使装置通电。当系统映射键时，其认为电源或启动键不应被映射，并且可能甚至应被隐藏，使得用户不会意外地接通装置。例如，这可通过以下方式来完成：隐藏电源键或使其看起来不像虚拟资产上的键，这避免用户按下电源键。因此，在一些实施方案中，系统小心地选择键映射。

再次参见图2，在步骤206中，检测用户与建立在有形对象上的虚拟覆盖物的交互。例如，在该步骤中，系统检测用户与虚拟资产(诸如虚拟UI)的交互。在一些实施方案中，检测用户与虚拟覆盖物的交互包括检测用户的一部分与虚拟覆盖物的几何形状的相交。举例来说，用户与虚拟覆盖物的交互将通常通过检测用户的手指与虚拟覆盖物的几何形状的相交来检测。如上文所讨论的，在一些实施方案中，可通过跟踪用户的手指来执行检测。在一些实施方案中，可通过使用一个或多个相机或其他图像捕获或深度感测装置来执行跟踪。相机用于检测用户的手指与虚拟覆盖物的几何形状的相交。

更具体地，在一些实施方案中，使用一个或多个深度相机来确定用户的手指的几何形状和虚拟覆盖物是否已相交。深度相机或其他深度感测装置或传感器用于相对于虚拟资产上的特定点对用户的手指进行深度测量，该深度测量用于确定两个项目的几何形状是否已相交。即，深度相机用于确定用户的手指是否在与虚拟资产上的输入相对应的特定定位处触摸了有形对象，即它们的几何形状是否已相交。这样，检测到用户与虚拟资产(诸如虚拟UI)的交互。

在一些实施方案中，声学感测或跟踪用于检测用户与虚拟覆盖物的交互。即，可使用声学感测或跟踪来检测用户的手指与虚拟覆盖物的交互。例如，系统可收听用户的手指在有形对象上的触摸、接触或轻击。或者，系统可收听有形对象上的键(或其他输入机构)在被按下时发出的声音。

例如，普通的可伸缩圆珠笔在其一端处包括键，用于伸出然后缩回墨盒。键在被按下时发出独特的“咔哒”声。声学感测可用于收听独特的咔哒声。检测到咔哒声指示键已被按下。

下面的示例说明了在本发明的实施方案中声学感测的使用，以及上述其他技术中的若干技术。参见图5，示出了全部根据本发明的实施方案以用户可见的方式在有形对象上建立虚拟覆盖物以及将有形输入机构映射到虚拟输入机构的另一个示例。具体地，示出了根据本发明的实施方案正在操作的系统500。系统500包括具有显示器504和在背侧上的相机(未示出)的智能电话502。

在该示例中，用户正在AR模式下操作智能电话502。用户已决定他或她需要虚拟喷漆器来创建一些虚拟涂鸦。因此，用户已拾取或以其他方式获得现实世界中的有形对象508，在该示例中其包括普通的可伸缩圆珠笔。笔在其一端处包括键516，用于伸出然后缩回墨盒。如上文所讨论的，键在被按下时发出独特的“咔哒”声。智能电话502的背面上的相机捕获包括有形对象508的现实世界的视图。

用户希望在有形对象508上建立虚拟喷漆器并将其显示在显示器504上。因此，在一些实施方案中，用户通过说出单词“喷漆器”或类似的话来向系统500提供口头命令。这些单词包括关键短语，并且在一些实施方案中，响应于口头命令，虚拟覆盖物510然后以通过在显示器504上可见而对用户可见的方式建立或投影到有形对象508上。即，虚拟喷漆器在显示器504上变得可见。

在该示例中，在有形对象508上建立的虚拟覆盖物510相当精细。也就是说，虚拟覆盖物510包括覆盖除键516之外的所有圆珠笔的增强手柄部分518。虚拟覆盖物510还包括连接到手柄部分518的喷嘴部分522，以及油漆罐520。软管524也连接到手柄部分518。因此，即使有形对象508在智能电话502上的相机的视野中，大部分有形对象508仍被虚拟覆盖物510覆盖，并且因此，除了键516之外，大部分圆珠笔在显示器504上不可见。相反，可见的是已经覆盖在圆珠笔(即，有形对象508)上、投影在其上和/或围绕其形成的虚拟喷漆器。

因此，用户可在现实世界中以他或她的握持来抓住有形圆珠笔，并且出现在显示器504上的是用户的手握着喷漆器。通过在现实世界中抓住圆珠笔，用户感觉就像他或她实际上握着喷漆器。当然，喷漆器是虚拟资产，并且在现实世界中实际上不存在。

如上文所讨论的，有形对象508包括有形键516，当它被按下时具有独特的“咔哒”声。咔哒声是清晰而独特的声音，其产生良好的音频或声学触发器。在一些实施方案中，作为在有形对象508上建立虚拟覆盖物510的过程的一部分，系统将有形键516映射为虚拟喷漆器的触发器。即，当用户在现实世界中按下有形键516时，虚拟喷漆器接通并且看起来正在喷漆，如在526处所指示。这是物理笔点击被映射来控制虚拟世界中的某物的示例。

在一些实施方案中，声学感测用于检测用户在现实世界中对有形键516的按压。具体地，传声器，诸如包括在智能电话502中的传声器，听到并拾取键516发出的咔哒声。咔哒声包括音频输入或触发器，其由系统标识，然后用于控制虚拟喷漆器。这样，咔哒声可以用作音频触发器以将输入登记到系统中。即，系统听到键点击的声学输入，然后响应于此做一些事情，这在图示的示例中是触发虚拟喷漆器。咔哒声非常独特，以使得系统能够以非常小的延迟或等待时间做出响应。因此，系统可在发出咔哒声时在正确的时间使某事发生。

代替光学或视觉感测，或者除此之外，还可以使用声学感测来检测键516是否已被按下。例如，在一些实施方案中，系统使用光学或视觉数据来跟踪用户的手指，在该示例中可能包括用户的拇指，以确定用户的拇指是否按下有形对象508上的有形键516。上文描述了此类光学或视觉跟踪，并且这些技术也可用于该示例中。在一些实施方案中，除了视觉跟踪之外，系统还使用声学感测。即，除了视觉跟踪之外，系统还使用其从键点击中听到的音频来确定键516是否已被按下。在此类实施方案中，系统将视觉跟踪输入与声学输入同步以在正确的时间使某事发生，因此在用户按下键和某事被触发之间没有等待时间。例如，输入被同步以防止或减少用户按下键516和虚拟喷漆器被触发之间出现尴尬或马虎的延迟的机率。即，系统尝试将键516的视觉闪光与声学输入同步以在正确的时间在没有延迟或马虎的情况下触发或激活喷漆器。这样，除了视觉跟踪用户的手指(在该示例中最有可能包括用户的拇指)之外，还可以使用声学感测。

应当很好地理解，虚拟喷漆器只是一个示例应用程序，其可利用圆珠笔及其键的独特咔哒声。并且圆珠笔只是具有输入机构的有形对象的一个示例，该输入机构可以通过声学感测来感测。存在许多其他类型的应用程序，其可使用声学感测来检测用户的交互以及与许多其他类型的有形对象的交互。例如，可伸缩圆珠笔或一些其他有形对象上键的声音可用作例如游戏节目的虚拟蜂鸣器、一种类型的虚拟雷管等。即，键可被映射到那些项目，并且键的按压可根据键的声音在声学上被感测到和/或通过视觉跟踪在视觉上被感测到。

在一些实施方案中，系统可使用加速度计数据来检测用户与现实世界中的有形对象的交互。与视觉和声学数据类似，此类加速度计数据可用作到虚拟资产的虚拟输入的基础。因此，在本发明的各种实施方案中，系统使用视觉数据、音频数据、加速度计数据或它们的任何组合来检测用户已经与有形对象交互，诸如通过触摸处于特定定位的对象或通过按下键，这些交互然后被用作到虚拟资产的输入的基础。

再次参见图2，在步骤208中，用户与虚拟覆盖物的交互被用作到基于处理器的系统的输入的基础。基于处理器的系统可包括任何类型的基于处理器的系统，包括任何类型的AR、VR或MR类型系统，诸如包括在智能电话、平板计算机、笔记本计算机、台式计算机等中的基于处理器的系统。举例来说，用户与虚拟覆盖物的交互可用作到应用程序、程序、过程、模拟等的输入的基础。在上述示例中，用户与各种不同虚拟覆盖物的交互被用作到虚拟喷漆器应用程序或程序、虚拟计算器应用程序或程序以及虚拟电话应用程序或程序的输入的基础。应当理解，用户与虚拟覆盖物的交互可用作到任何其他类型的应用程序、程序、过程、模拟等的输入的基础。

本发明的各种实施方案和教导内容适用于AR、VR和MR。上述示例是在AR的情境中，但是应当很好地理解，本文描述的技术也适用于VR和MR。VR的一个差别在于，用户通常佩戴头戴式显示器(HMD)，其将用户完全沉浸在VR环境中，使得用户无法看到现实世界。因此，用户无法在有形对象存在于现实世界中时看到该有形对象的任何部分。即，在VR中，用户无法看到实际物理对象。相反，用户在VR中看到和查看的项目是完全虚拟的。但是用户仍然能够用他或她的手和其他身体部位感觉到现实世界中的有形的真实对象并与其交互。因此，本文描述的技术在VR情境中仍然非常适用，因为据信即使在查看完全虚拟世界时，用户也将发现用他或她的手感觉到现实世界中的有形的真实对象并与其交互是非常令人满意的。

因此，上文所述的在有形对象上建立虚拟覆盖物、缩放以及自动缩放技术也适用于VR和MR情境。即，如上所述的虚拟覆盖物的建立也适用于VR和MR。例如，在VR中，用户看到的虚拟覆盖物被投影到有形对象上。用户可以用他或她的手感觉到有形对象，并可以看到虚拟世界中的虚拟覆盖物。仍然有利的是缩放虚拟覆盖物以正确地适合有形对象，使得用户用他或她的手感觉到的事物和用户看到的事物之间没有断开。即，在VR中，如果户在虚拟世界中看到的事物与用户在有形的物理对象上感觉到的事物没有一对一对齐的话，则用户可能能够感觉到它们之间的断开。

因此，缩放和自动缩放适用于VR和MR两者。但是在一些实施方案和场景中，缩放不必像在VR中那么精确，因为用户无法看到实际对象，而只能用他或她的手感觉。即，在VR中，系统不必完全匹配缩放，因为用户无论如何都看不到实际对象，用户只能感觉到它。因此，除非用户试图按下有形对象的边缘上的键，否则缩放不必像在VR中那么精确。如果用户试图按下有形对象的边缘上的键，则用户可能注意到系统是否不完全匹配。同样，这是因为在AR中，用户更有能力看到现实世界中的有形对象，因此如果虚拟覆盖物不与有形对象精确地匹配，则它看起来会很奇怪。而在VR中，用户不会看到不匹配，而只能用他或她的手感觉到。

类似地，上述映射和自动映射技术也适用于VR和MR情境。例如，在VR中，用户能够感觉到并使用缠结对象上的键或其他输入机构。因此，它们可被映射到虚拟资产上的虚拟输入装置，如上所述。虚拟资产上的此类虚拟输入装置可由用户在虚拟世界中查看。

如上所述，VR和AR之间的一个差别在于，在VR中，用户在沉浸于VR中时无法看到现实世界中的有形对象。因此，用户更难以标识、选择和/或简单地拾取有形对象以便用作虚拟资产。因此，在一些实施方案中，可以使用用于标识有形对象的自动扫描技术。该技术在VR中特别有用，但也适用于AR和MR。

参见图6，示出了根据本发明的实施方案的方法600。方法600提供了用于标识有形对象的自动扫描技术的示例。方法600可由任何类型的AR、VR或MR系统执行，诸如采用头戴式设备、眼镜型用户装置、头戴式显示器(HMD)等的系统。并且在一些实施方案中，方法600由此类系统自动执行。

在步骤602中，系统使用相机或其他图像捕获装置来扫描区域，诸如房间，以初始标识或感测区域中的一个或多个有形对象。这在VR情境中是有帮助的，因为如上所述，在VR中用户无法看到现实世界。因此，系统使用相机等来初始标识附近的有形对象，诸如与用户在同一物理现实世界房间中的有形对象。此类相机可附接到用户的头戴式设备、眼镜、HDM、智能电话等，或以其他方式定位在房间中。

在步骤604中，对于已经初始标识的有形对象，系统确定对象中的哪些对象是已知对象，使得它们具有已知的大小和几何形状。例如，如上文所讨论的，有形对象中的一些有形对象已经具有已知的大小和规模，例如，诸如汽水罐，以及流行的消费产品和装置，诸如智能电话、平板计算机等。这些对象是已经为网络所知。因此，在该步骤中，系统首先识别或标识具有已知大小和规模的那些对象。

在步骤606中，对于初始标识的未知有形对象，系统使用相机，诸如深度相机和/或其他类型的图像捕获装置或传感器，或与已知对象的比较，来确定未知对象的大小、规模和/或几何形状。上文也讨论了这些技术的示例。

在步骤608中，系统确定所识别的有形对象中的哪些将最佳适合或以其他方式最适合于任何所请求或需要的虚拟资产。例如，用户可能已经通过提供如上所述的口头命令来请求特定类型的虚拟资产。或者，当前正在运行的计算机程序或应用程序(诸如计算机游戏或其他模拟)的状态可指示将很快需要特定类型的虚拟资产。响应于此类请求或需要，系统将考虑所标识的有形对象的大小、规模和几何形状，并决定或确定哪个有形对象将最佳适合或以其他方式最适合于所请求或需要的虚拟资产。

例如，基于房间或其他空间中的所有有形对象，系统确定一个特定对象最佳适合于用户需要或希望的特定虚拟UI或其他虚拟资产。即，基于在用户面前或以其他方式对于用户可用的所有有形对象，系统确定一个特定对象将最适合于用户需要或希望的虚拟UI或其他虚拟资产。

在步骤610中，系统选择被确定为最佳适合或以其他方式最适合于所请求或需要的虚拟资产的有形对象，然后继续在该选择的有形对象上建立所需要的虚拟覆盖物。这样，在一些实施方案中，响应于确定有形对象适合于虚拟覆盖物来执行在有形对象上建立虚拟覆盖物。此外，在一些实施方案中，标识有形对象包括基于确定有形对象最佳适合于虚拟覆盖物来从两个或更多有形对象中选择有形对象。

随着在所选择的有形对象上建立了所需要的虚拟覆盖物，所请求或需要的虚拟资产已被创建。例如，所选择的有形对象通过在其上覆盖所需要的UI等而成为所需要或希望的虚拟资产。虚拟资产可包括任何类型的虚拟资产，诸如虚拟UI或任何其他类型的特征。此类虚拟资产的几个示例包括上述虚拟小键盘、虚拟计算器和虚拟喷漆器，但是可以使用本文描述的教导内容和技术来创建任何其他类型的虚拟资产。

在一些实施方案中，新创建的虚拟资产将对用户可见，并且因此，用户将能够拾取并使用它。也就是说，虚拟资产存在于虚拟世界中，并且因此即使用户处于VR环境，他或她也将能够看到该虚拟资产。用户将能够拾取虚拟资产，因为该虚拟资产包括具有虚拟覆盖物的有形对象。例如，当用户看到图5所示的虚拟喷漆器时，他或她将能够伸出并抓住手柄518，该手柄包括有形圆珠笔508上的虚拟覆盖物。

作为方法600(图6)的示例，用户可能正在使用AR、VR或MR系统。所请求或需要的虚拟资产可能是剑。系统自动扫描房间或其他空间以识别有形对象。所标识的有形对象中的一者是马克笔，并且系统确定它最佳适合于虚拟剑。即，系统看到马克笔，并且系统决定它将形成大剑。系统然后在马克笔上建立虚拟覆盖物，以使其在用户在AR、VR和MR显示器上查看时看起来像剑。系统可能使马克笔成为手柄，并且剑的刀片是纯虚拟的。

因此，房间内有形的真实马克笔成为用户希望或将需要的剑。当用户在AR、VR或MR环境中向下看时，他或她看到的是剑而不是马克笔，因为系统在马克笔上放置了剑覆盖物。并且由于剑柄包括有形的马克笔，因此用户能够抓住手柄以拿起剑并实际感觉到他或她手中的剑柄。当用户四处移动剑时，系统将使用上述跟踪和缩放来维持和保持剑的纯虚拟刀片连接到手柄。即，系统将保持虚拟覆盖物与用户的手中的有形马克笔同步，使得虚拟覆盖物与有形马克笔保持在一起。

在一些实施方案中，本文描述的方法、方案和技术可以在许多不同类型的基于处理器的设备或系统上使用、实现和/或运行。例如，本文描述的方法、方案和技术可在任何类型的AR、VR和MR系统中使用、实现和/或运行，并且任何此类系统可在智能电话、游戏控制台、娱乐系统、便携式装置、移动装置、平板状装置、计算机、工作站、台式计算机、笔记本计算机、服务器等上实现。此外，在一些实施方案中，本文描述的方法、方案和技术可在在线场景中、联网场景中、通过因特网等使用、实现和/或运行。

参见图7，示出了可用于任何此类实现方式的基于处理器的系统700的示例。系统700可用于实现上述任何方法、方案、技术、系统或装置。然而，系统700或其任何部分的使用当然不是必需的。

举例来说，基于处理器的系统700可包括，但不要求包括处理器702(例如，中央处理单元(CPU))、存储器704、无线和/或有线网络接口706、网络接入口708、一个或多个显示器710、一个或多个相机或其他图像捕获装置712、一个或多个传感器714(下文讨论)，以及一个或多个传声器716。这些部件中的一个或多个部件可以一起收集在一个设备、装置或系统中，或者各种部件可以分布在一个或多个不同的设备、装置或系统上，或者甚至分布在一个或多个网络上。处理器702可用于执行或辅助执行本文描述的方法、方案和技术的步骤，并且各种程序内容、图像、视频、覆盖物、UI、资产、虚拟世界、菜单、菜单屏幕、界面、图形用户界面(GUI)、窗口、表格、图形、化身、角色、玩家、视频游戏、模拟等可以在显示器710上呈现。

一个或多个显示器710可包括任何类型的显示装置并且可用于实现上述AR、VR和/或MR环境。例如，在一些实施方案中，显示器可包括在诸如智能电话、平板计算机、平板状计算机、笔记本计算机等的装置中。在一些实施方案中，一个或多个显示器可与任何类型的计算机(诸如台式计算机等)相关联。在一些实施方案中，一个或多个显示器可包括在诸如头戴式设备、眼镜型用户装置、头戴式显示器(HMD)等的头戴式装置中。在一些实施方案中，一个或多个显示器可被包括或与任何类型的AR装置、VR装置或MR装置相关联。一个或多个显示器可包括使用任何类型的显示技术的任何类型的显示器或显示装置或设备。

一个或多个相机或其他图像捕获装置712可包括任何类型的相机或图像捕获装置。在一些实施方案中，一个或多个相机可用于标识、识别和/或确定有形对象的几何形状、形状因子、大小、定位和/或位置，并且/或者用于检测各种几何形状的相交，如上文所讨论的。在一些实施方案中，一个或多个相机可包括深度相机、深度感测相机、立体相机或任何其他类型的相机或图像捕获装置。在一些实施方案中，一个或多个相机可位于或定位在用户的头戴式设备、眼镜型用户装置、HMD上，或AR、VR或MR环境或房间中的其他地方。在一些实施方案中，一个或多个相机可被包括或与诸如智能电话、平板计算机、平板状计算机、笔记本计算机、台式计算机等的装置相关联。

在一些实施方案中，如果需要或希望，一个或多个传感器714可包括任何类型的传感器，其可用于标识、识别和/或确定有形对象的几何形状、形状、形状因子、大小、定位和/或位置，并且/或者用于检测各种几何形状的相交，如上文所讨论的。在一些实施方案中，一个或多个传感器可包括深度传感器、红外传感器、声学传感器、加速度计或任何其他类型的传感器。在一些实施方案中，一个或多个传感器可以包括用于感测和/或跟踪用户和/或有形对象的移动和/或运动的任何类型的传感器。

一个或多个传声器716可包括任何类型的传声器。在一些实施方案中，一个或多个传声器可用于实现上文所讨论的声学感测和/或声学跟踪。在一些实施方案中，一个或多个传声器可位于或定位在用户的头戴式设备、眼镜型用户装置、HMD上，或AR、VR或MR环境或房间中的其他地方。在一些实施方案中，一个或多个传声器可被包括或与诸如智能电话、平板计算机、平板状计算机、笔记本计算机、台式计算机等的装置相关联。

在一些实施方案中，无线和/或有线网络接口706可用于访问网络708以获得任何类型的信息，例如，诸如关于已知和/或先前了解的有形对象的信息，诸如关于此类有形对象的几何形状、形状、形状因子、大小等的信息。网络708可以包括因特网、局域网、内联网、广域网或任何其他网络。

存储器704可包括或包含任何类型的一种或多种计算机可读存储或记录介质。在一些实施方案中，存储器704可包括或包含有形的物理存储器。在一些实施方案中，存储器704可用于存储实现本文描述的方法和技术的程序或计算机代码或宏，诸如用于运行本文描述的方法、方案和技术的程序代码。在一些实施方案中，存储器704可用作有形的非暂时性计算机可读存储介质，用于存储或体现一个或多个计算机程序或软件应用程序，用于使基于处理器的设备或系统执行或进行本文描述的方法、代码、方案和/或技术中的任一者的步骤。此外，在一些实施方案中，存储器704可用于存储任何所需要的数据库。

在一些实施方案中，上述实施方案、方法、途径、方案和/或技术中的一者或多者可以在可由基于处理器的设备或系统执行的一个或多个计算机程序或软件应用程序中实现。举例来说，此类基于处理器的系统可包括智能电话、平板计算机、AR、VR或MR系统、娱乐系统、游戏控制台、移动装置、计算机、工作站、台式计算机、笔记本计算机、服务器、图形工作站、客户端、便携式装置、平板状装置等。此类计算机程序或软件可用于执行上述方法、方案和/或技术的各种步骤和/或特征。即，计算机程序或软件可以被适配或配置为致使或配置基于处理器的设备或系统来执行和实现本文所述的功能。例如，此类计算机程序或软件可用于实现上述方法、步骤、技术、方案或特征的任何实施方案。作为另一示例，此类计算机程序或软件可用于实现使用上述实施方案、方法、途径、方案和/或技术中的任一者或多者的任何类型的工具或类似实用程序。在一些实施方案中，一个或多个此类计算机程序或软件可以包括AR、VR或MR应用程序、工具、实用程序、应用程序、计算机模拟、计算机游戏、视频游戏、角色扮演游戏(RPG)、其他计算机模拟或系统软件诸如操作系统、BIOS、宏或其他实用程序。在一些实施方案中，在计算机程序内或外的程序代码宏、模块、循环、子例程、调用等可用于执行上述方法、方案和/或技术的各种步骤和/或特征。在一些实施方案中，此类计算机程序或软件可以存储或体现在一种或多种非暂时性计算机可读存储或记录介质中，诸如一种或多种有形计算机可读存储或记录介质。在一些实施方案中，此类计算机程序或软件可诸如以一种或多种暂时性形式的信号传输(例如，传播的电或电磁信号)存储或体现在一种或多种暂时性计算机可读存储或记录介质中。

因此，在一些实施方案中，本发明提供了一种计算机程序产品，其包括用于体现供输入到计算机的计算机程序的介质，以及在该介质中体现的计算机程序，所述计算机程序用于使计算机进行或执行包括本文描述的实施方案、方法、途径、方案和/或技术中的任一者或多者中涉及的步骤中的任一者或多者的步骤。例如，在一些实施方案中，本发明提供了一种或多种非暂时性计算机可读存储介质，其存储一个或多个计算机程序，该计算机程序被适配或配置为致使基于处理器的设备或系统执行包括以下的步骤：标识有形对象；以用户可见的方式在有形对象上建立虚拟覆盖物；检测用户与建立在有形对象上的虚拟覆盖物的交互；以及使用用户与虚拟覆盖物的交互作为到基于处理器的系统的输入的基础。

虽然本文公开的本发明已经通过特定实施方案及其应用进行了描述，但是本领域技术人员可在不脱离权利要求中阐述的本发明的范围的情况下对其进行许多修改和变化。