在虚拟环境的影像和声音与真实环境的影像和声音之间转换

摘要

本公开涉及用于在两个不同环境(诸如虚拟环境和真实环境)的影像和声音之间进行转换的技术。提供了第一环境的视图和与该第一环境相关联的音频。响应于检测到转换事件，提供了第一环境与第二环境组合的视图。该组合视图包括处于第一可见度值的第一环境的影像和处于第二可见度值的第二环境的影像。此外，响应于检测到转换事件，将第一环境音频与跟第二环境相关联的音频混合。

说明书

本申请要求2018年9月7日提交的名称为“TRANSITIONING BETWEEN IMAGERY ANDSOUNDS OF A VIRTUAL ENVIRONMENT AND A REAL ENVIRONMENT”的美国临时专利申请第62/728610号、2018年9月10日提交的名称为“INSERTING IMAGERY FROM A REALENVIRONMENT INTO A VIRTUAL ENVIRONMENT”的美国临时专利申请第62/729154号，以及2019年8月28日提交的名称为“TRANSITIONING BETWEEN IMAGERY AND SOUNDS OF AVIRTUAL ENVIRONMENT AND A REAL ENVIRONMENT”的美国临时专利申请第62/892870号的权益，这些专利申请据此全文以引用方式并入。

技术领域

本专利申请整体涉及虚拟环境，并且更具体地涉及用于在虚拟环境的影像和声音与真实环境的影像和声音之间转换的技术。

背景技术

计算机可将计算机生成的图像完全投影或部分叠加在用户的视野上，以提供可由用户体验到的虚拟环境。虚拟环境可以基于不同类型的现实。电子设备可选地检测用户的真实移动，并且在虚拟环境的一系列视觉图像或视频内投影和模拟那些移动。通过在虚拟环境内投影或模拟的这些移动，用户可能看起来像移动到虚拟环境内的其他位置。

发明内容

本公开描述了用于在虚拟环境的影像和声音与真实环境的影像和声音之间转换的技术。在一些示例中，该转换响应于电子设备检测到诸如来自输入设备的信号、与物理对象的接近度和/或触发声音的转换事件而发生。在一些示例性实施方案中，如本文所述，这些技术通过应用户的请求和/或响应于真实环境中的障碍物或警示提供真实环境的影像和声音来增强用户便利性并为用户提供增强的认知度。

根据一些实施方案，描述了一种方法。该方法包括：提供第一类型的第一环境的视图；提供与该第一环境相关联的第一环境音频；检测转换事件；响应于检测到该转换事件：提供该第一环境与第二类型的第二环境的组合视图，该组合视图包括处于第一可见度值的该第一环境的影像和处于第二可见度值的该第二环境的影像；以及提供该第一环境音频和与该第二环境相关联的第二环境音频的组合混合，其中该第一环境音频或该第二环境音频中的至少一者包括多个音频对象，并且其中该多个音频对象的音量水平与该第一可见度值或该第二可见度值中的至少一者相关联。

在一些实施方案中，该第一类型的第一环境是虚拟环境，并且该第二类型的第二环境是真实环境的表示。在一些实施方案中，该第一类型的第一环境是真实环境的表示，并且该第二类型的第二环境是虚拟环境。

在一些实施方案中，提供该组合视图包括将该第一环境的影像与该第二环境的影像合成。在一些实施方案中，该合成使用与该第一环境和该第二环境相关联的α通道。在一些实施方案中，提供该组合视图包括将第一环境的用户视角与第二环境的用户视角对准。

在一些实施方案中，第一环境音频包括多个音频对象，并且其中提供该组合混合包括根据该多个音频对象的相应音量水平使多个音频对象与第二环境音频交叉淡入淡出。在一些实施方案中，该多个音频对象中的一个或多个第一音频对象的音量水平还与该第一环境音频中的一个或多个第一音频对象的突出性相关联。

在一些实施方案中，检测转换事件包括接收来自输入设备的信号。在一些实施方案中，该第一可见度值和该第二可见度值基于所接收的信号。在一些实施方案中，该输入设备包括旋转输入机构。在一些实施方案中，该旋转输入机构的旋转与所接收的信号具有非线性关系。

在一些实施方案中，检测转换事件包括检测到用户与真实环境中的物理对象的接近度小于阈值距离。在一些实施方案中，该第一可见度值和该第二可见度值基于该用户与该物理对象的接近度。在一些实施方案中，该第二环境的影像包括该物理对象的表示。

在一些实施方案中，检测转换事件包括检测触发声音。在一些实施方案中，该第二环境的影像包括该触发声音的来源的表示。

在一些实施方案中，该方法还包括：在提供该第一环境与该第二环境的组合视图以及该第一环境音频与该第二环境音频的组合混合之后，停止提供该第一环境与该第二环境的组合视图以及该第一环境音频与该第二环境音频的组合混合；提供该第二环境的视图；以及提供第二环境音频。

在一些实施方案中，该方法还包括：检测第二转换事件；响应于检测到该第二转换事件：停止提供该第一环境与该第二环境的组合视图以及该第一环境音频与该第二环境音频的组合混合；提供该第二环境的视图；以及提供第二环境音频。在一些实施方案中，该方法还包括：检测第二转换事件；响应于检测到该第二转换事件：修改该第一可见度值和该第二可见度值；以及修改该第一环境音频与该第二环境音频的组合混合。在一些实施方案中，该方法还包括：检测第二转换事件；响应于检测到该第二转换事件：停止提供该第一环境与该第二环境的组合视图以及该第一环境音频与该第二环境音频的组合混合；提供该第一环境的视图；以及提供该第一环境音频。

根据一些实施方案，描述了一种非暂态计算机可读存储介质，其存储一个或多个程序，所述一个或多个程序被配置为由电子设备的一个或多个处理器执行。该一个或多个程序包括用于执行以下操作的指令：提供第一类型的第一环境的视图；提供与该第一环境相关联的第一环境音频；检测转换事件；响应于检测到该转换事件：提供该第一环境与第二类型的第二环境的组合视图，该组合视图包括处于第一可见度值的该第一环境的影像和处于第二可见度值的该第二环境的影像；以及提供该第一环境音频和与该第二环境相关联的第二环境音频的组合混合，其中该第一环境音频或该第二环境音频中的至少一者包括多个音频对象，并且其中该多个音频对象的音量水平与该第一可见度值或该第二可见度值中的至少一者相关联。

根据一些实施方案，描述了一种暂态计算机可读存储介质，其存储一个或多个程序，所述一个或多个程序被配置为由电子设备的一个或多个处理器执行。该一个或多个程序包括用于执行以下操作的指令：提供第一类型的第一环境的视图；提供与该第一环境相关联的第一环境音频；检测转换事件；响应于检测到该转换事件：提供该第一环境与第二类型的第二环境的组合视图，该组合视图包括处于第一可见度值的该第一环境的影像和处于第二可见度值的该第二环境的影像；以及提供该第一环境音频和与该第二环境相关联的第二环境音频的组合混合，其中该第一环境音频或该第二环境音频中的至少一者包括多个音频对象，并且其中该多个音频对象的音量水平与该第一可见度值或该第二可见度值中的至少一者相关联。

根据一些实施方案，描述了一种电子设备，其包括一个或多个处理器，以及存储被配置为由一个或多个处理器执行的一个或多个程序的存储器。该一个或多个程序包括用于执行以下操作的指令：提供第一类型的第一环境的视图；提供与该第一环境相关联的第一环境音频；检测转换事件；响应于检测到该转换事件：提供该第一环境与第二类型的第二环境的组合视图，该组合视图包括处于第一可见度值的该第一环境的影像和处于第二可见度值的该第二环境的影像；以及提供该第一环境音频和与该第二环境相关联的第二环境音频的组合混合，其中该第一环境音频或该第二环境音频中的至少一者包括多个音频对象，并且其中该多个音频对象的音量水平与该第一可见度值或该第二可见度值中的至少一者相关联。

根据一些实施方案，描述了一种电子设备。该电子设备包括：用于提供第一类型的第一环境的视图的装置；用于提供与所述第一环境相关联的第一环境音频的装置；用于检测转换事件的装置；用于响应于检测到该转换事件而执行以下操作的装置：提供该第一环境与第二类型的第二环境的组合视图，该组合视图包括处于第一可见度值的该第一环境的影像和处于第二可见度值的该第二环境的影像；以及提供该第一环境音频和与该第二环境相关联的第二环境音频的组合混合，其中该第一环境音频或该第二环境音频中的至少一者包括多个音频对象，并且其中该多个音频对象的音量水平与该第一可见度值或该第二可见度值中的至少一者相关联。

根据一些实施方案，描述了第二种方法。该第二种方法包括：提供第一类型的第一环境的视图；提供与该第一环境相关联的第一环境音频，其中该第一环境音频具有与所提供的该第一环境的视图对应的第一声学特性；检测转换事件；响应于检测到该转换事件：提供第二类型的第二环境的视图；将该第一环境音频修改为具有与所提供的第二环境的视图对应的第二声学特性；以及提供经修改的第一环境音频。

根据一些实施方案，描述了一种非暂态计算机可读存储介质，其存储一个或多个程序，所述一个或多个程序被配置为由电子设备的一个或多个处理器执行。该一个或多个程序包括用于执行以下操作的指令：提供第一类型的第一环境的视图；提供与该第一环境相关联的第一环境音频，其中该第一环境音频具有与所提供的该第一环境的视图对应的第一声学特性；检测转换事件；响应于检测到该转换事件：提供第二类型的第二环境的视图；将该第一环境音频修改为具有与所提供的第二环境的视图对应的第二声学特性；以及提供经修改的第一环境音频。

根据一些实施方案，描述了一种暂态计算机可读存储介质，其存储一个或多个程序，所述一个或多个程序被配置为由电子设备的一个或多个处理器执行。该一个或多个程序包括用于执行以下操作的指令：提供第一类型的第一环境的视图；提供与该第一环境相关联的第一环境音频，其中该第一环境音频具有与所提供的该第一环境的视图对应的第一声学特性；检测转换事件；响应于检测到该转换事件：提供第二类型的第二环境的视图；将该第一环境音频修改为具有与所提供的第二环境的视图对应的第二声学特性；以及提供经修改的第一环境音频。

根据一些实施方案，描述了一种电子设备，其包括一个或多个处理器，以及存储被配置为由一个或多个处理器执行的一个或多个程序的存储器。该一个或多个程序包括用于执行以下操作的指令：提供第一类型的第一环境的视图；提供与该第一环境相关联的第一环境音频，其中该第一环境音频具有与所提供的该第一环境的视图对应的第一声学特性；检测转换事件；响应于检测到该转换事件：提供第二类型的第二环境的视图；将该第一环境音频修改为具有与所提供的第二环境的视图对应的第二声学特性；以及提供经修改的第一环境音频。

根据一些实施方案，描述了一种电子设备。该电子设备包括：用于提供第一类型的第一环境的视图的装置；用于提供与所述第一环境相关联的第一环境音频的装置，其中所述第一环境音频具有与所提供的所述第一环境的视图对应的第一声学特性；用于检测转换事件的装置；用于响应于检测到该转换事件而执行以下操作的装置：提供第二类型的第二环境的视图；将该第一环境音频修改为具有与所提供的第二环境的视图对应的第二声学特性；以及提供经修改的第一环境音频。

附图说明

图1A至图1B描绘了在各种增强现实技术中使用的示例性系统。

图2示出了根据一些实施方案的要在其位置查看虚拟环境的真实环境的示例。

图3示出了根据一些实施方案的虚拟环境的示例。

图4A至图4E示出了根据一些实施方案的用于在虚拟环境和真实环境之间进行转换的示例性技术。

图5A至图5C示出了根据一些实施方案的用于将来自真实环境的图像插入虚拟环境中的示例性技术。

图6是示出了根据一些实施方案的由电子设备执行的示例性过程的流程图。

图7是示出了根据一些实施方案的由电子设备执行的示例性过程的流程图。

图8是示出了根据一些实施方案的由电子设备执行的示例性过程的流程图。

附图中示出的实施方案仅是示例性的。本领域技术人员将容易从下面的讨论认识到，可在不脱离本文描述的原理的情况下采用本文示出的结构和方法的替代实施方案。

具体实施方式

描述了用于与各种增强现实技术相关地使用此类系统的电子系统和技术的各种示例。

物理布景(也称为真实环境)是指各个人可在不使用电子系统的情况下感测和/或交互的世界。物理布景诸如物理公园包括物理元素(也称为物理对象)，诸如物理野生动物、物理树木和物理植物。人们可例如使用一种或多种感觉(包括视觉、嗅觉、触觉、味觉和听觉)直接感测物理布景和/或以其他方式与物理布景进行交互。

与物理布景相比，增强现实(ER)布景(也称为虚拟环境)是指各个人通过使用电子系统可感测和/或以其他方式与之交互的完全的(或部分的)计算机生成的布景。在ER中，局部地监视人的移动，并且响应于此，以符合一个或多个物理定律的方式来改变与ER布景中的至少一个虚拟对象对应的至少一个属性。例如，响应于ER系统检测到人向上看，ER系统能够以符合此类声音和外观将在物理布景中如何改变的方式来调整呈现给人的各种音频和图形。也可响应于移动的表示(例如，语音命令)来进行对ER布景中的虚拟对象的属性的调整。

人可以利用一种或多种感觉，诸如视觉、嗅觉、味觉、触觉和听觉来感测ER对象和/或与ER对象交互。例如，人可感测创建多维或空间声学布景的对象和/或与其交互。多维或空间声学布景为个人提供了在多维空间中对离散声源的感知。此类对象还可实现声学透明性，该声学透明性可在具有或没有计算机生成的音频的情况下选择性地结合来自物理布景的音频。在某些ER布景中，人可仅感测声音对象和/或仅与之交互。

虚拟现实(VR)是ER的一个示例。VR布景是指被配置为仅包括针对一种或多种感觉的计算机生成的感官输入的增强布景。VR布景包括人可以感测和/或交互的多个虚拟对象。人可通过在计算机生成的布景内模拟人动作中的至少一些动作和/或通过模拟人或其在计算机生成的布景内的存在来感测VR布景中的虚拟对象和/或与其交互。

混合现实(MR)是ER的另一个示例。MR布景是指被配置为将计算机生成的感官输入(例如，虚拟对象)与来自物理布景的感官输入或来自物理布景的感官输入的表示进行集成的增强布景。在现实频谱上，MR布景介于一端处的完全物理布景和另一端处的VR布景之间并且不包括这些布景。

在一些MR布景中，计算机生成的感官输入可基于来自物理布景的感官输入的变化而被调整。另外，用于呈现MR布景的一些电子系统可以检测相对于物理布景的位置和/或取向，以实现真实对象(即来自物理布景的物理元素或其表示)与虚拟对象之间的交互。例如，系统可检测移动并相应地调整计算机生成的感官输入，使得例如虚拟树相对于物理结构看起来是固定的。

增强现实(AR)是MR的示例。AR布景是指一个或多个虚拟对象叠加在物理布景(或其表示)之上的增强布景。例如，电子系统可包括不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器。例如，此类视频和/或图像可以是物理布景的表示。视频和/或图像与虚拟对象组合，其中该组合随后被显示在不透明显示器上。物理布景可由人经由物理布景的图像和/或视频间接地查看。因此，人可观察叠加在物理布景上的虚拟对象。当系统捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示AR布景时，所显示的图像被称为视频透传。另选地，透明或半透明显示器可被包括在用于显示AR布景的电子系统中，使得个体可通过透明或半透明显示器直接查看物理布景。虚拟对象可被显示在半透明或透明显示器上，使得个体观察叠加在物理布景上的虚拟对象。在另一个示例中，可利用投影系统以便将虚拟对象投影到物理布景上。例如，虚拟对象可在物理表面上被投影，或作为全息图，使得个体观察叠加在物理布景之上的虚拟对象。

AR布景也可指其中物理布景的表示被计算机生成的感官数据修改的增强布景。例如，物理布景的表示的至少一部分能够以图形方式修改(例如，放大)，使得所修改的部分仍可表示初始捕获的图像(但不是完全复制的版本)。另选地，在提供视频透传时，可修改一个或多个传感器图像，以便施加与由图像传感器捕获的视点不同的特定视点。再如，物理布景的表示的部分可通过以图形方式将该部分进行模糊处理或消除该部分而被改变。

增强虚拟(AV)是MR的另一个示例。AV布景是指虚拟的或计算机生成的布景结合来自物理布景的一个或多个感官输入的增强布景。此类感官输入可包括物理布景的一个或多个特征的表示。虚拟对象可例如结合与由成像传感器捕获的物理元素相关联的颜色。另选地，虚拟对象可采用与例如对应于物理布景的当前天气状况一致的特征，诸如经由成像识别的天气状况、在线天气信息和/或与天气相关的传感器。又如，AR公园可包括虚拟结构、植物和树木，尽管AR公园布景内的动物可包括从物理动物的图像准确复制的特征。

各种系统允许人们感测ER布景和/或与之交互。例如，头戴式系统可包括一个或多个扬声器和不透明显示器。又如，外部显示器(例如，智能电话)可结合到头戴式系统内。头戴式系统可包括用于捕获物理布景的音频的麦克风和/或用于捕获物理布景的图像/视频的图像传感器。头戴式系统中还可包括透明或半透明显示器。半透明或透明显示器可例如包括基板，(表示图像的)光通过该基板被引导到人的眼睛。显示器还可包含LED、OLED、硅基液晶、激光扫描光源、数字光投影仪或它们的任何组合。光透射穿过的基板可以是光学反射器、全息基板、光波导、光合路器或它们的任何组合。透明或半透明显示器可例如选择性地在透明/半透明状态和不透明状态之间转变。又如，电子系统可以是基于投影的系统。在基于投影的系统中，视网膜投影可用于将图像投影到人的视网膜上。另选地，基于投影的系统还可将虚拟对象投影到物理布景中，例如，诸如将虚拟对象投影为全息图或投影到物理表面上。ER系统的其他示例包括被配置为显示图形的窗口、头戴式耳机、耳机、扬声器布置、被配置为显示图形的透镜、平视显示器、被配置为显示图形的汽车挡风玻璃、输入机构(例如，具有或不具有触觉功能的控制器)、台式或膝上型计算机、平板电脑或智能电话。

图1A至图1B描绘了在各种增强现实技术中使用的示例性系统100。

在一些示例中，如图1A所示，系统100包括设备100a。设备100a包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。

在一些示例中，系统100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型电脑)中实现，并且系统100的其他元件在第二设备(例如，头戴式设备)中实现。在一些示例中，设备100a在基站设备或第二设备中实现。

如图1B所示，在一些示例中，系统100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、RF电路104和个存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。

系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些示例中，存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由处理器102执行以执行下述技术。

系统100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如

系统100包括显示器120。一个或多个显示器120可具有不透明显示器。一个或多个显示器120可具有透明或半透明显示器，该显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。一个或多个显示器120可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任何组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任何组合。在一个示例中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。一个或多个显示器120的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、平板电脑、智能电话以及台式计算机或膝上型计算机。另选地，系统100可以被设计为接收外部显示器(例如，智能电话)。在一些示例中，系统100是基于投影的系统，该系统使用视网膜投影将图像投影到个体的视网膜上或将虚拟对象投影到物理布景中(例如，投影到物理表面上或作为全息图)。

在一些示例中，系统100包括用于接收用户输入的触敏表面122，诸如轻击输入和轻扫输入。在一些示例中，显示器120和触敏表面122形成触敏显示器。

系统100包括图像传感器108。一个或多个图像传感器108任选地包括可操作以从物理布景获取物理元素的图像的一个或多个可见光图像传感器，诸如电荷耦合设备(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器。一个或多个图像传感器还任选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自物理布景的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到物理布景中。一个或多个图像传感器108还任选地包括一个或多个事件相机，该事件相机被配置为捕获物理布景中物理元素的移动。一个或多个图像传感器108还任选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理元素与系统100的距离。在一些示例中，系统100组合使用CCD传感器、事件相机和深度传感器来检测系统100周围的物理布景。在一些示例中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器任选地被配置为从两个不同的视角捕获物理环境中物理元素的图像。在一些示例中，系统100使用图像传感器108来接收用户输入，诸如手势。在一些示例中，系统100使用一个或多个图像传感器108来检测系统100和/或一个或多个显示器120在物理布景中的位置和取向。例如，系统100使用一个或多个图像传感器108来跟踪一个或多个显示器120相对于物理布景中的一个或多个固定元件的位置和取向。

在一些示例中，系统100包括麦克风112。系统100使用一个或多个麦克风112来检测来自用户和/或用户的物理布景的声音。在一些示例中，一个或多个麦克风112包括麦克风阵列(包括多个麦克风)，麦克风任选地协同操作，以标识环境噪声或在物理布景的空间中定位声源。

系统100包括用于检测系统100和/或显示器120的取向和/或移动的取向传感器110。例如，系统100使用一个或多个取向传感器110来跟踪系统100和/或一个或多个显示器120的位置和/或取向的变化，诸如相对于物理布景中的物理元素。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。

现在参考图2、图3、图4A至图4E、图5A至图5C、图6、图7和图8，描述了用于在虚拟环境(例如，ER布景)的影像和声音与真实环境(也称为物理布景)的影像和声音之间转换的示例性技术，以及用于将来自真实环境的影像插入虚拟环境中的技术。在一些示例中，该转换和/或插入响应于电子设备检测到诸如来自输入设备的信号、与物理对象(也称为物理元素)的接近度和/或触发声音等事件而发生。在一些示例性实施方案中，该技术通过应用户的请求和/或响应于真实环境中的障碍物或警示提供真实环境的影像和声音来增强用户便利性并为用户提供增强的认知度。

图2示出了根据一些实施方案的要在其位置查看虚拟环境(也称为ER布景)的真实环境200(也称为物理布景)的示例。真实环境200包括物理对象202(也称为物理元素)，诸如桌子202-a、计算机202-b和墙壁202-c。虽然真实环境200在图2中被示出为具有物理对象202的房间，但应当理解，真实环境200可以是要在其位置查看虚拟环境的任何真实世界位置。

真实环境200对于设备100a的用户是可见的，如参考图1A至图1B所述。在一些实施方案中，真实环境200通过设备100a的视频透传模式显示给用户。在其他实施方案中，向用户提供真实环境200的基本上直接的视图，诸如利用平视显示器。

图3示出了根据一些实施方案的虚拟环境300(也称为ER布景)的示例。虚拟环境300包括虚拟对象302，诸如虚拟机器人302-a、虚拟星球302-b和虚拟宇宙飞船302-c。虽然虚拟环境300在图3中被示出为宇宙飞船的甲板，但应当理解，虚拟环境300可以是显示一个或多个虚拟对象的任何环境。

在一些示例中，在操作期间，设备100a(如参考图1A至图1B所述)使用显示器120向设备100a的用户显示虚拟环境300。设备100a还使用扬声器118向用户提供与虚拟环境300相关联的音频。该虚拟环境音频包括与虚拟环境300的各个部件相关联的一个或多个音频对象。例如，第一音频对象可与虚拟机器人302-a相关联(例如，发声、哔哔声等)，第二音频对象可与虚拟宇宙飞船302-c相关联(例如，引擎声音、警报等)，并且第三音频对象可与虚拟环境300的环境噪声相关联(例如，引擎声音、哔哔声等)。音频对象中的每个音频对象被混合在一起以形成虚拟环境音频。在一些实施方案中，混合音频对象包括调整每个音频对象的音量水平、空间安置和/或频谱，使得每个音频对象融合到虚拟环境音频中。在一些实施方案中，基于相关联的虚拟对象302在虚拟环境300中的位置以及用户头部相对于虚拟对象302的位置和取向来调整每个音频对象的音量水平、空间安置和/或频谱。这样，当用户听到虚拟环境音频时，对应于每个音频对象的声音似乎正从相关联的虚拟对象302在虚拟环境中的虚拟位置发出。

在显示虚拟环境300并提供虚拟环境音频时，设备100a检测用户的移动，包括检测用户在真实环境200内的位置和用户头部的取向(例如，用户正看向哪里)。当用户移动时，虚拟环境300的视图改变以与用户的当前位置和视线方向对应。此外，被提供的音频对象的混合改变以与用户耳朵的当前位置和方位对应。例如，每个音频对象的音量水平、空间安置和/或频谱改变，使得声音似乎随着用户的位置和/或方位的改变而从一致的虚拟位置发出。

图4A至图4E示出了根据一些实施方案的用于在虚拟环境300(如参考图3所述)和真实环境200(如参考图2所述)之间进行转换的示例性技术。如图4A所示，虚拟环境300的视图开始转换到真实环境200的视图。当转换开始时，在提供虚拟环境300的视图的同时，真实环境200的视图至少部分地可见(例如，真实环境200和虚拟环境300彼此叠加)。此外，在一些实施方案中，当真实环境200的视图变得至少部分地可见时，来自真实环境的音频是至少部分可听的。

当从虚拟环境300的视图转换到真实环境200的视图时，虚拟环境300的影像与真实环境200的影像被合成(例如，融合)。通过使用与每个环境的影像相关联的可见度值来执行合成，以将环境彼此组合。在一些实施方案中，该可见度值对应于每个环境的影像中的α通道信息。可见度值用于调整每个环境的透明度。在转换之前，虚拟环境300不具有透明度(例如，α＝1.0)。随着转换开始(诸如图4A所示)，虚拟环境300的透明度增加(例如，α＝0.9)，并且真实环境200的影像被添加到虚拟环境300的部分透明的影像，其中真实环境200具有互补的可见度值(例如，α＝0.1)。

在一些实施方案中，使用针对虚拟环境300中的不同虚拟对象的不同可见度值来执行合成。例如，随着转换开始，第一虚拟对象(例如，虚拟机器人302-a)具有第一可见度值(例如，α＝0.8)，而第二虚拟对象(例如，虚拟宇宙飞船302-c)具有不同的第二可见度值(例如，α＝0.9)。这些虚拟对象被添加到真实环境200的影像，其中真实环境200的影像的重叠部分具有互补的可见度值(例如，分别为α＝0.2和α＝0.1)。这允许虚拟环境300的不同部分比虚拟环境300的其他部分淡入或淡出更快或更慢。在一些实施方案中，可见度值对应于虚拟环境300和真实环境200的各个像素的α通道信息。

在一些实施方案中，使用针对真实环境200中的不同对象的不同可见度值来执行合成。例如，限定真实环境200的轮廓的对象(例如，地板、墙壁、天花板、窗户、桌子)可比真实环境200中的其他对象(例如，桌子上的对象、墙壁上的艺术作品)淡入更快。

在一些实施方案中，当虚拟环境300和真实环境200的视图被组合时，用户看到环境中的一者或两者的视角发生变化。例如，当使用透传真实环境的影像的相机提供真实环境200的视图时，相机提供的视角可能不同于用户看到虚拟环境300的视角(例如，相机的视角在用户眼睛前方两英寸)。因此，设备100a改变真实环境200或虚拟环境300的视角，使得两个环境对准。例如，设备100a修改真实环境200的影像，使得用户查看真实环境200的表观视角与虚拟环境300的视角对准(例如，真实环境200的视角向后移动两英寸)。另选地，在一些示例中，设备100a改变虚拟环境300的视角，使得虚拟环境300的视角与捕获真实环境200的相机的视角对准(例如，虚拟环境300的视角向前移动两英寸)。

在一些实施方案中，随着虚拟环境300的视图转换到真实环境200的视图，与虚拟环境300中的虚拟对象302相关联的音频对象的音量水平发生变化。在一些实施方案中，某些音频对象的音量水平以与其他音频对象不同的速率变化。例如，突出音频对象(例如，与主要角色相关联的音频，诸如虚拟机器人302-a)的音量水平可比用于环境背景噪声的音频对象的音量水平更快地减小，或反之亦然。

在一些实施方案中，音频对象的音量水平与虚拟环境和真实环境的可见度值相关联。因此，当虚拟环境300变得可见度降低时，与虚拟环境300相关联的音频对象的音量水平减小对应的量。例如，随着虚拟环境300的可见度值减小(例如，α从1.0变为0.9)，与虚拟环境300相关联的音频对象的音量水平也减小(例如，-6dB)。音频对象的音量水平与虚拟环境和真实环境的可见度值之间的关联可使用各种算法。在上述示例中，可见度值变化10％对应于音量减小6dB。然而，其他比率、函数或算法可与可见度值一起使用，以调整音频对象的音量水平。此外，如上所述，在一些实施方案中，某些音频对象的音量水平以与其他音频对象不同的速率变化。在这些实施方案中，可使用不同的比率、函数或算法来基于对应的可见度值调整每个音频对象的音量水平。例如，当虚拟环境的可见度值减小10％(例如，α从1.0变化到0.9)时，突出音频对象(例如，与主要角色相关联的音频，诸如虚拟机器人302-a)减小第一量(例如，-9dB)，而不太突出的音频对象(例如，环境背景噪声)的音量水平减小不同的第二量(例如，-6dB)。

在一些实施方案中，与虚拟环境300相关联的音频对象与来自真实环境200的音频混合。在一些实施方案中，使用应用于与虚拟环境300相关联的音频对象和来自真实环境200的音频的响度传递函数(例如，交叉淡入淡出)来执行混合。该响度传递函数可使用用于混合音频的各种技术，诸如“正余弦定理”，其中交叉淡入淡出中心点为-3dB(即，0.707线性)。在一些实施方案中，使用设备100a的麦克风112检测来自真实环境200的音频，然后基于每个相应音频对象的音量水平将其与跟虚拟环境相关联的音频对象混合。在一些实施方案中，音频对象和来自真实环境200的音频的音量水平与虚拟环境和真实环境的可见度值相关联。因此，在一些实施方案中，响度传递函数的值与可见度值相关联。例如，随着虚拟环境300的可见度降低(例如，α从1.0变为0.9)并且真实环境200的可见度增加(例如，α从0.0变为0.1)，与虚拟环境300相关联的音频对象使用与可见度的变化对应的响度传递函数值与来自真实环境200的音频交叉淡入淡出(例如，音频对象的音量水平减小并且以小于其全音量水平与来自真实环境200的音频混合)。如上所述，在一些实施方案中，某些音频对象(例如，与虚拟环境300中的突出角色相关联的音频对象)的音量水平以与其他音频对象(例如，与虚拟环境300的环境背景噪声相关联的音频对象)不同的速率改变。在一些实施方案中，当将音频对象与来自真实环境200的音频混合时，应用音量水平的这些不同变化速率。

在一些实施方案中，在影像转换时使用其他形式的音频转换来代替交叉淡入淡出。这些其他音频转换包括直切(例如，音频立即改变而没有渐变的交叉淡入淡出)、捅声法声音剪辑(例如，音频在环境的影像改变之前改变)、拖声法声音剪辑(例如，当前音频在环境的影像改变之后持续一段时间)，或者在转换期间使用相同的音频(例如，来自虚拟环境300的音乐或环境噪声在影像变为真实环境200之后仍持续)。

在一些实施方案中，音频转换包括真实环境200和虚拟环境300的声学特性(例如，混响、衰减时间(T60)、频率响应、时间能量频率(TEF)、能量时间曲线(ETC)等)之间的转换。在一些实施方案中，修改与虚拟环境300相关联的音频对象的声学特性以与真实环境200的声学特性对应。例如，当在虚拟环境300中时，与虚拟头像(例如，虚拟机器人302-a)相关联的音频对象包括对应于虚拟环境300的声学特性(例如，由虚拟机器人302-a发出的声音被处理为具有与宇宙飞船的内部对应的声学特性)。当音频转换到真实环境200时，与虚拟头像相关联的音频对象的声学特性被修改为与真实环境200的声学特性对应(例如，由虚拟机器人302-a发出的声音被处理为具有与用户的房间对应的声学特性)。这样，当从虚拟环境300转换到真实环境200时，与虚拟头像相关联的音频对象与真实环境200中的音频更逼真地融合在一起。

在一些实施方案中，修改真实环境200中的音频的声学特性以与虚拟环境300的声学特性对应。例如，当在真实环境200中时，在真实环境200中讲话的人的声音(例如，用户自己的声音)具有与真实环境对应的声学特性(例如，正在讲话的人的声音未经处理并且具有与该人正在其中讲话的房间的自然声学对应的声学特性)。当音频转换到虚拟环境300时，真实环境中的音频的声学特性(例如，该人的说话声音)被修改为与虚拟环境300的声学特性对应(例如，该人的声音被处理为具有与宇宙飞船的内部对应的声学特性)。这样，当从真实环境200转换到虚拟环境300时，真实环境200中的音频与虚拟环境300中的音频更逼真地融合在一起。

在一些实施方案中，真实环境200的声学特性由设备100a确定。在一些实施方案中，真实环境200的声学特性是分配给一种环境(例如，大房间、小房间、音乐厅、大教堂)的预先确定的声学特性。在一些实施方案中，通过分析真实环境200的声学特征和/或物理特征来确定真实环境200的声学特性。例如，真实环境200的声学特性可通过发出预先确定的测试声音(例如，啁啾或扫频)并分析由真实环境200引起的测试声音的变化(例如，测试声音反射到房间的物理特征，并对该反射进行分析)来确定。又如，可检测房间的物理特征(例如，房间中墙壁、地板、天花板和对象的布局和材料组成)。然后可基于真实环境200的物理特征来估计真实环境200的声学模型。

在一些实施方案中，在应用虚拟环境300的声学特性之前，对真实环境200中的音频进行过滤以去除真实环境200的声学特性。在一些实施方案中，随着虚拟环境300的声学特性被应用于真实环境200中的音频，真实环境200的声学特性被逐渐滤除(例如，逐渐去除)。这样，随着视图转换到虚拟环境300，真实环境200中的音频被逐渐修改为与虚拟环境300的音频对象的声学特性对应。

在一些实施方案中，应用于真实环境200中的音频的声学特性部分地基于音频输出设备(例如，封闭式耳机、开放式耳机、入耳式耳机、外耳式耳机或扬声器)。当使用允许听到真实环境200中的音频而没有显著失真或响度降低的音频输出设备(例如，开放式耳机、外耳式耳机、扬声器)时，在提供真实环境200的视图的情况下，真实环境200中的音频不被处理(例如，放大或过滤)。当使用使真实环境200中的音频失真或响度降低的音频输出设备(例如，封闭式耳机、入耳式耳机)时，在提供真实环境200的视图的情况下，真实环境200中的音频被处理(例如，放大或过滤)以应用真实环境200的声学特性。这样，减轻了失真和/或响度降低(例如，用户以与不使用封闭式耳机或入耳式耳机的用户类似的方式听到真实环境200中的音频)。

在一些示例中，到真实环境200的视图的转换响应于电子设备100a检测到转换事件。在一些实施方案中，检测转换事件包括接收来自诸如电子设备100a的旋转输入机构(例如，旋钮)之类的输入设备的信号。在显示虚拟环境300时，如果检测到旋转输入机构沿着第一方向旋转，则真实环境200变得至少部分地可见，并且虚拟环境300变得可见度降低(例如，如上所述，两个环境融合在一起)。每个环境的可见度与旋转输入机构的旋转量(和/或旋转速度)相关联。相比于旋转输入机构的相对较小的旋转量(和/或缓慢旋转)，更大的旋转量(和/或更快旋转)导致真实环境200变得更可见并且虚拟环境300变得可见度降低。换句话讲，用于融合两个环境的可见度值与旋转输入机构的旋转量(和/或旋转速度)相关联。这允许用户控制每个环境(真实的和虚拟的)的可见度。在一些实施方案中，旋转输入机构的旋转与可见度值具有非线性关系。例如，与将旋转输入机构缓慢旋转半圈相比，将旋转输入机构快速旋转半圈导致环境的不同可见度值。

在一些实施方案中，检测转换事件包括检测到电子设备100a(和/或用户)与真实环境200中的物理对象(也称为物理元素)的接近度小于阈值距离(例如，1英尺)。例如，在显示虚拟环境300时，如果电子设备100a(和/或用户)接近真实环境200的桌子202-a，则真实环境200变得至少部分地可见并且虚拟环境300变得可见度降低(例如，如上所述，两个环境融合在一起)。在一些示例中，每个环境的可见度跟设备100a(和/或用户)与物理对象(例如，桌子202-a)的接近度相关联。例如，当设备100a(和/或用户)移近物理对象时，真实环境200变得更可见，并且虚拟环境300变得可见度降低。这在用户接触物理对象之前向用户提供指示或警报。

在一些实施方案中，设备100a经由一个或多个内部和/或外部图像传感器检测设备100a和/或用户与物理对象的接近度。在一些实施方案中，阈值距离是预定义的(例如，由设备100a的操作系统预定义或由设备100a的用户设置)。

在一些实施方案中，检测转换事件包括检测触发声音，诸如某人说话或警示声音(电话呼叫、消息、闹钟等)。例如，在显示虚拟环境300时，如果检测到触发声音，则真实环境200变得至少部分地可见并且虚拟环境300变得可见度降低(例如，如上所述，两个环境融合在一起)。通过提供真实环境200的至少部分可见的视图，用户可识别触发声音的来源。在一些实施方案中，触发声音的来源(例如，正在说话的人、电话、计算机等)的表示比真实环境200的其他元素更可见。

如图4B所示，从虚拟环境300的视图到真实环境200的视图的转换通过真实环境200变得更可见而继续。在一些实施方案中，该转换响应于输入设备诸如旋转输入机构上的另外的输入而继续。在一些实施方案中，该转换响应于检测到设备100a与真实环境200中的物理对象的接近度已减小而继续。因此，当用户接近物理对象时，物理对象(和真实环境200)变得更可见。此外，在一些实施方案中，在提供与真实环境200相关联的音频时，与虚拟环境300相关联的音频对象的音量水平继续减小。在一些实施方案中，某些音频对象(例如，与突出的虚拟对象相关联的音频对象，诸如虚拟机器人302-a)的音量水平比其他音频对象(例如，与虚拟环境300的环境背景噪声相关联的音频对象)更快地减小，或反之亦然。

如图4C所示，虚拟环境300的视图已经约一半地转换到真实环境的视图，使得两个环境大致同样可见。此外，在一些实施方案中，以与跟真实环境200相关联的音频大致相同的音量水平来提供与虚拟环境300相关联的音频对象。

如图4D所示，从虚拟环境300的视图到真实环境200的视图的转换通过虚拟环境300变得比真实环境200可见度更低而继续。

如图4E所示，从虚拟环境300的视图到真实环境200的视图的转换通过虚拟环境300继续变得比真实环境200可见度更低而继续。

当转换完成时，设备100a提供如图2所示的真实环境200的视图，而不提供虚拟环境300的视图。

在提供真实环境200的视图时，可执行基本上相反的过程以从真实环境200的视图转换到虚拟环境300的视图。该过程响应于检测到另一转换事件来执行。在一些实施方案中，该转换事件包括接收到来自输入设备(例如，沿相反方向的旋转输入机构)的信号，或者检测到设备100a与物理对象的接近度大于阈值距离(例如，1英尺)。

此外，在转换过程期间，转换可逆转，使得虚拟环境300的视图变得更可见，而真实环境200的视图变得可见度降低(或反之亦然)。转换过程的逆转响应于检测到第二转换事件。在一些实施方案中，检测第二转换事件包括接收来自输入设备(例如，旋转输入机构)的第二信号。例如，如果用户开始沿着导致从虚拟环境300的视图转换到真实环境200的视图的第一方向旋转旋转输入机构，则该旋转输入机构沿着相反的第二方向的旋转导致该转换逆转。在一些实施方案中，旋转输入机构沿着相反的第二方向的旋转与环境的可见度值具有非线性关系。例如，与将旋转输入机构缓慢旋转半圈相比，将旋转输入机构快速旋转半圈导致环境的不同可见度值。

转换的逆转可能在转换过程中的不同时间发生。例如，如果转换部分完成，如图4B所示，并且检测到第二转换事件，则转换过程逆转，并且真实环境的视图变得可见度降低，如图4A所示。

在一些实施方案中，检测第二转换事件包括检测到设备100a与物理对象的接近度已增加。响应于该接近度的增加，转换过程如上所述地逆转。

这种在虚拟环境300的视图和真实环境200的视图之间来回转换的过程为用户提供了他们接近障碍物的视觉(并且在一些实施方案中，为听觉的)提示，而不完全中断用户在虚拟环境300中的体验。相比于虚拟环境300突然被替换为真实环境200的视图的情况，通过逐渐淡入真实环境200的视图，用户可能不太容易迷失方向。然后，当用户不再靠近障碍物时，真实环境200的视图淡出，并且用户在虚拟环境300中的体验比虚拟环境300突然重现的情况更自然地进行。

图5A至图5C示出了根据一些实施方案的用于将来自真实环境200(如参考图2所述)的影像插入虚拟环境300(如参考图3所述)中的示例性技术。如图5A所示，物理对象202-a(也称为物理元素)(例如，桌子)的影像被插入虚拟环境300中。当物理对象202-a的影像最初被插入虚拟环境300中时，物理对象202-a的影像至少部分地可见。

响应于检测到电子设备100a(和/或用户)与真实环境200中的物理对象202-a的接近度小于阈值距离(例如，1英尺)，插入物理对象202-a的影像。例如，在显示虚拟环境300时，如果电子设备100a接近真实环境200中的物理对象202-a，则物理对象202-a的影像在虚拟环境300内的与真实环境200中的物理对象202-a的真实世界位置对应的位置处变得至少部分地可见。在一些实施方案中，当插入物理对象202-a的影像时，虚拟环境300的影像(例如，在与物理对象202-a的影像对应的位置处)也变得可见度降低。

在一些实施方案中，设备100a经由一个或多个内部和/或外部图像传感器检测设备100a和/或用户(例如，用户身体的手臂、腿或头部)与物理对象202-a的接近度。在一些实施方案中，阈值距离是预定义的(例如，由设备100a的操作系统预定义或由设备100a的用户设置)。

在一些实施方案中，物理对象202-a的影像与真实环境200的其他影像是隔离的。例如，当设备100a检测到与物理对象202-a的接近度小于阈值距离(例如，1英尺)时，物理对象202-a的影像与真实环境200的周围影像隔离。然后将物理对象202-a的隔离影像插入虚拟环境300的影像中。在一些实施方案中，例如，当物理对象202a处于设备100a的一个或多个传感器(例如，图像传感器)的视野中时，经由设备100a的该一个或多个传感器检测物理对象202a的影像。在一些实施方案中，除此之外或另选地，经由设备100a外部的一个或多个传感器(例如，图像传感器、深度传感器、运动传感器、加速度计、陀螺仪)(例如，安装在真实环境200中的传感器)检测物理对象202-a。

在一些实施方案中，使用通用对象形状(例如，通用台面、立方体、球体等)在虚拟环境300内描绘物理对象202-a的影像。在一些实施方案中，通用对象形状在视觉上类似于真实环境200中的对应物理对象202-a(例如，类似的尺寸、类似的颜色等)。

在一些实施方案中，将物理对象202-a的影像与虚拟环境300的影像合成(例如，融合)。通过使用与物理对象202-a的影像和虚拟环境300的影像相关联的可见度值来执行合成，以将影像彼此组合。在一些实施方案中，该可见度值对应于影像中的α通道信息。可见度值用于调整物理对象202-a的影像和虚拟环境300的影像的透明度。在插入之前，虚拟环境300不具有透明度(例如，α＝1.0)。在最初插入物理对象的影像时(诸如图5A所示)，其中插入物理对象202-a的虚拟环境300的透明度略微增加(例如，α＝0.9)，并且物理对象202-a的影像被添加到虚拟环境300的部分透明影像中，其中物理对象202-a的影像具有互补的可见度值(例如，α＝0.1)。在一些实施方案中，可见度值对应于虚拟环境300的各个像素和物理对象202-a的影像的α通道信息。这样，例如，在虚拟环境300的视图和真实环境200的视图之间的转换之前、期间和/或之后，虚拟环境300的一个或多个部分可以与虚拟环境300的一个或多个其他部分不同的透明度显示。

物理对象202-a的影像的可见度跟设备100a(和/或用户)与物理对象202-a的接近度相关联。当设备100a移近真实环境200中的物理对象202-a时，插入虚拟环境300中的物理对象202-a的影像变得更可见。在一些实施方案中，虚拟环境300的影像也变得可见度降低。这在用户接触物理对象之前向用户提供指示或警报。

如图5B所示，随着设备100a(和/或用户)的接近度减小，物理对象202-a的影像在虚拟环境300中变得更可见。此外，在一些实施方案中，插入物理对象202-a的影像的位置处的虚拟环境300的影像变得可见度降低。在一些实施方案中，随着物理对象202-a的影像变得更可见，虚拟环境300的所有影像变得可见度降低。

如图5C所示，物理对象202-a的影像在虚拟环境300中完全可见(例如，α＝1.0)。响应于设备100a(和/或用户)的接近度减小到小于第二阈值距离(例如，3英寸)，物理对象202-a的影像变得完全可见。此外，在一些实施方案中，插入物理对象202-a的影像的位置处的虚拟环境300的影像不再可见(例如，α＝0.0)。在一些实施方案中，虚拟环境300的所有影像不再可见，使得当与物理对象202-a的接近度减小到小于第二阈值时，仅物理对象202-a的影像是可见的。

在将物理对象202-a的影像插入虚拟环境300中之后，可执行基本上相反的过程以从虚拟环境300中移除物理对象202-a的影像。该逆转过程响应于检测到设备100a(和/或用户)与物理对象202-a的接近度已增加到超过阈值距离。这种逆转可在物理对象202-a的影像在虚拟环境300中变得可见之后的不同时间发生。例如，如果物理对象202-a的影像是部分可见的，如图5B所示，并且与物理对象202-a的接近度增加，则物理对象202-a的影像变得可见度降低，诸如图5A所示。如果与物理对象202-a的接近度继续增加到大于阈值距离，则从虚拟环境300中移除物理对象202-a的影像，并且显示如图3所示的虚拟环境。

这种在虚拟环境300中插入物理对象202-a的影像的过程为用户提供了他们接近障碍物的视觉(并且在一些实施方案中，为听觉的)提示，而不完全中断用户在虚拟环境300中的体验。相比于虚拟环境300的所有方面突然被替换的情况，通过在虚拟环境300中插入物理对象202-a的影像，同时使虚拟环境300的其他方面保持不变，用户可能不太容易迷失方向。然后，当用户不再靠近障碍物时，物理对象202-a的影像消失，并且用户在虚拟环境300中的体验比虚拟环境300的所有方面突然重现的情况更自然地进行。

图6是示出了根据一些实施方案的由电子设备(例如，设备100a)执行的示例性过程600的流程图。在一些实施方案中，该电子设备具有一个或多个显示器(例如，显示器120)。在一些实施方案中，该显示器是(至少部分地)透明的显示器。在一些实施方案中，电子设备连接到与该设备分开的显示器并与之通信。在一些实施方案中，电子设备具有一个或多个传感器设备(例如，图像传感器108、取向传感器110、位置传感器116)。在一些实施方案中，电子设备连接到与设备分开的一个或多个传感器设备(例如，图像传感器108、取向传感器110、位置传感器116)并与之通信。在一些实施方案中，该设备是头戴式设备。在一些实施方案中，电子设备与头戴式设备分开，但固定在(或被配置成固定到)头戴式设备上。在一些实施方案中，电子设备包括用于输出音频的一个或多个扬声器(例如，扬声器118)。在一些实施方案中，电子设备连接(或被配置成连接)到(例如，经由无线连接、经由有线连接)用于输出音频的一个或多个扬声器(例如，扬声器118)并且与之通信(或被配置成与之通信)。

在框602处，提供了第一类型的第一环境的视图。在一些实施方案中，该第一类型的第一环境是虚拟环境(例如，虚拟环境300)。在一些实施方案中，该第一类型的第一环境是真实环境(例如，真实环境200)的表示。在最初提供第一环境的视图时，以第一可见度值(例如，α＝1.0，诸如图3所示)提供该环境。

在框604处，提供与该第一环境相关联的第一环境音频。在一些实施方案中，该第一环境音频包括与虚拟环境(诸如虚拟环境300，如图3所示)的各个部件相关联的一个或多个音频对象。将该音频对象中的每个音频对象混合在一起以形成第一环境音频。在一些实施方案中，混合音频对象包括调整每个音频对象的音量水平、空间安置和/或频谱，使得每个音频对象融合到第一环境音频中。在一些实施方案中，基于相关联的虚拟对象(例如，虚拟对象302)在虚拟环境(例如，虚拟环境300)中的位置以及用户头部相对于该虚拟对象的位置和取向来调整每个音频对象的音量水平、空间安置和/或频谱。

在框606处，检测转换事件。在一些实施方案中，检测转换事件包括接收来自输入设备的信号。在一些实施方案中，输入设备包括旋转输入机构(例如，旋钮)。在一些实施方案中，旋转输入机构的旋转与所接收的信号具有非线性关系(例如，快速旋转旋钮产生与缓慢旋转旋钮不同的信号)。

在一些实施方案中，检测转换事件包括检测到用户与真实环境中的物理对象(例如，桌子202-a，如图2所示)的接近度小于阈值距离。在一些实施方案中，检测转换事件包括检测触发声音。

在框608处，响应于检测到转换事件，提供第一环境与第二类型的第二环境的组合视图(诸如图4A至图4E所示)。该组合视图包括处于第一可见度值的第一环境的影像和处于第二可见度值的第二环境的影像。在一些实施方案中，可见度值对应于每个环境的影像中的α通道信息。可见度值用于调整每个环境的透明度。在一些实施方案中，第一可见度值和第二可见度值基于来自输入设备的接收信号。在一些实施方案中，当检测转换事件包括检测到用户与真实环境中的物理对象的接近度小于阈值距离时，第一可见度值和第二可见度值基于用户与物理对象的接近度。在一些实施方案中，第二环境的影像包括物理对象的表示(例如，桌子202-a的影像)。在一些实施方案中，当检测转换事件包括检测触发声音时，第二环境的影像包括触发声音的来源的表示。

在一些实施方案中，该第二类型的第二环境是真实环境(例如，真实环境200)的表示。在一些实施方案中，该第二类型的第二环境是虚拟环境(例如，虚拟环境300)。在一些实施方案中，提供组合视图包括将第一环境的影像与第二环境的影像合成。在一些实施方案中，该合成使用与第一环境和第二环境相关联的α通道。

在框610处，响应于检测到该转换事件，提供第一环境音频和与第二环境相关联的第二环境音频的组合混合。该第一环境音频或该第二环境音频中的至少一者包括多个音频对象，并且该多个音频对象的音量水平与第一可见度值或第二可见度值中的至少一者相关联。在一些实施方案中，第一环境音频包括多个音频对象，并且提供组合混合包括根据该多个音频对象的相应音量水平使多个音频对象与第二环境音频交叉淡入淡出。在一些实施方案中，多个音频对象中的一个或多个第一音频对象的音量水平还与第一环境音频中的一个或多个第一音频对象(例如，与虚拟环境300的主要角色相关联的音频对象，诸如虚拟机器人302-a)的突出性相关联。在一些实施方案中，提供组合视图包括将第一环境的用户视角与第二环境的用户视角对准。

在一些实施方案中，在提供第一环境与第二环境的组合视图以及第一环境音频与第二环境音频的组合混合之后，停止提供第一环境与第二环境的组合视图以及第一环境音频与第二环境音频的组合混合。然后提供第二环境的视图和第二环境音频(例如，如图2所示，提供真实环境200的视图以及来自真实环境200的音频)。

在一些实施方案中，检测第二转换事件(例如，输入机构的进一步旋转、与物理对象更接近)。响应于检测到该第二转换事件，停止提供第一环境与第二环境的组合视图以及第一环境音频与第二环境音频的组合混合。然后提供第二环境的视图和第二环境音频(例如，如图2所示，提供真实环境200的视图以及来自真实环境200的音频)。

在一些实施方案中，响应于检测到该第二转换事件，修改第一可见度值和第二可见度值以及第一环境音频与第二环境音频的组合混合(例如，从虚拟环境300的视图到真实环境200的视图的转换继续进行，如图4B至图4E所示)。

在一些实施方案中，响应于检测到该第二转换事件，停止提供第一环境与第二环境的组合视图以及第一环境音频与第二环境音频的组合混合。然后提供第一环境的视图和第一环境音频(例如，该视图返回到虚拟环境300的视图，如图3所示，其中音频对象与虚拟环境300相关联)。

图7是示出了根据一些实施方案的由电子设备(例如，设备100a)执行的示例性过程700的流程图。在一些实施方案中，该电子设备具有一个或多个显示器(例如，显示器120)。在一些实施方案中，该显示器是(至少部分地)透明的显示器。在一些实施方案中，电子设备连接到与该设备分开的显示器并与之通信。在一些实施方案中，电子设备具有一个或多个传感器设备(例如，图像传感器108、取向传感器110、位置传感器116)。在一些实施方案中，电子设备连接到与设备分开的一个或多个传感器设备(例如，图像传感器108、取向传感器110、位置传感器116)并与之通信。在一些实施方案中，该设备是头戴式设备。在一些实施方案中，电子设备与头戴式设备分开，但固定在(或被配置成固定到)头戴式设备上。在一些实施方案中，电子设备包括用于输出音频的一个或多个扬声器(例如，扬声器118)。在一些实施方案中，电子设备连接(或被配置成连接)到(例如，经由无线连接、经由有线连接)用于输出音频的一个或多个扬声器(例如，扬声器118)并且与之通信(或被配置成与之通信)。

在框702处，使用一个或多个显示器来呈现(例如，显示)虚拟环境(例如，虚拟环境300)。在最初呈现虚拟环境时，以第一可见度值(例如，α＝1.0，诸如图3所示)呈现该环境。

在框704处，检测电子设备与位于真实环境中的物理对象(例如，物理对象202-a，如图2所示)的接近度。

在框706处，响应于检测到电子设备与物理对象的接近度小于第一阈值距离，将物理对象的影像与真实环境的其他影像隔离。

在框708处，呈现虚拟环境，其中该物理对象的隔离影像插入该虚拟环境中的与该物理对象在真实环境中的位置对应的位置处(诸如图5A至图5C所示)。该物理对象的影像具有跟电子设备与物理对象的接近度相关联的第一可见度值(例如，当设备移近真实环境200中的物理对象202-a时，插入虚拟环境300中的物理对象202-a的影像变得更可见)。在一些实施方案中，呈现带有物理对象的隔离影像的该虚拟环境包括将虚拟环境的影像与物理对象的隔离影像合成。在一些实施方案中，该合成使用与虚拟环境的影像和物理对象的影像相关联的α通道。在一些实施方案中，呈现带有物理对象的隔离影像的该虚拟环境包括将物理对象的用户视角与虚拟环境的用户视角对准。

在一些实施方案中，响应于检测到电子设备与物理对象的接近度小于第一阈值距离，以跟电子设备与物理对象的接近度相关联的第二可见度值呈现该虚拟环境(例如，当插入物理对象202-a的影像时，虚拟环境300的影像变得可见度降低)。在一些实施方案中，响应于检测到电子设备与物理对象的接近度小于第二阈值距离，修改物理对象的影像的第一可见度值(例如，当设备移近物理对象202-a时，该对象的影像变得更可见)。在一些实施方案中，响应于检测到电子设备与物理对象的接近度小于第三阈值距离，停止虚拟环境的呈现并提供真实环境的视图(例如，提供真实环境200的视图，如图2所示)。

在框710处，响应于检测到电子设备与物理对象的接近度大于第一阈值距离，呈现不带有物理对象的隔离影像的虚拟环境(例如，移除物理对象202-a的影像并且呈现虚拟环境300，如图3所示)。

在一些实施方案中，过程700还包括使用一个或多个扬声器提供与虚拟环境相关联的虚拟环境音频。在一些实施方案中，响应于检测到电子设备与物理对象的接近度小于第一阈值距离，提供虚拟环境音频与真实环境音频的组合混合，其中该组合混合中的虚拟环境音频的量与电子设备与物理对象的接近度相关联。

在一些实施方案中，虚拟环境音频包括多个音频对象，并且提供该组合混合包括使多个音频对象与真实环境音频交叉淡入淡出。在一些实施方案中，应用于多个音频对象中的一个或多个第一音频对象的交叉淡入淡出量与虚拟环境中的一个或多个第一音频对象(例如，与虚拟环境300的主要角色相关联的音频对象，诸如虚拟机器人302-a)的突出性相关联。在一些实施方案中，应用于多个音频对象中的一个或多个第二音频对象的交叉淡入淡出量与影像的α通道的值相关联。

图8是示出了根据一些实施方案的由电子设备(例如，设备100a)执行的示例性过程800的流程图。在一些实施方案中，该电子设备具有一个或多个显示器(例如，显示器120)。在一些实施方案中，该显示器是(至少部分地)透明的显示器。在一些实施方案中，电子设备连接到与该设备分开的显示器并与之通信。在一些实施方案中，电子设备具有一个或多个传感器设备(例如，图像传感器108、取向传感器110、位置传感器116)。在一些实施方案中，电子设备连接到与设备分开的一个或多个传感器设备(例如，图像传感器108、取向传感器110、位置传感器116)并与之通信。在一些实施方案中，该设备是头戴式设备。在一些实施方案中，电子设备与头戴式设备分开，但固定在(或被配置成固定到)头戴式设备上。在一些实施方案中，电子设备包括用于输出音频的一个或多个扬声器(例如，扬声器118)。在一些实施方案中，电子设备连接(或被配置成连接)到(例如，经由无线连接、经由有线连接)用于输出音频的一个或多个扬声器(例如，扬声器118)并且与之通信(或被配置成与之通信)。

在框802处，提供(例如，显示)第一类型的第一环境的视图。在一些实施方案中，该第一类型的第一环境是真实环境(例如，真实环境200)。在一些实施方案中，该第一类型的第一环境是虚拟环境(例如，虚拟环境300)。

在框804处，提供与第一环境相关联的第一环境音频，其中该第一环境音频具有与所提供的第一环境的视图对应的第一声学特性。在一些实施方案中，提供第一环境音频包括将该第一环境音频修改为具有与所提供的第一环境的视图对应的第一声学特性。在一些实施方案中，该第一环境音频包括用户的语音。在一些实施方案中，该第一环境音频包括与第一类型的第一环境的部件相关联的音频对象。

在框806处，检测转换事件。在一些实施方案中，检测转换事件包括接收来自输入设备的信号。在一些实施方案中，输入设备包括旋转输入机构(例如，旋钮)。在一些实施方案中，检测转换事件包括检测到用户与真实环境中的物理对象(例如，桌子202-a)的接近度小于阈值距离。在一些实施方案中，检测转换事件包括检测触发声音。

在框808处，响应于检测到转换事件，提供第二类型的第二环境的视图。在一些实施方案中，该第二类型的第二环境是虚拟环境(例如，虚拟环境300)。在一些实施方案中，该第二类型的第二环境是真实环境(例如，真实环境200)。

在框810处，将第一环境音频修改为具有与所提供的第二环境的视图对应的第二声学特性。在一些实施方案中，声学特性包括混响、衰减时间、频率响应、时间能量频率和能量时间曲线中的一者或多者。

在框812处，提供经修改的第一环境音频。在一些实施方案中，经修改的第一环境音频以与跟第二环境相关联的第二环境音频的组合混合提供。在一些实施方案中，该第二环境音频包括被修改为具有与所提供的第二环境的视图对应的第二声学特性的音频。

在一些实施方案中，检测第二转换事件。响应于检测到该第二转换事件，停止提供第二类型的第二环境的视图，停止将第一环境音频修改为具有第二声学特性，提供第一类型的第一环境的视图，并且提供第一环境音频，其中该第一环境音频具有与所提供的第一环境的视图对应的第一声学特性。

用于执行上述过程600、700和/或800的特征的可执行指令任选地包括在被配置为由一个或多个处理器(例如，处理器102)执行的暂态或非暂态计算机可读存储介质(例如，存储器106)或其他计算机程序产品中。

本文定义的各种过程考虑了获取和利用用户的个人信息的选项。例如，可利用此类个人信息以便在虚拟环境中提供真实环境的影像和声音。然而，在收集此类个人信息的程度上，此类信息应在用户知情同意的情况下获取。如本文所描述的，用户应了解和控制其个人信息的使用。

个人信息将由适当方仅用于合法和合理的目的。利用此类信息的各方将遵守至少符合适当法律法规的隐私政策和惯例。此外，此类政策应是完善的、用户可访问的，并且被认为符合或高于政府/行业标准。此外，除任何合理和合法的目的外，各方不得分发、出售或以其他方式分享此类信息。

然而，用户可限制各方能访问或以其他方式获取个人信息的程度。例如，可调整设置或其他偏好，使得用户可决定其个人信息是否可由各种实体访问。此外，虽然在使用个人信息的上下文中描述了本文所定义的一些特征，但可在不需要使用此类信息的情况下实现这些特征的各方面。例如，如果收集到用户偏好、账户名称和/或位置历史，则该信息可被模糊化或以其他方式一般化，使得该信息不会识别相应用户。

出于例示和描述的目的呈现了具体实施方案的前述描述。它们并非旨在穷举或将权利要求的范围限制于所公开的精确形式，并且应当理解，鉴于上述教导，许多修改和变型是可能的。