使用随着时间的眼睛注视评估进行选择

摘要

公开了涉及基于眼睛注视来对在图形用户界面上显示的用户界面对象进行选择的各个实施例。在一个实施例中，可接收选择输入。可以评估在一时间窗口内的不同时间的多个眼睛注视样本。该时间窗口可以基于选择输入被检测到的时间来选择。用户界面对象可以基于多个眼睛注视样本来选择。

说明书

背景

眼睛注视跟踪可以被用作与图形用户界面交互的一种机制。例如，被确定为与图形用户界面相交的注视位置可被用作图形用户界面的定位信号，类似于由计算机鼠标或类似物控制的传统光标所提供的。

概述

公开了涉及基于眼睛注视检测来对在图形用户界面上显示的用户界面对象进行选择的各个实施例。例如，一个公开的实施例提供了一种方法，该方法包括：在计算设备上接收选择输入，并且响应于该选择输入来评估在一时间窗口内的不同时间的多个眼睛注视样本，其中该时间窗口可基于选择输入被检测到的时间来选择。该方法进一步包括基于多个眼睛注视样本来选择用户界面对象。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。

附图简述

图1示出根据本公开的一实施例的头戴式显示设备的示例。

图2-3示出了根据本公开的各实施例的示例眼睛注视样本评估的图形描绘。

图4-6示出了根据本公开的一实施例的基于眼睛注视评估可以在图形用户界面上呈现的反馈的示例。

图7A-7B示出了根据本公开的一实施例的用于基于眼睛注视评估选择在图形用户界面上显示的用户界面对象的示例方法。

图8示意性地示出根据本公开的一实施例的计算系统的示例。

详细描述

用于使用眼睛注视跟踪来选择用户界面对象的一些办法可基于在接收到选择输入(例如，按钮致动、身体部位姿势等)的时间的眼睛注视位置来确定要选择的图形用户界面对象。然而，这种办法可能导致对要选择哪个图形用户界面对象的不准确判断。例如，当在用户界面(UI)对象之间快速移动时，诸如当使用眼睛注视跟踪来在虚拟键盘上打字时，用户可能在用户的眼睛注视已经稳定在预期UI对象位置处之前执行选择输入。同样地，用户的眼睛注视可稳定于预期UI对象并且接着在执行选择输入之前被移开。因而，基于执行选择输入时注视的位置来选择用户界面对象可能导致用户界面行为不匹配用户意图。系统等待时间也可能对此类不确定性作出贡献。例如，与确定眼睛注视位置相比，可能花费更长的时间量来处理对选择输入的接收，或者相反。由此，在眼睛注视检测与选择检测之间可能产生独立于任何用户行为的滞后。

相应地，本文公开了涉及通过评估多个眼睛注视样本来控制对图形用户界面对象的选择的各实施例。例如，在一些实施例中，眼睛注视定位测量可以被周期性地采样并且被存储达一时间量。在接收到被配置成选择UI对象的输入之际，一时间窗口内的多个眼睛注视样本可以被评估以确定用户期望选择哪个UI对象。通过评估在检测到选择输入时间附近的多个眼睛注视样本，在确定预期UI对象时与只考虑单个样本相比可以将更多输入纳入考虑。这可以有助于即便在预期眼睛注视位置不与选择输入同步的情况下确定预期UI元素。

本文所描述的各实施例可以与任何合适的注视跟踪系统联用。例如，在一些实施例中，眼睛注视跟踪可被用于控制在头戴式显示(HMD)设备上显示的图形用户界面。图1示出具有透明显示器102的一副可佩戴眼镜形式的HMD设备100的非限制性示例。将明白，HMD设备可以采取任何其他合适的形式，其中透明、半透明和/或不透明显示器被支撑在查看者的一只或两只眼睛前方。此外，本文所描述的各实施例可以与任何其它合适的眼睛跟踪系统联用，包括但不限于，用于移动计算设备、膝上型计算机、台式计算机、平板计算机、其它可穿戴计算机等的眼睛跟踪系统。

HMD设备100包括透视显示器102和控制器104。透视显示器102可以使得图像(诸如全息对象)被递送到HMD设备佩戴者的眼睛。透视显示器102可被配置成向通过该透明显示器查看物理环境的佩戴者在视觉上增强现实世界物理环境的外观。例如，物理环境的外观可以由经由透明显示器102来呈现以创建混合现实环境的图形内容来增强。在一个示例中，该显示器可被配置成在图形用户界面上显示一个或多个UI对象。在一些实施例中，在图形用户界面上呈现的UI对象可以是覆盖在现实世界环境前方的虚拟对象。同样地，在一些实施例中，在图形用户界面上呈现的UI对象可以纳入通过透明显示器102被看到的现实世界环境的现实世界对象的元素。在任一情形中，UI对象可以经由眼睛注视跟踪来选择。

任何合适的机制可被用于经由透明显示器102来显示图像。例如，透明显示器102可包括位于透镜106内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器102可包括位于HMD设备100框架内的光调制器。在这一示例中，透镜106可以担当用于将光从光调制器递送到佩戴者的眼睛的光导。这样的光导可使得佩戴者能够感知位于物理环境内的佩戴者正在查看的3D全息图像，同时还允许佩戴者查看物理环境中的物理对象，由此创建混合现实环境。

HMD设备100还可包括用于向控制器104提供信息的各种传感器和相关系统。此类传感器可包括但不限于，一个或多个面向内的图像传感器108、一个或多个面向外的图像传感器110、以及惯性测量单元(IMU)112。一个或多个面向内的图像传感器108可被配置成获取来自佩戴者眼睛的注视跟踪数据形式的图像数据。HMD设备可被配置成基于接收自图像传感器108的信息用任何合适的方式来确定佩戴者眼睛中的每一只眼睛的注视方向。例如，一个或多个光源114(诸如红外光源)被配置成使得从佩戴者的每一只眼睛的角膜反射闪光。一个或多个图像传感器108然后可被配置成捕捉佩戴者眼睛的图像。如从收集自图像传感器108的图像数据确定的闪烁和瞳孔的图像可被控制器104用于确定每一只眼睛的光轴。使用这一信息，控制器104可被配置成确定佩戴者的注视方向。控制器104可被配置成附加地或替换地确定佩戴者注视什么物理或虚拟对象。

一个或多个面向外的图像传感器110可被配置成接收来自HMD设备100位于的物理环境的物理环境数据。例如，面向外的传感器110可被配置成检测显示器102视野内的移动，诸如视野内的佩戴者或人或物理对象所执行的基于姿势的输入或其他移动。在一个示例中，面向外的传感器110可以检测由HMD设备的佩戴者执行的指示对在显示设备上显示的UI对象的选择的选择输入，诸如姿势(例如，捏合手指、闭紧拳头等)。面向外的传感器还可从物理环境和该环境内的物理对象捕捉2D图像信息和深度信息。控制器104可被配置成使用此类环境信息来确定方向/位置和取向数据，该方向/位置和取向数据实现HMD设备100在现实世界环境中的定位/运动跟踪。

IMU 112可被配置成将HMD设备100的定位和/或取向数据提供给控制器104。在一个实施例中，IMU 112可被配置为三轴或三自由度定位传感器系统。这一示例定位传感器系统可以例如包括用于指示或测量HMD设备100在3D空间内绕三个正交轴(例如，x、y、z)(例如，滚转、俯仰、偏航)的定向变化的三个陀螺仪。从IMU的传感器信号导出的取向可被用于经由透视显示器用三自由度来显示一个或多个虚拟UI对象。

在另一示例中，IMU 112可被配置为六轴或六自由度定位传感器系统。这一配置可以包括三个加速度计和三个陀螺仪以指示或测量HMD设备100沿三个正交轴的位置变化和绕该三个正交轴的设备取向变化。在一些实施例中，来自图像传感器110和IMU 112的定位和取向数据可以被结合使用以确定HMD设备100的定位和取向。

HMD设备100还可以支持其他合适的定位技术，诸如GPS或其他全球导航系统。此外，尽管描述了位置传感器系统的具体示例，但将明白，可以使用任何其他合适的位置传感器系统。例如，头部姿态和/或移动数据可以基于来自安装者佩戴者上和/或佩戴者外部的传感器的任何组合的传感器信息来确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机，等等)、通信设备(例如，WIFI天线/接口)，等等。

继续图1，控制器104可被配置成基于由一个或多个面向内的图像传感器108检测到的信息记录随着时间的多个眼睛注视样本。对于每一眼睛注视样本，眼睛跟踪信息以及在一些实施例中的头部跟踪信息(来自图像传感器110和/或IMU 112)可被用于估计该眼睛注视样本的原点和方向向量以产生眼睛注视与透视显示器相交的估计位置。用于确定眼睛注视样本的眼睛跟踪信息和头部跟踪信息的非限制性示例可包括眼睛注视方向、头部取向、眼睛注视速度、眼睛注视加速度、眼睛注视方向角改变、以及任何其它合适的跟踪信息。在一些实施例中，眼睛注视跟踪可以独立于HMD设备100佩戴者的两只眼睛来记录。

此外，在一些实施例中，控制器104可被配置成与稳定性度量相比来评估眼睛注视样本。例如，稳定性度量可考虑各种参数，包括速度、加速度、以及其它眼睛注视跟踪信息。样本稳定性可以例如基于一时间窗口内样本的眼睛注视方向的统计方差来评估。时间窗口可以基于选择输入被检测到的时间来选择。不满足稳定性度量的样本可具有提供眼睛注视位置的不准确表示的更高可能，并且因而可以从用于UI对象选择的眼睛注视样本的评估中被排除。例如，具有高速度和/或加速度的眼睛注视样本可指示眼睛注视是不稳定的或者未稳定于特定位置，并且因而该样本在选择UI对象的评估中可以不被考虑。

附加地，在一些实施例中，可以指示用户意图的上下文信息可以在稳定性试探法的计算中被考虑。例如，在选择虚拟键盘上的字符时，过去选择的字符可以被考虑以获得有效单词前缀。在另一示例中，编辑功能可以被认为是上下文信息。例如，如果虚拟键盘上的字符被选择并且接着被删除，则下一选择事件可以不考虑该字符。

将理解，时间窗口可以被设置于相对于选择输入时间的任何合适的位置，并且可具有任何合适的历时，而不背离本公开的范围。例如，在一些实施例中，时间窗口可具有相对有限的历时，并且包括选择输入时间周围的有限数目的眼睛注视样本。在其它实施例中，时间窗口可包括HMD设备被打开并且收集眼睛注视样本的整个时间历时。例如，这一时间窗口中的眼睛注视样本可以根据指数平滑化办法来评估。

多个眼睛注视样本可以用任何合适的方式来评估以确定旨在选择的UI对象。例如，在一些实施例中，眼睛注视样本评估可遵循迭代试探法，该迭代试探法开始于最接近检测到选择输入的时间的眼睛注视样本。各个样本可以被迭代地评估，并且在时间上从检测到选择输入的时间既向前又向后地向外移动。在一个示例中，如果正被评估的样本与时间窗口中的注视样本的平均方向不同超过一阈值，诸如特定百分比差异，则在该时间方向上的样本评估可以被停止。在另一示例中，如果一个方向上的多个连贯样本变化达显著的量，则在该时间方向上的样本评估可以被停止。此类方差可指示离散用户动作之间的边界。

选择输入可包括由HMD设备100佩带者执行的用于指示对在透视显示器102上显示的UI对象的选择的任何合适的动作。例如，在一些实施例中，选择输入可以经由除了眼睛注视之外的输入模式来作出。作为更具体的示例，选择输入可以经由位于HMD设备100上的选择输入按钮118来作出。在另一示例中，选择输入按钮可位于另一设备上，诸如与HMD设备100处于通信的远程控制器。在又一示例中，选择输入可以经由由HMD设备佩戴者执行的姿势来作出，其中该姿势可经由光学传感器系统、头部跟踪系统、和/或任何其它合适的一个或多个传感器来检测。例如，姿势可包括并拢一个手上的手指以作出拳头。作为另一示例，姿势可包括头部移动的突然改变。具体地，HMD设备佩戴者可以在一个方向上移动他/她的头，并且接着突然停止或改变方向。该停止和/或方向改变可以被识别为选择输入。在又一示例中，选择输入可以经由眼睛移动或眼睛眨眼来作出。在又一示例中，选择输入可以经由语音来作出。将理解，选择输入可包括任何合适的动作，并且可以用任何合适的方式来检测而不背离本公开的范围。

HMD设备100还可包括捕捉语音数据的一个或多个话筒，诸如话筒120。此外，音频输出可以经由一个或多个扬声器(诸如扬声器122)被呈现给佩戴者。在一些实施例中，话筒系统可被配置成提供指示对在透视显示器上显示的图形用户界面上呈现的UI对象的选择的音频反馈。

控制器104可包括可与HMD设备的各个传感器和显示器处于通信的逻辑机和存储机，如下文参考图8更详细地讨论的。在一个示例中，存储机可包括可由逻辑机执行以执行以下操作的指令：接收选择输入、评估在基于检测到选择输入的时间选择的一时间窗口内的不同时间的多个眼睛注视样本、以及基于多个眼睛注视样本来选择在透视显示器上显示的UI对象。

如上所讨论的，当用户提供指示选择UI对象的意图的选择输入时，所选时间窗口内的多个眼睛注视样本可以被评估以确定用户期望选择哪个UI对象。该时间窗口可以例如基于选择输入被接收到的时间来选择。

图2-3示出了评估时间窗口内的眼睛注视样本的示例方法的图形表示。眼睛注视样本可以表示用于跟踪眼睛注视的任何合适的信息，包括但不限于注视方向数据。首先参考图2，当选择事件202被检测到时，时间窗口204基于选择输入被检测到的时间来定义。在这一示例中，时间窗口包括在选择输入202被检测到的时间之前和之后获得的眼睛注视样本，但将理解，时间窗口可包括任何合适的时间范围。

在一些实施例中，时间窗口204的中心206可以被设置为接收到选择输入202之前的时间。在图2中，这一偏移在208处被解说。例如，偏移208可基于用户开始选择输入(例如，发起姿势、推动按钮等)的时间与选择输入被系统接收到的时间之间的所确定的时间量(例如，来自历史数据)或所估计的时间量来调整。在偏移经由历史数据被确定的情况下，该偏移可以随着时间例如随着用户变得越来越有技巧而被调整。在其它实施例中，时间窗口的中心可以被设置为在接收到选择输入的时间。

在检测到选择输入202之际，可以执行对多个眼睛注视样本的第一评估210以确定最有可能是选择输入的目标的UI对象。第一评估210可利用具有在时间窗口中心206之前的时间的多个眼睛注视样本。多个眼睛注视样本可以被评估以例如确定多个眼睛注视样本与图形用户界面相交的组合位置。术语“组合位置”可指示利用多个眼睛注视样本经由任何合适的计算所确定的位置。在一个非限制性示例中，组合位置可以是多个眼睛注视样本与图形用户界面相交的平均位置。

基于第一评估，图形用户界面上的UI对象可以基于例如由HMD设备所应用的一个或多个选择规则而被选择。作为一个示例，选择规则可以将权重应用于每一UI对象，并且具有最高权重的UI对象可以被选择。作为更具体的示例，作为同多个眼睛注视样本与图形用户界面相交的组合位置最接近的UI对象的UI对象可具有最高权重并且因此可以被选择。换言之，加权可以基于从UI对象到眼睛注视样本的组合位置的距离。

作为另一示例，加权可基于从UI对象到眼睛注视样本的组合位置的距离乘以UI元素大小的对数。此类选择规则可以提供朝向可增加选择准确性的较小UI对象的偏向。作为另一示例，加权可基于从UI对象到眼睛注视样本的组合位置的距离除以语音识别置信等级。例如，可以将语音输入与多个候选UI对象作比较以产生语音识别置信等级。作为又一示例，选择规则可包括佩戴者最近与其交互的UI对象的权重分量。由此，受欢迎的UI对象可以被赋予更多的权重。

在一些实施例中，选择规则可包括当多个UI具有相同权重时的打破平局供应。例如，上述示例中的任一者可以被用作选择规则中的次要考量或打破平局者考量。

在一些实施例中，每一UI对象可具有动态改变的“命中目标”——出于确定选择的目的而与UI对象相关联的图形用户界面的面积。命中目标的面积可取决于UI对象的预期选择而动态地改变。例如，预期选择可基于应用的上下文被确定。在其中UI对象是虚拟键盘的按键的一个示例中，预期选择可基于要完成单词的估计字母或其它基于语法或拼写的估计。

通过评估导致检测到选择输入的多个眼睛注视样本，对UI对象的准确选择可以达成，即便是在提供选择输入之前用户眼睛注视离开预期UI对象的情形中。

在检测到选择输入之后的一个时间可以执行对不同的多个眼睛注视样本的第二评估212。第二评估可包括在检测到选择输入的时间之后获得的眼睛注视样本。第二评估可以被执行以确认对第一评估的选择，或者基于在检测到选择输入之后取得的附加眼睛注视样本对来自第一评估的选择解除选择并且选择另一UI对象。具体地，在检测到选择输入之后取得的眼睛注视样本可有助于标识其中眼睛注视不稳定于预期UI对象直到执行选择输入之后的情景。相应地，对UI对象的准确选择可以达成，即便在用户的眼睛注视不稳定于预期UI对象直到提供选择输入之后的情形中。

在一些实施例中，第二评估的不同的多个眼睛注视样本可包括在检测到选择输入之前和之后取得的眼睛注视样本。在一个示例中，第二评估可包括该时间窗口内的所有样本。换言之，第一窗口中的眼睛注视样本在同一评估事件的第二窗口中可以被再次考虑。在其它实施例中，第二评估可排除第一窗口中的一些或全部时间样本。

第二评估可确认由第一评估确定的初始选择，或者撤销该初始选择并得到对不同UI对象的选择。例如，如果一不同的UI对象最接近不同的多个眼睛注视样本与图形用户界面相交的组合位置，则对UI对象的初始选择可以被撤销并且该不同UI对象可以被选择。

在一些实施例中，在完成第二评估之际，第一评估和第二评估所评估的所有眼睛注视样本都可能没有资格进行眼睛注视样本的将来评估。这可以避免当在时间上靠近在一起提供选择输入时对相同UI对象的意外重复选择。在其它实施例中，眼睛注视样本可以在多个评估事件中被考虑。

在一些实施例中，第一评估可以评估以第一时间为中心的第一时间窗口中的眼睛注视样本，而第二评估可以评估以晚于第一时间的一个时间为中心的第二时间窗口中的眼睛注视样本。第二窗口可包括与第一窗口不同的多个眼睛注视样本。

在一些实例中，选择输入可以在针对先前选择输入的评估完成之前被接收到。图3示出了其中在第一选择输入202的第二评估要执行的时间216之前接收到第二选择输入214的情景。在这一情景中，第一选择输入202的第一评估210按照上述相同的方式来进行。然而，因为第二选择输入212在第一选择输入202之后并且在第一选择输入202的第二评估之前被检测到，所以第一选择输入202的第二评估212的时间窗口被调整为在第二选择输入214被接收到的时间之前结束。例如，第一时间窗口204的中心206与第二选择输入214之间的历时可以被减小(例如，减半或减少其它合适的量)。以此方式，第二评估的时间窗口被缩短。

在缩短第一选择事件的第二评估之际，第二选择输入212的第一评估220可以利用来自第二窗口218的眼睛注视样本来执行。具体地，眼睛注视样本可以从起始于中点(或其它合适的点)并且结束于检测到第二选择输入214的时间的时间窗口中取得。第二选择输入214的第二评估222可包括由虚线所指示的第二窗口218中的眼睛注视样本。第二评估220可以如上所述地被执行，除非在执行第二评估222之前检测到另一选择输入。

当用户经由眼睛注视与用户界面交互时，任何合适的反馈可以被提供给用户。图4-6示出了根据本文公开的实施例当用户经由眼睛注视选择UI对象时经由图形用户界面400提供给用户的反馈的非限制性示例。图形用户界面400被描绘为包括多个UI对象(例如，虚拟键盘的按键)。图4-6中示出的反馈是视觉上的，但将理解，用户反馈也可以用其它形式来提供(例如，音频、触觉等)。

首先，在图4中，基于对与多个眼睛注视样本的第一评估选择虚拟‘Q’键用户界面对象，该多个眼睛注视样本具有与图形用户界面相交的最接近‘Q’键的组合位置402。响应于该选择，‘Q’键在视觉上与其它用户界面对象相区分，诸如通过突出显示、使其更亮或更暗、使其更大或更小等。在图4中，这一视觉区分被示为交叉影线。要理解，对选择的任何合适的视觉反馈可以被提供而不背离本公开的范围。

此外，对星号的选择的音频反馈以播放陈述“Q被选择”的音频剪辑的形式来提供。要理解，对选择的任何合适的音频反馈可以被提供而不背离本公开的范围。

图5-6示出了对星号UI对象的选择的示例二次评估的结果。在图5中，第二评估确认了对‘Q’键的选择，因为在选择输入之后取得的眼睛注视样本确认眼睛注视样本的组合位置402最接近‘Q’键。响应于对选择的确认，对‘Q’键的选择的确认的视觉反馈以从对角线影线转变成交叉影线的形式来提供，但将理解任何合适的视觉反馈可以被提供。此外，音频、触觉、和/或其它反馈可以被提供以向用户通知对选择的确认。

作为对比，图6示出了当第二评估得到对‘Q’键的解除选择以及对‘W’键的选择时提供的反馈，因为在选择输入之后取得的眼睛注视样本指示眼睛注视样本的组合位置402移动到了‘W’键。响应于对‘W’键的选择，对‘Q’键的选择被撤销并且突出显示从‘Q’键移除并且被置于‘W’键上。由于第二评估完成了选择事件，所以‘W’键被交叉影线以指示最终选择。

图7A-7B示出了根据本公开的一实施例的用于基于眼睛注视评估选择在图形用户界面上显示的UI对象的示例方法700。方法700可以例如由图1中示出的HMD设备100或者由包括眼睛跟踪系统的任何其它合适的计算设备来执行。

在702，方法700包括接收选择输入。在一些实施例中，选择输入可以经由除了眼睛注视之外的输入模式来被接收。各示例包括但不限于，对物理按钮或其它用户界面设备的致动、由来自图像传感器和/或其它运动传感器的数据检测到的用户姿势、音频数据(例如，语音数据)等。

在704，方法700包括评估在基于检测到选择输入的时间而选择的一时间窗口内的不同时间的多个眼睛注视样本。在一些实施例中，如在706指示的，方法700可包括将时间窗口的中心设置为检测到选择输入之前的时间。例如，时间窗口的中心可以被设置成补偿眼睛注视和选择输入之间的定时差异以及系统等待时间。此外，在一些实施例中，如在708指示的，方法700可包括相比于稳定性度量来评估多个眼睛注视样本。不满足稳定性度量的任何眼睛注视样本可以不被包括在多个眼睛注视样本的评估中。

在710，方法700包括选择作为离多个眼睛注视样本与图形用户界面相交的组合位置最接近的UI对象的UI对象。在一些实施例中，组合位置是多个眼睛注视样本与图形用户界面相交的平均位置。在其它实施例中，组合位置可以用任何其它合适的方式来确定。

在选择对象之际，可以提供用户反馈。例如，在712，方法700可包括提供对UI对象的选择的视觉反馈。此外，在714，方法700可包括提供对UI对象的选择的音频反馈。将理解，这些类型的反馈是出于示例的目的而呈现的，且不旨在以任何方式进行限制。

在716，方法700可包括确定是否接收到第二选择输入。如果接收到第二选择输入，则方法700移动到718。否则，方法700移至720。在718，方法700包括将包括要在选择输入的第二评估中被评估的不同的多个眼睛注视样本的第二时间窗口缩短。第二时间窗口可以被缩短以允许不与第二评估的时间窗口交叠的用于第二选择输入的评估的眼睛注视样本的时间窗口。在720，方法700可包括评估在以晚于第一时间窗口为中心的第二时间窗口中的不同的多个眼睛注视样本。如果接收到第二输入选择，则该第二时间窗口被缩短(例如，短于第一时间窗口)。如果未接收到第二输入选择，则第二时间窗口不被缩短。该第二评估可包括在检测到选择输入的时间之前和之后的眼睛注视样本。

在722，方法700可包括确定一不同的UI对象是否最接近不同的多个眼睛注视样本与用户界面相交的位置。如果一不同的UI对象最接近不同的多个眼睛注视样本与用户界面相交的位置，则方法700移动到724，其中最初被选择的UI对象被解除选择，并且一不同的UI对象被选择，并且接着移动到726。否则，方法700移动到726而不执行724处的过程。

在726，方法700可包括将第一窗口和第二窗口中的所有经评估的眼睛注视样本移除以免于用于眼睛注视样本的将来评估。

通过评估在检测到选择输入时间附近的多个眼睛注视样本，在确定预期UI对象时与只考虑单个样本相比可以将更多输入纳入考虑。这可以有助于即便在预期眼睛注视位置不与选择输入同步的情况下确定预期UI对象。例如，上述方法可以准确地检测对UI对象的选择，即便在眼睛注视在执行选择输入之后才稳定于预期UI对象上的情况下。此外，上述方法可以准确地检测对UI对象的选择，即便在眼睛注视在执行选择输入之前离开预期UI对象的情况下。

在一些实施例中，在此描述的方法和过程可以与一个或多个计算设备的计算系统绑定。尤其地，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。

图8示意性地示出可以执行上述方法和过程中的一个或多个的计算系统800的非限制性实施例。以简化形式示出了计算系统800。计算系统800可以采用以下形式：一个或多个头戴式显示设备、与头戴式显示设备协作的一个或多个设备、和/或采用眼睛跟踪作为用户输入机制的任何其它合适的计算设备。各示例包括但不限于：个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。

计算系统800包括逻辑机802和存储机804。计算系统800可任选地包括显示子系统806、输入子系统808、通信子系统810和/或在图8中未示出的其他组件。

逻辑机802包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其它方式得到期望结果。

逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

存储机804包括被配置成保存可由逻辑机执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机804的状态(例如，保存不同的数据)。

存储机804可以包括可移动和/或内置设备。存储机804可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机804可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

可以理解，存储机804包括一个或多个物理设备。然而，本文所述的指令的各方面替代地可由通信介质(如电磁信号、光学信号等)来传播，而不是存储在存储设备上。

逻辑机802和存储机804的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。

在被包括时，显示子系统806可用于呈现由存储机804保存的数据的视觉表示。该视觉表示可采用图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统806的状态以视觉地表示底层数据的改变。显示子系统806可包括实际上利用任何类型的技术的一个或多个显示设备，诸如图1中所示的HMD设备100的显示器102。可将此类显示设备与逻辑机802和/或存储机804组合在共享封装中，或者此类显示设备可以是外围显示设备。

在包括输入子系统808时，输入子系统808可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；以上参考图1的眼睛注视跟踪系统108和头部跟踪系统110描述的传感器中的任一者；和/或任何其他合适的传感器。

当包括通信子系统810时，通信子系统810可以被配置成将计算系统800与一个或多个其它计算设备可通信地耦合。通信子系统810可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统800经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。

将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其它顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。