首页> 中国专利> 用于虚拟或增强介导视觉的射出空间成像数字眼镜

用于虚拟或增强介导视觉的射出空间成像数字眼镜

摘要

一种感测与显示设备,其包括:第一现象界面,其被配置成与第一增强介导现实空间操作地介接;和第二现象界面,其被配置成与第二增强介导现实空间介接,所述感测与显示设备被实施为射出空间成像数字眼镜。

著录项

  • 公开/公告号CN105027190A

    专利类型发明专利

  • 公开/公告日2015-11-04

    原文格式PDF

  • 申请/专利权人 美达公司;

    申请/专利号CN201480012295.2

  • 发明设计人 M·格里贝茨;W·S·G·曼;R·罗;

    申请日2014-01-03

  • 分类号G09G5/00(20060101);

  • 代理机构11313 北京市铸成律师事务所;

  • 代理人孟锐

  • 地址 美国加利福尼亚州

  • 入库时间 2023-12-18 11:47:40

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-06-21

    授权

    授权

  • 2019-06-18

    专利申请权的转移 IPC(主分类):G09G5/00 登记生效日:20190529 变更前: 变更后: 申请日:20140103

    专利申请权、专利权的转移

  • 2016-01-20

    实质审查的生效 IPC(主分类):G09G5/00 申请日:20140103

    实质审查的生效

  • 2015-11-04

    公开

    公开

说明书

相关申请的优先权主张和交叉参考

本申请在35 USC§119(e)下涉及且主张来自2013年1月3日提交 的美国临时专利申请系列61/748,468,以及来自2013年12月16日 提交的美国临时申请专利系列61/916,773的国内优先权益,上述申请 的全部内容明确地且据此以引用的方式并入本文中。

背景

上下文中采用传感器技术来监测和/或测量关于环境的信息,诸 如温度传感器在工业过程中的使用。移动装置越来越多地采用强力处 理能力以支持各种应用,诸如电话和其它移动通信。

发明内容

根据一个方面,提供一种感测与显示设备,其包括:界面组合件, 其包括:第一界面模块,其被配置成与第一计算介导空间(例如,场 景、标的物等等)介接,所述第一界面模块被配置成与所述第一空间 交换传感器信号和效应器(effector)信号;和第二界面模块,其被配 置成与第二计算介导空间(例如,用户自身的在其数字眼镜空间中或 周围的个人观看空间)介接,所述第二界面模块被配置成提供效应器 信号且在一些实施方案中也提供传感器信号(例如眼睛跟踪器等等) 或与所述第二空间交换所述效应器信号和传感器信号,且所述效应器 信号在所述第一空间和所述第二空间中的至少一个中至少部分可由 用户呈现。

根据一个方面,提供一种感测与显示设备,其包括:界面组合件, 其包括:第一界面模块,其被配置成与在一个实施方式中表示从第一 现实空间例如虚拟现实空间接收的感知现象和/或多个现象、信号和/ 或多个现象且在一个实施方式中也表示从第二视觉现实空间接收的 感知现象的传感器信号介接;和第二界面模块,其被配置成与表示、 显示、呈现、提供等等感知现象到所述第一视觉现实空间和/或到所 述第二视觉现实空间的效应器信号介接。

根据一个方面,提供一种方法,其包括操作,包括:接收表示从 第一空间和从第二空间接收的感知现象的传感器信号。

根据一个方面,提供一种感测与显示设备,其包括:界面组合件, 其被配置成与第一空间且与第二空间介接,且所述界面组合件被配置 成传送与所述第一空间和所述第二空间相关联的传感器信号和效应 器信号;处理设备,其操作地耦合到所述界面组合件;且所述处理设 备被配置成处理由所述界面组合件传送的所述传感器信号和所述效 应器信号;和存储器组合件,其被配置成有形地体现处理程序,包括 被配置成引导处理设备对传感器信号和效应器信号执行操作的编程 指令序列。

根据一个方面,提供一种用户界面,其包括:第一界面部分,其 被配置成显示从第一空间导出的现象;和第二界面部分,其被配置成 显示从第二空间导出的现象。

根据一个方面,提供一种感测与显示设备,其包括:第一现象界 面,其被配置成与第一空间中的现象和/或多个现象操作地介接;和 第二显现界面,其被配置成与第二空间中的现象和/或多个现象操作 地介接。

根据一个方面,提供如权利要求中识别的其它方面。

在以附图检阅非限制实施方案的以下详细描述之后,非限制实施 方案(实例、选项等等)的其它方面和特征现在可变得明显。

附图说明

通过参考结合附图进行时的非限制实施方案的以下描述,可更充 分明白非限制实施方案,其中:

图1A描绘在一个实施方案中传感器和显示设备1300的示意实 例;

图1AA描绘在一个实施方案中与图1A的感知与显示设备1300 相关联的方法的示意实例;

图1B描绘在一个实施方案中感知与显示设备1300的示意实例;

图1C描绘在一个实施方案中感知与显示设备1300的示意实例;

图1D描绘在一个实施方案中感知与显示设备1300的示意实例;

图1E描绘在一个实施方案中感知与显示设备1300的示意实例;

图1EE描绘在一个实施方案中从光感测设备或光感测与特效 (effectory)(发光)设备,以及从声感测或声感测与特效(例如声纳) 设备接受输入的信号处理系统;

图1F描绘使用图1E的感知与显示设备1300的实施方案与共享 对象交互的实例;

图1G描绘在一个实施方案中使用图1E的感知与显示设备1300 沿着沙图(abakographic)轨迹与共享对象交互的实例;

图1H描绘使用图1E的传感器和显示设备1300以与共享对象交 互的方法的实例;

图2A描绘图1E的感知与显示设备1300的另一示意实例;

图2B描绘在一个实施方案中的视频轨道稳定和比较测度 (comparametric)对准等等;

图2C描绘在一个实施方案中的absement型信号处理器;

图2D描绘在一个实施方案中的拓扑造型(toposculputing)系统;

图2E描绘在一个实施方案中的拓扑造型系统的其它细节;

图2F描绘在一个实施方案中的手型拓扑造型网格器;

图2G描绘反曲面和变化桌的实施方案,其在一些实施方式可被 称为变化桌反曲面(METAtable Sousface)(商标)系统。

图3描绘在一个实施方案中图1E的感知与显示设备1300的另一 示意实例;

图4描绘在一个实施方案中图1E的感知与显示设备1300的另一 示意实例;

图5描绘在一个实施方案中指示图1E的感知与显示设备1300 的时序和定序操作的图的实例;

图5A描绘在一个实施方案中图1E的感知与显示设备1300的方 法的实例;

图6描绘在一个实施方案中在使用图1E的感知与显示设备1300 的多个参与者(用户)之间共享的实时增强介导(augmediated)现实 的实例;

图7描绘在一个实施方案中在使用图1E的感知与显示设备1300 的多个参与者(用户)之间共享的实时增强介导现实的另一实例;

图8A描绘在一个实施方案中搭配图1E的感知与显示设备1300 使用的用户界面800的示意实例;

图8B描绘在一个实施方案中搭配图1E的感知与显示设备1300 使用的用户界面800的示意实例;

图8C描绘在一个实施方案中搭配图1E的感知与显示设备1300 使用的用户界面800的示意实例;

图9A描绘在一个实施方案中搭配图1E的感知与显示设备1300 使用的用户界面800的示意实例;

图9B描绘在一个实施方案中搭配图1E的感知与显示设备1300 使用的用户界面800的示意实例;

图10A描绘在一个实施方案中搭配图1E的感知与显示设备1300 使用的用户界面800的示意实例;

图10B描绘在一个实施方案中搭配图1E的感知与显示设备1300 使用的用户界面800的示意实例;

图11A描绘在一个实施方案中搭配图1E的感知与显示设备1300 使用的用户界面800的示意实例;

图11B描绘在一个实施方案中搭配图1E的感知与显设备1300 使用的用户界面800的示意实例;

图11C描绘在一个实施方案中搭配图1E的感知与显示设备1300 使用的用户界面800的示意实例;

图12描绘在一个实施方案中搭配图1E的感知与显示设备1300 使用的用户界面800的示意实例;

图13描绘在一个实施方案中图1E的感知与显示设备1300的示 意实例;且

图14描绘在一个实施方案中图13的感知与显示设备1300的示 意实例。

图示无需按例比绘制且可以假想线、图形表示和片段图加以说 明。在某些个例中,理解实施方案非必需的细节(和/或显现难以认 知的其它细节的细节)可被忽略。

在图示的数个图各处,对应参考符号指示对应部件。数个图中的 元件是出于清楚而予以说明且无需按比例绘制。例如,图示中的一些 元件的尺寸可相对于其它元件有所夸示,以帮助理解各个当前公开的 实施方案。

图示中使用的参考数字清单

2B                标的物或真实标的物

100               光学传感器

110               可移除遮光物

120               传感器界面单元

130               表面

140               公共标的物

141               流形

142               身体

143               身体

144               迹线

145               身体

145               流形

146           流形

147           身体

150           网络连接

160           计算机

170           投影

180AM         沙图流形或流形

180DEG        数字眼镜或眼镜或空间成像眼镜

180D          显示器或显示单元或立体显示器

180F          手指

180G          地音探听器

180H          头带

180IMU        惯性传感器

180IRR        红外接收器

180IRT        红外传输器

180L          LiDAR单元

180MD         手

180MS         手

180M          箍带

180O          对象

180P          对象

180Q          对象

180T          栓系夹

180TT         拇指

180U          用户

180VR         可视光接收器

180VT         可见光传输器

180V          视觉系统

180           数字眼镜

180U          用户

181BB         对象

181DEG        眼镜或数字眼镜或空间成像眼镜

181G          地音探听器

181IRR        接收器

181L          LiDAR单元

181MD         手

181MS         手

181M          菜单选择

181SM         圆球菜单

181U           用户

181            显示器单元或多个显示器单元

182            地音探听器

183            头戴式组合件

184            惯性测量单元

185            红外接收器

186            公式红外传输器

187            LiDAR单元

188            头后部束带

189            夹子

190            数字眼镜

191            可见光接收器

192            可见光传输器

193            视觉系统

194            地音探听器

195            红外接收器

196            数字眼镜

197            LiDAR单元

198            眼睛或裸眼

199A              右眼眼点

199B              左眼眼点

200               工具点

201               绘制工具

202               视觉标的物

203               地音传感器

204               惯性测量单元

240               公共标的物

2D8               灯

2F8               灯

330               食品项

331               燃具

334               炉灶

340               私密标的物

341               水槽

400               触觉检测器

401               单应性侵入检测器

402               汇合传感器

403               视频轨道稳定程序

404            比较测度合成器

405            叠加测度合成器

406            比较测度分析程序

407            叠加测度分析器

408            叠加测度空间成像程序

409            比较测度合成器

410            空间成像多工器

411            时分多工器

412            合作手势型界面

413            手势跟踪检测器

414            神经网络

415            最佳拟合优化器

416            梯度下降器

417            正则化器

418            溢出处罚器

419            人手势识别程序

420            气泡隐喻式生成器

421            球形体积侵入估计器

422            体积侵入检测器

423           气泡破灭程序

424           学习软件

430           图案

500           脉冲链信号

502           操作

504           操作

506           操作

508           操作

509           脉冲链信号

510           较弱照明信号

511           较弱照明信号

513           方法

520           中度照明信号

521           中度照明信号

530           较强照明信号

531           较强照明信号

540           较弱照明信号

541           较弱照明信号

550           中度照明信号

551            中度照明信号

560            较强照明信号

561            较强照明信号

570            第一时隙

571            第二时隙

572            第三时隙

573            第四时隙

574            第五时隙

575            第六时隙

580            方法

582            操作

584            操作

586            操作

588            操作

600            对象

601            表面

602            可识别表面纹理

603            图像图标

610            手势输入

611               手势输入

612               手势输入

630               无线通信模块

631               无线通信模块

632               无线通信模块

700               现实对象

710               手

720               破灭气泡

800               用户界面

801               用户

802               观看

803               气泡组

804               工作气泡

805               媒体气泡

806               玩气泡

807               社交气泡

808               设定气泡

810               设置类型

811               设置类型

812            设置类型

813            设置类型

8x8            八

902            界面组合件

903            第一界面模块

904            传感器信号或多个传感器信号

905            第二界面模块

906            效应器信号或多个效应器信号

907            处理程序或程序

908            处理设备

909            存储器组合件或非暂时性机器可读存储介质

910            第一感知现象传感器或感知现象传感器

911            电子网络连接

912            第一感知现象效应器或感知现象效应器

914            第二感知现象效应器或感知现象效应器

916            第二感知现象传感器或感知现象传感器

1000           第一增强介导现实空间

1002           第二增强介导现实空间

1100           方法

1102              操作

1104              操作

1106              操作

1108              操作

1110              操作

1300              设备或显示设备

1302              第一现象界面

1304              处理组合件

1306              第二现象界面

1308              深度图

1C10              拓扑传感器

1C20              流形播放

1C30              维持检测器

1C40              流形播放终端器

1C50              手势传感器

1C60              对象删除器

1C70              圆球菜单

1C80              子流形移动器

1C90              流形移动器

2B00          标的物

2B05          标的物

2B06          标的物

2B10          标的物

2B11          隅角

2B12          隅角

2B13          隅角

2B14          隅角

2B15          标的物

2B16          标的物

2B20          标的物

2B25          标的物

2B26          标的物

2B30          标的物

2B35          标的物

2B36          标的物

2C10          过程

2C15          过程变量

2C20          加法器

2C25             错误信号

2C30             运动学处理器

2C35             处理器

2C40             经处理的运动学信号

2C45             加法器

2C50             信号

2C55             量

2C60             量

2C70             信号

2D21             射线

2D22             射线

2D23             可见射线

2D24             射线

2D32             射线

2D34             射线

2D40             曝光

2D51             字符曝光

2D55             字符曝光

2D60             字符曝光

2D70            桌面表面

2D90            曝光

2D91            沙图

2D92            沙图

2E10            沙图

2E11            弱曝光

2E12            曝光

2E13            曝光

2F64            灯

1EE10           声侵犯输入

1EE20           视觉侵犯输入

1EE25           声侵犯传感器

1EE30           视觉侵犯传感器

1EE35           多维侵犯信号

1EE40           节点

1EE45           连接

1EE50           节点

1EE60           连接

1EE70           节点

1EE80         触觉信号

1EE85         触觉信号

1EE90         触觉信号

1EE91         侵入检测器

1EE92         触摸检测器

1EE93         挤出检测器

1EE94         信号

1EE95         信号

1EE96         信号

1EE97         手势传感器

1EE98         各种输出信号

2G110         可变化标示

2G120         对象

2G130         可变化圆形对象

2G140         对象

2G150         对象

2G160         拓扑造型棒

2G161         环

2G162         触发器

2G163          可拆分把手

2G164          手柄

2G165          轴

2G168          沙图

2G169          额外设备或设备

2G181          流形

2G182          流形

2G184          流形

2G189          流形

2G190          手势束带

2G193          对象

2G199          中指

具体实施方式

以下详细描述本质上只是示例性的且无意限制所述实施方案(实 例、选项等等)或所述实施方案的应用和使用。如本文使用,词“示 例性”或“说明性”意指“用作实例、个例或说明。”本文描述为“示例性” 或“说明性”的任何实施方式无需解译为比其它实施方式更优选或更 有利的。下文所述所有实施方式是提供来使得能够制作或使用本公开 的实施方案的示例性实施方式且无意限制本公开的范畴。出于本文描 述的目的,术语“上”、“下”、“左”、“后”、“右”、“前”、“垂直”、“水 平”及其派生词应指的是如图示中取向的实例。此外,无意受限于先 前技术领域、背景、发明概述或以下详细描述中呈现的任何表述或暗 示的理论。还应理解,附图中说明以及以下说明书中描述的具体装置 和过程是示例性实施方案(实例)、方面和/或概念。因此,除非在另 外明确声明的任何权利要求的背景下之外,涉及本文公开的实施方案 的具体尺寸和其它物理特性不应被视为限制性。应理解,“至少一个” 等效于“一个(a)”。参考图示描述多个方面(实例、替代、修改、 选项、变更、实施方案及其等效物);应理解,本文的描述以说明示 出各个实施方案,申请的发明可在其中实践且并非是详尽或排外的。 呈现它们只是帮助理解且教导所申请的原理。应理解,它们并非代表 所有申请的发明。如此,本文并未讨论本公开的某些方面。替代实施 方案可能并未呈现用于本发明的具体部分或可能可用于部分的其它 未描述的替代实施方案不应被视为这些替代实施方案的免责声明。应 明白,这些未描述的实施方案中的多数并入本发明的相同原理且其它 实施方案是等效的。因此,应理解,可利用其它实施方案且可在不脱 离本公开的范畴和/或精神的情况下进行功能、逻辑、组织、结构和/ 或拓扑修改。

图1A描绘在一个实施方案中感测与显示设备1300的示意实例。

根据图1A,感测与显示设备1300包括(且不限于)界面组合件 902。在一个实施方式中,界面组合件902被配置成与传感器信号904 介接,所述信号表示从第一增强介导现实空间1000中接收和/或在其 中检测的感知现象。第一增强介导现实空间1000可称为增强现实空 间和/或介导现实空间)。在一个实施方式中,传感器信号904还可表 示从一个或多个额外空间接收和/或在其中检测的感知现象,诸如第 二增强介导现实空间1002。在一个实施方式中,第一增强介导现实 空间1000和第二增强介导现实空间1002是排外的(例如,不会彼此 重叠),而在另一实施方式中,第一增强介导现实空间1000和第二增 强介导现实空间1002的所有或部分可以是重叠、一致、同延等等。 在一些实施方式中,第一增强介导现实空间1000和第二增强介导现 实空间1002可取决于各个因素而替代地为排外的和/或同延的,诸如 用户的身份、在装置上运行的一个或多个软件应用的身份、检测的和 /或测量的环境因素(例如,光级、时间、GPS等等)的特性和/或值等 等。在一个实施方式中,界面组合件902还可被配置成与效应器信号 906介接,所述信号表示、特效、显示、提供(等等)感知现象给第 一增强介导现实空间1000和第二增强介导现实空间1002。如本文使 用,在各个实施方式中,介接可包括交换、传送、接收等等。

根据另一实例,感测与显示设备1300包括(且不限于)包括第 一界面模块的界面组合件902。在一个实施方式中,第一界面模块可 被配置成介接(或取向朝向或面向)第一增强介导现实空间1000。 在另一个实施方式中,第一界面模块可被配置成以其它方式介接第一 增强介导现实空间1000。例如,在音频实施方案中,第一界面模块 可包括在一些实施方式中可取向朝向声音源的一个或多个麦克风。第 一界面模块可被配置成传送传感器信号904和效应器信号906和/或 与第一增强介导现实空间1000交换所述信号。在一个实施方式中, 界面组合件902还可包括第二界面模块。第二界面模块可被配置成介 接面向(或取向朝向或面向)第二增强介导现实空间1002。第二界 面模块可被配置成传送传感器信号904和效应器信号906和/或与第 二增强介导现实空间1002交换所述信号。在一个实施方式中,至少 部分在第一增强介导现实空间1000和第二增强介导现实空间1002中 的一个或两个中,效应器信号906(和/或效应器信号906的代表)可 以由用户可呈现。

传感器信号904和效应器信号906可至少部分针对用户感知呈现 和/或消耗以各种形式呈现,诸如通过视觉显示、音频呈现、用户操 纵和/或第一增强介导现实空间1000和第二增强介导现实空间1002 中的一个或两个的任何其它形式的用户消耗。

根据一个选项,感测与显示设备1300还可包括被配置成操作耦 合到界面组合件902的处理设备908。在一个实施方式中,处理设备 908可被配置成处理与界面组合件902介接和/或以其它方式与其关联 的传感器信号904,和/或处理与界面组合件902介接和/或与其关联 的效应器信号906。处理设备908可包括处理(例如增强、修改等等) 传感器信号904和/或效应器信号906。

根据一个选项,感测与显示设备1300可包括界面组合件902。 在一个实施方式中,界面组合件902可包括被配置成与传感器信号 904介接的第一界面模块903,所述信号诸如表示从第一增强介导现 实空间1000接收的感知现象和/或还表示从第二增强介导现实空间 1002接收的感知现象。在一个实施方式中,界面组合件902还可包 括被配置成与效应器信号906介接的第二界面模块905,所述信号表 示、显示、提供、投射(等等)感知现象给第一增强介导现实空间 1000和第二增强介导现实空间1002。根据本文提供的描述,界面组 合件902的其它配置是可行的。

例如,第一增强介导现实空间1000是配置成为在两个或多个用 户之间共享的空间(公众共享空间)的增强或介导现实环境(空间)。 第二增强介导现实空间1002是配置成为由用户使用的空间(例如个 人空间)、或可由有限数量个用户共享(例如用于使用)的空间(例 如,私人空间)、或可由第一增强介导现实空间1000的所有用户共享 的空间的增强或介导现实环境(空间)。

例如,第二增强介导现实空间1002被配置成提供第一增强介导 现实空间1000的实况(直接或间接)视野(给用户或多个用户)。在 一个实施方式中,第一增强介导现实空间1000包括具有物理元件的 物理(现实世界)环境,所述物理元件可由计算机生成的诸如可被投 射到第一增强介导现实空间1000中含有的物理元件上的感知现象 (诸如声音、视频、图形、触觉元素等等),或用呈现给用户的修改 版本(例如,通过移除“混乱”而帮助用户更好地感测和理解世界的缩 小现实,这种缩小现实是增强介导现实的另一实例)修改(例如由计 算机)的感知现象增强、增补和/或介导(例如,增强介导)。在一些 实施方式中,设备1300因此可被配置成并入物理元件和/或信息、虚 拟元件和/或信息和/或做特效、投射、缩减(等等)到环境上或从其 中出特效、投射、缩减(等等)、做特效、投射、缩减(等等)到可 显示标的物用以经由输出显示器呈现给例如装置的用户的元件的任 何组合。在一些实施方式中,效应器信号和/或其它计算机生成的感 知现象可用于超过和/或除了环境中的标的物的照明、增强和/或标界 的任何各种用途。例如,在一个实施方式中,效应器信号和/或其它 计算机生成的感知现象可包括红眼减少闪光能力,其中一系列低功率 闪光优先于闪光以触发瞳孔的收缩。在另一实例中,在一个实施方式 中,效应器信号和/或其它计算机生成的感知现象可包括闪光、频闪 等等以警告、警示、炫目、致残、迷惑等等。

在一个实施方式中,第一增强介导现实空间1000可以是由多个 用户共享的共享空间。在一个实施方式中,共享第一增强介导现实空 间1000的用户可彼此靠近,例如经由任何类型的网络连接而连接, 诸如(且不限于)局域网络、Bluetooth(商标)网络、WiFi(商标) 网络等等,而在另一实施方式中,用户可例如彼此远离,且经由广域 网络、蜂窝网络、TCP/IP网络等等而连接。第二增强介导现实空间 1002也可以是共享空间且可包括用于限制与其他用户共享的选项。 在一个实施方式中,第二增强介导现实空间1002可以属于和/或被指 派给从用户群中选拔出的预定和/或选择的用户。在这个意义上而言, 第二增强介导现实空间1002是预定用户的个人空间。第二增强介导 现实空间1002的用户可不允许第二增强介导现实空间1002被与第一 增强介导现实空间1000相关联的用户访问、被用户子组访问或被所 有用户访问(例如,根据指派给第二增强介导现实空间1002的用户 的希望或控制)。在各个实施方式中,第一增强介导现实空间1000和 第二增强介导现实空间1002中的一个或多个个例中的一个或两个可 诸如经由任何类型的网络而为可网络访问,诸如(且不限于)局域网 络、广域网络、蜂窝网络、WiFi(商标)网络、Bluetooth(商标)网 络、支持TCP/IP网络等等。互联网协议套组是用于互联网和类似网 络的联网模型和一组通信协议。互联网协议套组熟知为TCP/IP,因 为其最重要的协议-传输控制协议(TCP)和互联网协议(IP)是此标 准中定义的第一联网协议。

例如,对于存在与第一增强介导现实空间1000相关联的七个用 户的情况,该用户群中的每个成员访问第一增强介导现实空间1000, 且以此方式,第一增强介导现实空间1000被处理为共同空间(例如, 公共空间)。可以共同方式由通过用户的感知与显示设备1300的各自 个例访问第一增强介导现实空间1000的用户体验或共享与第一增强 介导现实空间1000相关联的现象(感知现象)。

在一个实施方式中,每个用户可经由其感知与显示设备1300的 各自个例而被指派其自身的第二增强介导现实空间1002的个例。设 备1300被配置成允许设备1300的用户访问第一增强介导现实空间 1000且访问其第二增强介导现实空间1002的个例。设备1300被配 置成允许用户容许第一增强介导现实空间1000的其他用户一定程度 地访问(例如,不访问、有限访问、完全访问)其第二增强介导现实 空间1002的个例。在一个实施方式中,可应用和/或执行访问范围, 诸如访问组和/或有限时间和/或位置;配置文件、许可和/或角色型访 问;任务和/或成就型访问;等等。在一个实施方式中,可基于链接 到与访问触发器和/或参数值相关联的数据记录的访问记录而执行这 些访问范围。在共享访问的实施方式中,第一用户的第二增强介导现 实空间1002中与一个或多个其他用户的第一增强介导现实空间1000 共享的个例可被注释、标记和/或以其它方式标示。例如,第二增强 介导现实空间1002个例可包括一个或多个特征注释、标志、水印、 图示、图形、照片、名字、标示、标记、颜色、形状、声音等等,诸 如可将第一用户识别为与第二增强介导现实空间1002相关联。在一 个实施方式中,具有对第二增强介导现实空间1002的两个或多个个 例的访问权限的用户可诸如通过打开、关闭、移动、调整大小、最大 化、最小化、取向、挤压、拉伸、造型(等等)所选择的共享第二空 间视图而选择观看多个第二增强介导现实空间1002的选项和/或直接 观看多个第二增强介导现实空间1002。在一个实施方式中,具有对 至少一个共享第二空间的访问权限的用户可被呈现相同对象和/或物 理空间在第一增强介导现实空间1000、第二增强介导现实空间1002 与(在一些个例中)一个或多个额外共享第二空间之间的冲突和/或 不一致视图。例如,在游戏情景中,虚拟对象可基于游戏参数而出现 给一些用户而不出现给其他用户。观看两个共享第二空间(一个具有 虚拟对象且另一个不具有虚拟对象)的用户可因此认知相同物理空间 的不同视图(例如,一个具有虚拟对象且另一个不具有虚拟对象)。 在一个实施方式中,第二增强介导现实空间1002的视图可彼此覆盖 和/或用第一增强介导现实空间1000的视图覆盖。在一个实施方式中, 对象、虚拟对象和/或其它显示部件的子组可诸如基于接收用户的角 色、权限、设置等等出现在给定第二增强介导现实空间1002的特定 共享视图中。

例如,通过由感知与显示设备1300提供的配置设置,第一用户 可能够限制对其第二增强介导现实空间1002的个例的访问,使得第 一增强介导现实空间1000的其他用户不可以访问或共享访问第一用 户的第二增强介导现实空间1002(通过感测与显示设备1300的各自 个例访问)。第一用户决定使其第二增强介导现实空间1002的个例保 持隐秘(经由感测与显示设备1300)且不被具有其设备1300的自身 个例的其他用户访问。

在实例中,第一增强介导现实空间1000的第二用户,通过在其 设备1300的个例中的配置设置,允许第三用户和第四用户访问指派 给第二用户的第二增强介导现实空间1002。第三用户和第四可以决 定是否与第二用户共享其自身的第二增强介导现实空间1002的各自 个例。

剩余用户(与第一增强介导现实空间1000相关联)可根据如上 文指示的(例如)其各自需求、选择、角色、权限等等设定其第二增 强介导现实空间1002的个例的访问(经由其感测与显示设备1300的 各自个例)。

例如,在一个实施方案中,可设定电子游戏(诸如增强或介导现 实游戏),其中两个对抗用户团队在团队努力中匹配其技能。因此, 第一增强或第一增强介导现实空间1000的第一用户团队可以团队的 每个成员访问第一团队的每个成员的第二增强介导现实空间1002的 每个各自个例的方式配置其感测与显示设备1300的个例。如此,在 第一增强介导现实空间1000中开展游戏时,团队成员可以在其玩游 戏时在他们之间聊天(交换用户通信)且为了战胜第二用户团队而制 定策略。在第一增强介导现实空间1000中,在开展游戏时,所有用 户访问第一增强介导现实空间1000且可交互。电子游戏可以是战争 游戏、象棋游戏以及吸引团队玩家等的任何其它种类的游戏。团队大 小可为至少一个用户。在一个实例中,用户可物理上位于远程位置。

根据一个选项,每个佩戴感测与显示设备1300的个例的多个用 户可体验共享计算机介导现实(例如,在第一增强介导现实空间1000 中和/或第二增强介导现实空间1002中)。在另一选项中,未佩戴感 测与显示设备1300的用户甚至可在第一增强介导现实空间1000中共 享计算机介导现实的一些元素且还可参与第一增强介导现实空间 1000中。

一个以上用户可在观看相同标的物时佩戴其感测与显示设备 1300的个例。在一个实施方式中,在设备1300的多个个例的情况中, 感测与显示设备1300的每个个例可被配置成在与感测与显示设备 1300的一个或多个其它个例在第一增强介导现实空间1000中和/或第 二增强介导现实空间1002中共享数据(例如现象信号)时进行空间 成像功能(操作)。

感测与显示设备1300可被配置成经由第一增强介导现实空间 1000和/或经由第二增强介导现实空间1002提供增强介导现实环境 (例如,增强介导现实、介导现实体验),其可能够通过在自由空间 中与一个或多个虚拟对象交互和/或与诸如平面(例如,桌子、桌面、 炉灶面、地板、地面等等)的有形(物理)对象交互的用户的肢体(手、 手指、手臂、腿、脚等等)控制。

在一个实施方式中,第一增强介导现实空间1000和第二增强介 导现实空间1002可被配置成为用户或多个用户提供成像,诸如三维 成像。在一些实施方式中,第一增强介导现实空间1000和第二增强 介导现实空间1002可称为电子人(cyborg)空间和/或介导现实空间。 第一增强介导现实空间1000和第二增强介导现实空间1002可被配置 成提供对可由处理设备908修改(例如,缩小、增强等等)的现实的 访问(例如,观看)。在一个实施方式中,处理设备908可被配置成 为用户和/或多个用户加强现实的认知。在一个实施方式中,处理设 备908被配置成实时和在环境元素的语义语境下提供和/或促进第一 增强介导现实空间1000和第二增强介导现实空间1002,诸如比赛期 间的体育赛事的体育得分。例如,通过增加和/或使用计算机视觉装 置和/或对象识别装置,关于用户或多个用户周围的实际世界的信息 变得交互且可由感测与显示设备1300的处理设备908数字操纵。在 一个实施方式中,关于第一增强介导现实空间1000和第二增强介导 现实空间1002的变化(例如,人造、虚拟、额外、增强介导等等) 信息可以覆盖在与第一增强介导现实空间1000相关联的物理元件上 (例如,位于其上)。例如,第一增强介导现实空间1000可被配置成 可由用户(例如,两个以上用户)访问,且第二增强介导现实空间 1002可被配置成视其第二增强介导现实空间1002的个例的用户的需 要可由单个用户或由任何数量个用户访问。下文结合图示描述第一增 强介导现实空间1000和第二增强介导现实空间1002的额外实例。根 据一个选项,第一增强介导现实空间1000包括空间增强介导现实环 境,其被配置成通过使用被配置成将图形信息显示到位于第一增强介 导现实空间1000中的物理对象上的数字投影仪(效应器组合件的实 例)而增强现实世界对象和场景。空间增强介导现实环境可被配置成 适应对用户群的访问,因此容许空间增强介导现实环境的用户之间的 并位聚集和/或合作。

传感器信号904是响应于至少部分接收一个或多个感知现象(诸 如视觉现象、听觉现象、触觉现象等等)由传感器和/或传感器组合 件生成和提供。传感器组合件被配置成对至少部分接受感知现象(也 称为感知刺激)敏感。传感器组合件被配置成检测物理质量和/或数 量(例如,与一个或多个感知现象相关联),且将物理质量和/或数量 转换和/或显现为传感器信号904。传感器信号904被配置成可由电子 设备(诸如,图1A的处理设备908等等)读取。传感器信号904可 例如为电信号、光学信号或以任何适当介质体现的任何类型的信号。 传感器组合件的实例包括温度计或热电偶。在另一实例中,传感器组 合件可包括触觉型传感器。下文结合图1E(和其它图示)识别传感 器组合件的其它实例。

效应器信号906是由效应器和/或效应器组合件提供(传输)的 信号。效应器组合件被配置成响应于接收输入(例如输入信号、感知 现象)产生对象(诸如图像)中的希望(预定)变化。效应器组合件 的实例包括光学投影系统。对象可以是光学对象、图像对象、视频对 象等等,且可包括基于可见光的图像。在一个实施方式中,效应器组 合件可包括被配置成致动或控制的致动器。在一个实施方式中,致动 器是控制系统通过其作用在环境上的机构。下文结合图1E(和其它 图示)识别效应器组合件的其它实例。

参考图1B,根据一个选项,感测与显示设备1300可被配置成包 括第一感知现象效应器912和第二感知现象效应器914,其在一些情 况中可称为空间成像装置。第一感知现象效应器912和第二感知现象 效应器914的实例包括(且不限于):图像或视频相机和/或投影仪; 全息成像装置、三维成像装置、激光成像装置、LiDAR装置、飞行 时间成像装置、RaDAR装置、SoNAR装置、深度相机、深度传感器、 可见光型装置、红外型装置、微波型装置、声音型装置、全息装置、 立体装置、三维成像装置(任何形式)、深度感测装置、视觉型装置、 形状恢复(shape-from-X)装置等等。LiDAR代表光检测与测距。 RaDAR代表无线电检测与测距。SoNAR代表声音导航与测距。

在一个实施方式中,界面组合件902被配置成在处理设备908(诸 如计算机)与诸如打印机或人类操作员(用户)的任何其它实体之间 提供交互和/或通信点。

处理设备908被配置成接收和/或读取一个或多个输入(例如, 数据和/或信息),且还被配置成基于接收的限定输入产生(例如提供、 写)一个或多个输出。处理设备908被配置成解译限定输入和限定输 出作为数据、事实、信息等等。例如(且不对其有所限制),处理设 备908可包括以下项的组合:转换模块,其被配置成将数据转换为另 一种格式;验证模块,其被配置成确保提供的数据是干净的、正确的 和有用的;分类模块,其被配置成以一些序列和/或不同组布置项目; 汇总模块,其被配置成减少到其主要点的细节数据;聚集模块,其被 配置成组合多个数据段;分析模块,其被配置成收集、整理、分析、 解译和呈现数据和/或信息;以及报告模块,其被配置成显示或列示 细节或汇总数据或计算信息。处理设备908存在可用来实施图1A和 /或图1B的处理设备908的许多组合件和/或部件。

参考回图1A,处理设备908可包括例如中央处理单元、处理单 元、微处理器、微计算机、阵列处理器和/或矢量处理器(及其任何 等效物)。处理设备908可包括在计算机内通过进行算法、逻辑和/或 输入/输出操作而执行计算机编程指令的硬件电路。处理设备908可 包括一个或多个处理单元个例(本案称为多处理)。阵列处理器和/或 矢量处理器包括不具有视为中央的任何一个处理单元的多个并行计 算元件。在分布式计算模型中,由分布互连处理器组执行操作。在一 个实施方式中,处理设备908可包括一组专用电路,其取代由处理设 备908操作或执行的任何指令;这些专用电路可包括被配置成实施组 合逻辑电路的可编程逻辑阵列(PLA)(及其任何等效物)。PLA具有 一组可编程AND门平面,其链接一组可编程OR门平面,其然后可 视条件补充以产生输出。

处理设备908可包括下文称为存储器组合件909的非暂时性机器 可读存储介质909。存储器组合件909被配置成以可由处理设备908 读取的格式存储数据和可执行程序(编程指令)。存储器组合件909 的实例可包括计算机可读和/或计算机可写介质、诸如磁盘、磁卡、 磁带和磁鼓的磁介质、打孔卡和纸带、光盘、条形码和磁墨水字符等 等。机器可读技术的实例包括磁记录、处理波形、条形码等等。在一 个实施方式中,光学字符识别(OCR)可以用于允许处理设备908 读取信息,诸如可由人类读取的信息。可以任何能量形式检索的任何 信息可以是机器可读取的。

在一个实施方式中,处理设备908可被配置成与电子网络连接 911介接。诸如互联网连接(或访问)的电子网络连接911(或网络 访问)可被配置成将处理设备908的个例(诸如计算机终端机、计算 机、移动装置、手机、计算机网络等等)连接到一个或多个电子网络, 因此允许用户访问网络服务(例如,电子邮件、万维网等)。在一些 实施方式中,处理设备908可被实施为远程处理设备或分布式处理设 备,并且可以经由一个或多个无线和/或有线通信网络全部或部分地 通信耦合到所述设备1300的一个或多个个例。

在一些实施方式中,处理设备908可被配置成包括用户输入组合 件(例如,鼠标装置、键盘装置、相机、触敏显示屏、麦克风、视网 膜阅读器、加速度计、环境光传感器、GPS、天线等等)。处理设备 908还可以被配置成包括用户输出组合件(例如,计算机终端机、电 视屏幕或其它视频显示界面、投影仪、触敏屏等等)。

存储器组合件909被配置成有形地体现下文称为程序907的处理 程序907。程序907包括被配置成引导处理设备908进行(执行)指 定操作(任务,如读取、写、处理)的编程指令序列。处理设备908 诸如通过使用处理器组合件执行程序907。程序907具有处理设备908 可用于执行由程序907提供的编程指令的可执行形式。程序907可以 在其人可读取的源代码形式使用,从其中导出(例如,汇编)可执行 程序,以将编程指令配置成用于或包括在程序907中。程序907是程 序指令和/或相关数据集,并且可以被称为软件(代码)。程序907引 导处理设备908进行例如图像处理操作,诸如John Wiley and Sons通 过Wiley Interscience和IEEE Press,2001出版的S.Mann的题为 “Intelligent Image Processing”创作的可佩戴计算教材(以引用的方式 并入本文)中描述的类型。

存储器组合件909可被配置成有形地显现在图8A中描绘其实例 的用户界面800。在一个实施方式中,用户界面800可显示或提供给 感测与显示设备1300(例如,经由第二增强介导现实空间1002)的 用户。如果第二增强介导现实空间1002的用户希望设定感测与显示 设备1300的配置以与其他用户共享其第二增强介导现实空间1002的 个例和/或多个个例,那么感测与显示设备1300的配置可允许用户容 许(例如其他用户)对用户界面800的访问。在一个实施方式中,用 户界面800可包括控制元件(例如,图形控制元件和/或文本控制元 件)的布局,结合由图1A的处理设备908使用的图1A的程序907 响应用户活动的方式。在一个实施方式中,用户界面800是促进感测 与显示设备1300的用户与感测与显示设备1300本身之间的交互的部 件。在一个实施方式中,用户界面800还可用于处理设备908在用户 端上的有效操作和控制,且来自处理设备908的反馈可以帮助处理设 备908的用户做出操作决定(例如,关于如何操作处理设备908的决 定)。用户界面800可以包括硬件部件(物理部件)和/或软件部件(逻 辑部件或虚拟部件)。在一个实施方式中,用户界面800被配置成提 供:用户输入(例如,字段),其被配置成允许用户控制或操纵处理设 备908;和输出(例如,字段),其被配置成允许处理设备908对用户 显示和/或指示经由用户输入的用户操纵的效果。在一些实施方式中, 用户界面800还可称为图形用户界面和/或人机界面。用户界面800 的其它术语可包括人类-计算机界面(HCI)和人-机器界面(MMI)。 用户界面800被配置成显示用于由用户经由感测与显示设备1300观 看。在一个实施方式中,用户界面800可经由第二感知现象效应器 914(例如诸如图1B中所描绘)呈现给用户。用户界面800可被配 置成将一个或多个字段提供或显示给用户。在一个实施方式中,字段 是分配用于特定项信息(诸如用户名字)的空间。字段可被配置成具 有与其相关联的特定属性。例如,一些字段可为数字的而其它可为文 本的。在一些实施方式中,每个字段可具有名字,称为字段名。在一 个实施方式中,字段集可称为记录。用户可经由介接电路或元件与由 用户界面800提供的字段交互。

根据一个选项,感测与显示设备1300可包括(且不限于)界面 组合件902、处理设备908和存储器组合件909的组合。在一个实施 方式中,界面组合件902可被配置成与第一增强介导现实空间1000 介接且与第二增强介导现实空间1002介接。在一个实施方式中,界 面组合件902可被配置成传送与第一增强介导现实空间1000和第二 增强介导现实空间1002相关联的传感器信号904和效应器信号906。 在一个实施方式中,处理设备908可被配置成操作地耦合到界面组合 件902。处理设备908还可被配置成处理由界面组合件902传送的传 感器信号904和效应器信号906。在一个实施方式中,存储器组合件 909可被配置成有形地体现包括编程指令的序列的处理程序907,所 述指令被配置成引导处理设备908对传感器信号904和/或效应器信 号906执行操作。

图1AA描绘与图1A的感测与显示设备1300相关联的方法1100 的示意实例。

方法1100可实施为包括在图1A的程序907中的编程指令;方 法1100包括经由程序907由处理设备908执行的可执行操作的实例 (编程指令)。

方法1100包括(且不限于)操作1102,其包括接收(读取)表 示从第一增强介导现实空间1000接收的感知现象的传感器信号904 的介接个例,以及接收(读取)表示从第二增强介导现实空间1002 接收的感知现象的传感器信号904的介接个例。传感器信号904的介 接个例由处理设备908诸如从界面组合件902接收。操作控制被传递 给操作1104。

方法1100还包括(且不限于)操作1104,包括将表示感知现象 的效应器信号906的介接个例提供(传输、写)给第一增强介导现实 空间1000,且将效应器信号906的介接个例提供(传输、写)给第 二增强介导现实空间1002。效应器信号906的介接个例由处理设备 908提供给界面组合件902。操作控制被传递给操作1106。

方法1100还包括(且不限于)操作1106,包括处理传感器信号 904(从界面组合件902接收的),且还包括处理效应器信号906(从 界面组合件902接收的)。处理传感器信号可包括(但不限于)修改、 增强、增补、补充、加强、缩小、遮蔽、阻挡(等等)传感器信号数 据。操作控制被传递给与处理设备908相关联的其它操作。

在一些实施方式中,方法1100可包括将由处理设备908执行的 额外操作。程序907的编程指令由方法1100导出。

例如,方法1100还包括(且不限于)操作1108,包括在第一增 强介导现实空间1000与第二增强介导现实空间1002之间路由(例如, 切换、混合等等)传感器信号904。操作控制被传递给操作1110。例 如,切换可发生于:不同准确度和/或精确度的两个传感器之间;位 于不同环境的传感器之间;不同时间处的给定传感器之间(例如,基 于存储在传感器记录中的测量值);对不同和/或补充感知现象(例如, 色彩和强度;音高和音量;热和可见;等等)敏感的传感器;与不同 用户和或设备1300个例相关联的传感器;等等。

例如,方法1100还包括(且不限于)操作1110,包括在第一增 强介导现实空间1000与第二增强介导现实空间1002之间路由(例如, 切换、混合等等)效应器信号。操作控制被传递给处理设备908的其 它操作。例如,切换可在不同位置的两个效应器之间发生;具有不同 和/或互补的输出、结果等等(例如,可见光对红外光;照明对声音); 与不同用户和或设备1300个例相关联等等。

应明白,处理设备908的额外操作可诸如取决于第一增强介导现 实空间1000中涉及的用户的数量,和/或取决于哪些用户与图1A的 第一增强介导现实空间1000所选择的其他用户共享其第二增强介导 现实空间1002的个例,以及关联与图示关联描述的操作而提供用于 (编程指令的)众多组合和/或排列。

应明白,图1AA中描绘的方法1100中的操作顺序无须以循序方 式执行,且方法1100的操作和/或图1A的程序907的任何执行顺序 可经由编程计算机指令使用。在一些实施方式中,上述操作的所有或 任何子组等等可根据给定实施方案、实施方式和/或应用以并行、部 分序列、系列和/或其任何组合执行。

图1AA还描绘在一个实施方案中的数据流图,其描绘处理设备 908被配置成在第一增强介导现实空间1000与第二增强介导现实空 间1002之间路由(例如,切换、混合等等)传感器信号904。处理 设备908被配置成在第一增强介导现实空间1000与第二增强介导现 实空间1002之间路由(例如,切换、混合等等)效应器信号。另外, 处理设备908可被配置成将(诸如经由图1B中描绘的第一感知现象 传感器910)从第一增强介导现实空间1000接收的传感器信号904 路由至第二增强介导现实空间1002(诸如经由图1B中描绘的第二感 知现象效应器914)。根据一个选项,处理设备908被配置成将从第 二增强介导现实空间1002接收的传感器信号904(诸如经由图1B中 描绘的第二感知现象传感器916)路由至第一增强介导现实空间1000 (诸如经由图1B中描绘的第一感知现象效应器912)。应明白,其它 选项用于路由传感器信号和/或效应器信号是可行的。

在一些实施方案中,图1AA还描绘搭配图示中描绘的感测与显 示设备1300使用的各种程序(例如,编程指令)、数据表等等。程序 可包括(但不限于):触觉检测器400、单应性侵入检测器401、汇合 (confluence)传感器402、视频轨道稳定程序403、比较测度合成器 404、叠加测度合成器405、比较测度分析程序406、叠加测度分析器 407、叠加测度空间成像程序408、比较测度合成器409、空间成像多 工器410、时分多工器411、合作手势型界面412、手势跟踪检测器 413、神经网络414、最佳拟合优化器415、梯度下降器416、正则化 器(regularizer)417、溢出处罚器(penalizer)418、人类手势识别程 序419、气泡隐喻式(metaphor)生成器420、球形体积侵入估计器 421、体积侵入检测器422、气泡破灭程序423、学习软件424等等。 这些程序存储在图1A和/或图1B的存储器组合件909中,且可由图 1A和/或图1B的处理设备908执行。下文更详细描述这些程序。

图1B描绘感测与显示设备1300的示意实例。

根据图1B描绘的实例,感测与显示设备1300包括(且不限于) 感知现象传感器(910、916),其被配置成传输从自第一增强介导现 实空间1000接收的感知现象导出的传感器信号904。在一个实施方 式中,感知现象传感器(910、916)还可被配置成传输从自第二增强 介导现实空间1002接收的感知现象导出的传感器信号904。

感测与显示设备1300还包括感知现象效应器(912、914),其被 配置成将与感知现象相关联的效应器信号906传输至第一增强介导 现实空间1000。在一个实施方式中,感知现象效应器(912、914) 还可被配置成将与感知现象相关联的效应器信号906传输至第二增 强介导现实空间1002。例如,在一个实施方式中,感知现象效应器 (912、914)可被配置成显示全息视频显示、立体视频显示等等中的 任一个。在一个实例中,感知现象效应器(912、914)可包括三维相 机,诸如结构光或飞行时间相机。

在一个实施方式中,感测与显示设备1300还包括界面组合件 902,其被配置成介接(例如,传送、接收)表示经由感知现象传感 器(910、916)从第一增强介导现实空间1000接收的感知现象的传 感器信号904,以及还表示从第二增强介导现实空间1002接收的感 知现象的传感器信号904。界面组合件902还可被配置成经由感知现 象效应器(912、914)将表示感知现象的效应器信号906介接(例如 传送、传输)到第一增强介导现实空间1000且介接到第二增强介导 现实空间1002。

在一个实施方式中,感测与显示设备1300还可包括处理设备 908,其操作耦合到界面组合件902。在一个实施方式中,处理设备 908被配置成处理与界面组合件902介接(与其关联)的传感器信号 904,且处理与界面组合件902介接(与其关联)的效应器信号906。

例如,在各个实施方式中,可从音频感知现象、视觉感知现象、 触觉感知现象等等中的一个或多个导出传感器信号904。在各个实施 方式中,可从音频感知现象、视觉感知现象、触觉感知现象等等中的 一个或多个导出效应器信号906。

根据一个选项,感知现象传感器(910、916)和感知现象效应器 (912、914)还可包括第一感知现象传感器910和第一感知现象效应 器912。第一感知现象传感器910被配置成传输从来自第一增强介导 现实空间1000的感知现象导出的传感器信号904。第一感知现象效 应器912被配置成将与感知现象相关联的效应器信号906传输至第一 增强介导现实空间1000。

根据一个选项,感知现象传感器(910、916)和感知现象效应器 (912、914)可包括第二感知现象效应器914和第二感知现象传感器 916。第二感知现象效应器914被配置成将具有感知现象的效应器信 号906传输至第二增强介导现实空间1002。第二感知现象传感器916 被配置成传输从来自第二增强介导现实空间1002的感知现象导出的 传感器信号904。第二感知现象传感器916的实例包括被配置成跟踪 用户眼睛瞳孔的眼睛跟踪器装置。在一个实施方式中,眼睛跟踪是测 量注视点(用户观看之处)或眼睛相对于用户头部的运动的过程。眼 睛跟踪器被配置成测量眼睛位置和眼睛移动。眼睛移动可以各种方式 测量,诸如使用从其中提取眼睛位置的视频图像、使用搜索线圈或使 用眼电图。

对于用户佩戴感测与显示设备1300的情况,在一个实施方式中, 第一感知现象传感器910和/或第一感知现象效应器912可面向(例 如,取向朝向)用户视场的方向(例如,在第一增强介导现实空间 1000中)。用户的视场可例如是眼睛向前观看方向的视野。例如,用 户的视场可包括用户可能够观看用户手指的位置的方向,假设手指并 未在用户视场之外。对于用户正在虚拟键盘上打字的情况,甚至在用 户正观看其它处之时,仍可由第一感知现象效应器912跟踪用户手 指。在一个实施方式中,第二感知现象效应器914和第二感知现象传 感器916面向朝向(例如,取向朝向)用户眼睛的方向(第二增强介 导现实空间1002)。在一些实施方式中,第一感知现象传感器910、 第一感知现象效应器912、第二感知现象传感器916和/或第二感知现 象效应器914中的一个或多个可取向于除面向用户视场之外的方向 上。例如,与听觉现象相关联的传感器和/或效应器和/或用于感测音 频和/或将音频插入环境中和/或插入设备1300的一个或多个用户的 耳朵中的传感器可取向于“声音场”的方向上,例如取向在以下的方 向:朝向用户的一只耳朵或两只耳朵、远离用户的一只耳朵或两只耳 朵、全方向、地音和/或水音地耦合到设备1300(例如,当用户在水 下时触摸头骨和/或匹配水的阻抗)等等。在另一实例中,传感器和/ 或效应器可被配置成参与环境的周边部分、后部(例如用户背后)、 盲点等等。

根据实例,界面组合件902包括:(A)被配置成介接第一感知 现象传感器910的第一界面模块903;(B)被配置成介接第一感知现 象效应器912的第二界面模块905;(C)被配置成介接第二感知现象 效应器914的第三界面模块;以及(D)被配置成介接第二感知现象 传感器916的第四界面模块。可根据适应任何数量的传感器和/或效 应器可能需要和/或期望的,可增加或移除用于界面组合件902的其 它界面模块。

图1C描绘在一个实施方案中感测与显示设备1300的示意实例。

如图1C所描绘,在一个实施方案中,感测与显示设备1300包 括界面组合件902和处理设备908的组合。将第一感知现象传感器 910、第一感知现象效应器912、第二感知现象效应器914和第二感 知现象传感器916提供为通过用户或通过感测与显示设备1300的制 造商与界面组合件902整合的单独项。根据分布式控制选项,处理设 备908被配置成控制第一感知现象传感器910、第一感知现象效应器 912、第二感知现象效应器914和第二感知现象传感器916的设定和 操作。根据一个选项,处理设备908可包括专用于和/或分布于第一 感知现象传感器910、第一感知现象效应器912、第二感知现象效应 器914和第二感知现象传感器916中的两个或多个间的处理器单元的 个例。在一个实施方式中,处理设备908可被配置成充当监督控制器, 而传感器中的每个上和效应器上的专用处理器可被配置成管理传感 器或效应器(诸如图1B中所描绘)的操作。

图1D描绘感测与显示设备1300的示意实例。

如图1D所描绘,在一个实施方案中,感测与显示设备1300包 括界面组合件902、处理设备908、第一感知现象传感器910、第一 感知现象效应器912、第二感知现象效应器914以及第二感知现象传 感器916的组合,全部被组合和/或整合为单个单元以提供给这样的 用户。

在一个实施方式中,扩展槽或室可提供(及其任何等效方式)以 适应额外传感器和/或效应器到显示设备1300的安装。在一个实施方 式中,一个或多个传感器和/或效应器可在显示设备1300外部和/或与 其介接,诸如经由一个或多个有线或无线通信网络。

参考图1A、图1B、图1C和图1D,根据一个选项,感测与显示 设备1300(也如图13和图14中所描绘)被配置成扫描空间标的物 和/或三维空间标的物。通过适当传感器组合件和/或效应器组合件, 感测与显示设备1300还被配置成将标的物的图像例如如标的物的计 算机生成版本、计算机加强版本、计算机介导版本等等(通过适当传 感器组合件和/或效应器组合件)提供和/或显示给用户且关联图示予 以识别。

根据一个选项,感测与显示设备1300可包括用户可佩戴界面, 其被配置成促进用户佩戴感测与显示设备1300。例如,在一个实施 方式中,感测与显示设备1300被配置成可由用户佩戴(诸如,佩戴 在用户头部上)。应明白,其它选项可适应感测与显示设备1300与用 户介接的方式。例如,用户可佩戴可安装感测与显示设备1300的头 盔(例如,冰球、橄榄球等等)。以此方式,体育团队的成员可使用 感测与显示设备1300例如作为备战体育赛事的训练工具、作为实际 赛事的主要部分、用于估计和选择纳入团队的有潜力成员等等。

根据一个选项,感测与显示设备1300被配置成佩戴在用户的眼 睛的前方。感测与显示设备1300可例如安装在用户头部。感测与显 示设备1300可被配置成记录(诸如经由相机)用户的眼睛可从第一 增强介导现实空间1000和/或第二增强介导现实空间1002得到的场 景。感测与显示设备1300可被配置成在用户眼睛可得到的原始场景 上显示和/或叠加计算机生成的图像。

根据一个选项,感测与显示设备1300可被配置成适应佩戴者的 一只眼睛或双眼(例如双眼看穿感测与显示设备1300)。在一个实施 方式中,感测与显示设备1300的单独个例可被配置成适应用户的每 只眼睛。感测与显示设备1300可被配置成由感测与显示设备1300的 佩戴者的一只眼睛或双眼观看。在一个实施方式中,感测与显示设备 1300可被配置成提供两眼视野(例如,两眼利用相同或类似传感器 和/或利用不同和/或补充传感器观看单个空间的视野;两眼每个观看 不同空间的视野等等)给设备1300内的单眼显示器。在一些实施方 式中,额外视野还可被提供给单眼显示器。

根据一个选项,感测与显示设备1300被配置成提供佩戴者的一 只眼睛或双眼可通过其用于看看的访问。在一个实施方式中,感测与 显示设备1300可称为射出(extramissive)空间成像数字眼镜、射出 空间眼镜(商标)系统、空间成像眼镜、数字眼镜、计算机眼镜、Eye  Tap、计算机视觉系统、观看辅助、视觉辅助等等。在一些个例中, 感测与显示设备1300可称为数字眼镜(DEG);应理解,数字眼镜的 任何参考并不将实例限制为只是数字眼镜,且所述实例应用于感测与 显示设备1300。射出空间成像数字眼镜被配置成从第一增强介导现 实空间1000和第二增强介导现实空间1002的用户或多个用户接收光 且传输光(诸如可见光)到所述用户。

根据一个选项,感测与显示设备1300被配置成:(A)显示图像 给第一增强介导现实空间1000中和/或第二增强介导现实空间1002 中的用户(例如操作为监测器和/或显示装置);(B)在第一增强介导 现实空间1000中和第二增强介导现实空间1002中摄入(例如操作为 相机)环境图像;以及(C)处理(例如增强、分析、修改等等)显 示给第一增强介导现实空间1000中和/或第二增强介导现实空间1002 中的用户的图像。在一个实施方式中,增强图像包括在感测与显示设 备的正常世界(例如图1B的第一增强介导现实空间1000中的原始 场景)的图像之上覆盖计算机生成的信息(例如数据和/或图像)。感 测与显示设备1300被配置成增强和介导用户在第一增强介导现实空 间1000和/或第二增强介导现实空间1002中认知的现实。

在一些实施方式中,用户输入是通过自身对感测与显示设备1300 做手势(例如经由用户)进行。感测与显示设备1300可包括计算机 视觉系统,诸如三维计算机视觉系统,其可搭配或不搭配关联物理对 象(例如桌面或类似表面)的触觉反馈工作。在一个实施方式中,感 测与显示设备1300还可包括辅助传感器(诸如三维触觉声手势或振 动手势和/或声多模态手势输入装置),其中碰击或打击或摩擦或触摸 表面或对象是根据三维计算机视觉系统。

在一个实施方式中,图1A的程序907可被配置成引导处理设备 908执行空间成像操作,和/或感测与显示设备1300可被配置成由辅 助指令执行空间成像操作。在一个实施方式中,空间成像操作可包括 标的物的全息显示,例如,诸如利用标的物(例如人)的三维投影的 实时视频、实时视频聊天和/或讨论。在各个实施方式中,如本文使 用,术语“空间成像”可包括任何图像扫描装置,包括(但不限于)三 维相机、三维传感器、深度相机、深度传感器、被配置成使用空间成 像技术的任何装置,诸如:全息成象装置、三维成像装置、激光成像 装置、LiDAR(光检测与测距)装置、飞行时间成像装置、RaDAR (无线电检测与测距)装置、SoNAR(声音导航和测距)装置、深度相 机装置、深度传感器装置、可见光型装置、红外型装置、微波型装置、 声音型装置等等。

根据一个选项,感测与显示设备1300可被配置成小型化,且感 测与显示设备1300可被整合在现有或新的眼镜框中。

根据一个选项,感测与显示设备1300可包括其它传感器,诸如 音频传感器(麦克风和/或耳机)等等。在感测与显示设备1300的各 个方面中,麦克风包括被配置成感测或确定声压、或声压变化、或任 何介质(固体、液体或气体)及其任何等效物的流动、或流动变化的 组合件。

在一个实施方式中,感测与显示设备1300可搭配个人计算机(诸 如台式计算机、膝上型计算机、手机、智能电话、拍照手机、平板计 算机等等)一起使用和/或与其整合,且在一个实施方式中可被配置 成出现为眼镜。

图1E描绘在一个实施方案中感测与显示设备1300的示意实例。

更明确而言,图1E说明佩戴者的一只眼睛或两只眼睛可通过其 看到标的物的感测与显示设备1300的实例,感测与显示设备1300还 可提供可对图1A的第一增强介导现实空间1000中的其它者(例如, 其他用户)可见和/或不可见的射出视觉。图1E的实例中描绘的第一 增强介导现实空间1000包括用于玩象棋游戏的虚拟游戏板类型。图 1E、图2A、图3和图4描绘与图1B相关联的感知现象传感器(910、 916)和感知现象效应器(912、914)的实例。应明白,图1E-图1G、 图2A、图3和图4描绘效应器组合件和传感器组合件的个例,其可 在感测与显示设备1300上共享相同位置,且此配置是用于说明目的 且是出于简洁的原因。

应明白,感测与显示设备1300可简单称为显示设备或甚至更简 单称为设备;通常,设备1300可被配置成显示图像(给用户和/或多 个用户),可被配置成与显示组合件介接,可被配置成感测,和/或可 被配置成与感测装置介接。

根据一个选项,感测与显示设备1300包括例如可见光接收器 191,其为(图1B的)第一感知现象传感器910和/或(图1B的)第 二感知现象传感器(916)的实例;和/或可见光传输器192,其为(图 1B的)第一感知现象效应器912或(图1B的)第二感知现象效应器 914的实例。

根据一个选项,感测与显示设备1300包括头戴式组合件183, 其被配置成促进感测与显示设备1300到用户头部的固定连接。在一 个实施方式中,头戴式组合件183可包括头后部束带188,其被配置 成将感测与显示设备1300固定到用户头部,诸如可定位在用户头部 的后部上。在一个实施方式中,头后部束带188可包括被配置成感测 用户头后面区域的传感器。例如,位于头后部束带188上的传感器可 以与和图1A的第一增强介导现实空间1000相关联的其他用户共享。

在一个实施方式中,感测与显示设备1300包括数字眼镜180, 其包括各种部件,诸如取向和惯性测量单元184、LiDAR单元187、 视觉系统193、光学传感器100、显示单元181、可移除遮光物110 等等。在一个实施方式中,可移除遮光物110可以是两英寸乘4.25 英寸(约51毫米乘108毫米)标准大小焊接遮光物。可移除遮光物 可允许显示单元181在明亮太阳光(例如,使用ANSI遮光物号5至 7)或在明亮但是阴天(例如,使用ANSI遮光物号2至4)中可见, 或用于使用感测与显示设备1300供焊接用(例如使用较暗遮光物) 同时使用HDR(高动态范围)成像看到电弧。

根据一个选项,数字眼镜180被配置成包括双眼通过其诸如在焊 工的头盔的配置中看到的单数眼镜。根据一个变体,单独显示器或介 导区域可提供用于每只眼睛、在一个眼镜内、或单独眼镜用于每只眼 睛、或单筒眼镜用于一只眼睛。

在一个实施方式中,数字眼镜180可被配置成用作视力辅助、视 觉辅助等等,且可被配置成提供高动态范围(HDR)视觉,例如其中 佩戴者可在完全黑暗中看到同时还看到电弧,或在黑暗小巷中看到明 亮车前灯且仍可清楚看到车牌号和驾驶员的面部。

根据一个选项,可移除遮光物110是电致变色的,且被配置成可 由光学传感器100和/或LiDAR单元187和/或视觉系统193和/或其 任何组合和排列控制。对于这个情况,数字眼镜180被配置成适于宽 广范围的视觉状况,诸如从室内变成如可发生的室外、太阳、云、电 弧焊接、明亮光等等,或提供针对诸如来自激光指向器或其它光源的 蓄意或光照攻击的保护,数字眼镜180可针对其为用户赋予眼睛保 护。

根据一个选项,光学传感器100位于数字眼镜180的可移除遮光 物110周边周围,和/或直接并入其中。光学传感器100还可或是额 外位于可移除遮光物110的上面。当移除可移除遮光物110时,这可 视为遮光物0(例如可移除遮光物110的设置变为遮光物0)。

根据一个选项,传感器定位在可移除遮光物110上方。根据一个 选项,传感器包括红外传输器186和/或红外接收器185。在一个实施 方式中,红外接收器195被安装至数字眼镜190。在一些实施方式中, 红外接收器185可称为红外检测器。在一个实施方式中,红外传输器 186和红外接收器185可被配置成合作作为范围感测视觉系统,诸如 红外LiDAR或其它三维红外相机系统等等。

根据一个选项,可见光接收器191被提供,且在一个实施方式中, 可被配置成可见光相机(例如,用于提供具有色彩的摄影图像),且 在一个实施方式中,可与由红外传输器186和红外接收器185形成的 范围图或范围图像组合在一起。

根据一个选项,可见光传输器192被提供且被配置成在可见光谱 中操作以照明标的物,诸如具有对数字眼镜180的佩戴者可见的可见 内容的表面130(例如桌面),诸如广告、赞助商通知、计时器、时 间/日期指示器或诸如投影170的其它标识。在一个实施方式中,这 种投影还可对未配备其数字眼镜180的个例的任何用户(人员)的裸 眼198可见。

在一个实施方式中,感测与显示设备1300中使用的传感器和效 应器可固定地附着且/或安装到定位在用户眼睛周围(例如,定位在 用户头部上)的周边框(其为框组合件的实例)。在一些实施方式中, 数字眼镜180赋予(为两只眼睛)可具有只水平视差图像和/或立体 图像的空间图像。此可例如在用户的双眼可通过其而看到的单个眼镜 中或单独眼镜中使用显示单元181的两个单独个例或显示单元181的 立体个例来完成。1988年军队测量局的瞳间距离(IPD)值指示男性均 值为64.7毫米(mm),且女性均值为62.3毫米。如果针对这两个(例 如,两个性别)计算均值,那么结果为64.7+62.3=127.0毫米的总数, 且除以二得到127/2=63.5毫米的结果,且等于2.5英寸。因此,显示 单元181的个例可定位为例如其眼点相隔约2.5英寸。在一些实施方 式中,显示单元181的个例可诸如基于给定用户的IPD的先前、同时 和/或实时测量可调整地和/或动态地定位。例如,在一个实施方式中, 被引导朝向用户的面部的传感器可检测和/或测量用户的IPD,且针对 每只眼的显示单元181之间的距离可在该基础上进行调整。在另一实 施方式中,每个显示单元181的有效显示区域可基于测量的用户IPD 调整,例如以便基于特定用户IPD在显示区域的适当区域中呈现显示 的内容。

根据一个选项,感测与显示设备1300可包括数字眼镜180,其 被配置成提供双眼显示、单眼显示等等。在双眼视野的情况中,提供 右眼眼点(point-of-eye)199A和左眼眼点199B(即,右Eye Tap点 和左Eye Tap点)。

在一个实施方式中,捕获真实(或接近真实)三维图像的能力可 用于创建光空间共线性化器(collinearizer),其被配置成创建感测与 显示设备1300的合成效果。例如,可将朝向眼睛的光线射束转移通 过成像系统、处理和再显现成与原始射线大致共线性。光空间共线性 化器(在一些实施方式中,其可称为合成共线性化器)可被配置成捕 获真实或接近真实的三维模型,且计算由相机产生的图像,宛如三维 模型实际上已放置在佩戴者视野内部,其中相机透镜的中央(光圈、 节点、光学中央等)在用户眼睛的晶状体的中央处。

在一个实施方式中,三维相机可用于和/或被配置成合成空间成 像装置的效果,且可包括经过佩戴者眼睛的光空间分析眼镜;例如, 感测与显示设备1300的整个护目镜可被配置成充当光空间分析眼 镜。在一个实施方式中,三维相机可被配置成生成经过感测与显示设 备1300的所有光射线的光空间、光场、全光、全息等等的图像。图 1A的处理设备908可被配置成响应于(例如虚拟的)光空间分析眼 镜的输出,且处理设备908可被配置成计算用于光空间合成眼镜的射 线。在这样的实施方式中,三维相机、处理器和显示器的组合可体现 光空间共线性化器。

由于视觉系统的实施方式中的真三维特性,数字眼镜180和数字 眼镜190每个可被配置成捕获公共标的物140的真三维图像,诸如共 享游戏桌(例如,现实或想象或虚拟的棋盘,或桌表面130),并显 现此现实视野,或桌子130的计算机修改视野,或这些的任何组合, 宛如图像是由相机捕获,其中相机本身、相机的透镜、相机的胶卷、 相机的CCD和/或恰好位于和/或基本上接近右眼(右眼)的晶状体中 央,并且显现另一视野,宛如图像是由恰好位于和/或基本上接近感 测与显示设备1300的佩戴者的左眼(左眼)的晶状体的中央的相机 捕获。CCD代表电荷耦合装置。

在一个实施方式中,数字眼镜180(对于第一用户)和数字眼镜 190(对于第二用户)中的每个可使用其本身的视觉系统加上从数字 眼镜190接收的信息,以构建比其本身的单独视觉系统更详细、真实 和/或准确的现实三维模型。在这个意义上而言,在一个实施方式中, 若干不同参与者可共享计算机介导现实,其中现实(物理)世界(第 一增强介导现实空间1000)是以相对更高细节、精确度和/或准确度 捕获,和/或包括与额外和/或增补的透视、方向、视野等等相关联的 数据。

根据一个选项,感测与显示设备1300可被配置成以多工方式操 作,和/或可被配置成执行多工。例如,数字眼镜180和数字眼镜190 可被配置成诸如通过时分多工而合作,且从而替代地照明场景以感测 和/或理解位于第一增强介导现实空间1000中的对象。多工可例如通 过使用码分多工(例如使用不同扩频序列或扩频频谱或扩频空间化模 式)和/或通过合作感测来完成。在后个情况中,数字眼镜180和数 字眼镜190被配置成一起工作以照明且感测公共标的物140和表面 130。例如,在红外传输器186以红外光照明场景(第一增强介导现 实空间1000)时,红外接收器185和红外接收器195均感测从场景 (第一增强介导现实空间1000)中的物理对象反射的反射红外光。 数字眼镜180与数字眼镜190之间的交叉感测提供通过极限视差的额 外场景信息,所述极限视差由于数字眼镜180与数字眼镜190之间在 第一增强介导现实空间1000中的较长基线而存在。在一个实施方式 中,图1A的程序907(用于感测与显示设备1300的个例中)被配置 成用感测与显示设备1300的其它个例执行多任务操作。

在一个实施方式中,结果是具有可数学分解成单独小视差眼镜间 基线和大视差眼镜内基线的分辨能力的合成孔隙LiDAR等等。

根据一个选项,数字眼镜180可包括计算机160(其是图1A的 处理设备908的实例)。计算机160可内建(整合)在数字眼镜180 中,或可与数字眼镜180分离,和/或可被配置成例如适配在用户的 衬衫口袋中。根据一个选项,计算机160包括网络连接150,诸如无 线连接、WLAN(无线局域网)、WiFi(商标)网络、PSA(个人局 域网)、Bluetooth(商标)网络、蜂窝连接、CDMA(码分多址)、 HSPA(高速分组接入)、HSDPA(高速下行分组接入)、GSM(全球 移动通信系统)等等。对于计算机160用于与数字眼镜180连接的一 些实施方式,计算机160可以与地音探听器(geophone)182整合在 一起。

根据一个选项,数字眼镜180是独立的。根据一个选项,数字眼 镜180栓系到计算机160且数字眼镜180可放置在佩戴者的衬衫的口 袋中,诸如用于存储。对于拴系数字眼镜180的一些实施方式,布线 可以隐藏在具有普通眼镜安全带的外观的布管、布筒等等的内部。例 如,眼镜安全带可包括被配置成牢固地夹到用户的衣物制品上,以提 供眼镜系绳的应变释放的夹子189。例如,夹子189可以是“鳄鱼夹”、 “鳄鱼嘴夹”、弹簧夹、弹簧加载夹具的种类,用于耳机、颈挂式麦克 风等等,例如以夹住佩戴者的衣物,从而提供例如应变释放的一种形 式。

在一些情况中,当用户位于坐位中时,计算机160(其为图1A 的处理设备908的实例)可被放置在办公室或家中的地板或桌子上。 对于一些这样的实施方式,计算机160可以被容纳在包括地音探听器 182的传感器界面单元120(例如,桌面单元)的内部,且以此方式, 传感器界面单元120是支持地音探听的。传感器界面单元120包括被 配置成介接待提供给计算机160的感知输入的传感器界面组合件。在 一个实施方式中,传感器界面单元120被配置成地音探地音探听收听 桌面的声音振动,诸如当棋子在桌子上滑动(或触摸桌子)时,当有 人的手指敲击在桌子上时等等。

在各个实施方式中,术语地音探听器可指将诸如固体物质中的压 力、速度、移动、压缩、稀疏等等的变化转换成电信号的任何各种压 力变送器、压力传感器、速度传感器、流量传感器等等。地音探听器 可以包括如桌面的固体表面上的差压传感器、绝对压力传感器、应变 计、挠曲传感器等等。因此,地音探听器可以具有单个收听端口或双 端口,一个在眼镜或陶瓷板、不锈钢隔膜等等的每一侧上,或还可以 包括只响应于压力的离散变化的压力传感器,诸如可视为1位地音探 听器的压力开关。此外,术语地音探听器还可以用于参考只响应于压 力或压力差变化的装置,即无法传送静态压力的装置。在一个实施方 式中,术语地音探听器是用于描述压力传感器,所述压力传感器感测 在任何频率范围内的压力或压力变化,而不管频率范围是否在人类听 觉范围之内,或是否是亚音速(在一个实施方式中,包括一路降至零 循环每秒)或超声波。此外,在一些实施方式中,术语地音探听器可 用于描述被配置成感测诸如固态物质中的振动或压力或压力变化的 任何种类的接触麦克风或类似变送器。因此,术语地音探听器可用于 参考在可听频率范围工作的接触麦克风以及在任何频率范围而不只 是可听频率工作的其它压力传感器。地音探听器可以被配置成例如感 测桌面上的声音振动、桌上的刮擦、向下压的压力、重量(例如,经 由DC或直流偏移)以及小信号振动(例如,经由AC或交流信号)。 在一些实施方式中,术语“自然用户界面”可用于参考使用诸如现实世 界对象的物理介质且消除间接隐喻式的这种和其它类似形式的交互。 根据一个选项,数字眼镜180体现自然用户界面,尤其借助于传感器 界面单元120。

另外,在一个实施方式中,被配置成感测三维对象位置等等的 LiDAR单元187和LiDAR单元197提供数据给计算机160以及传感 器界面单元120,以通过地音探听器182和其它传感器提供多模态感 知触觉反馈。

根据一个选项,传感器界面单元120中的地音探听器182被配置 成传输和接收,并且可以固定附着到桌面以提供可由用户感觉到的振 触(vibrotactile)能量到桌面的传输,诸如通过用户手指的点击或触 摸或触觉。或者,在一个实施方式中,可诸如出于惊人效果而半破坏 性地使用这个力和/或振触能量。

例如(如图1E中所描绘),在“增强介导象棋”游戏中,地音探听 器182可以被配置成当一个玩家赢得比赛时晃动桌子且敲打在现实 旗子上,因此创建出甚至对未佩戴眼镜的参与者(例如并未使用感测 与显示设备1300的用户)的裸眼198可见的惊人的视觉效果。

此外,如果多个参与者设置在诸如桌面的表面130上的其传感器 界面单元120和计算机160的各自个例,那么在传感器界面单元120 和计算机160的各自个例中可存在地音探听器182和地音探听器194 的多个个例诸如以形成地音探听器阵列。在一个实施方式中,传感器 界面单元120和计算机160的每个个例中的惯性测量单元184、加速 度计等等和/或其它额外传感器可用于计算传感器界面单元120和计 算机160的相对位置,诸如以形成相控传感器阵列,所述相控传感器 阵列可在表面130定位声和/或其它物理干扰。

在一些实施方式中,数字眼镜180和数字眼镜190每个被配置成 感测和/或发射诸如可见光的光。在全双向个例的实施方式中,数字 眼镜180DEG可被配置成在两个方向上感测和发射光,赋予以下项: 诸如相对眼睛本身的射出主动视觉向前看和射出主动视觉向内看。这 可包括眼睛跟踪(例如,感测时)和显示(做特效),以及图1A的 第一增强介导现实空间1000的环境的空间成像(例如,感测时),以 及到环境(例如,做特效时)的投影。在这个意义上而言,数字眼镜 180发送光到眼睛和从眼睛接收光,且数字眼镜180还发送光到(例 如,用户眼睛的)视野中的标的物和从所述标的物接收光。

根据一个选项,数字眼镜180被配置成感测用户周围的环境和/ 或感测用户。在一个实施方式中,诸如LiDAR单元187的空间成像 传感器组合件可被配置成提供深度图1308(在图13中的一个实例中 描绘),诸如以确定用户的手臂、手、手指等等的空间坐标、位置、 取向等等。空间成像传感器组合件也可被配置成提供深度图以确定用 户的腿、脚等等的空间坐标、位置、取向等等,诸如对于用户向下看 向地面的情况。在一个实施方式中,两种类型的可扫描标的物可以分 开例如为非自身标的物(例如,房间中的其它对象)和自身。当两者 相遇时,相遇可被检测和/或跟踪,而且在一些实施方式中,所述情 况可能会被称为“物理接触”或“触觉”。

根据一个选项,在一个实施方式中,图1A的处理设备908可包 括触觉检测器。触觉检测器被配置成检测触觉(例如,人体与另一对 象之间、两个对象之间等等的物理接触),并相应地作出响应。触觉 检测器可以例如包括被配置成检测触觉发生的程序指令。根据一个选 项,触觉检测器包括地音探听器182,其被配置成拾取和/或以其它方 式检测触觉的声音,且视觉系统(感测与显示设备1300)被配置成 通过三维扫描表面(诸如桌面)观察触觉的发生,且确定何时且是否 是手、手指等等触摸该表面。在一个实施方式中,这可以经由点云并 且在手或手指的点云侵入平面的单应性时完成,诸如由群动作(1) 显现的。在一个实施方式中,公式{1}可以由图1A的处理设备908 使用,以由诸如图1AA中的一个实例中描绘的触觉检测器400检测 触觉的发生。

公式{1}:

空间中的相同平坦表面的任何两个图像是由单应性(假定针孔相 机模型)相关。这允许许多实际应用,诸如图像校正、图像配准、两 个图像之间的相机运动(旋转和平移)的计算等等。一旦已从估计的 单应性矩阵提取相机旋转和平移,就可以使用这个信息诸如用于导 航,以将三维对象的模型插入图像或视频等等中,使得其得以正确透 视显现且成为原始场景的部分。

在一个实施方式中,[A]是2乘2(2×2)的线性算子,[b]是2乘 1(2×1)平移,[c]是2乘1(2×1)啁啾(投影),[d]是标量常数,且 [x]是2乘1(2×1)空间坐标,并且[x]=[x1,x2]T,其中T指示转置。

在一个实施方式中,可对由触觉检测器检测的单应性侵入的程度 进行统计显著性测试。在一些实施方式中,配置成进行单应性侵入的 程度的测量的设备可称为单应性侵入估计器或单应侵入估计器。在用 作另一动作的触发器等等的这样的估计器被限阈值的实施方式中,设 备可称为单应性侵入检测器。在一个实施方式中,诸如 Neyman-Pearson理论等等的检测与估计理论可应用于图1AA中描绘 的单应性侵入检测器401。

对于采用视觉、听觉(例如通过地音探听器182)和/或其它感知 输入的组合的情况,汇合传感器402(图1AA中描绘)可用于融合 这两种模式的感测。

在一个实施方式中,汇合传感器可建自诸如图1EE的实例中所 示的视觉侵犯(trusion)传感器和/或声侵犯传感器的组合。在一个实 施方式中,这些传感器可使用被配置成估计侵犯(侵入、挤出或两者)、 触觉等等的神经网络。

在一个实施方式中,数字眼镜180可诸如利用头戴式组合件183 (一些实施方式中称为头带)由框支撑在(用户的)头部上。在一个 实施方式中,头戴式组合件183可拆分使得头戴式组合件183的部分 (例如,一半)被对准、定位(等等)在枕叶下面,另一部分(例如, 另一半)被对准、定位(等等)在枕叶上面,因此在水流否则可能将 数字眼镜180冲刷远离用户的面部的剧烈身体活动诸如体操、瑜珈和 /或游泳期间,使数字眼镜180停留在用户的头部上。例如,密封(防 水个例)数字眼镜180的正面平坦表面可被配置成在水上和/或水下 操作。

所公开的设备、方法和系统的多个方面可以包括视觉侵入检测 器,其检测到空间(平面/单对应性、球形对象等等)中的侵入,或 更一般地,包括侵犯估计器,其可以估计侵犯(侵入或挤出或同时两 者)的程度,以及随后(或直接地)通过某种阈值等等(例如,手势 感测、估计、检测和手势分类)检测侵犯。

在一些实施方式中,侵犯传感器还可以是汇合型,例如,多模态 侵犯感测汇合的结果。实例包括侵犯传感器,其通过电磁辐射(第一 模式)和声辐射(第二模式)进行感测。

图1EE描绘在一个实施方案中从光感测设备或光感测与特效(发 光)设备,以及从声感测设备或声感测与特效(例如声纳)设备接受 输入的信号处理系统。

图1EE说明汇合传感器,其包括视觉侵犯输入1EE20和声侵犯 输入1EE10。在一个实施方式中,存在两种类型的侵犯:侵入(如所 观察,例如窃贼或“侵入者”进入房屋时)和挤出(如所观察,例如在 字母“I”的形状中“挤出”金属制成铝“I”字梁时)。

在一个实施方式中,侵入意指“插入”或“推入”某物中或上或对抗 某物,或进入某物附近。当侵入者进入房屋和/或可能发生一定程度 时,侵入可以是二元开/关例如“触发器”。例如,可通过接近一个人 的“个人气泡”例如甚至不触摸该人而侵入另一人的个人空间。

可侵入桌面上,例如以通过例如接近该桌子、悬停在桌子上、触 摸该桌子等等而拉桌面上的虚拟对象。可轻推桌子。还可较重地推动 桌子。因此,在一个实施方式中,侵入程度可以从靠近桌面以极轻地 触摸桌面变成变成轻压、推动、用力推动、用一个人的拳头用力猛击 桌子等等。因此,系统可感测侵犯和触觉(例如触摸、敲击、摩擦、 碰击等等的触觉元素)。

还可拉离桌子(挤出)。诸如视觉侵犯传感器1EE30的可佩戴视 觉系统可感测对桌子的触摸、侵入或挤出的程度等等。在一个实施方 式中,触摸传感器可被配置成参与多个模式的多模态感测,诸如例如 还使用声侵犯传感器1EE25进行感测。

如本文使用,声信号可包括一路降至DC(零循环每秒)的声级。 在一个实施方式中,声侵犯传感器1EE25可以是桌子中或桌上的应 变仪,其感测桌子的挠曲,和/或桌子中的“弯曲器”或“弯曲传感器”, 和/或桌腿上感测桌子上的重量或力的传感器。

在一个实施方式中,声侵犯传感器1EE25和视觉侵犯传感器 1EE30被配置成供应侵犯测度和/或多维侵犯信号1EE35,其可以被 视为由节点1EE40、节点1EE50、节点1EE70等等连同“神经元”或权 或元素的连接而形成的神经网络的特征矢量。连接1EE45和连接 1EE60等等连同节点形成被训练成识别侵入、触摸和挤出的神经网 络。

在一个实施方式中,触觉信号1EE80检测和/或提供了一定程度 的侵入,其可以被配置成单个浮点数,充分捕获侵入的本质的特征矢 量等等。

在一个实施方式中,触觉信号1EE85捕获触摸程度,并传送关 于触摸的信息,诸如存在多少次触摸。在一个实施方式中,它相对于 一个或多个人可一起体验的诸如桌面等等的现实物理对象或诸如共 享虚拟对象的虚拟对象而传送关于多少根手指正在触摸、哪些手指正 在触摸等等的信息。

在一个配置中,触觉信号1EE80、触觉信号1EE85和触觉信号 1EE90分别进入侵入检测器1EE91、触摸检测器1EE92和挤出检测 器1EE93。检测的信号(分别为信号1EE94、信号1EE95、信号1EE96) 被供应给手势传感器1EE97,其感测关联在其上待感测触觉和/或侵 犯的现实或虚拟对象而进行的手势。

手势传感器1EE97可以提供各种输出信号1EE98,诸如其中每 个指示特定手势。

侵入感测可以针对不同对象(现实和/或虚拟)进行。例如,可 相对于平坦和/或大致平坦的表面如墙壁、桌子、地面、建筑面等等 感测侵入。因此,可在平面上定义单应性(平坦表面上投影群坐标变 换轨道下的代数投影几何),并且在其上进行侵入检测,如应以举例 方式在图2B的上下文中所说明。其上的侵入检测提供关于在此平坦 表面上操作的手势的信息。

在一个实施方式中,任何流形可被配置成用户可在其上交互的表 面,配置成空间中用户可在其上交互的“串(string)”等等。

因此,图1EE的侵犯和触觉传感器可以被配置成通过拓扑造型 (商标)系统(例如拓扑造型)用于可佩戴交互和交互设计的流形化 器型交互器(“交互器”)。

在一些实施方案中,交互设备、方法和交互系统或交互设计包括 创建或编辑虚拟拓扑空间、拓扑造型或拓扑造型(商标)系统,其局 部同胚于Euclidean空间,或大约如此,因此超越刚性平坦贴片的单 应性以还包括与其它对象如球体、虚拟气泡、多边形、管道、弯曲管 道、灯、点、图标、字母、不规则形状、曲线和曲面、斑点等等的交 互。

(n维拓扑流形是局部同胚于n维Euclidean空间的第二可数 Hausdorff空间。)

例如,在三维(3D)空间中固定或视觉化的绳或电线或电缆可 表示成局部同胚于一维Euclidean空间的第二可数Hausdorff空间。(通 俗地说,其在其中定义为“表现为沿着曲线的点的小领域中的线。)在 一个实施方案中,这形成了AR环境中的空间交互的基础。AR代表 增强介导现实。

术语“流形”在本文中可以宽广和非限制性的意义使用,例如包括 部分流形,诸如并非流形但包括“粘合在一起”超过相交点(即,“非 流形”点)的流形段的“8字形”形状。

同样地,与折叠地铁地图的交互落入所公开的设备、方法和系统 的实施方式的范围内,不管其是否包含在数学上表现较不好的部分 (例如,锐折)。在一些实施方式中,还包括与计算机屏幕(现实或 虚拟)的交互,而不管整体拓扑或非拓扑结构。

作为流形交互的第二个实例,一位患有自闭症的女士Alice进入 地铁站且拾取地图。在一个实施方式中,她被地图上的所有的线所迷 惑,但她的Spaceglass(空间成像眼镜)协助她使用眼镜的“全息视觉”, 全息视觉可“看到”和“理解”地图并帮助她进行导航。Spaceglass识别 其正看表面(例如,局部同胚于二维Euclidean空间的第二可数 Hausdorff空间,即,表面表现为纸表面上的点的小领域中的平面)。

在一个实施方案中,Spaceglass(商标)系统可通过射出空间成 像系统实现此,所述射出空间成像系统在对象周围的环境中朝向对象 发射光,且然后感测返回的光以及环境光或自然光。它可包括锁定相 机,所述锁定相机(使用Lightspace)由于从其中、从自它处返回的 光(环境光)发射的光的空间化进行区分。

Spaceglass因此可以配置成区分异动光源与自动光源(希腊语前 缀“自动”,意指“自身”,即,由于从Spaceglass本身的照明的光,且“异 动”,意指自身的反意,即,由于除了Spaceglass之外的源的光)。

在一个实施方式中,允许这种区分的装置或机构被称为“光间隔 器(Lightspacer)”。锁定相机是光间隔器的一个实施方案,但是在一 些实施方式中,其还可包括定时电路,所述定时电路使光在视频的每 隔一帧上明亮闪烁且使用光空间理论和实践比较自动照明图像与异 动照明图像,作为不同光矢量等等。

Alice的Spaceglass开始识别在其地图上示出的一些地铁线路。 虽然地图被折叠,且甚至看似“扁平”的部分稍微有所弯曲,但是由于 地图下垂,她的Spaceglass可感测地图定义了其在三维空间中的局部 二维子空间。此外,地铁线路其本身是流形:地图的二位表面内的一 维流形:其本身是在其周围的三维空间中的流形。

当她触摸地图时,她的Spaceglass根据图1EE的触觉/侵犯传感 器识别触摸手势。Spaceglass中的接触传感器或触摸传感器或其处理 器感测与地图表面的触摸和接触,生成触觉信号,并且感测与地铁线 路的一维流形的接触,还生成另一触觉信号。触觉信号1EE80、触觉 信号1EE85和触觉信号1EE90一起工作,即,图1EE的触觉/侵犯传 感器存在两种个例,一个负责感测与地图的纸张的触觉,而另一个负 责感测与在其上示出的地铁线路的触觉/侵犯。第一传感器感测与纸 的二维流形的触觉/侵犯(“tusion”),而第二个感测与在该纸张上绘出 的地铁地图的一维流形的tusion。

在各个实施方式中,触摸传感器可包括一级或两级触摸感测:第 一,在触摸纸张时;以及第二,在触摸纸张上的路径或曲线或其它流 形时。在每一种情况中,可以增强介导显示或显示介质的形式生成响 应,显现为宛如从诸如纸张表面或其上的地铁线路的流形处传来。

除了以增强介导意义读取地图之外,她还可以提出一种设计以通 过操纵该设计而用于新的地铁,并且沿一维流形周围移动站点,宛如 其为线上的珠。在她触摸停车站点时,其可被配置成用关于站点的信 息点亮,显现为宛如在地图页面上。然后利用特定的手势,诸如“抓 捏”的手势(例如,当在自相反方向靠近地铁站点或其它地图点之后, 她的拇指和食指触摸时的感测),所选对象或关注点可以在虚拟空间 中被高亮显示,并且可沿着地铁线路的子流形来回滑动。在一个实施 方式中,这可被称为“流形规划器(planifoldizer)”,例如,作为交互 设计的形式,允许实时“编辑”或“造型”(“拓扑造型”)流形的流形规 划系统。

在一个实施方案中,流形规划器可以将现实物理对象如一张纸的 触觉反馈与可编辑虚拟流形组合。

在一个实施方式中,流形规划器可用维度层级配置。拇指和食指 沿纸张滑动被识别成可以以与3D空间中离开页面时进行的不同的方 式选择一个点的手势。因此,维度层级识别与在3D(三维)空间上 但不是在2D(二维)流形上的手势不同约束到2D流形的手势。此 外,另一类的手势是约束到一维(1D)流形的那些手势,例如,沿 地铁线路运行拇指和食指,以从每侧(一侧上的拇指和另一侧上的食 指)接近特定地铁站点,且然后使拇指和食指一起选择特定站点。例 如,这个手势调用沿线路移动操作,而在2D纸面中但是离开线路做 手势调用移动线路操作(移动整条线路而不只是站点)。

在一些实施方式中,流形规划器可用于任何地图或甚至在纸张用 作对流形规划器的用户界面的空纸张上的线路规划以给定“空想”的 用户界面触觉反馈的能力。在这个上下文中,这样的纸张可以称为“流 形规划”(例如用于规划线路的交互式流形)。

在一个实施方案中,流形化器合成邀请用户在虚拟空间中生成流 形的交互式输入装置。实例包括受手势控制的串生成器和受手势控制 的表面生成器。

在一些实施方案中,通过手势,用户创建近似遵循用户的手势沿 流形切线的时间积分从而定义它的流形。例如,通过移动手指通过空 间生成虚拟串、绳或线,而流形化器合成移动的时间积分。结果类似 于长曝光照片,宛如灯泡移动通过其(累计光矢量)。这种形式的拓 扑造型可称为abakosculpting(商标)系统。“Abakosculpting”是来自 希伯来文形式的“abaq”,意指“沙土”-是从其中派生词“算盘”的同根 词。从某种意义上说,abakosculpting就像工作算盘,即,沿着虚拟 绳、串、线等等移动关注点,宛如它们是算盘上的珠。abakography (商标)系统也可以被称为Dusting(商标)系统,且在将其用作指 南构建对象或涉及该对象的轮盘的沙图(abakograph),或另外在制 作沙图时涉及该对象时称其为对该对象“摆沙(dust)”。摆沙的一种 方法是在空中抛洒或抛投回射粉末,并将其吹散在周围,同时共享公 共光轴的相机和投影仪照明这个沙土。在对长曝光视频总和的“摆沙” 的一个实施方案中,“沙土”勾勒出可隐喻式地视为算盘上的线的光的 条纹。在另一实施方案中,一些粉末沉积在用户的手上,使得手势生 成沙图。在另一实施方案中,不需要粉末,因为计算机视觉算法足够 先进以致可单独使用计算机视觉模拟过程。

在另一个实例中,二维流形在三维虚拟或增强介导空间中生成为 用户的手或其它身体部分的正切表面。

这样的装置可以称成“输入流形化器(input manifoldizer)”。

在一个实施方案中,在虚拟或增强介导空间中,或通过增强介导 器、设备等等显示流形,并且用户可以与预显示流形交互。

这样的设备可以被称成“输出流形化器(output manifoldizer)”或 “流形化显示器(manifoldized display)”。

在一个实施方案中,输入流形化器可以用于生成输出“流形化 器”。

实例包括通过将手指移动通过空间而生成一维流形显示,导致具 有随着手指更多移动通过空间而变得更长的“灯绳”或LED(发光二极 管)串的一般外观的某物。所得“光绳”状流形化器是在三维空间中合 成的一维流形,其在表现为触摸绳的意义上而言是交互的。

在一个实施方式中,例如,可以沿着1D流形将对象合成为宛如 串上的珠。这些对象例如对应于沿地铁线路的地铁站点。在这个意义 上,我们称这些对象为“圆球(spats)”,按照立体角的英制单位(1 圆球等于立体角的4pi球面度)。可以沿着1D流形的路径选择或创 建或删除圆球。在一个实施方式中,圆球还可视需要对应于现实世界 的全景。例如,沿虚拟串点击圆球可产生特定地铁站点的全景远景。 所公开的设备、方法和系统的子系统,我们称之为交互器,感测手势 且由于这些感测手势合成响应。与在平面外部做出的手势相比,且与 在页面中做出但不是沿着1D流形的手势相比,其可在沿着1D流形 做出的手势之间进行区分。因此,从页内抓住对象,例如给出了与从 页外抓住该对象不同的结果(即,从页外接近圆球,使得与在其它处 触摸页且然后滑动到圆球相比,与页的初始接触点是圆球本身)。

在各种实施方案中,也可以使用其它手势且还解除其它手势的歧 义。例如,在一个实施方式中,在1D流形上但远离圆球地触摸页 将选择该流形,且然后允许沿着该流形有受限的滑动。在其它处触摸 页允许流形本身的滑动,或滑动到该流形-与第一个手势不同的手势。

在一个实施方式中,在下个维度中,输入/输出流形化器表现为 触摸屏,因此表现为在三维空间合成的二维流形(局部Euclidean 2 维空间)。

所公开的设备、方法和系统还可以被配置用于更高维度,例如, 在合成为流形化器型交互器的更高维嵌入空间中的超立方体显示。

在一些实施方案中,流形化器可被配置用于视觉交互设计(例如, 虚拟屏幕交互,或造型3维对象),但所公开的设备、方法和系统不 限于视觉交互设计。例如,实施方案可以被配置用于操纵诸如声音文 件(例如,作为一维流形化波形)的其它媒体,或诸如用于与 Hamiltonian和经典Lagrangian力学的相空间的交互的辛流形 (symplectic manifold)和亚辛流形(metaplectic manifold)的其它媒体。 实例包括操纵时频平面的亚辛外胚层(metaplectomorphisms)(例如, 线调频小波和线调频小波变换),使得对象或媒体的部分可以在相空 间被操纵。

在一个实施方式中,可诸如通过流形化器在图像的四维相空间中 编辑该图像。

作为一个实施方案中的交互设计的形式,流形化器还可以用于操 纵动作、采取动作或编辑动作,因此不限于静止动作的原理,而相反, 赋予动作在空间化增强介导现实中的管理操纵。

以此方式,如火箭等等的装置可以被设计和操纵在提供且创建实 时分析、Lagrangian(或Hamiltonian)建模等的虚拟环境中。此外, 在一个实施方式中,可以在交互环境中对一部分造型,其中正运行实 时CFD(计算流体动态)同时正操纵该部分。例如,可以使火箭表 面成形,同时注视气流“将进行”般流动且看到对Navier Stokes方程式 的实时解决方案的效果,使得形状不只受美学引导。

因此,在一些实施方案中,流体流动本身可以形成交互的部分, 例如,一个人可以在现实风洞中固定一个零件,并且传感器然后感测 流体在该零件上的实际流动,并模拟此实际流动。

图1F描绘使用图1E的感知与显示设备1300的实施方案与共享 对象交互的实例。

图1F描绘流形化器的一个实施方案,示出了嵌入在3维空间中 的共享流形化交互空间和流形化显示,以及嵌入在另一流形中(其可 以是物理表面如桌面、墙壁或地板)的共享流形化交互器和显示器。

图1F说明搭配两个可佩戴眼镜装置(数字眼镜)(眼镜180DEG 和眼镜181DEG)运行的流形化器的实施方案。眼镜180DEG和眼镜 181DEG是射出空间眼镜(例如,空间成像眼镜)。在各个实施方式 中,标示为眼镜180DEG和眼镜181DEG的DEG(数字眼镜)可包 括诸如但不限于取向和惯性传感器180IMU、LiDAR单元180L、视 觉系统180V、光学传感器和显示单元180D。LiDAR代表光方向与 测距。

图1F的眼镜装置或DEG可以包括帮助改善视力、帮助增加视野 的对比度或者也隐藏设备的遮光物。在一个实施方式中,可使用单遮 光物或两个单独遮光物(每只眼睛一个)。

图1F所示的遮光物的实例实施方式为两英寸乘4.25英寸(约51 毫米乘108毫米)标准大小焊接遮光物。这可允许显示器180D在明 亮太阳光(例如,使用ANSI遮光物5至7)或在明亮但是阴天(例 如,使用ANSI遮光物2至4)中可见,或用于使用数字眼镜供焊接 用(例如使用较暗遮光物),同时诸如通过使用HDR(高动态范围) 成像看到电弧。

在一个实施方式中,眼镜180DEG可以包括双眼可通过其看(如 焊工头盔)的单个眼镜。在一个实施方式中,眼镜180DEG还可包括 用于每只眼睛、在一个眼镜内、或用于每只眼睛的单独眼镜、或用于 一只眼睛的单筒眼镜的单独显示器或介导区域。

眼镜180DEG可以通过框支撑在头部上,诸如可以包括头带180H 和/或箍带180M。箍带180M可以拆分使得其一半在枕叶下面且一半 在枕叶上面,因此在水流否则可能将数字眼镜“冲刷”远离佩戴者的脸 部的剧烈身体活动诸如体操、瑜珈和/或游泳期间,使数字眼镜得以 停留。眼镜180DEG的适当密封个例的正面平坦表面在水上面或下面 操作。

数字眼镜180DEG可用于多种用途和/或应用,诸如但不限于用 作视力辅助、视觉辅助等等,并且可允许HDR视觉,例如其中佩戴 者可以在相对黑暗(或甚至在完全黑暗中,例如通过高动态范围辐射 热测量器)中看,同时还看到电弧,或者在黑暗巷子中看到明亮车灯 且仍然能够清晰地看到车牌号和驾驶员的面部。

在一个实施方式中,可移除遮光物110可以是电致变色的且可由 传感器或LiDAR单元180L或视觉系统180V或由这些的组合控制。 以此方式,眼镜180DEG可用于宽广范围的视觉状况,诸如如可自然 发生的从室内变到室外、太阳、云、电弧焊接、亮光等等,或甚至保 护免遭蓄意或恶意照明攻击,诸如激光指向器或其它光源,数字眼镜 180DEG可针对其赋予保护。

在一个实施方式中,传感器可位于眼镜180DEG的可移除遮光物 110周边周围,和/或直接并入其中。传感器还可或额外地位于可移除 遮光物110上面,不论可移除遮光物110是否存在。当移除可移除遮 光物110时,这被视为遮光物0,例如可移除遮光物110的设置变为 遮光物0。

在各个实施方式中,可移除遮光物110上的传感器可采用红外传 输器180IRT和红外接收器180IRR(检测器或接收器)的形式。在一 个实施方式中,红外传输器180IRT和红外接收器180IRR一起工作 为范围感测视觉系统,诸如红外LiDAR或其它类型的3D红外相机 系统。

在一个实施方式中,视觉传感器可形成为标示为可见光接收器 180VR的可见光相机。这允许摄影图像(可能是全色彩图像)与由红 外传输器180IRT和红外接收器180IRR形成的范围图或范围图像组 合在一起。同样,可见光传输器180VT可用于以可由其它人,甚至 未佩戴数字眼镜的那些人可见的方式投影至标的物上。

在一个实施方式中,视觉传输器可在可见光谱中操作以用诸如广 告、赞助商通告、计数器、时间/日期和/或对DEG的佩戴者可见以及 对未配备DEG的人的裸眼198可见的其它标识(诸如投影)的可见 内容照明标的物,诸如表面130(例如,桌面)。

在一些实施方式中,眼镜180DEG赋予两只眼睛诸如只具有水平 视差、立体感等等的空间图像。在一个实施方式中,这可以在双眼可 通过其而看的单个眼镜中或单独眼镜中使用显示器180D或立体显示 器180D的两个单独个例来完成。1988年军队测量局的瞳间距离(IPD) 值指示男性均值为64.7毫米(mm),且女性均值为62.3毫米。

如果计算这两个(例如,对于两个性别)值的平均值,我们得到 总共64.7+62.3=127.0毫米,并除以二得到127/2=63.5毫米。这等于 63.5/25.4英寸,其为2.5英寸。在一个实施方式中,在批量生产系统 中,显示器180D其眼点相隔为约2.5英寸,且在一些实施方式中, 可为终端用户提供一定程度的调整。

在一些实施方式中,可存在诸如眼镜180DEG和眼镜181DEG的 多个DEG(数字眼镜),提供双眼或单眼显示能力。在双眼视野的情 况中,提供OD(右眼)眼点-181POEOD,以及OS(左眼)眼点-181 PEOOS,例如,“右EyeTap点”和“左EyeTap点”。

在一个实施方式中,这个捕获真实3D图像的能力可以用于创建 光空间线性化器,其创建合成EyeTap效果。特定而言,在真实EyeTap 系统中,将朝向眼睛的光线射束转移通过成像系统、处理和再显现成 与原始射线大致共线性。

在一个实施方式中,合成共线性化器(光空间共线性化器)通过 捕获真实3D模型且计算相机将产生的图像而工作,如其实际上已经 被放置在佩戴者眼睛内部,其中相机透镜的中央(光圈、节点、光学 中央等等)在眼睛晶状体的中央处。

此外,在一个实施方式中,3D相机可用于合成包括光空间分析 眼镜、经过佩戴者的眼睛的空间成像装置的效果,例如,Spaceglass 的整个护目镜可以有效地变成光空间分析眼镜。这个3D相机因此生 成经过Spaceglass的所有光线的光空间、光场、全光和/或全息图像。 因此,处理器能够响应于这个(虚拟)“光空间分析眼镜”的输出,并 且处理器还可以响应于处理器的输出计算“光空间合成眼镜”的射线。

在一个实施方式中,3D相机、处理器和显示器的组合影响光空 间共线性化器。

由于在眼镜DEG180和眼镜DEG181的视觉系统的实现方式的真 实3D性质,眼镜的每个个例可被配置成捕获公共标的物140的真实 3D图像,诸如共享游戏桌(例如,现实或想象的或虚拟的棋盘,或 表面130本身),并显现此现实视野,或其计算机修改视野,或这些 的任何组合,宛如其是由位于和/或基本上接近右眼(右眼)的晶状 体中央的相机捕获,并且显现另一视野,宛如其是由位于和/或基本 上接近DEG(眼镜)的佩戴者的左眼(左眼)的晶状体的中央的相 机捕获。

在一个实施方式中,眼镜180DEG和眼镜181DEG每个可以充当 5代眼镜。此外,眼镜180DEG可以使用其自身的视觉系统加上从眼 镜181DEG接收的信息来构建甚至比其自身的单独视觉系统更详细、 真实且准确的现实3D模型。在这个意义上说,许多不同的参与者可 以共享以高细节、精确度和准确度捕获现实世界的计算机介导现实。

在一个实施方式中,两个DEG可诸如通过时分多工(例如,或 者照明场景以理解世界)、通过码分多工(例如使用不同扩频序列或 扩频频谱或扩频空间化模式)或通过合作感测等等来协作。在后一种 情况下,两个或多个DEG可以一起工作以照明和感测公共标的物140 和表面130。例如,虽然红外传输器180IRT照明场景,但是红外接 收器180IRR和接收器181IRR均感测该场景。眼镜180DEG与眼镜 181DEG之间的交叉感测提供通过极限视差的额外场景信息,所述极 限视差由于眼镜180DEG与眼镜181DEG之间的较长基线而存在。

在一个实施方式中,结果是具有可在数学上分解成单独的小视差 眼镜间基线和大视差眼镜间基线的分辨能力的合成孔径LiDAR等 等。

在一个实施方式中,眼镜180DEG可包括(comprise或include) 或为可佩戴计算机,或者可佩戴计算机可以是单独单元,诸如适合在 衬衫口袋中的单元。在眼镜180DEG的一些转换实施方案中,设备可 以是完全独立的,或者其可以被拴系到可佩戴计算机用于被放置在眼 镜180DEG的佩戴者的衬衫口袋中。如果它是被栓系的,那么布线可 以被隐藏,诸如在具有Croakies(商标)眼镜安全带的外观的布管或 布管等等的内部。在一个实施方式中,眼镜安全带具有夹到衣物制品 上以提供眼镜系绳的应变释放的栓系夹子180T。栓系夹子180T可以 是标准的“鳄鱼夹”、“鳄鱼嘴夹”和/或弹簧加载夹具,诸如可用于耳机、 颈挂式麦克风等等。

在一些实施方式中,当眼镜180DEG正用在座位上时,可佩戴计 算机可放置在办公室或房屋空间中的地面上或桌子上。在这个情况 中,可佩戴计算机可容置在包括地音探听器180G的传感器界面单元 120(也称为桌面单元)内部。传感器界面单元120(实施为桌面单 元)的支持地音探听的个例可在其中感测且帮助可佩戴计算机的感知 输入的处理的传感器配置。在这种情况下,传感器界面单元120可地 音探听地“收听”桌子中的声音振动,诸如当棋子在桌子上滑动或触摸 桌子时,或当有人的手指敲击在桌子上时。

在一个实施方式中,感测3D对象位置等等的LiDAR单元180L 和LiDAR单元181L提供数据给可佩戴计算机以及传感器界面单元 120,以通过地音探听器180G和其它传感器提供多模态感知触觉反 馈。

在一个实施方式中,传感器界面单元120中的地音探听器180G 可以是传输与接收地音探听器,诸如由Clarke Synthesis制作的单元, 其甚至可以用螺栓固定到桌面以提供大量振触能量的传输(其可感受 为用户的手指“点击”或触摸或触觉)给桌子。

或者,可诸如出于惊人特效而半破坏性地使用这个力和/或振触 能量。

例如,在“增强介导象棋”游戏中,在一个玩家赢得游戏时,地音 探听器180G可以晃动桌子且敲打在现实旗子上,因此创建甚至对未 佩戴眼镜的参与者的裸眼198可见的惊人视觉效果。

此外,如果多个参与者将其界面单元设置成落在诸如桌面的表面 130上,那么在这些各自单元中可存在地音探听器180G和地音探听 器181G的多个个例,诸如以形成地音探听器阵列。在一个实施方式 中,这些单元中的每个中的额外IMU(惯性测量单元)和/或其它额 外传感器可用于计算这些单元的相对位置,以便形成可在表面中130 定位声或其它干扰的传感器相控阵列。

在人类视觉方面,以及在相机方面,光线从其源(例如,灯泡或 其它光源,或从其中照明的标的物)包括通过反射、折射、衍射等等 循迹到其目的地。光的此概念化可称为光的“射入理论”。替代概念化 可称为“射出理论”,诸如如从眼睛射出的光线。

在一个实施方案中,“主动视觉”可以通过特殊视力眼镜例如5代 数字眼镜实施,其中眼睛可表现为如其均感测且发射光。

在一个实施方案中,多个数字眼镜可诸如通过使用一个或多个多 工器共享空间。在一个实施方案中,这样的多工器的一个实例为TDM (时分多工器),其通过轮流而形成:一个人传输,而另一人保持“安 静”(没有光输出)。然后他们交换位置,轮流传输,因此其不会互相 干扰。在一个实施方式中,这种传输可以经能量优化,以便适应更多 或更少的能量发射,以满足以适应性方式正确看的需要。可诸如针对 HDR(高动态范围)通过利用相同标的物的各种曝光所得物协作进行 适应性主动视觉,以节省能量,以及针对视觉系统能更好地感测和/ 或看。

在两个方向上感测和发射光的完全双向DEG的实施方式中,可 赋予以下项:诸如对眼睛本身,射出主动视觉向前查看;射出主动视 觉向内查看。这可包括眼睛跟踪(例如,感测时)和显示(做特效时), 以及环境的空间成像(例如,感测时),以及到环境(例如,做特效 时)的投影。

在这个意义上而言,眼镜180DEG可发送光到眼睛和从眼睛接收 光,且还可发送光到眼睛的视野中的标的物和从其接收光。

在一些实施方案中,诸如空间成像眼镜180DEG和空间成像眼镜 181DEG的Spaceglass均感测用户周围的环境,以及用户他或她自己。 在一个实施方式中,诸如LiDAR单元180L的空间成像相机可提供深 度图,诸如以诸如可以取决于用户的视觉取向、视场等等而确定用户 的手臂、手、手指、腿、脚等等的空间坐标、位置、取向等等。在一 个实施方式中,可单独检测两种类型的可扫描标的物:(A)非自身 标的物(例如,房间中的其它对象),和(B)自身。

在一些实施方式中,当两者相遇时,系统可以对其进行跟踪,并 且可将这种情况称为“物理接触”或“触觉”。

在一个实施方式中,计算机160(可佩戴计算机或WearComp单 元)可含有触觉检测器部件,其检测触觉(例如,人体与某物之间的 物理接触)并相应地做出响应。

触觉检测器的一个实例是拾取触觉的声音的地音探听器180G, 但是视觉系统还可以通过3D扫描如桌面的表面并且确定手或手指何 时且是否触摸桌面而对其进行观察。在一个实施方式中,这可以通过 形成点云并且注意手或手指的点云何时侵入由诸如公式{1}所示的实 例的群动作定义的平面的单应性来实现。

在一个实施方式中,可对单应性侵入的程度进行统计显著性测试 以形成视觉触觉检测器。进行单应性侵入程度的这种测量的设备、方 法和系统可称为单应性侵入评估器(homography intrusion estimator 或homographic intrusion estimator),且这种评估器被限阈值或用作其 它动作的触发器时,这种装置可称为单应性侵入检测器。在一个实施 方式中,诸如Neyman-Pearson理论等等的检测与估计理论可应用于 单应性侵入检测器的创建。

可以独立地或与其它用户合作组合地使用一些实施方案。并非所 有用户都需要佩戴DEG。例如,共享计算机介导现实存在于眼镜 180DEG和眼镜181DEG的配戴者中。

这种共享可以发生于现实或虚拟流形上,诸如具有公共标的物 140的实际表面。公共标的物140可以在桌面、黑板等等上的一张纸 上,或者其完全存在于虚拟空间中作为流形。

在一个实施方式中,私密标的物可以在由佩戴眼镜180DEG和眼 镜181DEG的参与者共享的虚拟世界创建。在各种实施方式中,眼镜 180DEG的用户可选择只在虚拟电子人空间(cyborgspace)中创建、 标记、注释、更改(等等)表面130,其中标记流形146。

在一个实施方式中,这是通过沿着流形146的轨迹移动身体部分 147来完成,以创建流形146,包括在一些实施方式中与眼镜181DEG 的另一用户合作。第二用户的身体部分145也编辑和定义流形146。

在图1F中,流形被示出为表面130的二维个例内的一维流形, 其本身在三维空间内。在一个实施方案中,流形化器包括处理器(驻 留在眼镜180DEG或眼镜180DEG中或分布于其中)、诸如视觉系统 180V的传感器以及诸如显示器180D的显示器。在一个实施方式中, 传感器和/或处理器识别诸如身体部分145的身体部分的位置,且跟 踪此部分,并且创建积分流形路径作为点位置的集合(诸如可存储在 数据库中),且然后显示此路径。因此,用户看到随着身体部分145 移动通过空间或沿着空间移动而连续和/或定期更新的时间积分路 径。流形146可以被嵌入在如表面130的表面中,或者其可以如流形 141“浮在空间中”。当其如流形146在如表面130的表面上般被嵌入 时,其可以通过触摸表面130而被编索引或寻址,且表面接触传感器 可以包括平坦单应性检测系统,其确定身体部分145是否与表面130 接触。以此方式,处理器可以感测身体部分是否在流形146的平面中。 在一些实施方式中,虚拟对象可以驻留在流形146上。例如,当处于 表面130的平面中时显现为线珠的滑块可以出现并且可以跟踪身体 部分145,且在平面外时“脱开”。这允许进行选择性调整、交互或接 合,其可以被称为多维流形化(例如在多维空间中上下滑动)。

当流形在表面上时,可使其对其他人甚至在其不佩戴数字眼镜 (眼镜或DEG)时可见。

在一个实施方式中,如果参与者决定将标记公开,那么未佩戴眼 镜的人仍可看到标记。在这种情况下,公共标记可以由眼镜180DEG 或眼镜181DEG的射出视觉投影保持可见,此标记包括诸如可由视频 轨道稳定来稳定的投影。

在一个实施方式中,私密标的物340可只在眼镜180DEG和眼镜 181DEG的合作用户的数据库内可见。公共标的物240对非参与者诸 如对未涉及或未佩戴DEG(数字眼镜或眼镜)的人的眼睛198可见。

数据的用户可以决定是否呈现流形146作为共享私密或公开物。

在各个实施方式中,表面130可以是桌子、黑板、纸、平面、弯 曲的二维流形等等。或者,其可以是表面130是地板而非桌子或桌面 的智能地板。在一个实施方式中,地板可以用伪随机纹理配置,在其 上可由伪随机瓷砖精制,或通过不同的纹理、灰尘、划擦标记自然出 现,或是硬木地板的木纹的天然纹理,或石头或混凝土或大理石或橡 胶或地毯的天然纹理。纹理形成图案。该图案的单应性通过代数投影 几何响应于由红外传输器180IRT和红外接收器180IRR形成的3D相 机系统的输出而在处理器上运行的视频轨道程序下形成群动作。地板 纹理的坐标变换群落在由类似于公式{1}中所示的实例的公式给定的 轨道中。

如由DEG(数字眼镜或眼镜)的多个佩戴者所观看,由于地板 可能保持在此轨道中,所以其可同与地板不在相同平面中的其它物质 有所区别。

在一个实施方式中,真实3D感测特性使地板本身处于真实3D 模型中,且因此可聚集这个3D平面上的点且使其分段。

例如,私密标的物340可包括表面130(也称为地面)上显示的 歌词,其对节拍(andantephonic)步行中的一个或多个参与者可见。

所公开的设备、方法和系统的多个方面可通过虚拟3D指示器或 通过空间眼镜的多个佩戴者而被配置用于体育教学(瑜伽、舞蹈、表 演、武术、跑步、运动等)。在多个空间眼镜的情况中,一个人的身 体移动可以被另一空间眼镜,或由固定在环境中的空间眼镜扫描,以 使教员可以协助合作。

或者,流形可以是铺置在如流形146的地板上或移动通过如流形 141的自由空间的跳绳或是现实物理对象。

或者,流形可以是其自身并不存在现实世界配对物的虚拟对象。 在这个实施方案中,流形141可以浮在自由空间中,如图像对眼镜 180DEG和眼镜181DEG的用户可见,但对裸眼198不可见。

在一个实施方式中,眼镜181DEG的用户可以使用肢体或身体部 分143在其共享3D空间中对1D流形进行沙图造型。在一些实施方 案中,沙图造型可利用绘制长曝光(“以光矢量绘画”)3D照片的灯 泡或LED或其它实际光源进行,如迹线144。在其它实施方案中, 沙图造型可利用指尖作为“绘制工具”进行以留下绘制迹线144。诸如 眼镜180DEG的佩戴者(用户)的另一用户可“伸手触摸”(使用身体 部分142)由眼镜181DEG的佩戴者(用户)形成的沙图。在这种情 况中,沙图可在用身体部分142触摸或从中选择时开始点亮指派给眼 镜180DEG的用户的不同颜色,使得眼镜181DEG的用户可以看到他 正与另一合作者共享沙图。

沙图在其共享3D空间中表示为1D流形,且如果创建者对此对 象给出写权限,那么任一人可对其进行编辑。

在一个实施方式中,诸如眼镜181DEG的佩戴者的用户,在还授 予写权限给沿沙图滑动的圆球时,还可以给出沙图的只读权限。以此 方式,沙图对于只可沿其滑动“珠”或其它对象而不是另外更改之的其 它用户而言出现为算盘的形式。

图1G描绘在一个实施方案中使用图1E的感知与显示设备1300 沿着沙图轨迹与共享对象交互的实例。

图1G说明一个实施方式中的沙图流形180AM(下文称为流形 180AM)。流形可以是现实的或虚拟的。例如,它可以是用户180U 的手180MD和手180MS中固定的线的实际涡旋或螺旋或其它弯曲 段,或者它可以是完全虚拟的共享沙图。或者,它可以是2D流形或 3D流形,诸如鹦鹉螺壳、一张纸、地图或图示,如在平板纸上或在 黑板上或在地板上绘制的鹦鹉螺壳或涡旋的图画或照片。它甚至可为 固定在用户180U的手中的一块塑形粘土。

在一个实施方式中,用户180U的右手180MD(“右手”)触摸流 形180AM(其可具有涡旋形状)且眼镜180DEG通过其主动视觉系 统通过发送光到手180MD与回接收光,因此确定手180MD是否已 经与流形180AM接触而对其进行感测。

呈现也可触摸的对象180O(实际对象或虚拟对象)。此处,它呈 现为线上的“珠”,并且当手接触其表面时,珠被“高亮显示”-对应于用 户180U以不同颜色显现-比方说,红色为用户180U且蓝色为用户 181U。

在一个实施方式中,珠是圆球,意指当且如果需要时,其可以表 示环境地图。此处,其表示如从与由对象180O形成的球体的中央对 准的投影中央捕获的全景摄影虚拟环境。此处,对象是球形,但其也 可以是树形或小丑鼻形、拉布拉多形、长颈鹿形或其它任何形状。

在一些实施方案中,对象在现实中实际上是球形的但是呈现给观 看者为另一形状,诸如多面体或游戏道具,或示出纹理图的摄影圆球, 宛如向房间的光线射束经过纹理图且在其上进行记录。

在一个实施方式中,用手180MD触摸如对象180O的对象同时 用手180MS触摸另一对象180P,使两个对象彼此相关联、以红色高 亮显示其两者以及其间的路径。

随后,当用户181U触摸流形时,其对象180Q的个例开始在其 眼镜181DEG的个例和眼镜180DEG的第一用户的个例两者中开始发 蓝光,且对象180O和对象180Q之间的路径也开始发品红光(红色 和蓝色的总和混合物)。

沿着流形180AM定义的这些路径是所选对象可以沿其在虚拟共 享空间中滑动的路径。

可以采用各种不同类型的手势。这些包括:触摸流形180AM; 触摸圆球,诸如对象180O;在手181MD的拇指与食指之间抓取圆球, 诸如对象180Q;并且用手181MS的食指击打圆球同时推动圆球,同 时也推动手181MS的指关节对着圆球。

在一个实施方式中,流形化手势传感器识别沿流形滑动且然后触 摸对象的手势,与只在通过三维空间但是并未沿着流形180AM接近 之后触摸对象的手势之间的差别。

在一个实施方式中,如对象180O的对象可表示为具有“捕捉”属 性的“模糊”云,从而允许靠近触摸高亮显示对象。这些云可围绕圆球 显示为光环,例如,其本身在接近时逐渐地且流体地高亮显示,因此 允许模拟选择,和选择的程度,诸如使用行为分析(例如,反位移时 间积分,或presement,其中presement是时间积分内的互等(reciprocal) absement,其中absement是位移时间积分)。

在一个实施方式中,选择是由积分互等位移的行为积分器进行以 确定选择的光环的强度。

另外,在一些实施方式中,可使用曝光积分器以时间积分用于创 建选择器的诸如手势的曝光或曝光物。

在一个实施方式中,“粉碎”手势是指示可如扎破气泡般“破灭”的 诸如对象181BB的对象的破坏的手势。

在一些实施方案中,所公开的设备、方法和系统包括Pi菜单、 Tau菜单和圆球菜单。

在一个实施方式中,通过从下方接近对象而选择Pi菜单,在此 情况中,给定对象的下半部选择光环。Tau菜单可以诸如通过抓取(例 如,拇指和食指)从多个接近方向选择。圆球菜单可以通过压入反曲 面来选择。在一个实施方式中,反曲面是表面(来自“soffit”的法语词 源)的反义词。可以通过触摸对象而创建触摸表面,但是到达对象手 势可以与触摸有所区别,并且在一个实施方式中,可以通过到达对象 且与其内部连接而完成。此处,我们看到圆球菜单181SM会出现, 因为手181MS到达对象中,经过其中央,且然后来到对象内部以触 摸其反曲面。

一旦检测到反曲面触摸(例如,经过对象且例如“弹爆”气泡且从 另一侧抓在“滑腻”碎片上的触摸),3D钟面菜单就出现在一个实施方 式中。这超出了3D饼图菜单,因为圆球还用作超出装饰的3D选择 的框架。除了其上的全3D圆球之外,表针还可单独操纵。手指然后 以其离开方式(例如,方向、速度、加速度、急动(Jerk)、震动(Jounce) 等等,以及位移、absement、absity、abseleration等等)被跟踪,且 展开(“拉开”)圆球以扩大菜单。此处,手181MS的食指拉离对象 的中央以选择四点钟位置作为菜单选择181M,此处指示过程上的暂 停。对于值得的应用,四点钟手势被编码为最终手势。

应当注意,上述设置只是作为一个说明性示例,并且不以任何方 式意在限制范围。例如,在一个实施方式中,可以采用一个或多个用 户的一个或多个身体部分在共享增强介导现实环境中的进入和/或离 开的3D方向。在各个实施方式中,这些手势中的每个可以是变化手 势(metagesture)、自动手势(autogesture)等等。举例来说,用户可 以击打气泡,用一个手指戳它,或用两个手指轻轻触摸它以使其旋转 作为选择-和-旋转手势,或在同时紧握食指和拇指,更重或更轻地紧 捏食指和拇指来建立连续多触摸自动手势时用两个中指触摸它,所述 自动手势在手势正发生时连续可变且动态变化。在一些实施方式中, 这种动态的“流体手势(fluid gesture)”可连续操作且产生连续而非离 散的“触发器型”用户界面模态。实例可包括RWM(现实窗口管理器) 界面,其中全部用多触摸变化手势、多触摸自动手势等等触摸、摩擦、 移动、破裂、打破、修复、修理、“清洗”(用摩擦运动以消除来自例 如文字窗口的文字)等等窗口。

圆球菜单181SM不只是钟面,而且是三维的。例如,如果手直 接拉离朝向用户,或远离用户,那么可以采取其它操作。

所公开的设备、方法和系统的实施方案可以被配置成以任意数量 维度工作。此处,可见采用沙图流形180AM的实施方案,但实施方 案也可以被配置成采用、模拟和/或操纵3D对象如塑形粘土。用户 180U保持用手180MD进行造型的粘土且用户被覆盖物引导以在现 实粘土中进行完美造型。在一个实施方式中,这可以通过可佩戴式 3D全息视觉完成,其中粘土本身可以是对除了仅增强介导造型之外 的长曝光造型效果的曝光物。在一个实施方式中,用户然后可以将此 (虚拟)插入到3D打印机中进行打印。

粘土不是必要的,因为动作可以在露天中进行,但是粘土确实提 供了改善拓扑造型经验和准确性的有用触觉反馈。

其它实施方案包括具有允许用户180U和用户181U通过像散步、 舞蹈或交互的动作而进行拓扑造型的特殊标记的专用鞋。他们可例如 用其脚一起舞蹈并生成沙图作为一种艺术形式,或作为测量身体健身 和运动学数据的可行之路。实施方案可以被配置成与舞蹈鞋、瑜伽秀、 正念练习、有氧运动和骑车一起工作,其中沙图可用于测量性能且生 成性能测度。

此外,在一个实施方式中,多个用户中的比较测度交互可以用于 生成诸如稍后可从其中生成沙图的沙图或其它数据结构。

在一个实施方式中,拓扑造型还可使用流体作为触觉介质而在流 体中或与流体一起进行。例如,压缩或加压流体可以用作针对其创建 触觉造型的流体流场。

图1H描绘使用图1E的传感器与显示设备1300与共享对象交互 的方法的实例。

图1H示出在一个实施方案中描绘所公开的设备、方法和系统的 多个方面的流程图。

图1H是所公开的设备、方法和系统的某些方面的流程图。拓扑 传感器1C10确定对象是否在用户180U的手180MD的范围中。如果 不在,那么其等待直至手在对象的范围中。一旦手充分“侵入”诸如对 象180O的对象的“空间”中,那么流形化显示器开始播放情况的记录 或实况图像,诸如来自如此选择的圆球的实况视频。

在这个情景中,考虑监视系统是既非从上注视(监控 (surveillance),例如,警察注视犯人),又非从下注视(反监视 (sousveillance),例如,如市民拍警察的照片)。监视是注视的行为。

监视系统在物联网(IoT)或SMARTWORLD框架内工作。实例 包括在每个灯中具有相机以自动化调整光输出的路灯。走在街上的市 民可以编辑空间(假定每个人都具有写权限,因此他们可以在需要时 请求光或因此他们可以建议修改),且在一定程度上用一定量的写权 限交互。

市民与城市地图交互以选择圆球。一旦她的手指触摸圆球,圆球 开始播放实时视频。我们称此为流播放器(商标)设备、流形播放器 (显示器),其在球体上播放实况视频,宛如球体是记录视频的特别的 鱼眼透镜。其它投影可包括例如圆筒上的墨卡托投影(mercator  projection)。

考虑对象180O的球面作为流播放器表面,其中一旦已经选择相 机,那么流播放器1C20将开始从街灯相机中播放实况视频。用户 180U可以在视频上看到她自己,且找到其中当街上无人时树枝正在 风中摇曳且造成街灯变成全亮的问题,这浪费了大量电力。她捕获该 情况的实况视频并将其转发到wiki,因此她下次在她参加市议会会议 时可以播放视频,以解决这个问题。同时,她使用圆球菜单181SM 以用她的手指绘制监视遮蔽以覆盖树枝,使得其可忽略不计。她将此 提出的遮蔽张贴在wiki上。

监视的这种市民参与将不然使监控社会变成监视社会。

所公开的设备、方法和系统的一些实施方案可以便于手势在现实 或虚拟流形处或用所述现实或虚拟流形进行交互设计-例如,以如交 互的方式使其成形。

流形是局部平坦的:如果你看着流形的足够小的贴片,那么“世 界是平的”(近似)。在一个实施方式中,可采用李代数(Lie algebra) 以考虑诸如恒等式的一个点的邻域中的拓扑流形的行为。因此,拓扑 逻辑传感器1C10被实施为与对象180O的一个接触点的邻域处的局 部平面比较,而不管形状如何(例如,球形)。

在一个实施方式中,一旦如手180MD的指尖的身体部分相交如 对象180O的对象,那么维持检测器1C30确定触摸是偶然的轻擦还 是持续触摸。如果是偶然的,那么可以由流播放终止器1C40终止流 播放。在一个实施方式中,维持检测可以基于侵犯和/或触觉的持续 时间、序列、图案、程度等等。

否则,流播放是连续的且手势传感器1C50从对象180O处、与 之、中或上的各种可能的手势中进行感测。

滑动手势导致沿路径“滑动”圆球例如以沿着街道选择下个街灯 或在街灯之间插入相机视野的能力。

这提供了实时交互的街景,其中用户180U可以看到沿着她的线 路更远处有人拿着枪躲在灌木丛后面。她沿此进一步滑动对象180O 的圆球以更好地看,且然后在她的拇指与食指之间选择圆球,并将其 拖动到她的虚拟页右下角中的警亭。由于所公开的设备、方法和系统 的实施方案的规划功能(其有效地将她引导回家),枪手被羁押,同 时她那时已经开始采取替代线路以避免枪手,约见警车以提交报告, 以及然后沿着不再是她的原始线路的线路步行回家。

随后,她通过在她将记录视频保存到警亭之后将钟面拉到四点钟 而提供接近手势。

在另一场合上,她观察到沿线奔跑的松鼠,并向她的weblog发 送可爱的图片,并且能够沿街用“相机珠”进行各种手势。在一个实施 方式中,触摸手势高亮显示圆球,并在触摸结束时低暗显示之结束。 紧捏手势选择圆球,其可用关节粉碎,例如以更长久地关闭它,这对 具有过多广告的应用尤其是正确的且是真正值得的。

在这种情况中,从她的清单中删除圆球,如此她不会意外再次打 开它,除非她又想它,并将其放回她的相机列表中。以此方式,在一 个实施方式中保持喜爱或最有用相机的“候选名单”,而较不有用的可 由对象删除器1C60从候选名单中移除。

在一个实施方式中,当例如在拇指与食指之间紧捏圆球时,可生 成特殊的菜单,其允许不仅圆球本身如线上的珠般移动,而且例如用 户可将整条“线”本身“拉到”邻近街道(且在下个街道上看到新的相机 行)。

圆球菜单1C70上的“拉”可向系统指示请求路径变化而不只是沿 一个路径的位置变化。

这将子流形(例如,街线)移到中间的下一街道等等(例如,通 过使用来自小巷的任一侧上的街道的插入视野合成不存在相机的后 巷的视野)。

在一个实施方式中,更强的手势是“拉”的手势,其是多个拉手势, 或由一个以上的手指在“线”上进行“拉”来完成。

在一个实施方式中,拉的手势指示希望上移一个维度,并以2D 流形进行处理。

因此,在一个实施方案中,具有以下手势层级:(A)0D(零维) 手势:沿“线”触摸或移动圆球(例如,沿着街道移动);(B)一1D (一维)的手势:移动“线”本身(例如,从一条街道横移到另一条); (C)2D(二维)手势:移动流形的流形:例如,城市的网格等等; 和(D)3D(三维)手势:移动流形的流形的流形,例如,移动嵌入 3D空间本身。

在一个实施方式中,子流形移动器1C80在街道级移动,而流形 移动器1C90在地图或图表级别移动。

在一些实施方式中,图表级映射和流形操纵可以被称为流形规划 (商标)设备,其在一个实施方式中可以被显示为雷达装置的PPI(平 面-位置-指示符),其中用户在中央,且从用户居中的设计观点来看 城市被示出为径向向外。

流形规划可以如其它流形般进行抓取和移动。

流形规划可以显示在其上具有任何纹理的任何碎纸片上,并且被 折叠和操纵。

在一些实施方式中,所公开的设备、方法和系统可配置用于例如 使用粘土或碎纸片或用于快速触觉原型的任何种类的拼装在虚拟空 间或增强介导空间中制作新的零件、用手在3D中进行造型、制作对 象、修改对象等等。

在另一实施方案中,医生使用拓扑造型帮助患者。可以通过打印 皮肤或皮肤样材料的3D打印机来协助具有伤口的患者。医师采用拓 扑造型以使皮肤印刷相对患者的身体成形。

图2A描绘图1E的感测与显示设备1300的另一示意实例。

更明确而言,图2A说明如在一些实施方案中搭配图1E的感测 与显示设备1300使用的无隐喻式计算和自然用户界面的原理。在数 字眼镜180和数字眼镜190的佩戴者中描述了共享计算机介导现实, 诸如图1A的第一增强介导现实空间1000。表面130是桌面上的一张 纸,在其上公共标的物140包括印刷品。在一个实施方式中,佩戴数 字眼镜180的参与者(用户)可采用绘制工具201,其可称为绘制工 具(商标)系统。绘制工具201可以包括惯性测量单元204等等。绘 制工具201可以包括工具点200,其被配置成虚拟装置或可以被配置 成包括物理标记工具(其具有墨水或石墨,或其它标记材料)。地音 探听传感器203被配置成拾取与绘制工具201相关联的声音或其它干 扰;以此方式,绘制工具201被配置成做为响应关联绘制工具201中 感测与表面130的接触的其它传感器进行交互。虚拟标的物202可保 持私密(例如,不被未使用感测与显示设备1300的个例的人所见)。 虚拟标的物202可在第一增强介导现实空间1000中的虚拟环境中创 建、显示、呈现等等,并且由佩戴数字眼镜180和数字眼镜190(在 第一增强介导现实空间1000中)的参与者共享。数字眼镜180的用 户可选择只在第一增强介导现实空间1000(例如,电子人空间)中 标记表面130,或用物理标记来标记表面130。未佩戴数字眼镜的任 何个例的人仍可看到针对情景的虚拟标记,其中参与者(使用感测与 显示设备1300的个例的用户)决定可以公开方式制作虚拟标记。对 于这种情况,诸如公共标的物240的公开标记可保持可见,例如,通 过从数字眼镜180或数字眼镜190射出视觉投影,该标记包括诸如可 以通过图1AA中描绘的视频轨道稳定程序403稳定的投影。或者, 标记可以通过标记材料诸如石墨或墨水而保持可见。

图2B描绘在一个实施方案中的视频轨道稳定和比较测度对准等 等。

图2B描绘在一个实施方案中的视频轨道稳定系统。在多种实施 方式中,视频轨道可以多种方式工作;例如,像素轨道和/或体素轨 道。在一个实施方式中,像素轨道可以采用一个或多个刚性平面贴片 和/或其(多个)区段的单应性。在一个实施方式中,体素轨道跟踪 对象的3D位置、识别平面和/或跟踪关联的点云。

在一个实施方式中,像素轨道可以采用2D相机,而体素轨道可 以使用3D相机。在一个实施方式中,诸如当设备1300包括一个或 多个2D相机和一个或多个3D相机时,可以组合像素轨道和体素轨 道。例如,在设备1300包括一个3D相机和两个2D相机时,可例如 使用2D视觉、立体视觉、真实3D视觉等等跟踪轨道和/或可诸如使 用汇合聚合器、确定性组合器等等组合这些结果,其中可例如通过加 权和组合各种估计(例如,表面纹理是如何以像素显现,形状是如何 以体素显现)。在一个实施方式中,权重可以是如例如通过比较测度 (例如,经由比较测度方程式)、通过叠加参数(superposimetricall) (例如,经由叠加测度方程式)或通过任何其它误差估计确定的确定 性。因此,在一个实施方式中,可以例如最佳的和/或优化的方式组 合反照率(表面或对象等等的亮度、颜色、纹理等)、范围等等。反 照率和范围两者给出相同运动的程度,汇合组合器可在一个实施方式 中用在估计上。有时,表面或对象将具有均匀反照率且无图案,使得 3D范围信息可以更准确。在一些实施方式和/或用途中,诸如跟踪针 对夜晚的星星或天空或遥远对象的自运动,范围测量较不可靠且可采 用2D视频轨道。在一些实施方式中,可以组合2D视频轨道和3D 视频轨道,从而充分使用反照率和范围信息两者用以跟踪对象,如刚 性平面贴片。

2D(像素)轨道的实施方式,轨道可被视为可以发生在群动作 下的变换组。

考虑由以下公式定义的、由g(q)=f(kq)给出的比较测度群动作:

g(f(q(x))=f(kq((Ax+b)/(cx+d))),

其中f是变换域,并且g是变换范围。应注意,f和g是感光量 图形(photoquantigraphic)响应函数的两个域,其中所述域是感光量 (photoquantity),q(量化测度(quantimetric)单位)。

此外,q是来自x的映射的范围,其中x是空间图像坐标的二乘 一列矢量,例如x=[x1;x2],其转置,和/或使用粗体x写作x=[x1; x2]。

矩阵A以x1和x2捕获标度,且以x1和x2剪切。这些一起还 可以定义2×2矩阵A为旋转矩阵时被捕获的x中的旋转。

行矢量c具有维度1x2,且在一个实施方式中,以x1和x2表示 啁啾,或啁啾率(其具有两个自由度,其可以交替地看作啁啾和啁啾 的方向)。

以上方程式中的常数d是标量常数。

映射g形成群,且群具有五个现实参数:A、b、c、d和k,其 可在一个实施方式中被布置在矩阵[A,b,0;c,d,0;00k]。

在一实施方式中,只有四个自由度(9标量自由度),因为每当d 不是零(或者每当d不接近于零)时,可以将矩阵的所有元素乘以d。

也已知为Spaceglass(商标)设备的空间成像眼镜的视野中的标 的物,例如感测与显示设备的视野中的标的物,常落在实体的扁平或 稍微扁平,或平坦或稍微平坦的表面上。

当感测到标的物时,特别是在城市或室内设置中,经常存在大量 稍微扁平的表面。许多对象如建筑物和家具由稍微扁平的表面制成, 其可以由Spaceglass设备自动分割。例如,看窗口时,可见平坦表面 上存在内含物,但是窗口后面和/或前面也可能存在内含物。例如, 考虑由单独的玻璃窗格制成的窗口或者围栏、网格、屏幕、监狱门、 格栅等等,其可具有一些平坦的内含物,但也可以在其前面和/或后 面具有对象。

可以从不同优势点观看诸如标的物2B10的标的物,如标的物 2B20和标的物2B30。标的物2B10、标的物2B20和标的物2B30中 的一些分别在由标的物2B16(诸如平面)、标的物2B26(诸如平面) 和标的物2B36(诸如平面)定义的平面中,但是分别为标的物2B15、 标的物2B25和标的物2B35的其它标的物在分别由标的物2B16、标 的物2B26和标的物2B36定义的平面之外。

相同标的物的这三个“所得物(getting)”中的每个表示为所得物 2B1、所得物2B2和所得物2B3。在一些实施方式中,所得物可以是 图片、来自主动视觉系统的一组测量诸如对响应的测量等等。在这个 意义上来说,所得物可以是比较测度测量、图片、视频、量化图 (quantigraph)等等,或者其也可以是例如响应于刺激或刺激集合而 进行的叠加测度测量或其集合,诸如一个或多个电磁辐射曝光。

例如,可以通过在测量响应(例如,捕获、摄影等等)时在桌子 点亮电子闪光源而对桌面“摆沙”(例如,以沙图)。

在一个实施方式中,闪光被配置为aremac,诸如结构化照明源。

aremac(词源为倒着拼写的“camera”)可充当照明源,且在一个 实施方式中,aremac和camera(“aremacamera”或“macam”的简称) 可一起形成叠加测度测量和响应(激励和感测)系统。

aremac可以为各种曝光提供不同照明量和模式。

诸如相机的传感器可以用不同增益配置,如可以用其激励源(诸 如其照明(若存在))。因此,camera或macam可以提供相同标的物 的各种曝光所得物,诸如所得物2B1中、所得物2B2和所得物2B3。

所得物2B1、所得物2B2和所得物2B3表示真实标的物2B的不 同变换。所得物2B1是标的物朝传感器的视场的左侧的情况下在低 曝光或照明级下“得到”(例如,接收到)。所得物2B2是在标的物近 似在视场中间但是稍微向上看的情况下以适中(中等)量的增益或敏 感度或曝光或照明“得到”。所得物2B3是在标的物朝视场的右侧的情 况下在高光量(换言之“过度曝光”)下“得到”。

这三个所得物表示标的物2B在现实中的三种不同解释。

在一个实施方式中,其可通过例如比较测度地、投影地、叠加测 度地(例如,其中彼此间使用不同照明)等等由公式g(f(q(x)=f(kq((Ax +b)/(cx+d)))的变换而彼此相关。

在这种情况中,可以拾取一个所得物,比方说中间所得物-所得 物2B2,且其它所得物可根据所得物2B2予以表述。将存在由A12、 b12、c12、d12和k12给定的将使所得物2B1与所得物2B2相关的一 个变换,且存在由A23、b23、c23、d23、k23给定的将使所得物2B2 与所得物2B3相关的另一变换。

在一个实施方式中,关于场景中正发生之事的“真实”可通过从所 得物2B1、所得物2B2和所得物2B3中构建估计合成所得物2B0而 重构。所得物2B0表示Spacelgass“知道”关于标的物2B的一切。

在这个意义上来说,可以提供落在平面中的标的物2B06的去啁 啾表示,使得平面中的点被均匀地隔开。

在一个实施方式中,啁啾是如鸟儿发出的例如频率增加或减少的 音符或音调或周期性波形的声音。在视觉情况中,啁啾是在跨越频率 移动时在频率上上下移动之物。例如,在标的物2B16(平面内含物) 具有开始为低(例如,窗口中梃或格栅)且在从左移到右(例如沿x 增加维度时)时在空间频率上增加的空间频率的意义上来说,所得物 2B1的标的物“向上啁啾”。

在一个实施方式中,所得物2B3的标的物2B36“向下啁啾”,例 如,其开始在高音高,且在增加x从左移到右时下降到较低音高。

在一个实施方式中,所得物2B0的标的物2B06(合成所得物) 被去啁啾,使得平面的单元在Spaceglass系统中的内部存储阵列中被 均匀隔开。

在一个实施方式中,诸如通过分割来自现实的平面且应用诸如由 隅角2B11、隅角2B12、隅角2B13和隅角2B14指示从所得物2B1 直接映射到所得物2B0而非首先到如所得物2B2的所得物中的一个 的变换,可将来自现实的每个平面存储在Spaceglass中的去啁啾量化 图q(x,y)中。

在一个实施方式中,这可以通过对所得物2B1朝所得物2B0应 用公式A1、b1、c2、d1、k1的变换,和对所得物2B2朝所得物2B0 应用公式A2、b2、c2、d2、k2的变换,和对所得物2B3朝所得物2B0 应用公式A3、b3、c3、d3、k3的变换而实现,这三个变换中的每个 提供所得物2B0的估计。根据比较测度图像合成的确定性规则,这 三个估计然后组合在一起作为组合所得物2B0。

标的物2B16、标的物2B26和标的物2B36将在相对标的物2B06 的汇合中对准,而标的物2B15、标的物2B25和标的物2B35将在相 对标的物2B05的较少汇合中不对准,因为这个标的物在平面外。

同样,通过窗口看到的背景中的云将不对准。

结果是窗口的竖框和中梃和窗框以及玻璃(例如,玻璃上的沙土、 平面的纹理、图案等等)的汇合合成。

当在视场中利用窗口看标的物时,看到前景中的例如黑暗轮廓的 标的物等等。在看向一侧时,当窗口进入我们的视野的一侧时,例如, 当低头看向地板时,一些相机的AGC(自动增益控制)会“增益”显 现站在窗口前面的人脸部中的一些但没有太多的细节例如作为标的 物2B25。如果向下看多一些,或往外看向一侧,其中我们的相机的 中央指向室内黑暗的某物,诸如黑布或到悬挂一些黑色衣物的衣橱中 的门道的黑暗开口,其中屋内并未开灯,AGC将“增益”且极清晰地 显现标的物2B35的人脸,但是外面的云和天空“冲洗”成白色(例如, 过度曝光)。甚至竖框和中梃将被“冲洗”到一定程度。

因此,促成所得物2B0的是,如天空和太阳的标的物的明亮区 域的大部分来自于所得物2B1,且如标的物2B35的几乎现轮廓的面 的黑暗区域的大部分来自所得物2B3。所得物2B2将提供大部分的中 间色调。

在一个实施方式中,这可以通过由标的物的3D形状定义的流形 上的比较测度图像合成而实现。最简单的形状是平面,而且可以做得 非常准确,但面部极为复杂,聚合准确度较低。

因此,所得物2B0可以用来估计真实标的物2B(作为估计),和 标的物2B的现实的标的物2B00。

由于可在极大准确度下“得到”平面,这可以用作Spaceglass中的 单应性用户界面。同样地,具有其它几何形状,如球形。

可例如通过汇合诸如使用比较测度方程理论的确定性函数组合 标的物所得物。或者,可以使用汇合组合器。

在一个实施方式中,汇合是哪些实体聚集到一起或者应该一致聚 集到一起的程度。如果存在一致,例如如果两个所得物在现实上可靠 一致,那么其更确定变得组合。这可能包括对比较测度图像合成的理 论的修改。

汇合合成

假设我们希望合并两个信号“a”和“b”。信号可以通过确定性、通 过汇合等等加权。在数字实施方式中,汇合可以通过异或门实施,例 如,(a+b)(a XOR b)以加权更强健的一致性。

在模拟的实施方式中,考虑乘积[ab]。当[a]和[b]为大时,乘积[a] 乘[b]是大的。当其中之一为负且另一为正时,乘积为负。

因此,在一个实施方式中,汇合可表述为:

c=(a+b)ab。

在替代实施方式中,汇合可以使用以下项:

c=(a+b)exp(ab)。

在一些实施方式中,这种汇合合成可用于汇合传感器402以组合 音频侵犯检测与视觉侵犯检测,用于其它形式的多模态感知融合等 等。

在一个实施方式中,为了节省电力,可诸如以适于各种标的物的 方式调整来自Spaceglass的照明。例如,例如出于(1)最佳曝光;(2) 节省电力、能量和动作;等等,可用较少光照明附近的标的物,而用 较多光照明较远的标的物。

在一些实施方式中,动作可以包括Hamiltonian动作(例如,动 能T加上势能V的时间积分、Lagrangian动作(T减去V的时间积 分)等等。

在一些实施方式中,静止动作的原理可以应用到坐标变换的投影 群的轨道。

在一个实施方式中,自适应PEAMS(电力、能源动作管理系统), 可以可能包括:(A)进行低灵敏度的被动获得;(B)分析所得物, 以确定所得物的确定性:对于为图像曝光的所得物,确定性是确定图 像;(C)如果存在不确定的区域(例如,基于与阈值、标准等等的 比较),那么进行更高灵敏度的获得;和(D)重复过程直到得到足 够的曝光灵敏度,诸如基于与阈值、标准等等的比较。

在某些情况下,可以采用SPEAMS(叠加测度电力能源动作管理 系统)。在一个实施方式中,SPEAMS系统可包括:(A)进行低灵敏 度的主动获得和低输出;(B)分析所得物,以确定所得物的确定性; 对于为图像曝光的所得物,确定性为确定图像;(C)如果存在不确 定的区域,那么进行更高灵敏度的主动获得;(D)重复过程直到得 到足够的曝光灵敏度;(E)比较测度地合并这些结果;(F)将所得 汇合图像作为光矢量记录到低输出的所得物;(G)增加输出且重复 多个所得物(例如曝光)的过程以捕获源自中间输出的发射的光矢量; (H)这些光矢量中的每个显现叠加测度图像空间,每个具有特定的 能源成本,即,对于每个光矢量,存在每个需要特定强度的光输出突 发(例如,低输出、中间输出等等)的多个所得物;(I)可针对产生 的光的每个突发计算能量成本函数,且这些能量成本函数积聚为与叠 加测度光空间的计算相关联的动作成本;和(J)过程继续直至标的 物或场景被光空间到足够程度,例如直至光空间成本函数中的误差项 充分最小化。

以此方式,可以基本上保留动作。

在一些实施方式中,光空间也可以使用静止动作(Lagrangian) 的原理计算或保留Hamiltonian动作(总动作)。

在一个实施方式中,关于PID(比例、积分、微分)控制器,可 以确定和/或估计其所有积分或微分的运动。例如,在位移中、反馈 回路中、位移微分和积分中、通过空间的运动等等估计相机或头部或 眼镜的轨道。

在一个实施方式中,这可以经由从运动、估计运动、参数等等中 计算Abseleration、Absity、Absement、位移、速度、加速度、急动、 震动等等签名来实现。

图2C描绘在一个实施方案中的absement型信号处理器。

在图2C中参考在一个实施方案中说明的实例,标示为“SP”的设 置点建立为信号2C70。这可以是例如通过身体部分或诸如例如图2A 中所示的绘制工具201的绘制工具输入的沙图手势。信号2C70可替 代地由用户固定的光源输入,诸如LED(发光二极管)灯、或LED 灯阵列、或其中具有灯的特殊手套、或由配备空间成像眼镜(商标) 设备的光棒。以此方式,设置点可以是空间中的点,其然后以感测的、 观察的且在现实中的特定轨迹和特定运动学绘制或移动通过空间。

在一个实施方式中,与实际运动学相比较,可针对观察的运动学 计算静止动作原理,且因此显现控制系统、特效系统等等,其例如出 于通用手势感测、沙图、沙图用户界面、拓扑造型等等感测和跟踪轨 迹和移动。

设置点输入生成时变波形信号r(t),其可以是音频信号、视觉信 号或这些的组合,并且还可以具有其它分量,诸如嗅觉(化学传感器) 等等。

在一个实施方式中,过程2C10可捕获世界的各个方面,诸如对 象及其运动,因为其实际上是在现实中存在。例如,这个现实可例如 通过数学标示为K_{-m}、…K_{-3}、K{-2}、K_{-1}、K0、K1、K2、…、 K_n的处理器2C35的各种个例建模。

“过程变量”PV可从现实中捕获(例如感测)且显现为过程变量 2C15。由加法器2C20计算设置点与过程变量的负数的和例如[SP]- [PV]以提供误差信号2C25。

误差信号2C25数学标示为e(t)。在一个实施方式中,误差是以 过程变量和设置点测量的任何单元的误差。例如,这个误差可以是由 位移传感器、位置传感器、距离传感器等等感测的位置、位移、距离 等等的误差,诸如LiDAR(光方向与测距)设备,诸如体感(商标) 深度传感器、Primesense(商标)深度传感器和/或柔和运动(商标) 深度传感器,其旨在测量“深度”(例如离传感器的距离或位移)。

控制系统可以使用感测的量,以及其时间微分和时间积分中的一 个或两个。运动学处理器2C30计算信号e(t)的运动学,例如其速度、 加速度、急动、震动、absement、absity、abseleration、abserk、absounce 等等。

位移的时间微分是位移的变化率,并且称为速度。在幅值或绝对 值上,代以距离的时间微分为速率。

位移的时间积分,即位移时间图下面的面积,被称为absement。

因此,在一个实施方式中,“深度”传感器上的PID控制器可包括 计算深度(例如,以米、厘米计等等),以及分别速度和absement的 微分(例如,以米每秒(m/s)计)以及积分(例如,以米秒(ms) 计)。在一个实施方式中,可对深度误差e(t)计算积分和/或微分。

处理器K_{-1}是absement处理器,其在absement信号(e(t)的 时间积分)上操作。处理器K0在e(t)上操作。处理器K1在微分de(t)/dt 上操作。

在一个实施方式中,控制器使用absity(位移的积分的积分,即 absement的积分)和abseleration信号,以及加速度信号。在一些实 施方式中,还可以采用较高阶微分和积分,诸如急动、震动、abserk、 absounce等等。

在加法器2C45中使处理运动学信号2C40相加,并且这个和是 数学标示为图2C中标示为信号2C50的信号u(t)的MV(操纵变量) 或SV(造型变量)。

运动学信号利用范围或位置而描绘为基本变量,但这决不意味着 有所限制。运动学信号可替代地显现为量2C55(例如,动量及其时 间微分)和/或量2C60(例如,作用量及其时间微分)。

因此,在Spaceglass中的手势感测或拓扑造型系统可以使用物理 原理作为在增强现实操纵或造型的上下文中的物理建模和理解物理 现实的基础。

图2D描绘在一个实施方案中的拓扑造型系统。

图2D描绘绘制工具201用于在三维空间中例如通过挤出绘制二 维流形的实施方案。在一个实施方式中,绘制工具201可包括每个可 个别寻址的光源阵列。在一个实施方式中,每个光源可关于颜色寻址, 诸如使用四种颜色通道的PWM(脉冲宽度调制):R(红色)、G(绿 色)、B(蓝色)和I(红外)。在一个实施方式中,每个RGBI源针对 每个颜色通道从诸如八比特缓冲器的缓冲器接收PWM输入,例如使 得每个颜色由颜色字为32位长的颜色字确定。这提供了每个光源可 以进行表述的约4295百万个颜色(或4096百万色),其中16百万色 在可见频谱中是唯一的。

在各个实施方式中,绘制工具201可采取剑或刀或虚拟武器状对 象的形式以玩如虚拟战场的游戏。或者,绘制工具201可以是如光绳 的柔性物品,或者其可以是可佩戴的,诸如采用LED手套的形式, 具有回射珠的手套,所述回射珠被动回应一个或多个射出空间成像数 字眼镜装置等等的主动(射出)视觉系统。

图2D的实例中所描绘的绘制工具201沿其长度具有48个光源, 在一个实例中,其每个含有四个通道,因此在其中存在总共192个光 源。随着绘制工具例如在长曝光照片中移动而移动通过空间,留下被 示出在绘制工具201左侧的曝光2D40。绘制工具201中48个灯中的 最上面八个示出为放大在曝光2D40的左侧。

这八个灯的这种放大描绘被示出,标示为产生曝光E1的灯L1 以及产生曝光E2的灯L2,如灯L1和灯L2在这个时间点打开。灯 L3为关闭。灯L5为开启,并且灯L8也开启,两者还留下各自光踪 迹或条纹或弥散,如分别来自灯L1和灯L2的曝光E1和曝光E2。

灯2D8(其中灯L1至灯L8是实例)留下光条纹,作为曝光2D40, 其当可控制地调制灯2D8时创建可控制且可寻址的二维流形曝光。 这种曝光可例如拼出例如用于3D视觉化的单词、文本、图形或形状 (例如,火箭发动机的鼻锥)。在文本的实例中,可以在长曝光照片 期间或显示为曝光集成视频(例如,以感光量图)的视频中在空间中 拼出单词(例如“HELLO WORLD”)。

随着绘制工具201跨页从左移动到右,其留下随着绘制工具201 跨页移动越来越远而变得越来越长的曝光2D40。

在“HELLO WORLD”消息中的某点处,第一字符-字母“H”将通过 空间从字体字符生成器组中被“绘画”或“绘制”为例如字符曝光2D51, 所述字体字符生成器组还可以包括“模糊字体”(反锯齿字体或tru型 (商标)字体)或在3D空间中创建的全色图片,如所期望的。

拼写消息或字母的字符组表示字符曝光2D60,其中字母“H”(字 符曝光2D51)为实例。图示继续通过空间,以字母之间的暗度(零 曝光)或(在一些实施方式中)字母之间的背景曝光拼出每个字母, 使得其看起来悬停在吹过空间的3D丝带上,首先“H”,然后“E”等等, 最终到达第五个字母“O”作为字符曝光2D55,且然后在空间继续,之 后跟随字母“W”、“O”、“R”、“L”、“D”等等。在一些实施方式中,图 示、文字等等可跟踪房屋周围、楼梯下、正门外面、街边等等的丝带。

在一个实施方式中,可在视频轨道稳定空间中绘制字符,例如拿 着绘制工具201的人正佩戴可看到绘制工具201以及诸如桌面表面 2D70的表面的DEG(数字眼镜)诸如设备1300。

绘制工具201发射字符曝光2D60的可见光,且这个可见光不干 扰例如DEG的跟踪。在一个实施方式中,来自设备1300的红外光的 射线2D21照明绘制工具201且然后返回为待感测的射线2D22,而 不管绘制工具201发射的可见颜色(RGB)如何。

可见射线2D23还照明绘制工具201,且反射为待由设备1300记 录的射线2D24。在一个实施方式中,设备1300捕获移动通过空间的 绘制工具的视频,同时根据时间记录绘制工具201相对于设备1300 的精确位置。设备1300还根据时间记录桌面表面2D70相对于设备 1300的位置。知道桌面(或静态场景中的任何其它可识别对象)的 位置,以及绘制工具201的位置,每个相对于设备1300,可以确定 绘制工具相对于环境的相对位置。

当在空间各处使用绘制工具时,在一个实施方式中,环境图可以 由空间构成,或被下载(如果可用)使得可在空间中移动绘制工具, 而不论是户外风景还是建筑内部空间,其中绘制工具可在空屋中从一 个房间被带到另一个房间且用于在半空中绘制家具,例如使得用户可 视觉化房屋有家具时的样子。

在后个实例中,用户180U进行视绘(Sightpainting)(商标)移 动(其是光绘和“看绘”(painting with look)的组合)以造型和创建 其本身的现实。在一个实施方式中,还可利用效应器信号、投影等等 标记、注释、说明等等所观看的环境。效应器信号可以是定制、实时 产生、绘制且/或从存储的记录中导出等等。

在一个实施方式中,第二用户181U可以看诸如用户180U绘制 的沙图或拓扑造型,可以对其进行注释、添加等等。

这可以用于各种形式的合作,诸如3D视觉化、一起设计火箭发 动机、帮助医院中的患者等等。

在一个实施方式中,采用视绘的另一种合作形式可以是使用例如 unity 3D(商标)游戏环境的游戏。

例如,用户180U通过空间写词比如“HELLO WORLD”,且为其 指派红色颜色。用户180U因此自识别为红色。

在用户180U可四处走动且从不同角度观看字符曝光2D60沙图 时,词HELLO WORLD的长曝光照片出现为在3D空间中盘旋。

用户180U还可以看这个沙图。

在一个游戏情境中,用户180U是“红色玩家”,并且用户181U 是“蓝色玩家”。

红色玩家尝试“将世界绘成红色”,而蓝色玩家试图将世界绘成 “蓝色”。红色玩家可以触摸,且甚至经过“红色绘画”(红色沙图), 但是如果蓝色玩家触摸红色的沙图,那么蓝色玩家“死亡”并且输掉比 赛。

同样,蓝色玩家-用户181U创建曝光2D90。而红色玩家选择 “VOXaber of Death”(商标)系统,如具有48个LED(发光二极管) 的对象的剑,蓝色玩家选择“Blue Rope of Tyburn”(商标)系统,其 是用户181U圈成环或“套索”以挤出(绘制)“蓝色管”的LED光绳, 诸如通过空间的曝光2D90。

玩家实际上均使用相同的绘制工具或相同类型的绘制工具,包括 可附着到由泡沫橡胶(柔软的,如此儿童不会在玩耍时受伤)制成的 “剑”的柔性光绳,或拆分成其它灵活形状。在另一实施方式中,玩家 可以在单个应用实例内使用不同绘制工具和/或不同类型的绘制工 具。

在一个实施方式中,绘制工具可以被包括作为促销物品随每个 DEG出售。

在一个实施方式中,如果用户180U持续反复挥动绘制工具,那 么未佩戴设备1300的DEG的人可以看到词如“HELLO WORLD”。这 可有助于吸引未参与者观察以通过购买或是租用Spaceglass加入游 戏。例如,旁观者会看到玩家挥动光通过空间,并想要玩耍。还可以 印刷一些沙图的实况视频转播,以帮助有兴趣的人玩耍,因此他们更 可能想要租用Spaceglass并加入游戏。专一的玩家可以购买其自己的 Spaceglass并获得其可保留的如绘制工具201的Xaber(商标)系统。 因此,图2D的实施方案可以用作设备1300的DEG的营销方法。

此外,游戏促进健身,例如在红色玩家可通过跨过门道在室内写 “HELLO”而监禁蓝色玩家时。如果蓝色玩家触摸红色文字“HELLO”, 那么其将死亡,但是可例如在少量抬离地板的字符曝光2D55附近的 曝光的右手侧手侧下爬行。

爬来爬去和通过狭小空间健身有助于开发力量和柔韧度两者,且 如凌波舞的游戏可以利用通过空间绘制且在增强介导世界中可见的 沙图线玩耍。

在另一游戏中,各个玩家可以通过空间绘制管。蓝色管诸如曝光 2D90属于蓝色玩家。用户面临的挑战是爬行或跳跃通过管,而不触 摸两侧,和/或然后每次挤出较长管道。本场比赛可以例如“拔出”得 越来越长的“箍”或环开始,直到所有人(除一个玩家之外)转圈,落 到或触摸管占用的虚拟空间。

在另一场比赛情境下,玩家丢一个球通过管道但是不“触摸”管的 侧。

在一个实施方式中,Sightpainting(商标)系统可经由以下项实 现:设备1300感测环境中的参考点,同时还跟踪绘制工具201的位 置。设从绘制工具201到设备1300的比较测度坐标变换为g_{2,1}。 设从设备1300到环境中的某表面如桌面表面2D70的变换为g_ {1,0}。从绘制工具到环境的变换因此由g_{2,0}=g_{2,1}g_{1,0}给 出。

此外,绘制工具中的每一LED(发光二极管)或其选择子组中 的位置被记录为时间的函数以及曝光的光条纹的摄影或录像图像,例 如高分辨率。然后,基于图像的显现用于显现位置坐标中用户180U 正站立处且尤其是用户每只眼睛的POE(眼点)的沙图。

在一个实施方式中,随着用户移动通过空间,这被实时(例如, 连续地、周期性地、基于触发器等等)进行和更新,并且还针对其他 参与者诸如其设备1300的实例感测来自灯2D8的射线2D32和射线 2D34以及其曝光2D40的实例的用户181U进行和更新。

用于写“HELLO WORLD”的绘制工具201可以被营销和销售,并 且在各个实施方式中在本文可以称为经由光棒、体素棒、像素棒、光 剑、VOX STIX(商标)系统、PIX STIX(商标)系统、LIGHT SABER (商标)系统、Pixel Saber(商标)系统、Pix Saber(商标)系统、 PIXaber(商标)系统、VOXaber(商标)系统、LIGHT SWORD(商 标)系统、LightBroom(商标)系统等等。

在一个实施方案中,一种营销DEG(数字眼镜)的方法可以包 括:(A)提供销售用DEG;(B)为DEG提供绘制工具201的自由 实例,或绘制工具201的租借作为促销优惠的部分;(C)邀请客户 使用其如此提供的绘制工具参与比赛;和(D)提供奖励作为比赛结 果,因此间接地用绘制工具201促销DEG产品。

在一个实施方式中,当多个参与者进行拓扑造型或制作沙图时, 可组合从各种角度例如从设备1300的单独实例的每个的可见光记录 以捕获更多的信息,并显现更好的沙图。

此外,在一些实施方式中,在环境中可使用一个或多个辅助相机、 传感器、光源、投影仪等等。例如,在游戏空间中,可以从上而下使 用监控相机,而个别玩家提供其为参与者的活动的自身反监视记录。 监控与反监视的组合提供比单独的任一者提供更高精确度的监视记 录。

在一个实施方式中,相机可以不同模式操作。例如,监控相机提 供高分辨率的可见光记录,而反监视相机提供“手臂长度”近距离准确 度的视觉位置信息。

频分多工

在一些实施方式中,绘制工具201可在不同于“所得物”的谱带下 操作,其中设备1300感测对象的位置和/或范围。

例如,在一个实施方式中,绘制工具可以发射设备1300用于确 定其位置的频谱中的红外部分中不含有大量能量、功率等等的可见 光。在一个实施方式中,设备1300的两个用户可使用频分多工(例 如,经由两个不同频带),以便不会干扰彼此的感测,也不被绘制工 具干扰,除非绘制工具以红外发射(例如,如此,设备1300可以使 用被动红外视觉来定位之)。

例如,对于游戏中的不同玩家可能会使用不同颜色的可见光的程 度,这些不同的颜色还体现可通过游戏系统利用来消除各个玩家的绘 制工具的歧义的频分多工。

或者,可使用时分多工,如例如一个绘制工具可以在第一“所得 物”期间发射且另一绘制工具可在第二所得物期间发射,其中所得物 交错或交叉曝光于设备1300的两个或多个实例。

此外,可应用光空间的原理(例如,叠加测度成像的原理),以 确定由于每个光源的所得曝光。

在这种情况中,源可以在光空间中被消除歧义。此外,单独调制 绘制工具201内的每个光源,使得由于该源的光被感测到,使得可单 独操纵拓扑造型的个别块(例如,管道网格或管道造型的个别“螺 纹”)。

图2E描绘在一个实施方案中的拓扑造型系统的其它细节。

图2E说明诸如沙图2E10的沙图的各种实例,其开始于弱曝光 2E11,随着用户以涡旋使光源(或指尖)移动通过空间,同时增加朝 向曝光2E12的曝光,并最终到曝光强得多的曝光2E13。在各个实施 方式中,曝光变动可以由用户控制(例如,经由绘制工具界面、触发 器、虚拟触发手势、预设曝光等等配置文件)、自动、预设、环境触 发等等。

在一个实施方式中,触发器可以是例如从玩具赛车回收的60欧 姆变阻器,当更猛烈紧捏时使车跑的更远的紧捏触发器。以此方式, 将绘制工具塑形为具有当更猛烈紧捏触发器时发光更明亮的光源的 玩具枪。光的输出被持续调整。因此,可从枪套拔出作为“绘制枪” 的绘制工具且然后用来在空间中绘制看起来像漂亮且可从在3D空间 中显现的任何角度看到的光绘的形状。

或者,在识别指尖的实施方式中,在拇指移向食指时,特效可被 合成,例如以增加虚拟光源的强度。手指180F本身是绘制工具,且 而不是使用60欧姆变阻器,拇指180TT变得更接近于手指,调整与 指尖与拇指尖之间的检测距离、手指与拇指180TT之间的角度等等 相关的虚拟光源的强度。

在一些实施方式中,随着绘制沙图,紧握手势可抓取沙图。在一 个这种实施方式中,设备1300检测肉贴肉接触,例如在手紧握或手 指紧握时。

可例如通过空间中的3D位置、通过当肉压抵其它肉时发生的肉 变形等等感测到肉贴肉的接触,确认且感测形成连续变动手势的压力 的程度。在这个上下文中,连续变动手势有用于参数化控制器,例如 如调光器手势,其中灯输出与手指180F与拇指180TT之间形成的角 度成正比,此角度应称为由设备1300采用作为手指180F通过视觉系 统180V到拇指180TT的角度的“角度FVT”。

在一个实施方式中,角度FVT的余弦可以计算并用于调整PWM 驱动器对光源的工作周期,和/或以其它方式用来控制虚拟光源的级 别。

在虚拟光源的情况中,照明的特效被合成(例如,显现),诸如 以捕获由光源的房间照明及沙图2E10的实例。

各种沙图可以被操纵。例如,曝光2D90的管状实例是使用手势 打开或弯曲或重新造型到沙图2D91。这个多边形挤出也可以解开成 沙图2D92。

各种形式的计算机图形和基于图像的呈现提供具有高视觉感染 力的逼真造型,并可以被操纵为艺术对象、游戏对象,或用于实用和 /或工业用途,诸如设计城市管道工程、造型和构建虚拟音乐仪器如 使用流过虚拟管道的虚拟水的来自虚拟管道的听水器(其可以在CFD (计算流体动力学)的环境中进行拓扑造型)等等。

图2F描绘在一个实施方案中的手型拓扑造型网格器。

图2F示出了使用手指本身作为绘制工具的实施方案。在所示实 例中,手指与诸如“手套光”玩具的LED手套配合。在另一实施方式 中,用光源在手指上制作投影,其可包括投影到手指上的可检测结构, 可从贴附到手指或手套的反射器反射等等。在一个实施方式中,绘制 工具可以合成完成(例如,只由手指单独跟踪)。考虑光存在的情况 (在裸手版本中,可以将其视为虚拟光)。

在一个实施方式中,存在八个LED的线性阵列存在(或合成的), 且其铺设于例如由灯2F64中的八乘八(8×8)阵列64个点定义的沙 图网格。在一个实施方式中,点被建模为圆球且可例如表示监控相机 及其有利点,因此允许手180MD的手势扫掠且定义监控网格,或网 格城,或其它网格空间。

网格可以包括8个发亮曝光,诸如来自光L11的曝光E1。灯2F8 的八个实例在第一时间点处定义灯L11、灯L21、灯L31、...和灯L81。

灯L11向前移动生成曝光E1和其开启和关闭或者改变输出以创 建沙图。在稍后某个时间点,其再次出现为灯L12,然后灯L13等等, 出现8次以进行曝光E1的八个不同部分。

灯L21还再次出现为灯L22,然后灯L23等等。每个灯一路至灯 L81勾勒一个路径。例如,由于在各个时间点考虑灯,灯L81勾勒为 灯L82,然后灯L83。

在所示实施方式中,时间从左到右跨越,且空间从顶部到底部跨 越。

八个灯因此勾勒出在空间上采样(离散化)但在时间上几乎连续 的时空连续统,虽然在所示实例中已经选择按8乘8(即64个像素) 阵列对其进行采样。进行划分时间以匹配空间的这个任务的构件、设 备、装置、软件、固件等等被称为网格器(商标)的方法或系统。网 格器允许我们从沙图中生成3D“线框”。当应用于一行平行线如教科 书的横格纸时,网格器生成来自横格纸的坐标纸的样子。在一个实施 方案中,在我们的空间时间连续统中,网格器确定匹配空间增量的时 间增量,使得网格的轴为各向同性的。在一个实施方案中,通过模拟, 沙图在3D空间中生成类似无珠算盘的对象。网格器在算盘状曝光的 每个“线”(曝光条纹线)上以珠间的间距匹配线间的间距的方式插入 虚拟珠。然后,珠在垂直于线的方向上连接在一起以便因此生成线框 网格。

以此方式,在一个实施方案中,手指可在空间中以现实和/或合 成光源进行“手绘”,以生成线框模型或网格,然后可用光或用手势等 等纹理映射或“绘画”线框模型或网格。

因此,在一个实施方式中,网格是直接以时间且间接以空间(例 如,暂时推论)定义。

随着横扫捕获视频,可通过在后期制作中改变光输出(诸如合成) 编辑内容以在事后实现任何所需图案。

在一个实施方式中,数字眼镜190的用户可使用绘制工具201。 每个用户可跟踪绘制工具的实例,并且因此两个或多个用户可经由数 字眼镜180和数字眼镜190体验共享绘制空间(例如,在图1A的第 一增强介导现实空间1000中),而无需在用户交互期间和/或在完成 用户交互之后创建任何物理标记。记录可以由合作会话进行,使得可 播放记录,且因此容许用户检查合作会话以供进一步研究。

这种形式的计算创建自然用户界面,其无需隐喻,并且因此,在 一个实施方式中,形成直接用户界面体验。

图2G描绘反曲面和变化桌的实施方案,其在一些实施方式可被 称为META桌反曲面(商标)系统。

图2G描绘在一个实施方案中的反曲面和变化桌。在一个实施方 式中,而智能表面可以由监控相机(例如,附贴到不动产、建筑、墙 壁、天花板、板等等的相机)控制,表面130的反例可被配置和/或 优化以诸如由例如可由用户180U佩戴的可佩戴相机系统进行跟踪。

在一个实施方式中,可针对诸如在反监视之下的对象进行手势跟 踪。在一个实施方式中,反监视是由活动的参与者的活动的记录、感 测、捕获等等。在一个实施方式中,可佩带相机是反监视相机,而非 监控相机,且因此,可提供诸如出于以人为中心的交互设计的以人为 中心的坐标。

在一个实施方式中,在对象上或针对对象进行的手势提供变化触 觉体验和/或信息,例如其中变化信息可在对象和/或相关对象上附贴、 标记、显示、指明、关联、提供等等和/或附贴、标记、显示、指明、 关联、提供等等到对象和/或相关对象。在一个实施方式中,这种体 验和/或信息提供触感(例如触摸)和/或自动触感(例如触摸自身、 当一个人自己的手碰触在一起时进行感测等等)。在一些实施方式中, 组合手势感测的触感和变化触感可称为变化触感,其中变化信息存在 于触感和手势感测的连结处。在一些实施方式中,与自己的身体的触 感,例如,一起触摸手、触摸食指和拇指同时用中指触摸其它东西等 等可以被称为“自动触感(autohaptics)”。例如,在一个实施方式中, 自动触感多触摸手势可以包括将拇指和食指紧握在一起,同时用剩余 的三根手指触摸对象,其由指尖点形成因此在一个实施方式中在3D 空间中具有九个自由度的三角形。在一个实施方式中,可通过拇指和 食指如何紧捏在一起有多重来定义十个自由度。在一个实施方式中, 用拇指和食指做出的紧贴的肉环可以为各种自动手势提供输入和/或 额外参数。在一些实施方式中,适于变化触感的对象可以称为“可变 化”,且另一种称为“不可变化”。在一个实施方式中,用户够不到、 触摸不到、抓取不到等等的对象可为不可变化,例如,恒星和遥远的 行星、太阳、月亮、在具有极高天花板的建筑物中高度在天花板附近 的对象2G140等等。在一个实施方式中,稍微够不到的如对象2G150 的对象可以称为“semi-mettable”,并且可以用变化棒触及,如拓扑造 型棒2G160、绘制工具201等等。

在一个实施方式中,不可变化对象可与与一些触感交互例如虚拟 触摸,虽然在一个实施方式中小于可变化对象的触感。在一个实施方 式中,拓扑造型棒2G160可以装有地音探听器、振动器、寻呼机、 触辅(Tactaid)(商标)系统等等,例如以从“被挥棒”的遥远对象传 送虚拟触感。例如,举起棒且例如在遥远星系处注视环2G161,棒可 以在仙女座星系位于环2G161中时振动。因此,在一个实施方式中, 环2G161可操作为触觉取景器,允许用户例如在广告牌、广告、文 件或计算机屏幕等等上“触摸行星”或以其它方式“感受”天空、附近或 遥远的对象、图像。在一个实施方式中,地音探听器体触觉可以在设 备1300中实施,使得用户可以观看行星且感受其中一个在头中或头 上振动。在另一实施方式中,拓扑造型棒2G160和/或设备1300的手 柄可以装有电极,其被配置成生成直接和/或间接刺激(例如,轻度、 非疼痛电击)和/或其它形式的刺激,诸如以关于远程或遥远对象创 建感触。

在一个实施方式中,拓扑造型棒2G160具有在拓扑造型棒上或 在其上具有一些控制件的用户可抓取部分。例如,用户可抓取部分可 以是和/或包括触发器,在一个实施方式中,其可以包括可变电阻器。 具有15、25、45、60和90欧姆电阻值的这种触发器变阻器可以是与 照明源有线串联,和/或可以由设备1300和/或与拓扑造型棒2G160 相关联的一个或多个微控制器感测以控制其功能,诸如其光L1、光 L2、光L3等等。

在一个实施方式中,拓扑造型棒2G160是拓扑造型棒。在一个 实施方式中,拓扑造型棒2G160可用作游戏的“魔术棒”。在一个实施 方式中,拓扑造型棒2G160可以用作造型工具,例如以使3D空间中 的各种对象成形。在一个实施方式中,拓扑造型棒2G160可以用于 光矢量化(例如,绘画和造型光矢量)例如为视觉艺术形式、为视觉 化对象、设计对象、3D视觉化、导航等等的方法。

在一个实施方式中,拓扑造型棒2G160是(包括)环2G161或 其它形状和/或光源布置,诸如颜色可寻址的LED(发光二极管)。环 2G161包括灯L1、灯L2、灯L3等等。

在一个实施方式中,拓扑造型棒2G160具有手柄2G164,诸如 可包括可拆分把手2G163,其可用于转动拓扑造型棒2G160的轴 2G165。在一个实施方式中,转动棒的这种能力在诸如沙图2G168的 长曝光沙图中生成球体。球形沙图然后可在3D空间中被“抓取”且可 被操纵,例如作为设计和建造其它对象的“基体”。

在一个实施方式中,球形沙图如沙图2G168还可以使用可变化 圆形对象2G130诸如餐盘、茶托、磁盘等等生成,其中抓取和转动 手势通过感测与显示显示设备1300识别,点云被确定并挤出等等。 该可变化圆形对象2G130可以称为可变化对象。在一个实施方式中, 感测与显示设备可以采用特定、专门和/或专用的效应器和/或传感器 信号,以从可变化圆形对象2G130生成球形沙图。

在一些实施方式中,如对象2G120的其它可变化对象可用于生 成沙图。在一个实施方式中,识别变化触摸,例如如果对象正在触摸 表面130,如果对象正在触摸手180MS、手180MD等等。在一个实 施方式中,当一只手触摸对象2G120时而非当该对象被正触摸另一 只手的一只手触摸时可指派不同手势(例如,双手触摸对象同时手彼 此触摸,或一只手触摸对象同时另一只手触摸第一只手而不触摸对象 等等)。变化触感的这些实例形成具有唯一特效的唯一手势。

例如,一只手180MS拿着拓扑造型棒2G160的用户用另一只手 180MD触摸餐盘或其它对象;在一个实施方式中,这个手势可意味 着用户正发信号沙图,且因此餐盘识别为变化拼装(meta bricolage) 的沙图对象。在一个实施方式中,变化拼装从例如位于桌子上、工作 环境中收集、四处走动时收集(等等)的现实对象制作虚拟对象。

在一个实施方案中,火箭发动机、摩托车的排气歧管、管造型等 等可通过抓住餐盘或可变化圆形对象2G130、转动它来制作球体、将 餐盘移动穿过空间来制作管(挤出圆筒)、在3D空间中抓住沙图 2G168(诸如球体对象,不论是通过棒、餐盘、通过手势等等生成, 或使用手势从3D对象库调用)、将两个对象放在一起和/或类似操作 而设计。

在一个实施方式中,一些形状(诸如球体和圆筒)可从形状库中 取出。例如,诸如在用右手180MD绘制形状时用左手180MS触摸餐 盘的手势可被识别为“绘制圆”(例如,绘制如这种餐盘的东西)手势。 在一个实施方式中,设备1300和或部件可检索被触摸对象的图像、 将其与形状库中的记录比较且选择一个或多个最接近的匹配形状。在 一个实施方式中,用户可被呈现与被触摸对象相关的多个可选择形 状,诸如其中对象图像与所存储形状记录之间的比较产生差异小于一 个阈值的结果。

在一些实施方式中,可使用和/或创建更复杂、错综和/或复合的 形状。例如,用户180U可拾取餐盘并且挥动它穿过空间来制作例如 流形2G184。流形2G184可为弯曲管状形状。对于这样一种流形, 用户180U可将餐盘按圆弧挥动,例如以生成如用于电导管的稍微弯 曲的灰色塑料连接肘管的“扫(sweep)”管。

在一个实施方式中,流形2G184可通过以圆弧形式挥动餐盘、 胶带卷、飞盘等等圆形对象穿过空间而生成。在一个实施方式中,这 些流形可用拓扑造型棒2G160形成。

在一些实施方式中,流形可通过在2D和/或3D空间中触及、抓 取、抓住、戳等等而成形及伸展及移动。在一个实施方式中,当手触 摸管或扫管或具有两个末端的其它类似对象的两个末端时,使对象发 不同色彩的光、闪光、闪烁等等,诸如以指示它已被选择,例如被选 择对象是流形2G189。一旦被选择对象以这种方式被高亮显示,手势 就被授权、识别用于管的弯曲或弯折和/或与管的弯曲或弯折关联, 诸如使用手指的曲率来指示管端的希望曲率。在一个实施方式中,手 180MS的弯曲手指指示用户180U希望更紧凑的弯曲半径,因此与响 应于“展开”手势而“变直”的管的另一端相比,用户左侧(在图2G中 观看者的右侧)的管端呈现更紧凑曲线。

在一个实施方式中,视频图形沙图可使用CEMENT(计算机加 强多重曝光数字技术)编辑,其包括下列操作,诸如:操作(1)包 括捕获对象数据,如扫过空间的对象的视频、图像、位置数据等等; 和操作(2)包括分割对象数据来制作沙图。在一个实施方式中,在 使用拓扑造型棒2G160时,分割是自动的,例如,前提是光L1、光 L2、光L3等通过锁定相机、视觉系统和/或能够忽略除这些光以外的 所有光的类似物例如使用叠加测度分析和光空间原理调制和感测)。 操作(3)包括显示随特定手势所得物的时间而整合的对象的边缘或 边挤出。在一个实施方式中,所得物用手势开始且停止,或在棒的情 况下,所得物可通过紧捏和释放触发器2G162而开始和停止。在一 个实施方式中,所得物具有软开始和软结束,例如,通过在移动拓扑 造型棒2G160的同时稍微松开触发器以“羽化”开始或结束,如流形 2G181中所示,其在左侧轻柔地开始,且在它“接合”流形2G184的右 侧突然结束。在未使用棒的实施方式中,可使用非数字多指手势,诸 如变化拇指与食指之间的角度来创建“羽化”沙图的开始或结束的连 续触发器。在一个实施方式中,通过光L1、光L2、光L3等形成的 沙图通过插入点和交叉网格化以创建如连续弯管或类似物一样填充 的“线框”模型而整合至拓扑造型中。

在一个实施方式中,流形2G182、流形2G181与流形2G184之 间的接合通过“推入”流形2G184而制作,例如,用一只手180MD将 流形2G181或流形2G182朝向流形2G184拖动,同时用另一只手 180MS握拳以指示流形2G184应具有被“穿”的孔来接收至另一个管 的管连接。

在一个实施方式中,一旦管被连接,流体流量模拟就可运行,例 如,以检查泄漏、连接和类似情况。例如,当管道接合时,测试流体 中显现特定颜色来显示管路中哪些管被连接在一起。

在一个实施方式中,缓流的弯管管路可被构建和/或生成为古怪 造型、实用管道、电导管设备,诸如可使用Bricologic(商标)系统 设计、模拟和/或测试。在一个实施方式中,bricologic是逻辑(计算) 拼装,例如修补,其使用多种对象,包括日常家用对象、工业和/或 设计对象、建筑元件、专门设计和/或标记的对象等等来构建东西, 例如,通过将对象用于变化手势(meta gesuture)、变化造型 (metasculpting)、沙图、拓扑造型等等。

对于操作(4),下列情况适用:在一个实施方式中,如流形2G189 一样的管(弯管)被显现为例如在特定曝光段内的曝光的感光量图总 和。这样一种流形2G189(诸如管)可例如使用拓扑造型棒2G160 (其例如通过餐盘和/或相应移动的类似对象从用户的左手180MS扫 动至用户的右手180MD)而创建。在一个实施方式中,在用户180U 将手180MS朝向管道的中央移动,例如想要缩短它(“向里紧捏它”) 的情况下,从记录的开始移除视频帧,所以整合曝光帧的和随后依序 开始。举例来说,从十秒视频曝光制作的沙图将具有600帧(60帧/ 秒乘以10秒)。全曝光是从帧1至帧600的感光量图和。在对应于用 户左手的管道末端处缩短管道涉及操作(4a),其使用手势识别和/或 手位置识别来确定手在何处已沿着管向内移动;操作(4b)包括计算 空间-时间补偿以将空间位置的这种改变转换为时间改变(例如,以 补偿原始曝光中的加速),因此将空间位置转换为时间位置,诸如, 例如左手沿着管向内移动三分之一距离,其例如对应于视频的四分之 一;操作(4c)包括将时间位置转换为视频中的帧编号,其此处将是 例如帧编号150;且操作(4d)包括从视频帧151至600计算新的感 光量图和,且将这个和显示或显现为管的新沙图,其不再包括来自帧 1至150的贡献。

同样地,右手180MD可控制整合曝光的求和的结束帧。例如, 将右手朝向中央移动可改变和,使得取代从帧150移动至帧600,现 在它可从帧150移动至帧400。因此,长曝光照片可被生成为痕迹线 条,其在手上开始且结束,且当手移动时,例如,通过在视频序列中 选择适当的帧而显现线条和/或照片,使得它匹配手的结束点。由于 在一个实施方式中,视觉系统是真实3D,所以结果可从用户定位的 任意角度显现。此外,一个或多个额外相机可固定在环境中,例如以 捕获移动穿过空间的棒或对象的高分辨率曝光且因此在希望的情况 下将它逼真地显现为照片(例如,因此它实际上看起来如由例如沿着 黑漆漆的道路移动的车的头灯生成的长曝光照片)。

对于操作(5),下列情况适用:在一个实施方式中,变化空间- 时间连续统算子确定空间与时间之间的关系,例如空间与沙图的视频 记录的帧数之间的关系。视频记录可例如捕获挤出对象诸如表面130 (也被称作对象)或拓扑造型棒2G160上的所有点的照片级痕迹和/ 或真实3D位置。当挤出对象是拓扑造型棒2G160时,可记录额外变 化信息,诸如触发器2G162的位置。在一些实施方式中,挤出物也 可能是打印字母、手势字母、2D图像、图标、喷嘴、挤出模具、“饼 干切割器”等等。例如,如果用户180U用左手180MS指向新闻标题 中的字母“I”,同时用右手180MD拉出挤出手势,那么通过挤出字母 “I”而制作“I”光束。类似地,可通过用一只手指向字母“L”,且用另一 只手挤出它而制作虚拟“角铁”光束。在一个实施方式中,计算机视觉 可使用字母的准确字体,例如,使得用户可使用各种真实的物理“I” 形对象(如新闻打印字体或剪纸、儿童字母块等等)来快速制作光束 设计并且测试之,例如,使用光束强度、刚度的计算机模拟。

在一个实施方式中,空间-时间算子确定视频的哪个帧对应于沿 着光束的哪个位置,使得,例如沿着光束或其它挤出的相等距离可定 位在视频中。

对于操作(6),下列情况适用:在一个实施方式中,随后例如在 空间和/或时间的相同点应用交叉网格化。图2G中所示的痕迹是沿着 挤出路径。在一些实施方式中,交叉网格化可被显示为沿着管的圆, (在一个实施方式中,作为沿着构成管的管形算盘的每根“线条”的 “珠”,其中对应于特定时间点的每组珠与“线条”接合以形成圆),例 如,一个圆沿着管道的每单位距离显现和/或根据可变间距配置文件 隔开。

以此方式,生成十字形网格,其可例如显现为照片级亮光,其具 有类似于通过将视频帧以感光量图求和而生成的长曝光“光矢量绘 图”照片的好看外观。

在一个实施方式中,可变化对象(诸如餐盘、箱子、可用剪刀剪 出的硬纸板等等)可由用户180U用于使用胶水、胶带、剪刀和其它 对象构建例如火箭发动机。在一个实施方式中,设备1300的视觉系 统例如经由图像比较而识别胶水、胶带、剪刀和/或其它部件,以推 断用户正试图构建某物,以接合指令数据和/或应用,以确定用户正 试图建立什么等等。

在一个实施方式中,可变化反曲面可为具有额外设备2G169的 表面130,所述额外设备2G169通过例如在表面130被触摸时感测和 感测其上的手势而协助感测拓扑造型手势。

在一些实施方式中,设备2G169感测桌子上的触摸。这可适用 于例如设备1300难以感测靠近但远离桌子的手指与实际按压桌子的 手指之间的差异的情况。在一个实施方式中,设备2G169是例如被 另一个用户181U佩戴的设备1300的另一个实例,其中“看穿另一人 的眼睛”的能力赋予侧面视野。在一个实施方式中,可采用桌面上远 眺的相机。

在一个实施方式中,表面130包括其上人类和/或机器可读的标 记网格,例如,使得表面上具有点或其它形状的阵列,其帮助用户在 表面上对手取向。在一个实施方式中,可采用触觉点,其在被触摸时, 提供刺激给手指,例如直接(触觉)和间接(例如,通过难以定位的 轻度电刺激)。间接刺激允许例如对象似乎被感觉到。因此,在一个 实施方式中,将左手放在表面130上,同时触摸如流形2G189一样 的空中虚拟对象的用户180U在触摸它时感觉到“刺痛”,诸如经由远 低于痛阈和/或具有差的定位性质(例如,无法分辨它准确来自何处) 的轻度电击。替代地,设备1300的头戴装置中的点击声和/或振动可 为用户将错碰的提示。以此方式,流形2G189可被制作成在被触摸 时看似非常“真实存在”,例如,看似确实存在于世界上,因为可定位 性差的某物在它被触摸时发生。

在一些实施方式中,具有通过反监视(sousveillance)而被感测 的表面130(也被称作可变化对象或可变化表面)的桌子可被称作 METAble反曲面(商标)系统。在一个实施方式中,虽然一个形状 (诸如车体)的表面可为其顶部,反曲面可为其内侧,例如,如果主 体被分解和/或颠倒时将看到的情形。

在一个实施方式中,反曲面受到反监视,例如,适于被注视的表 面而非进行注视的表面(诸如具有传感器的表面)。在一些实施方式 中,反曲面因此可被称作具有逆传感器和/或表现得如同它有逆传感 器。

在一个实施方式中,外旋轮线(epitrochoid)(其中外摆线 (epicycloid)是一个实例)可通过在较大盘的表面上滚动小的盘而 形成。在一个实施方式中,内转迹线(hypotrochoid)(其中内摆线 (hypocycloid)是一个实例)可通过在较大盘的反曲面上滚动小的盘 而形成。

在一个实施方式中,取大曲率半径的限值,hypotrocloid和 eptrocloid可变为trocloid(其中旋轮线(cycloid)是一个实例)。在这 样一个实施方式中,表面和反曲面可合并。

在上文的所描述的盘实例中,反曲面和/或表面可被视为一维的。 在二维实施方式中,hypertrocloid可诸如通过在其它圆柱体、锥体、 球体、盒子、托盘等等上滚动圆柱体、锥体、球体、盒子等等而构造, 其在一些实例中可被称作“hyperroulette”。在一个实施方式中, hypercycloid可为通过沿着在表面和/或反曲面上滚动的对象的外表面 的线勾勒出的hypertrocloid的实例(例如,平坦或弯曲)。例如,沿 着圆柱体(例如,硬纸板邮递筒)的外边缘纵长延伸、在长曝光照片 期间在桌子期间滚过桌子的光绳或回射带或彩带或彩线可形成图像、 照片文件等等,其在一些实例中可被称作Topoloid(商标)系统或 Topoid(商标)系统。“Topoloid”指的是依据上文形成的沙图,或沙 图的网格版本(即,其“线框”网格)。在一个实施方式中,网格版本 通过在沙图上运行网格器(Mesher)而构造。在本实施方案中,一行 光与连接它们的线一起可被设备1300识别,使得光勾勒出算盘的 “线”,且整条带用于在特定时间点绘制每条十字线,其使十字线具有 与算盘线相同的间隔。这生成类似铁丝网的网格,使得拓扑造型是线 框模型,其随后可根据希望被纹理映射。

在一个实施方式中,topoloid可在拼装方法内采用,包括从 hyperroulette制作虚拟对象,例如在其它东西上滚动东西,同时注视 它们穿过记录这些动作的Spaceglass。

在一个实施方式中,反曲面可具有唇部和/或边缘,诸如绕其周 边定位的边(例如,在托盘、盆等等中)。这样一种反曲面可用于构 造Bricoloids(商标)系统和/或Brichoid(商标)系统(例如,来自 长曝光bricologic)。

在各种实施方式中,不同的对象因此可例如用手、发现的对象和 /或在反曲面上滚动的类似物,和/或用一种或更多种不同的棒来扫动 棒塑造对象和/或反曲面而构建。

在一个实施方式中,拓扑造型棒2G160可包括环2G161,所述 环2G161包括轴承上诸如经由电机转动或旋转的轮、盘等等,沿着 反曲面滚动它等等。在一个实施方式中,轴编码器可用于编码长曝光 视频照片的空间-时间连续统。在一个实施方式中,电机、致动器等 等可用作轴编码器,例如以在环2G161沿着表面和/或反曲面滚动时 转动环2G161或感测环2G161的转动。在一个实施方式中,灯L1、 灯L2、灯L3等可各在长曝光照片中划定和/或创建旋轮线形状,诸 如在沿着表面和/或反曲面滚动拓扑造型棒2G160的同时制作。在表 面130可为盆形的情况下,它可具有可获得的各种曲率,所述曲率由 长轴(宽松曲率)、短轴(紧曲率)和表面中的各种其它曲线和波动 定义。因此,在各种实施方式中,表面130和拓扑造型棒2G160可 用于生成宽广范围的不同种类的内摆线作为沙图,例如,当例如用设 备1300的3D相机和/或绕表面130的其它辅助相机等等拍摄、拍照、 通过视频一起捕获时。

在一个实施方式中,拓扑造型棒2G160上的其它光(例如,并 非刚好在边缘上,而是更靠里的光)可在于长曝光中拍照时定义内转 迹线。闪光赋予内转迹线的路径,在一个实施方式中,所述路径看起 来如虚曲线,例如,弯曲为内转迹线形状的虚线。在一个实施方式中, 在其它形状附着至拓扑造型棒2G160用于沿着表面130滚动的情况 下,可例如进一步使用手势和其它形式的交互创建和/或随后拓扑造 型其它topoloid/toploid以生成bricoloid,诸如城市、管道工程、管网、 空间站、火箭发动机和类似物的模型。在一个实施方式中,用从顶点 行进至底座的一行光附着至环2G161的锥体将在3D空间中生成一类 曲线,包括来自锥体的顶点的平行于表面130的曲线、来自锥体底座 上的光的内摆线和来自其间的光的各种内转迹线。

在一个实施方式中,拓扑造型棒2G160也可特征化行星齿轮和/ 或其它齿轮,诸如其按不同速率和按不同旋转角转动棒的其它部分。 例如,环2G161可按与其呈直角地驱动另一个环,使得在一个实施 方式中,生成螺旋而非内转迹线。在一个实施方式中,两个环可能也 是可调整的,使得它们的角度可改变例如以生成介于螺旋与内转迹线 之间的某物的沙图。

在一个实施方式中,沙图和/或其它设备生成的形状可被解译为 电信号,允许用户使用拓扑造型棒2G160通过例如长曝光照片和/或 视频图形、通过手势对信号进行造型等等而创建任意信号。

因此,在一些实施方式中,设备1300可用于对各种对象造型, 诸如使用手势、对抗对象的手势、使用对象的手势、拓扑造型环境中 的对象的Bricology(商标)系统等等。在一个实施方式中,桌子、 METAble和/或其它类似桌子、表面、反曲面等等可用于一个或多个 这些操作和/或用途。

在一个实施方式中,表面130(桌子承载表面)可用可变化标示 2G110(诸如“METAble反曲面”)标注,诸如在图2G的实例中。在 一个实施方式中,可变化标示2G110是机器可读的,例如,在桌子 的侧面上,标示的上半部分是白色的,为反光材料,且下半部分是黑 色的,具有反光字母。标示(如可变化标示2G110)可绕表面130的 边缘放置,例如,使得它即使在全暗中仍可在3D空间中被识别和定 位。

在一个实施方式中,可通过紧捏触发器2G162而提供全暗。例 如,按压触发器可自动关闭房间灯光,诸如以使拓扑造型更简单、更 美观和/或在视觉上更迷人。

在一些实施方式中,即使在黑暗中,表面130仍可经由可配置成 在黑暗中可见的设备1300而被用户180U看见,但此外,桌子可结 合可变化圆形对象2G130的实例配置,所述可变化圆形对象2G130 被照明例如,以在设备1300的消隐间隔期间发射可见光。可变化圆 形对象2G130可被称作智能点。在一个实施方式中,设备1300按120 FPS(帧/秒)的帧速感测且可变化圆形对象2G130可相应地在设备 1300未响应光时的时间期间简短地发射光(例如,达大约一微秒)。 这种同步实现点的系统控制,因此它们可根据希望对设备1300不可 见或可见。以此方式,对人眼和对设备1300的可见性可分别控制、 优化等等操作。在一些实施方式中,可变化圆形对象2G130发射红 外光,例如,以帮助定位任务、在可见所得物中有意曝光于设备1300 等等。在一个实施方式中,因此存在三个所得物和/或所得物的控制; (1)人眼曝光;(2)设备1300的可见光相机曝光;(3)设备1300 的红外视觉系统相机。在一个实施方式中,第四,存在可变化圆形对 象2G130的反光性质,其与设备1300交互,允许它在桌子上自行定 位。在又一个实施方式中,每个可变化圆形对象2G130是邻近度传 感器,其用于定位桌子上的对象、测量它们相距多远、测量诸如被手 180MS和手180MD接触等等。在另一实施方式中,桌子由诸如金属 的材料制成,其对与用户的手、手套等等的接触敏感。在另一实施方 式中,智能点可包括孔,其例如针对原型制作而螺纹化,因此用户可 将对象向下螺旋至桌子用于修补。孔可例如抽出真空或提供如空气曲 棍球桌一样的空气压力,使对象浮动绕桌面滑动或被向下吸至桌子并 且固定在桌子。在一个实施方式中,桌子是含铁的,允许使用如在光 学台或类似物上使用的磁铁。

因此,在一个实施方案中,桌子可用于bricologic和/或计算拼装。

地音探听器可感测触摸并且影响触摸,例如,桌子振动以提供振 触触觉。

在一些实施方案中,表面130可被特别设计和/或配置用于变化 触觉。在一个这种实施方案中,Meta Table(商标)系统可被构建成 在其上具有图案,所述图案对用户180U佩戴的视觉系统反光。如图 2G的一个实例中所示的这样一种视觉系统可含有两个彩色相机、一 个范围相机(诸如LiDAR单元187)、各种其它传感器等等。

各种其它传感器可例如包括手180MD的手腕上的手势带 2G190。在一个实施方式中,手势带2G190通过移动、自我皮肤的导 电性、通过阻抗断层成像等等感测自我手势。因此,当中指2G199 触摸对象2G193时,手势可依据手180MD的食指和拇指是否触摸而 不同地解译。在一个实施方式中,手势含义也可依据手180MD的食 指和拇指紧捏在一起的用力程度而连续变化,其可通过手势带2G190 测量,例如,使用EMG(肌肉信号)、振动、电力地、经由一个或多 个应变仪测量带应变(例如,由腕宽导致)等等。在一个实施方式中, 设备1300中的视觉系统可被配置成执行这个任务,例如,使得可使 用高表现力手势,诸如可基于肉贴肉的回路或闭合或匹配,作为触摸 的另一个输入变量。

在一个实施方式中,诸如这些的输入变量允许用户感知发生的情 况、所创建和/或操控的对象等等。如在上文实例中提供的变化触觉 通过可变化的手势(即,在可变化标的物上)以及多重触觉的手势而 帮助提供有用的触觉反馈,多重触觉如在以可例如经由处理设备908 被用户感知和被设备1300理解的多种方式将其它手指或拇指紧捏在 一块时用一个手指触摸。

在一些实施方式中,Meta Table可含有各种传感器和/或效应器, 其被选择和/或优化来感测和实现触觉和变化触觉。

在一些实施方式中,可在任意位置而非只使用桌子创建 bricological环境。例如,bricology可在户外的地面上实践,其中反曲 面是地面。地面可装配例如地音探听器和/或其它传感器来辅助使用 Spaceglass或类似物的反监视。在这种情况下,智能地桩可被打入地 下。在一些实施方式中,结合Spaceglass和/或设备1300使用和/或与 其介接的这些桩可被称作sousveyor桩,其方便底部朝向(“sousvey”) 而非顶部朝下(“勘测”)阶层。例如,Spaceglass的任何佩戴者可参 与注释现实,其中性质和物理空间的管理不再只是勘测员和其他职员 的权限。在一个实施方式中,souveyor数据可包括注释、距离、角度、 高度、水平位置、地标等等,诸如可与一个或多个用户标识符和/或 配置文件关联存储。

在一个实施方式中,所生成的反监视创建参与性世界,其中个人 可例如修补、创建虚拟城市、建筑可被造型的增强介导城市等等。在 一个实施方式中,甚至是廉价或被丢弃的对象(诸如来自垃圾车或路 边的旧硬纸板盒)都可被撑起来定位在设备1300的视图中,并且可 使其图像经由手势操纵以通过复制形状和拉伸固态矩形对象使盒子 塑造为建筑,和随后将建筑“放”入街道上的空停车位上来在那里构想 摩天楼。

因此,在一些实施方式中,通过bricolology的拓扑造型允许经由 对象(例如,从街上捡来的废弃材料)上的手势实现例如未来城、空 间站、在水上编排的“白日梦(pipe dreams)”乐器等等的设计和操控。

对象和/或拓扑造型流形可被借用并且共享。因此,在一个实施 方式中,用户可使用餐盘来制作火箭发动机,且随后将盘和/或火箭 发动机设计传递给另一个用户,所述另一个用户可使用盘来制作管风 琴造型,与第一个用户共享这个造型等等。

在一些实施方式中,bricology可包括对象的共享,例如如可挤出、 转动、扭转和/或移动穿过空间诸如以使用变化触摸和变化触觉制作 东西的道具。

图3描绘在一个实施方案中图1E的感测与显示设备1300的另一 示意实例。

图3说明软件应用的实例(包括在图1B的程序907中的编程指 令),其可用于使用图1E的感测与显示设备1300指示用户诸如用户 的家中的食品制备。描绘了厨房台面上的共享计算机介导现实(诸如 图1A的第一增强介导现实空间1000)为具有水槽341的表面130和 具有燃具331的炉灶334。私密标的物340只在数字眼镜180和数字 眼镜190的合作用户群内可见,诸如可以反映在存储在数据库中的访 问权、权限、角色等等的数据。公共标的物240对非参与者(未涉及 或不佩戴数字眼镜180的人)可见。

表面130的台面上的食品项330可以由数字眼镜180和数字眼镜 190的三维相机系统来感测。数据在与数字眼镜180和数字眼镜190 中的每个相关联的(图1A的)处理设备908之间传递,且每个处理 设备908被配置成在第一增强介导现实空间1000中计算食品项的更 准确的三维模型。

图4描绘在一个实施方案中图1A和/或图1E的感测与显示设备 1300的另一示意实例。

图4说明感测与显示设备1300应用到可在图1A的第一增强介 导现实空间1000中促进的各个类型的活动的实例,诸如健康、保健、 个人和团体健身、运动、娱乐、游戏、音乐、舞蹈活动等等,所有这 些可使用图1A和/或图1E的感测与显示设备1300。

描述了具有和/或提供表面130的地板。表面130可以是台桌或 桌面等等。纹理位于地板上。在一个实施方式中,纹理可包括伪随机 图案、可由伪随机瓷砖精制、通过不同的纹理、灰尘、划擦标记自然 发生的图案、硬木地板的木纹的天然纹理、石头、混凝土、大理石、 橡胶和/或地毯的天然纹理等等。在一个实施方式中,纹理可形成图 案430。图案430的单应性可以通过代数投影几何响应于由红外传输 器186(其为图1B的第一感知现象效应器912的实例)提供和由红 外接收器185(其为图1B的第一感知现象传感器910)提供的三维 相机图像的输出而形成将由图1A的处理设备908执行的视频轨道软 件(例如,包括图1A的程序907)下的群动作。在一个实施方式中, 上文参考图2B提供视频轨道稳定的实例。

在一个实施方式中,地板纹理的坐标变换群落在由公式{2}所给 定的轨道中。

公式{2}:

[A]是2乘2(2×2)线性算子,[b]是2×1(2×1)平移,[c]是2 乘1(2×1)啁啾(投影),[d]是标量常数,且[x]是2乘1(2×1)空 间坐标,并且[x]=[x1,x2]T

如由感测与显示设备1300的多个佩戴者(例如,用户)所观看, 由于地板保持在这个轨道上,标的物可以与不与地板在相同平面中的 其它标的物有所区别。根据一个选项,三维感测特性使地板本身处于 三维模型中,且因此可聚集位于这个三维平面上的点且使其分段。例 如,私密标的物340可包括显示在地板的表面130上对一个或多个参 与者可见的歌词,诸如在andantephonic步行中。andantephone是响应 于用户步行而播放的音乐仪器。

根据一个选项,感测与显示设备1300通过由图1A的程序907 生成的增强介导现实(虚拟三维)指示器而用于物理(体操)教学(诸 如瑜伽、舞蹈、表演、武术、跑步、运动等)。在一个实施方式中, 虚拟指示器的图像通过图1B的第一感知现象效应器912(例如)而 投影到图1A的第一增强介导现实空间1000中。如果多于一个用户 具有其自身的感测与显示设备1300的实例,那么感测与显示设备 1300的选定实例可提供虚拟指示器到图1A的第一增强介导现实空间 1000的投影;或者,虚拟指示器可以由不与感测与显示设备1300的 任何实例相关联的处理设备908的实例提供。

在存在使用感测与显示设备1300的多个实例的一些实施方式 中,用户的身体移动可以由感测与显示设备1300的另一实例和/或固 定在环境(图1A的第一增强介导现实空间1000)中的静止位置中的 感测与显示设备1300(或图1B的第一感知现象效应器912)的实例 扫描。在一些这样的实施方式中,虚拟指示器可以协助和/或以其它 方式与(多个)用户的动作交互。

根据一个选项,感测与显示设备1300被配置成提供虚拟镜,例 如,全身镜、浴室镜等等(经由放置在第一增强介导现实空间1000 中组合包括图1A的程序907的编程指令的效应器),并且可配置以 扫描用户的身体,例如,健康跟踪目的(体重增加、身体测量等等)。 根据一个选项,感测与显示设备1300可被配置成表现为镜子,通过 其可进行身体扫描。在一些实施方式中,感测与显示设备1300可被 配置成诸如在周期、连续和/或触发的基础上被动扫描、监测、跟踪 (等等)用户健康、体形、身体参数等等,并诸如通过使测量的身体 参数与通知相关联的值相关而基于此提供通知、警告、建议、优惠券 等等。

图5描绘在一个实施方案中指示图1E的感知与显示设备1300 的时序和定序操作的图的实例。

图5说明在一个实施方案中由搭配图1E的感测与显示设备1300 使用的程序907(图1A)提供的合作空间成像的时序和定序的实例。 在图5中描绘感测与显示设备1300的比较测度和/或叠加测度处理的 定序。在一个实施方式中,感测与显示设备1300可被配置成发射射 出传输(例如发送和接收)周期脉冲链诸如红外光能作为脉冲链信号 500。第一发射(例如来自安装到感测与显示设备1300的红外效应器) 提供较弱照明信号510(具有相对较弱强度),之后跟着中度照明信 号520(具有相对中度强度),且然后跟着较强照明信号530(具有相 对较强强度)。照明信号在时间上间隔开,并相继从传感器朝向图1A 中的第一增强介导现实空间1000中的对象发射。

在一个实施方式中,图1A的程序907可被配置成包括合成孔隙 成像构建器(例如,如编程指令),其被配置成响应通过共享图1A 的第一增强介导现实空间1000的参与者的照明器(例如,效应器) 生成的光空间。在一个实施方式中,程序907可被配置成包括比较测 度合成器404(其在图1AA的一个实例中描绘)和/或叠加测度合成 器405(其在图1AA的一个实例中描绘)。上文诸如参考图2B提供 比较测度和/或叠加测度合成器实施方案的进一步讨论。

具有相对中等强度的中等照明信号520是导致正常曝光于数字 眼镜180(或感测与显示设备1300)的三维相机(传感器)的正常强 度信号。较弱照明信号510是弱信号,诸如1/4(25%)强度,导致 三维相机曝光,例如,即曝光不足的两个f制光圈。较强照明信号530 是相对较强信号,诸如强度是中等照明信号520四倍的信号,导致三 维相机曝光,例如,即曝光过度的两个f制光圈。在一个实施方式中, 第一感知现象效应器912(图1B)可发送(例如,传输或发射)初 始信号至第一增强介导现实空间1000中,且图1B的第一感知现象 传感器910可接收来自位于图1B的第一增强介导现实空间1000中 的对象的反射。

结果是信息的三次曝光或三个“所得物”,其中较弱照明信号510 的第一所得物富含可能或将另外充满传感器的所得物的区域中的突 出细节或细节。在一个实施方式中,所得物是从位于图1A的第一增 强介导现实空间1000中的对象反射的反射照明和/或原始源照明的接 收。来自较强照明信号530的反射富含阴影细节或富含弱信号细节, 例如,针对更远对象或针对具有至三维相机(例如,图1B的第一感 知现象传感器910)的弱能量返回(例如,回射)的对象。

在一个实施方式中,图1B的程序907可被配置成将这三个所得 物(所接收的反射信号)组合以从场景(第一增强介导现实空间1000) 确定比任一个所得物可能个别提供的多的信息。在一个实施方式中, 程序907可被配置成执行对所接收(例如,所反射)数据的比较测度 分析以确定结果:例如,扩展响应三维相机可被提供来通过使用比较 测度分析程序406而方便比较测度分析(在图1AA中的一个实例中 描述和参考图2B讨论)。

在另一实施方式中,相机(传感器和/或效应器)的灵敏度可被 调整来获得例如弱、中等和强的三维图像。一旦这些信号被接收,程 序907就被配置成组合它们,且随后经由它们的图1B的第二感知现 象效应器914的实例而将组合图像显示给用户。此外,因此可获得可 见光图像。

在图1B的第一增强介导现实空间1000中存在多个用户的一些 实施方式中,程序907可被配置成包括叠加测度分析器407(图1AA 中描绘且参考图2B讨论),且程序907可被配置成诸如通过使用叠 加测度空间成像程序408(图1AA中描绘且参考图2B讨论)确定叠 加测度空间成像。

在一个实施方式中,感测与显示设备1300的第一实例被配置成 经由脉冲链信号500捕获三维场景信息或图像(和通过使用图1B的 第一感知现象传感器910和第一感知现象效应器912和程序907)。 感测与显示设备1300的第二实例被配置成使用脉冲链信号509从相 同场景(图1B的第一增强介导现实空间1000)捕获三维信息。在一 个实施方式中,感测与显示设备1300的两个实例可被配置成合作以 使三维场景空间成像,诸如根据具有时隙的时间轴,诸如第一时隙 570、第二时隙571、第三时隙572、第四时隙573、第五时隙574和 第六时隙575。每个时隙可被指派给图1A的第一增强介导现实空间 1000的一个或多个用户。例如,在图示的实施方式中,第一时隙570 可被指派给第一用户;第二时隙571可被指派给第二用户;第三时隙 572可被指派给第三用户;第四时隙573可被指派给第四用户;第五 时隙574可被指派给第一用户;第六时隙575可被指派给第二用户等。 如果第一增强介导现实空间1000中存在更多用户,那么可例如根据 用户的数量依序分配更多时隙。在一些实施方式中,也可使用非依次 顺序。

对于第一时隙570,存在指派给图1A的第一增强介导现实空间 1000的第一用户的三个分割时段。在第一时段期间,数字眼镜180 捕获由于从数字眼镜180发射至与使用他们自己的感测与显示设备 1300的实例的其他用户共享的场景(第一增强介导现实空间1000) 的较弱照明信号510而导致的弱信号的反射(从第一增强介导现实空 间1000中的对象反射)。在第二时段期间,数字眼镜180捕获由于从 与第一用户相关的数字眼镜180发射的中等照明信号520而导致的中 等强度信号的反射。在第三时段期间,数字眼镜180捕获由于从(第 一用户的)数字眼镜180发射且接着随后从位于图1B的第一增强介 导现实空间1000中的物理对象反射的较强照明信号530而导致的相 对较强信号的反射。

对于第二时隙571,存在指派给图1B的第一增强介导现实空间 1000的第二用户的三个分割时段。在第一时段期间,(第二用户的) 数字眼镜190捕获由于从定位在数字眼镜190上的效应器(诸如图 1B的第一感知现象效应器912)发射且发射至用户(参与的每个用 户具有他们自己的感测与显示设备1300的实例)共享的场景(第一 增强介导现实空间1000)的较弱照明信号511而导致的弱信号的反 射。在第二时段期间,数字眼镜190捕获由于从(第二用户的)数字 眼镜190发射的中等照明信号521而导致的中等强度信号的反射。在 第三时段期间,数字眼镜190捕获由于从(第二用户的)数字眼镜 190发射的较强照明信号531而导致的强信号的反射。

相同程序分别针对第三用户及第四用户而针对第三时隙572及 第四时隙573重复。对于第五时隙574,循环重复,返回第一用户, 且较弱照明信号540、中等照明信号550和较强照明信号560生成并 且被使用(类似于第一时隙570)。随后,反射由安装在感测与显示 设备1300的每个实例上的传感器感测且随后由与感测与显示设备 1300的每个(各自)实例相关的程序907的每个实例处理。

对于第六时隙575,循环重复,返回第二用户,且较弱照明信号 541、中等照明信号551和较强照明信号561生成并且被使用(类似 于第二时隙571)等。

可在各种实施方案和实施方式中使用任意类型的多工和/或切 换,诸如时分多工、频域多工等等。

在一个实施方案中,感测与显示设备1300的每个实例被配置成 执行三维HDR(高动态范围)成像,诸如通过包括在图1B的程序 907中的编程指令,其中程序907包括比较测度合成器,所述比较测 度合成器可实施在三维图像、扫描等等的Wyckoff集合上。比较测度 合成器被配置成通过使用方法513组合相同标的物的多个不同所得 物(见图5A的实例)。在一个实施方式中,方法513可被提供为图 1B的程序907中的可执行编程指令。

图5A描绘方法513的实例,包括作为在一个实施方案中被配置 成引导图1B的感测与显示设备1300中使用的处理设备908(图1B) 的编程指令。

(比较测度合成器)的方法513包括操作502,其在一个实施方 式中包括获取Wyckooff组。一旦完成,则然后控制被传递到操作504。

操作504包括确定在操作502中获取的Wyckoff组成员之间的比 较测度关系。一旦完成,则然后控制被传递到操作506。

操作506包括确定Wyckoff组的每个成员的每个级别的确定性函 数。一旦完成,则然后控制被传递到操作508。

操作508包括例如通过使用公式{3}构建加权和。

公式{3}:q^=Σici1kqiΣici

在一个实施方式中,[k]是Wyckoff组的所得物的每个所得物的总 体增益或振幅,[ci]是确定性,且[qi]是感光量图测量阵列(例如,三 维所得物本身)。这样的合成被称为比较测度合成器409(在图1AA 中描绘且相对于图2B讨论)且在图5A的方法513中实施。

因此,甚至感测与显示设备1300的单个实例从使用方法513中 获益。可例如通过叠加测度地使用方法580(见图5A的实例)而继 续进行来自感测与显示设备1300的多个实例的数据汇合(数据收 集)。在一个实施方式中,方法580可以被配置成将包括在图1B的 程序907中且然后由感测与显示设备1300的处理设备908执行的编 程指令。

操作582包括获取量化图的光空间组[qi](例如,一组不同的量 化图,每个量化图由相同标的物的不同照明提供)。一旦完成,则然 后控制被传递到操作584。

操作584包括确定此组中的不同光矢量中的叠加测度关系。一旦 完成,则然后控制被传递到操作586。

操作586包括确定每个叠加测度合成律的确定性函数。一旦完 成,则然后控制被传递到操作588。

操作588包括诸如根据公式{4}的实例构建加权和。

公式{4}:q~^=Σiciq^iΣici

在一个实施方式中,[ci]是由于每个照明源(即,每个光矢量) 而导致的HDR(高清分辨率)图像合成的总体增益或的振幅。这样 的合成被称为叠加测度合成器(例如,由图5A的方法513实施)。

在一个实施方式中,与感测与显示设备1300的各自实例关联的 程序907被配置成由于其自身的光源加上牵涉图1B的第一增强介导 现实空间1000的感测与显示设备1300的所有其它实例中的光源的贡 献而生成量化图信息。

在一个实施方式中,程序907可被配置成组合所有这些光空间量 化图(来自感测与显示设备1300的每个实例的一个光空间图)以形 成主光空间量化图,诸如以在图1B的第一增强介导现实空间1000 中的感测与显示设备1300的所有参与实例之间共享。

在一个实施方案中,图1B的程序907可包括空间成像多工器410 (诸如图1AA中的一个实例中描绘),其被配置成多工来自图1E的 数字眼镜180和图1E的数字眼镜190的扫描。

例如,在一个实施方式中,空间成像多工器可包括时分多工器 411(其描绘在图1AA的一个实例中)。

在一个实施方式中,时分多工器(其可被配置为编程指令)可被 配置成方便与由与图1B的第一增强介导现实空间1000相关的参与 者佩戴的感测与显示设备1300的实例的协作。例如,在一个实施方 式中,可变振幅多工器被配置成:(A)与由第一增强介导现实空间 1000中的其他参与者佩戴的感测与显示设备1300的实例协作;及(B) 响应于从标的物反射的不同程度的照明提供标的物的大致相同所得 物。

图6描绘在一个实施方案中在使用图1E的感测与显示设备1300 的多个参与者之间共享的实时增强介导现实环境的实例。

图6说明合作空间成像及与物理对象的手势型介接的实施方式, 以实现在使用图1E的感测与显示设备1300的多个参与者中共享实时 增强介导现实界面。在一个实施方式中,感测与显示设备1300可被 配置成包括合作手势型界面412(在图1AA中的一个实例中描绘), 其被配置成允许多个用户与现实世界三维物理对象(位于图1B的第 一增强介导现实空间1000)交互,诸如位于图1B的第一增强介导现 实空间1000中的可跟踪盒或对象600的其它实例。

在一个实施方式中,对象600的表面可用标记、图案和/或三维 几何图案注释,或者其天然存在的顶点、拐角、边缘或表面可以由灰 尘、划擦标记、不规则、纹理等等加以区别。这些表面601由数字眼 镜180(例如,与第一用户相关联)、数字眼镜190(例如,与第二用 户相关联)以及数字眼镜196(例如,与第三用户相关联)扫描。这 促进共享触觉增强介导现实应用(例如,包括在程序907中,或者包 括在感测与显示设备1300中或包括在不与感测与显示设备1300相关 联的计算机中)。

用户通过其感测与显示设备1300的各自实例使用交互手势同时 触摸诸如对象600的一个或多个实际物理对象来体验图1B的第一增 强介导现实空间1000和/或与之交互(例如,与第一增强介导现实空 间1000中的任何虚拟对象和物理对象)。

数字眼镜180、数字眼镜190和数字眼镜196允许多个用户在图 1B的第一增强介导现实空间1000中通过感测与显示设备1300与对 象600(位于图1B的第一增强介导现实空间1000中)的这些三维物 理实例交互,诸如多面体对象、具有平坦表面的对象、具有可识别表 面纹理602、图像图标603、可用三维结构(例如,拐角、顶点、边) 识别的特征和/或表面601的对象。在一个实施方案中,图1B的程序 907可被配置成执行编程指令,其被配置用于识别在图1B的第一增 强介导现实空间1000中做出的人类手势。

手势输入610、手势输入611和手势输入612诸如使用三维检测 器和/或传感器、范围三维传感器等等而由数字眼镜180、数字眼镜 190和/或数字眼镜196的实例识别。无线通信模块630、无线通信模 块631和无线通信模块632被配置成支持诸如待发送、共享的手势输 入610、手势输入611和手势输入612的信息的流动,和提供和/或促 进用户经由其感测与显示设备1300的实例在用户(或在对象之间) 之间的互动。在各个实施方式中,无线通信模块631可以被配置经由 各种无线协议例如WiFi、Bluetooth、蜂窝、CDMA、HSPA、HSDPA、 GSM等等用于通信。在一个实施方式中,指向手势用于在共享空间 或共享表面绘制或注释信息或选择标识,以因此允许数字眼镜180、 数字眼镜190和数字眼镜196的多个佩戴者之间的交互。

在一个实施方式中,可以通过使用手势跟踪检测器而促进手势感 测。在图1AA的一个实例中描绘手势跟踪检测器413。

在一个实施方式中,手势跟踪检测器413可包括配置成实施成本 函数、估计器和手势跟踪检测器(所述检测器响应于来自估计器的输 入)的神经网络414(在图1AA中的一个实例中描绘)。为了训练神 经网络,首先定义成本函数。此成本函数表示逻辑回归的对数似然。

根据一个选项,感测与显示设备1300包括在图1AA中描绘的最 佳拟合优化器415。

在一个实施方式中,最佳拟合优化器被配置成通过参数选择来最 大化“最佳拟合”的函数。最小化函数的负数可以例如通过梯度下降器 (例如,否定成本函数)来完成,因此通过使用梯度下降器416(在 图1AA的一个实例中描绘)表述最小化问题的上下文中的最佳拟合 优化器。

最佳拟合优化器可以被配置成例如用于最大化LOG(对数)似 然函数。为了防止过拟合至训练数据,可在一些实施方式中使用正则 化器417;正则化器417被描绘在图1AA的一个实例中。

正则化器417通过在成本函数的末端添加每个参数的平方而实 施正则化项。这些正则化项将在参数变大时惩罚成本函数。可使用并 且在图1AA的一个实例中描绘溢出处罚器418。

在一个实施方式中,溢出处罚器可被配置成计算随着任何参数的 幅值的增加而增加的值。溢出处罚器的实例是加法器,其中加法器的 每个输入上存在调幅器(magnituder),使得输出为输入的绝对值的和。 然而,由于绝对值函数在其一阶微分中在原点具有不连续性,所以溢 出处罚器是在每个输入上具有幅值平方器的加法器。幅值平方器将每 个输入乘以其复共轭(即),以给出输入的平方幅值。溢 出处罚器将每个参数的平方幅值的和加到成本函数。这防止或阻碍浮 点溢出(减少其出现)。在一个实施方式中,通过公式{5}的实例提供 训练成本函数J(θ)。

公式{5}:J(θ)=l(θ)+R(θ,λ)

项[l(θ)]是用于最小化的逻辑回归,由公式{6}提供。

公式{6}:l(θ)=-1sΣi=1sΣj=1c[yj(i)log(hθ(x(i)))j+(1-yj(i))log(1-(hθ(x(i)))j)]

在一个实施方式中,[s]标示训练案例的总数,且[c]标示输出手 势的总数。此函数的目的是从每个训练案例中估算成本。因此,[i] 用于标示正用于计算成本的当前训练案例。[hθ(X(i))]标示从前向传播 得到的估计。在计算来自前向传播的估计之后,逻辑函数可以用于重 新调整0和1之间的数字。

项R(θ,λ)是通过公式{7}提供的正则化项。

公式{7}:R(θ,λ)=λ2s[Σi=1nΣj=1p(θi,j(1))2+Σi=1cΣj=1n(θi,j(2))2]

在一个实施方式中,[n]标示隐藏层中的节点总数,且[p]标示输 入层中的节点总数,其为训练图像中的每个中发现的像素的数量。在 一个实施方式中,训练神经网络包括诸如通过使用诸如深度感测三维 相机的空间成像传感器收集训练数据。例如,感测与显示设备1300 可包括编程指令(将包括在程序907中),其被配置成训练感测与显 示设备1300来识别人的手势,诸如以下项:(A)镶框手势(例如, 双手彼此在对角线中形成拐角,以对在用户手内或超出手的场景或对 象镶框),(B)手指指向手势等等。在一些实施方式中,可以使用人 手势识别程序419、手势库等等(在图1AA的一个实例中描绘)。

在一个实施方式中,程序907可被配置成方便数据收集。收集大 量训练数据是改进学习方法(程序907中所使用的编程指令)的性能 的方式。在设定中(在第一增强介导现实空间1000中),可通过记录 额外手势样本,例如通过连续佩戴感测与显示设备1300(每日使用) (达长时间段)而收集样本数据。可通过不断将用户手势串流化及用 正确的识别标示、数字、标识、标签、等级等等标记手势而实现高准 确度。在一个实施方式中,这可在社交网站上执行,其中一个社区的 用户各具有其感测与显示设备1300的实例。这种连续数据收集方法 导致对学习软件的持续改进;可使用学习软件424(在图1AA的一 个实例中描绘)。

在一个实施方式中,为了避免过拟合训练数据,可实施(与程序 907一起包括)保险软件(fuse software)(例如,被配置为编程指令)。 类似于在太多电流被消耗时熔断(停止传导电流)的电路中的物理保 险丝,保险软件可被配置成在被触发时断开(例如,停止操作),诸 如在太多时间被消耗用于拟合、训练、数据收集等等时。在一个实施 方式中,保险软件可根据具有操作(A)、操作(B)和操作(C)的 方法实施。

操作(A)包括在训练数据与测试数据之间分割数据。例如,分 离的80%数据被识别为训练数据,且剩余20%被识别为测试数据。 一旦完成,控制就被传递至操作(B)。

操作(B)包括在神经网络训练的每次迭代上,运行正向传播以 获得有关训练和测试集合的手势预测准确度和成本。控制被传递至操 作(C)。

操作(C)包括连同训练迭代的数量一起考虑有关训练和测试集 合的成本。

在某点(例如,大约2000个迭代),测试数据的成本开始增大, 同时训练数据的成本仍在减小。这暗示在大约2000个迭代后,神经 网络被过度训练为训练数据;即,对于神经网络被留下永远训练的情 况,神经网络可能只匹配训练数据中的项目,且可排斥多数其它项目。

根据一个选项,程序907包括用于针对神经网络的训练阶段实现 大约99.8%的准确度的编程指令。经训练神经网络的交叉验证实现大 约96.8%的准确度。例如,只手势识别软件的帧/秒(FPS)性能可为 大约100FPS,而包括手势识别软件的感测与显示设备1300的性能 为大约30FPS。

图7描绘在一个实施方案中在使用图1E的感测与显示设备1300 的多个参与者(用户)之间共享的实时增强介导现实的另一个实例。

更具体地,图7说明使用图1E的感测与显示设备1300的合作空 间成像及与虚拟或物理对象的手势型介接的实例。在一个实施方式 中,描绘结合虚拟气泡隐喻使用的数字眼镜180的实例,其中虚拟对 象或现实对象700被气泡隐喻(如气泡的东西)的用户的手710触摸。 在说明的实例中,气泡是图标符号,其中图标经由图8A的用户界面 800对用户而言看起来如气泡,且表现如气泡(在一定程度上)。在 一个实施方式中,程序907可被配置成包括气泡隐喻生成器420(在 图1AA的一个实例中描绘),其中例如,气泡图像(例如,三维)出 现在(针对用户的)用户界面800上。例如,在一个实施方式中,当 手与气泡图像的球体相交时,气泡图像改变为气泡破灭的动图(例如, 视频图像)、动画图形、交互动画(例如,诸如可能对环境中的用户 肢体和/或对象的位置敏感)等等(也在图8B和图8C的实例中示出); 随后破灭气泡720从屏幕(用户界面800)上消失。在一些实施方式 中,气泡是菜单项或菜单图标的实例。

在一个实施方式中,气泡隐喻生成器420可被配置成通过使用公 式{8}定义球体和球体的体积的体积内容。

公式{8}:

在一个实施方式中,[r]是球体(气泡)的半径。球体的体积是零, 因为它的表面存在于三维空间中的零测度集上。

但是,球体内所含体积是[4πr3]且这个体积因此在三维空间中具 有非零测度。类似地,来自用户的手710的数据点云被计算且当手 710和/或它的点云侵入球体的体积和/或点云时,由程序907生成干 扰信号。

在一个实施方式中,程序907可被配置成执行操作,包括计算干 扰信号的强度,诸如根据Neyman-Pearson恒虚警率,且在统计上设 定阈值来在充分侵入时使气泡破灭。在一个实施方式中,可对用户肢 体(手指、手、腿、脚等等)至球体(气泡)体积中的点云侵入程度 执行统计显著性测试。

在一个实施方式中,程序907可被配置成执行操作,其包括执行 至球体(或其它形状)的侵入程度的这种测量;用于执行这个操作的 编程指令可被称作球形体积侵入估计器421(在图1AA的一个实例 中描绘);当这样一个估计器被设定阈值或用作其它动作的触发器时, 编程指令可被称作体积侵入检测器422(图1AA中描绘)。体积侵入 检测器422被配置成检测球体体积(气泡)和/或任意形状的其它体 积的侵入。

气泡隐喻生成器420包括在一个实施方案中将包括在程序907中 的编程指令且被配置成在一个实施方式中创建一个或多个气泡、气 球、球或其它二维或三维形状和/或图标的视频图像、动画图形、交 互动画等等,且导致每个形状在用户身体的所有或部分的点云与二维 或三维形状的内部区域或体积相交至充分和/或指定程度时消失(或 自毁或破灭)。

根据一个选项,气泡破灭程序423(在图1AA中的一个实例中 描绘,且可被称作气泡破灭隐喻)可包括物理对象(例如,球)的一 个或多个表示,其可被使用且在被用户触摸时交互以变为气泡(例如, 虚拟图标)。使用物理对象(图1A的第一增强介导现实空间1000中 的现实对象)可添加触摸元素至如先前针对桌面、地板表面等等描述 的气泡隐喻生成器。

在一个实施方式中,感测与显示设备1300的两个实例的传感器 (例如,接收器)可接收由感测与显示设备1300的实例的效应器照 明的图像,因此在感测与显示设备1300的两个实例的情况中,感测 与显示设备1300的每个实例捕获六个所得物:三个所得物来自感测 与显示设备1300的光源,且三个所得物作为场景(第一增强介导现 实空间1000)看似被与感测与显示设备1300的另一个实例相关的效 应器照明。不同曝光及不同照明的图像的这些集合提供额外空间信 息,但是不只是光量度立体,而且在一些实施方式中也提供三维空间 成像及传感器融合。

图8A描绘在一个实施方案中结合图1E的感测与显示设备1300 使用的用户界面800的示意实例。

在一些实施方式中,用户界面800包括(且不限于)第一界面区 段,其被配置成经由介面组合件902(图1A)显示从第一增强介导 现实空间1000导出的现象,所述介面组合件902被配置成与第一增 强介导现实空间1000传送传感器信号904和效应器信号906。用户 界面800还包括第二界面区段,其被配置成经由介面组合件902显示 从第二增强介导现实空间1002导出的现象,所述介面组合件902被 配置成面向、检测第二增强介导现实空间1002、与第二增强介导现 实空间1002进行交互等等。第二界面模块905被配置成与第二增强 介导现实空间1002传送传感器信号904和效应器信号906。效应器 信号906是至少部分可由用户在第一增强介导现实空间1000和第二 增强介导现实空间1002的任一个中呈现的。

在一个实施方式中,用户界面800由图1A的程序907提供。图 8A描绘使用气泡(作为图标)用于第一设置操作的用户界面800的 示意实例。在一些实施方式中,诸如为了达成美观的极简风和物理安 全性,一旦手指进入视场,气泡就在用户界面800中朝向视场802上 升。视场802与感测与显示设备1300的效应器相关,其将用户界面 800投影至感测与显示设备1300的用户的眼睛。用户界面800供用 户801使用。用户界面800可通过感测与显示设备1300观看。在一 个实施方式中,用户界面800内的视场802可包括网格;网格包括一 个或多个单元,诸如可被布置为矩阵(例如,布置为电子表格)。在 图8A的实例中,单元被示为矩形,其在尺寸上相同且被布局为非重 叠单元的规则矩形网格。但是,在其它实施方式中,网格和/或它的 单元可为不同大小、形状、取向等等,可重叠,可被布局为矩形栅格、 蜂巢布置和/或任意其它规则或不规则图案。用户界面800包括一个 或多个气泡和/或气泡组803(或多组),诸如可被布置和/或收集为一 个或多个群或组。举例来说,描绘气泡组803的四个实例,包括工作 气泡804、媒体气泡805、玩气泡806和社交气泡807等等。在一个 实施方式中,气泡组803的每个气泡一旦被选择,就允许用户观看与 所选择气泡相关的设置、应用、数据集合等等。

图8B描绘在一个实施方案中结合图1E的感测与显示设备1300 使用的用户界面800的示意实例。图8B描绘使用气泡(作为图标) 用于第二设置操作的用户界面800的示意实例。在一个实施方式中, 应用文件夹可通过弹爆与应用文件夹相关的图标而打开,诸如可经由 手势识别技术检测(例如,将用于程序907中的编程指令);一旦应 用文件夹被打开,其它气泡将从视场802吹出。在一个实施方式中, 应用文件夹包括应用和/或与其相关的可选择图标、快捷方式、气泡 等等的集合。

图8C描绘在一个实施方案中结合图1E的感测与显示设备1300 使用的用户界面的示意实例。图8C描绘使用气泡(作为图标)用于 第三设置操作的用户界面800的示意实例。在一个实施方式中,应用 文件夹通过弹爆应用文件夹而打开,诸如可使用手势识别技术检测; 一旦应用文件夹被打开,其它气泡将从视场802吹出。

图9A描绘在一个实施方案中结合图1E的感测与显示设备1300 使用的用户界面800的示意实例。图9A描绘用户界面800中的文件 夹选择的示意实例。在一个实施方式中,文件夹图标可绕视场802的 虚x轴垂直螺旋。在其它实施方式中,可采用其它形式的动画。

图9B描绘在一个实施方案中结合图1E的感测与显示设备1300 使用的用户界面800的示意实例。图9B描绘用户界面800中的文件 夹选择的示意实例。文件夹现在在视野中,且准备用于手指选择。

图10A描绘在一个实施方案中结合图1E的感测与显示设备1300 使用的用户界面800的示意实例。图10A描绘用户界面800中的应 用选择的示意实例。应用类似于文件夹被选择并且进入视场802。在 一个实施方式中,1:5的比率(大约)可用作三维不透明标志-气泡比, 作为软件应用的图标。

图10B描绘在一个实施方案中结合图1E的感测与显示设备1300 使用的用户界面800的示意实例。图10B描绘用户界面800中的应 用选择的示意实例。在一个实施方式中,所选择应用的标志可快速螺 旋、旋转等等至用户界面800的顶部拐角。在一个实施方式中,1:10 的比率(大约)用于调整标志相对单元的大小(例如,作为3x3单元 网格的部分的单元)。

图11A描绘在一个实施方案中结合图1E的感测与显示设备1300 使用的用户界面800的示意实例。图11A描绘用户界面800中使用 的设置选择的示意实例。在一个实施方式中,一旦在视场802的右上 区段上跟踪到(用户801的)手指,就出现设置气泡、按钮等等808。 这可能例如在应用内发生(针对局部设置)及从主页屏幕发生(针对 全局设置)。因此,在一个实施方式中,用户界面800包括设置气泡 808。

图11B描绘在一个实施方案中结合图1E的感测与显示设备1300 使用的用户界面的示意实例。图11B描绘用户界面800中的水平选择 的示意实例。在一个实施方式中,一旦设置被选择,设置就可绕网格 的最右列向内螺旋。设置气泡808可包括、连接至和/或提供访问至 例如:设置类型810(用于设置亮度)、设置类型811(用于设置响度)、 设置类型812(用于设置网络连接)、设置类型813(用于设置冥想模 式)等等。

图11C描绘在一个实施方案中结合图1E的感测与显示设备1300 使用的用户界面800的示意实例。图11C描绘针对gummy设置的设 置选择(在用户界面800中)的示意实例;例如,一旦亮度设置被选 择,gummy线就从亮度设置图标的中央拉伸至用户的手指。在一个 实施方式中,比例尺控制量度。

图12描绘在一个实施方案中结合图1E的感测与显示设备1300 使用的用户界面800的示意实例。图12描绘用户界面800的视觉搜 索菜单的变化视图(鸟瞰图)的示意实例。

图13描绘在一个实施方案中的图1E的感测与显示设备1300(也 称作硬件阵列)的示意实例。图13描绘在一个实施方式中在感测与 显示设备1300中使用的硬件的示意实例。例如,感测与显示设备1300 可包括:第一现象界面1302,其被配置成与第一增强介导现实空间 1000介接;和第二现象界面1306,其被配置成与第二增强介导现实 空间1002介接。第一现象界面1302的实例包括图1A和/或图1B的 界面组合件902。

根据一个选项,第一现象界面1302包括第一感知现象效应器(诸 如图1B的第一感知现象效应器912)和第一感知现象传感器(诸如 图1B的第一感知现象传感器910),各被配置成与第一增强介导现实 空间1000可操作地交互。第二现象界面1306包括第二感知现象效应 器(诸如图1B的第二感知现象效应器914)和第二感知现象传感器 (诸如图1B的第二感知现象传感器916),各被配置成与第二增强介 导现实空间1002可操作地交互。第一感知现象效应器的实例包括图 1B的第一感知现象效应器912,且第一感知现象传感器的实例包括 图1B的第一感知现象传感器910。第二感知现象效应器的实例包括 图1B的第二感知现象效应器914,且第二感知现象传感器的实例包 括图1B的第二感知现象传感器916。

根据一个选项,处理组合件1304被配置成可操作地耦合至第一 现象界面1302和第二现象界面1306。处理组合件1304被配置成与 第一感知现象效应器、第一感知现象传感器、第二感知现象效应器和 第二感知现象传感器可操作地交互。处理组合件1304的实例包括图 1A和/或图1B的处理设备908,且在一个实施方式中可被配置成可 操作地耦合至第一现象界面1302和第二现象界面1306。

感测与显示设备1300包括(例如)第一现象界面1302。第一现 象界面1302可包括空间成像传感器,所述空间成像传感器被配置成 包括手指跟踪器、深度相机等等。第一现象界面1302可为图1B的 第一感知现象传感器910和/或第一感知现象效应器912的组合的实 例。在一些实施方式中,第一现象界面1302被配置成检测、监测和/ 或跟踪佩戴者(例如,用户)的肢体(手、手指、手臂、腿、脚等等)。 第一现象界面1302的实例包括相机、三维空间传感器、三维扫描装 置、三维传感装置等等。处理设备908可被配置成执行空间成像软件。 设备1300进一步包括第二现象界面1306,其被配置为可佩戴。第二 现象界面1306可被配置为头戴式显示器、透视头戴式显示器、双目 头戴式显示器等等。

在一个实施方案中,设备1300也包括处理组合件1304,其在一 个实施方式中是图1A的处理设备908的实例和/或部件,且可包括中 央处理单元和/或图形处理单元等等。

在一个实施方案中,设备1300还包括第二现象界面1306,诸如 空间成像显示器,其可包括头戴式显示单元(以例如形成双目光学透 视头戴式显示器)。在一个实施方式中,第二现象界面1306被配置成 容许观看者观看图1A的第一增强介导现实空间1000及观看第二增 强介导现实空间1002(例如,同时)。在一个实施方式中,深度图1308 由第一现象界面1302提供至处理组合件1304(和/或图1A的程序 907)。第二现象界面1306是图1B的第二感知现象传感器916和/或 第二感知现象效应器914的组合的实例。

在一个实施方式中,深度图1308是由第一现象界面1302在场景 (例如,在图1A的第一增强介导现实空间1000中)中识别的物理 伪影的数字图。

图14描绘在一个实施方案中图13的设备1300的示意实例。设 备1300提供被配置成促进增强介导现实功能的部件的组合。设备 1300可被实施在个人计算机(诸如,例如台式计算机、膝上型计算 机、平板计算机或智能电话等等)中。在一个实施方式中,设备1300 可被实施为可在用户头上佩戴作为一对眼镜的装置。在一个实施方式 中,设备1300包括被配置成提供图8A的用户界面800的硬件部件 和一组软件应用(例如,图1A的程序907中的编程指令)。

在一个实施方式中,设备1300被配置成促进观看第二现象界面 1306上的立体三维图像。设备1300被配置成通过增强介导现实环境 (例如,在图1A的第一增强介导现实空间1000中)中的所有或任 何用户手势移动子集操作和/或识别之。在一个实施方式中,设备1300 可被配置成识别用户身体和/或肢体(例如,手指、手、手臂、腿、 脚等等)的受控移动(手势),诸如以模拟与由效应器装置投影的计 算机化投影(诸如,例如,虚拟键盘)的交互。效应器装置可投影可 在一个或多个坐标系中观看的二维和/或三维的图像。这样的坐标系 可以例如被固定到第二现象界面1306或身体,或对齐到第一增强介 导现实空间1000中的现实世界对象。

此外,在一个实施方式中,计算机化应用(编程指令,诸如,生 产力解决方案、游戏、媒体等等)可通过设备1300而在三维增强介 导现实中(例如,在第一增强介导现实空间1000或第二增强介导现 实空间1002)受到控制,诸如在第二现象界面1306前方的空间中使 用用户的手指、手和/或手臂移动,且可相对于物理部件(诸如,例 如表面、窗台和门框)配准。

设备1300可被配置成用于多种用途,诸如,例如:体操指导, 诸如舞蹈、武术、田径赛跑、体育指导等等指导,其中增强介导现实 (例如,虚拟三维)教练展示动作。在两个或多个用户佩戴设备1300 的情况下,增强介导现实教练被配置成通过透过设备1300进行动作 的交叉识别而纠正学员(用户)的动作。设备1300可被配置成用于 多种用途,诸如,例如:观看相对于用户的头部或表面固定的全立体 三维电影。设备1300可被配置成用于多种用途,诸如,例如:增强 介导现实键盘,其中被跟踪的手指划过按键并且使用逻辑、编程指令 等等构造字,诸如下文在软件应用中描述。进一步实例在下文中描述 于软件应用中。在一些实施方式中,设备1300的部件可被简化、微 型化等等,诸如以例如配合在一对眼镜框上,其中设备1300的部件 可嵌入眼镜框的框架中。设备1300包括硬件装置和软件(编程指令) 的协作组合,其被配置成控制用户界面800(图8A)和一组软件应 用。

参考图13,根据一个选项,设备1300包括第一现象界面1302、 第二现象界面1306和处理组合件1304的组合。

根据另一个选项,设备1300包括处理组合件1304,所述处理组 合件1304可操作地耦合至第一界面模块903(其被配置成可操作地 耦合至第一现象界面1302),且也可操作地耦合至第二界面模块905 (其被配置成可操作地耦合至第二现象界面1306)。

根据又一个选项,设备1300包括界面系统。界面系统包括:第 一界面模块903,其被配置成可操作地耦合至第一现象界面1302;第 二界面模块905,其被配置成可操作地耦合至第二现象界面1306;和 第三界面,其被配置成可操作地耦合至处理组合件1304。

在一个实施方式中,设备1300包括第一现象界面1302,所述第 一现象界面1302被配置成检测从图1A的第一增强介导现实空间 1000接收的感知现象(诸如,视觉现象、音频现象、触觉现象等等)。 在一个实施方式中,第一现象界面1302也可被配置成将感知现象(诸 如,图像等)提供和/或传输至图1A的第一增强介导现实空间1000。 在一个实施方式中,第一现象界面1302也可被配置成取向为(指向) 背离用户的眼睛且朝向第一增强介导现实空间1000。

在一个实施方式中,第一现象界面1302包括第一现象传感器和 第一现象效应器。提及第一现象传感器可包括第一现象传感器的一个 或多个单个实例(一个)。将了解,提及第一现象效应器可包括第一 现象效应器的一个或多个单个实例(一个)。例如,第一现象传感器 可包括空间成像传感器、深度相机、手指跟踪相机(包括各自软件) 等等。深度相机的实例包括:(i)Asus(商标)Xtion Pro(商标)系 统;(ii)Leap-Motion(商标)系统;(iii)Creative(商标)交互手势 相机;(iv)PMD(商标)CamBoard nano等等。第一现象效应器可 包括扬声器、灯、照明装置、视频或全息投影仪、激光等等。

在一个实施方式中,第一现象界面1302(例如,经由第一现象 传感器)被配置成计算、生成和/或提供深度图1308至处理组合件 1304。第一现象界面1302被配置成提供(返回)位于图1A的第一 增强介导现实空间1000中的各种物理部件(诸如表面、窗、门)的 坐标和空间取向。深度图1308被配置成允许物理部件(对象)的跟 踪,诸如为了配准目的。在一个实施方式中,第一现象界面1302可 包括手指跟踪深度相机,其被配置成提供深度图1308。第一现象界 面1302被配置成将深度图1308转移或传输至耦合至处理组合件1304 的存储器组合件909(图1A)。存储在存储器模块中的软件(编程指 令)被配置成使用深度图1308,诸如以跟踪用户的肢体(手指、手、 手臂、腿、脚)和/或位于第一增强介导现实空间1000中的物理部件 (诸如,门框、窗、表面等等)。深度图1308可由结合设备1300使 用的其它软件应用(编程指令)访问和/或使用。在一个实施方式中, 存储在存储器组合件909中的软件可被配置成基于由相机提供的深 度图1308计算被跟踪项目的物理[X,Y,Z]坐标。[X,Y,Z]映射(深度或 维映射)可例如在关联至用户的身体和/或设备1300本身或关联至配 准平面(例如,与物理对象相关)的坐标系内发生。

对于用户佩戴设备1300的一些实施方式,第一现象界面1302面 向和/或另外取向在用户的视场(也被称作图1A的第一增强介导现实 空间1000)的方向上。在一个实施方式中,用户的视场是眼正向观 看方向。例如,在一个实施方式中,用户的视场可能是用户可能能够 观看用户手指的位置的方向。对于用户在虚拟键盘上打字的情况,即 使用户在看其它地方,用户的手指仍可通过第一现象界面1302被跟 踪。在一个实施方式中,第二现象界面1306面向朝向(例如,取向 为朝向)用户的眼(图1A的第二增强介导现实空间1002)的方向。

举例来说,第一增强介导现实空间1000可是、代表和/或关联至 物理位置,其中具有其自身的设备1300的实例的至少两个用户可通 过与由与至少一个或多个用户相关联的设备1300的至少一个或多个 实例提供的(第一增强介导现实空间1000内的)感知现象的用户交 互而在第一增强介导现实空间1000内交互(例如,合作、比赛、打 斗等等)。

举例来说,第一增强介导现实空间1000可是、代表和/或关联至 物理位置,其中至少一个用户具有设备1300的实例且可通过与由设 备1300的第一现象界面1302提供的(第一增强介导现实空间1000 内的)感知现象的用户交互而在第一增强介导现实空间1000内交互。

在一个实施方式中,第二现象界面1306被配置成检测接收自用 户的感知现象(诸如跟踪眼运动、面部表情等等)。第二现象界面1306 也可被配置成将感知现象(诸如图像、视频、图形、声音等等)提供 和/或传输至图1A的第二增强介导现实空间1002中的用户。在一个 实施方式中,第二现象界面1306也可被配置成取向(例如,指向) 为朝向用户的一只眼或两只眼且背离第一增强介导现实空间1000。 在其它实施方式中,第二现象界面1306可被配置为取向为朝向相对 于用户的后方、上方、下方、周围、远端等等的区域。

在一个实施方式中,第二现象界面1306包括第二现象传感器和 第二现象效应器。提及第二现象传感器可包括第二现象传感器的一个 或多个单个实例(一个)。提及第二现象效应器可包括第二现象效应 器的一个或多个单个实例(一个)。在各种实施方式中,第二现象传 感器可包括空间成像传感器、深度相机、手指跟踪相机(包括各自软 件)等等。在一个实施方式中,第二现象效应器可包括音频输出(例 如,耳机)和/或被配置成将图像显示给用户的眼的显示单元。

在一些实例中,处理组合件1304可被称作空间成像处理组合件, 且是图1A的处理设备908的实例。处理组合件的实例包括中央处理 单元、图形处理单元、微处理器、专用集成电路(ASIC)等等。在 一个实施方式中,处理组合件1304可被配置成基于由第一现象界面 1302提供和/或从其接收的信息计算对象(诸如手指骨、手或手臂和/ 或用户的其它肢体)的空间位置和取向。处理组合件1304被配置成 执行编程指令,且在一些实施方式中可被配置有网络连接和/或耦合 至网络连接(无线或有线)。在一个实施方式中,处理组合件1304可 被配置成提供代表感知现象的信息(例如,空间图像)至第二现象界 面1306(图1A的第二增强介导现实空间1002中)。处理组合件1304 可包括例如:移动电话、移动计算机(例如,附着和/或构建至带中)、 固定计算机(例如,放置在桌子上)等等。

处理组合件1304被配置成执行软件(编程指令),且在一个实施 方案中被配置成诸如基于深度图1308中所包括的信息计算(第一增 强介导现实空间1000中的用户和/或多个用户的)手指、手和/或手臂 的位置和取向的空间坐标。

在一个实施方式中,设备1300可包括用户可佩戴框,其被配置 成由用户佩戴(诸如可头戴框、眼镜框、护目镜、面罩等等),且也 可被配置成支持设备1300的部件的任意组合。

软件应用

下文描述的软件应用(编程指令)可被配置成与设备1300协作。 在一个实施方式中,软件应用被配置成使用存储在图1A的存储器组 合件909中的深度图1308(图13)。深度图1308由第一现象界面1302 (例如,经由与其相关的传感器)提供至诸如处理组合件1304。各 种软件应用可被配置成基于深度图1308生成图形图像,且将图形图 像显示给用户(例如,经由第二现象界面1306)。在一个实施方式中, 图形图像描述位于第一增强介导现实空间1000中的被跟踪手指、手、 手臂、腿、脚、棒和/或其它用户肢体和/或物理部件(例如,窗、门、 表面等等)的相应移动。

软件应用的实例包括用户界面应用,其被配置成管理用户界面 800(图8A中描绘)用于射击游戏。软件应用被配置成方便用户交 互技术和用户跟踪(手势);例如,在一个实施方式中,用户的食指 可作为枪的枪管被跟踪,且拇指端与手掌之间距离的缩短(通过弯拇 指)指示用户希望触发虚拟抢开火。软件应用被配置成增强图像,诸 如图1A的第一增强介导现实空间1000中显示的虚拟目标,其中目 标可用虚拟枪射击,且图像经由第二现象界面1306显示给用户。

软件应用的实例包括增强介导现实射击游戏。软件应用被配置成 方便用户交互技术和用户跟踪(例如,按类似于射击游戏中所使用的 方式)。软件应用被配置成显示虚拟目标,其相对于现实物理世界和/ 或其中的对象配准。使用虚拟枪或武器射击虚拟目标。(虚拟目标与 物理对象之间的)配准可通过跟踪物理部件(例如,室内部件)而发 生,诸如经由深度图1308。

软件应用的实例可包括增强介导现实键盘。软件应用被配置成提 供和/或显示图形给用户:虚拟键盘存在于由针对用户的第二现象界 面1306所示的视场下方。一旦通过设备1300的传感器检测到交互技 术(例如,用户手势运动),诸如“张开手抬高/放低(Open Hand  Raising/Lowering)键盘”手势,软件就被配置成导致键盘的图像抬高 且进入用户的视场。在一个实施方式中,虚拟键盘可相对于配准的物 理部件、相对于设备1300的取向等等固定在用户身体的、第二现象 界面1306的坐标系内。在一个实施方式中,软件被配置成按下列方 式与用户交互。用户手势被用户用作张开手抬高/放低键盘手势。一 旦张开的手可见(例如,至少阈值数量的指尖,例如两个)超过预定 时间量(例如,一秒),软件就被配置成将增强介导现实键盘抬高至 用户的视场。用户可起始软件被配置成对其响应的“划动手指输入装 置”手势。软件被配置成检测手势,其中张开手手势可被停用(例如, 通过握紧手或只跟踪一根手指)且作为响应,软件导致增强介导现实 键盘的图像放低以将键盘从用户的视场移除。一旦(用户的)手再次 张开达超过预定时间量(例如,一秒),增强介导现实键盘的图像的 放低就可被完成。

在一个实施方式中,软件可被配置成响应另一个用户交互技术, 包括划动手指输入装置。用户划过增强介导现实键盘的希望按键。在 一个实施方式中,这可通过将被跟踪手指的运动以及按键的静态位置 固定至相同的z平面而实现。在这个示例性配置中,[X,Y,Z]坐标系可 固定至第二现象界面1306、用户的身体、设备1300的取向、第一增 强介导现实空间1000中的配准物理部件(诸如桌子或球体)等等。 一旦输入运动和静态按键都被固定至相同对象(例如,平面、表面), 通过移动手指,用户就可允许输入装置沿着这样一个坐标系内的[X,Y] 坐标划动,如此:手指的[X,Y]坐标从第一现象界面1302返回(例如, 经由深度图1308)且在场景(第一增强介导现实空间1000)中更新。 当手指的[X,Y]坐标改变时,按键(每个按键的位置相对于第二现象 界面1306、身体或对象固定)与手指相交。每个被相交的按键可触 发动作事件,其可将其按键ID(识别符)传播至本地和后端程序的 一个或两个。与后端程序的通信可例如经由网络通信。在一个实施方 式中,后端程序诸如经由图案识别和/或自然语言处理而确定希望写 什么字,并且返回希望字或字建议。在另一个示例性配置中,[Z]参 数未固定,且手指本身可与悬停在空间中的虚拟按键相交。在又一个 示例性配置中,虚拟按键可表现为表面或对象顶部上或悬停在固定至 第二现象界面1306或用户身体的坐标系中的三维形状(例如,凸块、 球体、立方体、按钮、灯等等),且手指可指压这些凸块来实现打字。 在其它实施方式中,除手指外或作为手指的补充的肢体(例如,触控 笔或棒、手臂、手、一组手指、腿、脚等等)可用于打字和/或与虚 拟键盘的其它交互。

软件应用的实例可包括新闻阅读应用(新闻轮播程序 (carousel))。在一个实施方式中,软件可被配置成:(A)(向用户) 显示图形,包括透明形状(例如,气泡),其中具有文章/媒体标题(例 如作为不透明的三维网格呈现字母);和(B)绕视觉显示轴和/或不 可见的垂直轴旋转图形。轴可相对于第二现象界面1306、用户身体 和/或第一增强介导现实空间1000中的被跟踪房间内的垂直轴固定。 轮播程序也可被跟踪。在最后一种情况(其中垂直轴在被跟踪环境内) 的实施方式中,如果用户背离轮播程序,那么囊封文字的透明形状将 消失,且当用户转身回来时,文字将再次出现在文字占据的最后位置, 同时在用户的视场中。当例如通过使用交互技术诸如“握指划动 (Bunched Swipe)”手势向左及向右划动文字时,文章绕轴旋转。可 例如通过使用诸如“紧捏移动并弹爆(Squeeze to Move and Pop)”手 势的交互技术选择最靠近用户的文章(媒体)。一旦文章被弹爆,文 章的主体就在视场内生长;文章变得比单个透明形状(例如,气泡) 大;或文章保持透明形状的大小;用户可阅读文章。

软件被配置成方便用户交互技术,诸如握指划动手势的识别。若 干手指可被握在一起,且这个手势可诸如通过检测食指的指尖和中指 的指尖,且随后一起跟踪手指,从深度图1308返回一组[X,Y,Z]坐标 而被跟踪;用户在任意方向上的划动手势随后可在一个实施方式中导 致例如虚拟轮播程序绕垂直轴在所述各自旋转方向上的旋转。

软件被配置成方便用户交互技术,诸如紧捏移动并弹爆手势。透 明囊封形状(例如,气泡)内的文章可被选择,且基于紧捏的程度而 移动,在一个实施方式中,其可根据下列实例确定:

操作(1)包括移动紧捏手势的识别;例如,测量食指与拇指之 间的被跟踪距离。如果气泡高于某个阈值(例如,5厘米),且低于 另一个阈值(例如,10厘米),那么形状沿着手的运动方向移动(类 似于在三维空间中拖动鼠标)。

操作(2)包括识别弹爆紧捏手势。如果距离低于两个阈值,那 么形状被弹爆,且在这种情况下,文章的主体生长以填满视场。在示 例性配置中,当握指扫动手势(运动)被应用至文章或媒体项目时, 用户看见形状未弹爆(即,形状再次囊封文章或媒体的主体)。

操作(3)包括无运动的识别。软件被配置成检测距离是否高于 两个阈值且形状是否在运动,及形状是否变为静止。如果形状最初是 静止的,那么形状将保持静止。

软件应用的实例可包括表面上的多个立体三维呈现。在一个实施 方式中,软件被配置成根据下列实例跟踪用户:使用表面跟踪技术, 诸如基准标记,或硬件系统的本地物理部件深度跟踪器,可跟踪环境 中一个或多个表面(例如,壁)的位置和取向。在一个实施方式中, 软件可被配置成将图形图像诸如通过下列实例呈现给用户:立体或另 外的二维和/或三维图像(例如,电影、网页、虚拟书架、虚拟画廊 和/或其它媒体呈现)相对于一个或多个被跟踪表面固定用于观看。 在一个实施方式中,相同电影帧或媒体项目的互补区段可显示在不同 壁上,且在进一步实施方式中,其积累特效针对单个帧在所有方向上 提供深度错觉。在另一实施方式中,所有呈现类型可使用被跟踪的手 交互(例如,以执行操作开始、停止、快进、快退、暂停、滚动、使 用键盘、平移、放大、旋转)。

软件应用的实例可包括虚拟造型。在一个实施方式中,这个软件 可被配置成呈现虚拟形状(例如,多面体,诸如立方体),其可相对 于被跟踪表面和/或对象固定(例如,具有与被跟踪物理部件(诸如 桌子)共面的一个面)或在用户前方的空间中。在一个实施方式中, 被跟踪的手的骨架可用于给虚拟对象造型,且通过对被跟踪手与虚拟 对象之间的交互的任何点造型(例如,使用逼真的粘土造型隐喻,由 此在手指与多面体相交时,多面体朝向质心向内动态凹陷)而改变其 构造。在一个实施方式中,使用看似悬停在用户的深度跟踪手臂顶部 上的虚拟菜单(调色盘),用户可将他的另一只手浸入悬停在手上方 的调色盘中,且使用另一只手来应用特效(诸如纹理、颜色、透明度 或不透明度、亮度等等)至立方体。在另一实施方式中,对象可为可 分组为多层的多个其它对象的合成。在这样一种实施方式中,选择菜 单项可容许被跟踪手指示层/对象选择,且随后造型/纹理菜单项可容 许被跟踪手对所选择项目造型或纹理化。

软件应用的实例包括有或无多个学员(用户)的房间中的增强介 导现实教练。在一个实施方式中,软件可被配置成跟踪用户动作,例 如:在这个情况下,被跟踪的物理部件是房间(例如,表面,诸如地 板)。在一个示例性操作模式中,软件方便“Boxing against Muhammad  Ali”游戏,且用户的紧握拳头被跟踪。在另一个示例性操作模式中, 软件方便“Group yoga instruction”,且第一用户的身体由第二用户的深 度相机跟踪。在一个实施方式中,增强介导现实教练的动画出现在相 对于世界坐标内的两个用户的相同位置取向和比例,因为他们的位 置、旋转和比例使用社交跟踪器法互相跟踪。

在一个实施方式中,软件被配置成方便游戏“Boxing against  Muhammad Ali”,其中软件被配置成呈现真人大小、三维(立体或其 它)增强介导现实教练(诸如,虚拟的Mohammad Ali)的图形图像, 其如通过设备1300的第二现象界面1306所见看似近距离面朝用户。 虚拟人体连接和/或配准至物理部件跟踪(例如,地板)。虚拟人体可 击打用户,用户可俯身并且避开击打(因此得分)或可接受击打(因 此丢分)或可在游戏继续进行时击打虚拟人体(因此得分)。

在一个实施方式中,软件被配置成方便游戏“Yoga Instruction”, 其中软件被配置成操作第一模式,包括单人瑜伽指导;在地板上,增 强介导现实教练叠加在增强介导现实环境中。例如,在瑜伽的情况下, 增强介导现实教练定位为与用户相距一定距离,面向用户并且向用户 展示正确的瑜伽动作。在这样一种情况下,用户模仿由增强介导现实 教练提供的动作。

在一个实施方式中,软件也被配置成操作第二模式,包括瑜伽指 导和纠正;为了实现这种交互,一个示例性配置包括两个或多个用户 以高于特定阈值(诸如,5米)的距离面向彼此。第一用户的传感器 (例如,深度相机)操作以跟踪第二用户的骨架,且反之亦然。接下 来,增强介导现实教练将叠加在用户之间,且基于骨架跟踪,转向相 关用户并且纠正其体形并且为各种瑜伽动作提供相关指导。在另一个 示例性配置中,另一个单独传感器(例如,深度相机)可面向佩戴第 二现象界面1306(图13中描绘)的单个用户,且增强介导现实教练 可基于用户的骨架位置纠正单个用户的动作。

软件应用的实例可包括增强介导现实策略、生命模拟游戏、模拟 器等等,其相对物理表面被跟踪,诸如使用无标记跟踪,及在三维空 间中被看见。在一个实施方式中,软件被配置成包括用户交互技术和 跟踪的模式;用户的手可与虚拟世界内的化身/结构交互(例如,掌 击、举手击掌、爱抚等等交互)。游戏/虚拟器的虚拟沙箱可相对于被 跟踪的表面或物理部件(诸如床、地板和/或天花板)固定。在一个 实施方式中,软件可被进一步配置成呈现图形图像,诸如在与用户的 手交互时,化身可用特定的动画序列反应(例如,在被“掌击”时,化 身将跳起)。在一个实施方式中,配准的用户手势经由存储在数据库 中的记录(例如,包括关联手势和输出表)被关联至所显示输出,诸 如动画序列。

软件应用的实例可包括社交跟踪器。在一个实施方式中,软件被 配置成跟踪与社交交互相关的用户手势,且可使用基于标记和/或无 标记跟踪策略实施(例如,在标记的一个实施方式中,黑暗中发光或 另外在照明基准物下可见的,或其它物理跟踪器,诸如可附着至设备 1300的一部分)。在一个实施方式中,基于标记的跟踪系统被配置成 改进跟踪。此外,这种方法可使用每对眼镜的唯一识别符(ID)(例 如,在实例中,每个标记可为和/或具有唯一ID),其在一个实施方式 中,在选择和/或希望的情况下,可通过用户的数据经由其社交网络 用户名连接。因而,社交网络信息可在这个系统的用户之间交换。由 于跟踪器事先被系统识别,所以一个用户可通过观测其头部(佩戴眼 镜)而知道另一个用户的位置和取向。例如,这可容许气泡图形弹出 且变为固定至用户的第二现象界面1306的实例,其具有有关用户的 信息。此外,在一个实施方式中,这个ID跟踪器可容许面部被眼镜 遮挡、可能无法另外用面部识别软件识别的用户的识别。

例如,在一个实施方式中,软件(社交跟踪器)可被配置成在第 一模式(a)和第二模式(b)中操作。在第一模式(a)中,软件被 配置成方便设备1300的实例之间的连接(例如,双向连接和/或多向 连接)。在这个模式中,在眼镜连接至网络的前提下,社交网络信息 经由社交界面在用户之间交换。如果他们在社交网络上是好友,那么 他们可在他们的设备1300的实例的用户界面800上查看共同好友、 照片等。如果他们不是好友,那么他们可使用类似于下列实例的准则 请求成为彼此的好友,诸如可通过程序907执行。

(社交跟踪器软件的)第一准则包括非好友模式:在一个实施方 式中,唯一被容许与非好友(被请求方)做的事是发送特殊形式的好 友请求。但是,在这样一种请求被发送前,有关被请求方的信息可被 显示给请求方的第二现象界面1306的实例。这个信息可在被请求方 被请求方的相机跟踪期间或之后到达请求方的眼镜。在一个实施方式 中,信息不包括被请求方的姓名,只包括他的面部,例如,使得在建 立好友关系之前,非数字化面对面交换背后的相同程度的信息可在这 个系统中发生。此外,在一个实施方式中,唯面部请求可阻止和/或 限制未来搜索、跟踪、垃圾邮件等等。

(社交跟踪器软件的)第二准则包括好友模式:在一个实施方式 中,当前被容许由给定社交网络API用于在好友之间交换的任何信息 可类似地在这个数字社交系统中交换。(社交跟踪器软件的)第二模 式包括设备1300的用户与无设备1300的实例或不使用设备1300的 实例的人之间的交互(单向连接)。在一些实施方式中,这可指其中 A方(具有设备1300的观测者)例如经由社交网络从观察未佩戴设 备1300的实例的B方的脸接收信息的任何情况。

在一个实施方式中,有关(社交跟踪器软件的)隐私,软件被配 置成方便接受模式,其中在设备1300的任意实例中,用户可给予被 裸面跟踪的用户许可(这可能被切换且停用),以交换跟踪他人的权 利。在一个实施方式中,用户无法在任意给定时刻只享有一个隐私特 权(即,跟踪权或被跟踪权),但可具有两个特权。

软件应用的实例可包括赛车游戏或飞船游戏。在一个实施方式 中,软件可被配置成方便用户交互并且将图形图像呈现给用户(经由 设备1300)。手被跟踪且虚拟车辆被显示在设备1300上,且软件对 手在空间中的相对位置作出反应(例如,手之间的垂直/水平偏移, 其渐增地用作例如方向盘、控制杆、油门踏板、变速杆等等)。在一 个示例性实施方式中,这可通过测量这些偏移而实现,其用于控制方 向盘的旋转。在另一个示例性实施方式中,手与相机的距离可控制车 辆轨迹的另一方面(例如,航空工具的高度或俯仰)。手指(例如, 拇指)也可被跟踪,以提供游戏的逻辑的额外指令(例如,将竖起的 拇指朝向其拳头位置压下可进行飞船射击)。在另一实施方式中,右 手拇指控制加速度/变速齿轮,且左手拇指控制刹车/变速齿轮。

软件应用的实例可包括点云实施方式。在一个实施方式中,软件 可被配置成跟踪物理部件和/或虚拟部件,诸如在图1A的第一增强介 导现实空间1000中。在一个实施方式中,部件跟踪包括(例如,从 深度传感器)获得点云。在一个实施方式中,可使用用针孔相机模型 预校准的相机供应在这个实例中被描述为图像(其在每个像素上指派 含来自穿过所述像素的射线的同步场景点的z深度的值)的深度图 像。这个模型供应焦距和主点,界定传感器的透镜如何按实值量度(例 如,毫米)缩放像素。在这个实例中深度图像中的每个像素通过减去 主点,除以焦距,及随后在所述像素上缩放z深度值而生成三维点。 这表示平行射线在图像传感器平面上的该二维像素上开始,且被投影 至场景中,在与深度图像的所述像素上的z深度值一致的距离处与某 三维物理位置相交。这从二维深度传感器中的每个图像生成每帧一个 三维点云。当用户在环境内四处移动时,来自数个帧的点云的组合在 这个实例中发生,生成较大、经配准的三维场景点云,其比单个图像 帧可收集的点云大。在一个实施方式中,这可使用计算机视觉技术来 匹配来自不同帧的类似点,表示场景中的相同物理点而实现。通过当 用户在环境内四处移动时,分析这些静态三维点位置如何在二维图像 或三维点云中移动,系统推断用户的运动(以三维旋转矩阵和三维平 移矢量的形式),以及场景中的结构,一种在一些实施方式中被称作 同时定位与建图(SLAM)或从运动恢复结构(SFM)的技术。在一 个实施方式中,用户可实时这么做,使得当用户在环境内四处移动, 就地旋转他的头部等等时,用户可将来自不同视图的三维点云组合至 一致的坐标系中,在共同坐标系中生成较大的三维场景图,共同图形 可被放置在所述共同坐标系上方且例如保持少运动,而不管用户运动 与否。

用户界面

下文在一个实施方案中提供对图8A的用户界面800的描述。用 户界面800被配置成可通过使用装置1300(诸如经由用户手势、运 动等等)而控制。在一个实施方式中,用户界面800存在各个级别。 例如,存在四个级别,包括:级别(1):主屏幕级;级别(2):文件 夹级;级别(3)应用级和文件级;以及级别(4):设置级。

级别(1):主屏幕级

图标可表示软件应用和/或数据。在一个实施方式中,图标可由 气泡图标或任何形状的图标表示。在一个实施方式中,气泡图标是类 似气泡的半透明球体。图标可包括应用标志。例如,在气泡图标内, 可能存在三维不透明或几乎不透明的应用标志。在一个实例设计中, 标志与围绕球体的比率可能约为1:5。气泡图标和应用标志一起可包 括引起气泡状行为和/或与气泡状行为相关联的特效:诸如(例如, 至少部分地)反射用户的图像、反射太阳光、模拟在气泡上流动的空 气并稍微改变气泡形状,模拟按压在气泡上的另一物理对象并稍微改 变其形状等等。

下文是在一些实施方案中对可搭配设备1300使用的一些用户交 互技术的描述。

第一个用户交互技术包括平移和旋转技术,例如移动和/或通过 在用户界面800上显示的图标。

在一个实施方式中,平移和旋转方法包括“相对手运动悬停预选 择(Relative Hand Motion Hover-Over Pre-Selection)”模式。该模式允 许在用户界面800中的图标之间进行快速导航,而不需要相对于图标 的手的深度知觉。相反,被跟踪的手运动的相对方向移动可选择的图 标的虚拟指示器。在试图提供视觉反馈的情况下,在一个实例设计中, 当前悬停(寻的靶向(homing targeted))气泡可能会稍微比其邻近更 不透明,并且其色调可能更饱和。内照明可为选择的虚拟指示的第三 实例设计。可使用多种选择技术中的任何一种来选择悬停图标。如果 手朝新图标的方向移动,那么悬停图标可能会发生变化,这将进而成 为新的寻的目标(例如,为了从视场中(图9A和图10A)的图标的 特定行选择最右侧的图标,用户向右移动被跟踪的手)。为了在文件 夹已被选择之后马上移动到新的图标行(例如,打开文件夹的内容) -当图标的下一级别出现在视场内时-用户将其手从相机移开。一旦用 户这样做,则来自下一行中的相同列的图标被高亮显示。

平移和旋转方法的另一个实例可包括“紧握以实现平移(Squeeze  to Move Translation)”模式。测量两个手指(例如,食指和拇指)之 间的被跟踪距离。如果该条件和/或测量结果高于某个阈值(例如,5 厘米),并且低于另一个阈值(例如,八厘米),那么可根据被跟踪的 手的方向移动最接近的形状。在一个实例实施方式中,图标的边缘粘 到两个手指的位置,并且一旦手指分开,则可在手指运动期间实现(图 标的)物理现实翘曲(realistic warping)。这会继续发生,直到通过 上阈值距离,在这之后,图标保持放置。在另一实例中,两个手指之 间的质心被跟踪,并且图标沿其路径移动。

另一种选择技术包括弹爆图标。一种用于弹爆图标的方法可以包 括“紧握以弹爆选择”手势。在该实例选择交互技术中,如果手指之间 的距离低于下阈值(例如,5厘米),那么这会触发图标的弹爆、图 标内容的释放、应用(其标志位于图标(例如,气泡)内)的打开等 等。另一种用于弹爆图标的方法包括“手指弹爆选择(Finger to Pop  Selection)”手势;被跟踪的指尖与图标的相交触发其打开/弹爆。另 一种用于弹爆图标的方法包括“抓住以弹爆选择(Grab to Pop  Selection)”手势;可跟踪拳头紧握,例如,从至少两个手指的开始 模式(“打开”)到所有手指闭合、闭合拳头等等(“闭合”)的结束模 式,例如以触发图标的打开/弹爆。

在一个实施方式中,设备1300的软件被配置成提供动画技术。 动画技术的实例包括“循环气泡动画”技术。一旦设备1300接通时, 若干气泡从右下屏幕诸如经由弧形轨迹到中央屏幕进入视场内的极 限环。一旦气泡这样运动,气泡开始沿3×3网格中的视场的中间行排 成行。

动画技术的另一个实例包括一个向内/名片簿(Rolodex)循环技 术,其可包括:一旦选择了文件夹图标,则出现新的图标级别。额外 地,在图标的主屏幕级(最高级别)的情况下,例如在打开动画序列 (例如,循环气泡动画)完成之后,图标暂时位于视场下(图8A)。 在该初始状态的情况下,向内/名片簿循环技术可在预定的短时间(例 如,0.5秒)之后自动开始,而不需要选择图标。在一个实例实施方 式中,文件夹的图标(低于文件夹图标的一个级别)通过以下方式进 入视场:在3×3网格中围绕下平行线迅速循环[270°],从所述线后面 且然后高于所述线而朝向用户,停在视场的下三分之一内。该循环改 进高频多个图标选择的速率,并且为到特定终端应用的路径上的肌肉 记忆提供框架(例如,便于终端应用的有效可用性)。其它实例实施 方式包括但不限于图标的下一行垂直上升。

下文在一个实施方式中描述主屏幕级处的进展的方法的实例,其 使用以下操作:

操作(a)包括呈现问候动画(用于气泡的循环)。

操作(b)包括执行交互技术。如果打开的手被手势识别相机检 测到达至少一个特定的阈值(例如,一秒),那么四个气泡图标从下 方出现并进入视场的底部三分之一(3×3网格中的底部三个正方形 (参见图8A))。

操作(c)包括,如果主屏幕图标位于视场内,则例如可用于触 摸以弹爆、抓住以弹爆或紧捏以弹爆选择技术中的一种或多种技术 (参见图8C)。

级别(2):文件夹级

在一个实施方式中,x轴沿视场802的底部(例如,在网格中的 下线)延伸。下文是在文件夹级处的实例进展,其在一个实施方式中 使用具有以下操作的方法:

操作(a)包括与交互技术交互。发生选择技术(例如,“玩”文 件夹被选择)。

操作(b)包括显示经由向内涡旋进入下侧视场的四个文件夹图 标(参见图9A和图9B)。

操作(c)包括与“相对手运动的悬停预选择模式”手势的交互, 使得不同的图标可被选择。

操作(d)包括确定是否选择另一子文件夹。如果检测到,则操 作返回到操作(a);否则如果游戏图标被选择,则操作进行到级别3 (玩游戏)。

级别(3):应用和文件级

终端应用是被配置成提供(显示)图标树的树叶的软件应用。例 如,在一个实施方式中,图标树可以是n元树,例如,其中每个节点 具有至多n个子节点。在另一实施方式中,节点可具有不同的最大数 量的子节点、无约束数量的子节点等等。

在一个实施方式中,当气泡诸如经由选择技术被弹爆时,发生涡 旋标志。在一个设计中,当图标朝向3×3网格和/或阵列的右上单元 而从左下侧移动到右上侧时,应用的三维图标开始非常迅速地围绕矢 量从左下侧到右上侧涡旋。在过渡期间,在一个实施方式中,将图标 的图标单元比(icon-to-cell ratio)逐渐最小化为约1:10(参见图10B)。 在非侵入应用确定保持打开而在视场内不具有任何项(例如,等待人 进入视场中)的情况下或在待机模式下,这提供了有关设备1300的 状态的视觉反馈。

在一个实施方式中,软件应用被配置成提供“跳出气泡”特效。当 与应用相关联的部件(在用户界面800上显示)已被选择时,部件可 能似乎通过从图标内的先前不可见的微型版本按比例放大而进入视 场。下文是在应用和文件级处的进展的实例,其在一个实施方式中使 用具有以下操作的以下方法:操作(a)包括通过应用跳出最近弹爆 的气泡(例如,参见图10A和图10B)而涡旋标志并同时打开应用。 操作(b)包括容许用户界面800接替视场。

级别(4):设置级

“设置选择技术”手势在一个实施方式中包括以下内容:当在应 用内时,上下文设置将存在于想要利用它们的每个应用中。设置图标 的选择方法和位置的一个实例如下:可通过将手放入视场的3×3网格 的最右列的上半部分中达预定时间量(例如,两秒)而选择图标。然 后,气泡将出现在右上单元中,其随后可诸如经由手指选择方法而被 选择(例如,参见图11A)。

(用户界面800的)设置屏幕是一屏幕,其中一旦设置图标被选 择;若干垂直堆叠的图标(例如,最初为四个)诸如经由垂直名片簿 循环(例如,参见图11B)进入视场的最右列。在一个实施方式中, 该图标可表示设置图标类别,并且在一个实施方式中可使用为半透明 的银白色遮蔽。

“设置的口香糖切换(Chewing Gum Toggling of Settings)”(例如, 参见图11C)被配置用于设置选择,其可包括沿谱值移动和/或在连续 统内选择值和/或程度(例如,亮度级)。在一个实施方式中,当设置 类别被选择时,图标弹爆并且在被弹爆的图标的位置与用户的手指的 边缘之间形成线。在一个特定的设计中,线可以是弯曲的,并且随着 手指远离原始图标位置,该线变得越来越直,如同一片口香糖一般。 在一个实施方式中,一旦将线拉伸远离图标的静态中央,则幅值线和 /或矢量的中央上的三维数字指示所达到的值和/或百分比(例如,线 越长,数字越高)。在一个实施方式中,对于离散的、不连续的、非 谱等设置(例如,离散选择,诸如在Wi-Fi设置中的Wi-Fi网络选择), 围绕视场的右边缘的垂直名片簿循环将呈现可经由其它手势而被选 择的附加选项。

在一个实施方式中,冥想模式是如下一种模式:其中非紧急呼叫、 消息和应用用途受阻达预指定的时间量,或直到按钮被切换。指示时 间反馈的用户界面部件(例如,沙计时器)可被显示来指示迄今为止 所经历的时间。

以下是在一个实施方式中的设置级处的进展的实例,并且包括具 有与以下实例类似的操作的方法:操作(a)包括在每个单独的应用 中具有本地设置,其可经由设置选择技术访问。操作(b)包括:一 旦本地设置右上图标被选择,则显示垂直堆叠的设置图标的名片簿循 环,其可围绕由最右列形成的轴而按顺时针方向或逆时针方向循环和 /或进入3×3网格的右列,与文件夹图标的水平选择类似。操作(c) 包括显示(如果频谱设置被选择)设置的口香糖切换。如果离散的设 置项被选择,则另一组图标进入视场以供选择。

级别(5):总体用户界面主题和手势

级别5提供了用于在各种实施方式中的主题和手势的实施方式。 例如,附加交互技术可包括在射击游戏中使用的枪手运动,以指示射 击图片或视频。另一实例包括平坦桌面图标的平行双手升和降,其中 图标从视场下面向上进入,并且再次回落以从视场移除。选项包括旋 转虚拟旋钮,以改变连续设置(例如,亮度)。另一选项包括使用缩 放特征,其中从手掌朝上的平坦手(例如,在开始缩放运动之前,手 掌在预定时间量是平坦的)到手指的运动同时弯曲(与“过来”的自然 手势类似)以进行缩放。另一个实施方式只使用从笔直变为弯曲的一 根手指,而剩余的手指静态地弯曲。另一实施方式包括通过从视场移 除手而保持缩放级别恒定的能力。另一选项包括缩小手势。该手势可 与放大手势相同,不同之处在于,该手势开始于所有手指弯曲(例如, 紧握成拳头)预定时间量(例如,一秒)。当手指不弯曲时,缩小发 生。另一选项包括竖起拇指手势,其可用于喜好(表示赞同)社交网 络或本地操作系统内的图片。

级别5的另一选项包括提升手势和图标搜索模式(例如,参见图 12)。实例(i)包括抬升手势;在一个实施方式中,该手势有助于下 文详细描述的搜索模式,并且由使用一个或两个手将气泡向上推送进 视场中的手势组成。该推送可能通过例如在视场下延伸用户的前臂而 他的手掌张开并向上瞄准而完成。当用户的手掌向上移动进入视场 时,图标上升(例如,以与从下往上吹的自然发生的气泡的行为类似 的方式)。实例(ii)包括搜索模式或图标树的鸟瞰角度;这便于视觉 搜索。下文在一个实施方式中提供对搜索进展的实例的描述:操作(a) 包括具有以下能力的视觉搜索:使用抬升手势将整组用户界面图标及 其子文件夹图标(例如,参见图12)抬升到视场,并且动态地缩放 显示,使得从根图标到叶图标的所有图标位于视场内。然后,可以这 种方式访问树的下部树叶。操作(b)包括操作树(例如,其中树是 柔性的以旋转和/或缩放),诸如虽然标志和图标面向用户。

另一级别5选项包括在一个实施方式中,具有承载自然物理特性 的气泡。例如,操作(a):当被跟踪的手移动靠近气泡时,气泡更迅 速地从手离开。然而,如果气泡离手更远,那么它们逐渐变慢远离手。 操作(b):当使用选择技术中的一种来弹爆或打开气泡图标时,存在 明显的“砰砰”声。操作(c):在视觉搜索模式下,当使用所述迅速手 势吹走标准的图标气泡行时,它们暂时并物理地准确吹出视场,并且 以非自然但镜像方式,它们重新进入视场的预指定位置中。通知和警 报:在各种实施方式内,在通知的情况下,可采用多种实例技术获得 用户的关注,例如:

操作(a)包括:一旦文件结构树的树叶处的应用具有通知,则 其图标传播到当前在视场内的图标树的层次(例如,4元树),挤出 到红色的四个图标的中央,并且数字以相同比例出现在传统标志的顶 部上,指示未读消息的数量。

操作(b)包括:朝向当前位于视场的任何父节点向上传播红色 的树叶图标,同时将微型红气泡插入具有树叶标志和警报数字的父气 泡内。

操作(c)包括到触发通知的树叶应用的选择路径可为传统选择 路径或被使用快捷手势实例化的快捷选择路径。

操作(d)包括表示在树叶应用内被触发的通知的微型气泡可能 “伸出”父气泡(目前位于视场中),允许到树叶的快捷方式。

级别(6):铺在表面上的应用

在一个实施方式中,虚拟画布是取向的平坦表面,在其顶部上可 覆盖三维的虚拟图形。画布可被配置成在画布可被取向时添加第三 维,并且可从不同角度观察画布,如墙上的绘画在肉眼从不同角度和 方向观察时将不同。在另一个实施方式中,三维图形可被放置成与其 相关。

在实例场景下,用户走进房间(例如,起居室),并且坐在沙发 (佩戴有感测和显示设备,例如,被配置为眼镜)上。在用户的前面, 有咖啡桌、TV屏幕和墙(例如,一面墙在前面且一面墙在侧面)。在 一个实施方式中,软件被配置成检测可充当其上覆盖来自计算机的图 形的表面的候选画布。在该实例情况下,画布是咖啡桌、TV屏幕和/ 或两面墙。可在第二现象界面1306中使用视觉指示向用户指示这些 表面(例如,作为半透明填充的取向矩形,其指示这些画布的大小和 方向)。在一个实例中,所有打开的应用均位于屏幕的底部,其被示 出为缩略图/气泡图标。例如,考虑电子邮件窗口、Facebook窗口或 Microsoft Word文档。用户可使用上文讨论的一种或多种交互技术(例 如,“挤出以移动”手势用于平移,随后“挤出以弹爆”手势用于打开 并放置)将每个应用缩略图逐个拖动到每个候选画布。

在实例实施方式中,软件被配置成经由与类似于以下实例的方法 相关联的编程指令而检测所选择的画布。

操作(a):在一个实例中,用户选择用户希望显示的应用图标的 缩略图,并且将该缩略图拖向适当的给定画布。在一个实施方式中, 当沿该轨迹移动缩略图时,从起点(例如,从第二现象界面1306或 用户的肩膀或用户的手指的基部)勾勒出线。该轨迹与候选平面中的 每一个相交,并且当朝向画布平移缩略图(例如,在离图标的初始位 置的预定距离(诸如,20厘米)上发生朝向画布的平移)时,做出 轨迹是否已成功相交的确定。在一个实施方式中,当所述图标足够近 时,软件可推断哪个应用跟随哪个画布,并且使图形朝正确方向自动 更新到该画布上)。在另一实施方式中,用户可诸如通过展示诸如弹 开或投掷的手势、指向所选择的图形和/或给定画布、表面等等上的 其它显示元件而将画布直接指向特定图形。

操作(b):在一个实例中,一旦所有应用已被分配到画布,则软 件使用图13的深度图1308(在该实例场景中,其可被视为静态的/ 不变的),并且在用户的头部移动时能够在三维空间中跟踪用户的头 部(例如,旋转和平移)。将深度图1308用作坐标系,随后用户可起 立并围绕该环境物理地移动,然而维持每个画布的状态。然后,当用 户在画布之间移动时,应用保持与它们最初被选择(分配)时一样, 并且它们基于用户的当前头部方向和位置而被更新。在该实施方式的 另一实例配置中,该头部跟踪/场面映射场景下,第二现象界面1306 (图13)的坐标系被固定,并且房间/物理部件的三维地图被跟踪。

操作(b):在另一实例中,用户可将多个应用并行放在同一画布 上。为了选择这些被选择的画布中的一个用于更新,用户可例如使用 五指手势来“选择”画布。在一个实施方式中,这可指定用户想要调整 该显示和/或画布的内容,并且画布可图形化地指示其被选择用于操 作(例如,画布开始闪烁)。然后,使用在用户的两只手之间计算的 虚拟矢量,可使用矢量的幅值或角度伸展、收缩或旋转(面内)应用 地产。

基于本文的公开,在设备1300的范围内对设备1300的设计和构 造的变化或修改是可行的。如果在设备1300的精神内,这种变化或 修改旨在被涵盖在所要求保护的主题的范围内。

额外描述

提供以下条款作为设备实例的进一步描述。以下条款中的任一项 或多项可以可与以下条款中的任何另一项或多项和/或与任何其他条 款的任何分段或部分或多个部分和/或条款的组合和置换组合。以下 条款中的任一项可代表其本身的优点而无需组合另一其它条款或组 合任何其它条款的任何部分等等。条款(1):一种感测与显示设备, 其包括:界面组合件,其包括:第一界面模块,其被配置成与第一空 间交换传感器信号和效应器信号;和第二界面模块,其被配置成与第 二空间交换效应器信号,所述效应器信号在所述第一空间和所述第二 空间中的至少一个中至少部分可由用户呈现。条款(2):一种感测与 显示设备,其包括:界面组合件,其包括:第一界面模块,其被配置 成与表示从第一空间接收的感知现象的传感器信号介接;和第二界面 模块,其被配置成与表示到所述第一空间且到所述第二空间的感知现 象的至少一个效应器信号介接。条款(3):根据本段落中提及的任何 条款的设备,其中:至少一个传感器信号和至少一个效应器信号可呈 现,至少部分出于所述第一空间和所述第二空间中的任一个中的用户 感知消耗。条款(4):根据根据本段落中提及的任何条款的设备,其 还包括:处理设备,其被操作耦合到所述界面组合件,且被配置成处 理与所述界面组合件介接的所述至少一个传感器信号,且处理与所述 界面组合件介接的所述至少一个效应器信号。条款(5):根据根据本 段落中提及的任何条款的设备,其还包括:感知现象传感器,其被配 置成传输从自所述第一空间接收的感知现象导出的所述至少一个传 感器信号,且还被配置成传输从自所述第二空间接收的感知现象导出 的所述至少一个传感器信号。条款(6):根据本段落中提及的任何条 款的设备,其还包括:感知现象效应器,其被配置成传输与感知现象 相关联的所述至少一个效应器信号到所述第一空间,且还被配置成传 输与感知现象相关联的所述至少一个效应器信号到所述第二空间。条 款(7):根据本段落中提及的任何条款的设备,其中:所述界面组合 件被配置成与表示经由所述感知现象传感器从所述第一空间接收的 感知现象且还表示从所述第二空间接收的感知现象的所述至少一个 传感器信号介接,且还被配置成与表示经由感知现象效应器到所述第 一空间和到所述第二空间的感知现象的所述至少一个效应器信号介 接。条款(8):根据本段落中提及的任何条款的设备,其中:所述第 一空间被配置成可由用户访问;且所述第二个被配置成可由单个用户 访问。条款(9):根据本段落中提及的任何条款的设备,其中:所述 至少一个传感器信号是从音频感知现象、视觉感知现象和触觉感知现 象中的任一个中导出。条款(10):根据本段落中提及的任何条款的 设备,其中:所述至少一个效应器信号是从音频感知现象、视觉感知 现象和触觉感知现象中的任一个中导出。条款(11:根据本段落中提 及的任何条款的设备,其中:所述感知现象传感器和所述感知现象效 应器包括:第一感知现象传感器,其被配置成传输从来自所述第一空 间的感知现象导出的传感器信号;和第一感知现象效应器,其被配置 成将与感知现象相关联的效应器信号传输至所述第一空间。条款 (12):根据本段落中提及的任何条款的设备,其中:所述感知现象 传感器和所述感知现象效应器包括:第二感知现象效应器,其被配置 成将具有感知现象的效应器信号传输至所述第二空间;和第二感知现 象传感器,其被配置成传输从来自所述第二空间的所述感知现象导出 的传感器信号。条款(13):根据本段落中提及的任何条款的设备, 其中:所述第一感知现象传感器和所述第一感知现象效应器面向所述 第一空间中的所述用户的视场的方向;且所述第二感知现象效应器和 所述第二感知现象传感器面向朝向所述第二空间中的所述用户的眼 睛的方向。条款(14):根据本段落中提及的任何条款的设备,其中: 所述处理设备被配置成在所述第一空间与所述第二空间之间路由所 述传感器信号。条款(15):根据本段落中提及的任何条款的设备, 其中:所述处理设备被配置成在所述第一空间与所述第二空间之间路 由所述效应器信号。条款(16):根据本段落中提及的任何条款的设 备,其中:所述界面组合件包括:所述第一界面模块,其被配置成与 第一感知现象传感器介接,所述第一感知现象传感器被配置成传输从 由所述第一感知现象传感器从所述第一空间接收的感知现象导出的 传感器信号;和所述第二界面模块,其被配置成与第一感知现象效应 器介接,所述第一感知现象效应器被配置成传输与感知现象相关联的 效应器信号到所述第一空间。条款(17):根据本段落中提及的任何 条款的设备,其中:所述界面组合件包括:第三界面模块,其被配置 成与第二感知现象效应器介接,所述第二感知现象效应器被配置成传 输具有感知现象的效应器信号到所述第二空间;和第四界面模块,其 被配置成与第二感知现象传感器介接,所述第二感知现象传感器被配 置成传输从由所述第二感知现象传感器从所述第二空间接收的感知 现象导出的传感器信号。条款(18):根据本段落中提及的任何条款 的设备,其中:所述处理设备被配置成经由第二感知现象效应器将从 第一感知现象传感器接收的传感器信号路由至所述第二空间。条款 (19):根据本段落中提及的任何条款的设备,其中:所述处理设备 被配置成经由第一感知现象效应器将从第二感知现象传感器接收的 传感器信号路由至所述第一空间。条款(20:根据本段落中提及的任 何条款的设备,其还包括:用户可佩戴界面,其被配置成促进用户佩 戴。条款(21):根据本段落中提及的任何条款的设备,其还包括: 框组合件,其被配置成固定地支撑以下任一项:感知现象传感器,其 被配置成传输从自所述第一空间接收的感知现象导出的所述至少一 个传感器信号,且还被配置成传输从自所述第二空间接收的感知现象 导出的所述至少一个传感器信号;和感知现象效应器,其被配置成传 输与感知现象相关联的所述至少一个效应器信号到所述第一空间,且 还被配置成传输与感知现象相关联的所述至少一个效应器信号到所 述第二空间。条款(22):根据本段落中提及的任何条款的设备,其 还包括:框组合件,其被配置成固定地支撑以下任一项:头戴式组合 件;数字眼镜;LiDAR单元;视觉系统;光学传感器;显示单元; 可移除遮光物;红外传输器;红外接收器;和地音探听器。条款(23): 一种方法,其包括:接收表示从第一空间和从第二空间接收的至少一 个感知现象的传感器信号;和提供表示至少一个特效现象的效应器信 号到所述第一空间且到所述第二空间。条款(24):根据本段落中提 及的任何条款的方法,其还包括:处理所述传感器信号和所述效应器 信号。条款(25):根据本段落中提及的任何条款的方法,其还包括: 在所述第一空间与所述第二空间之间路由所述传感器信号。条款 (26):根据本段落中提及的任何条款的方法,其还包括:在所述第 一空间与所述第二空间之间路由所述效应器信号。条款(27):一种 显示设备,其包括:界面组合件,其被配置成与第一空间和第二空间 介接,且被配置成传送与所述第一空间和所述第二空间相关联的传感 器信号和效应器信号;处理设备,其操作耦合到所述界面组合件且被 配置成处理由所述界面组合件传送的所述传感器信号和所述效应器 信号;和存储器组合件,其被配置成有形地体现包括编程指令的序列 的处理程序,所述指令被配置成引导所述处理设备对传感器信号和效 应器信号执行操作。条款(28):一种用户界面,其包括:第一界面 部分,其被配置成显示从第一空间导出的现象;和第二界面部分,其 被配置成显示从第二空间导出的现象。条款(29:一种设备,其包括: 第一现象界面,其被配置成与第一空间操作地介接;和第二现象界面, 其被配置成与第二空间操作地介接。条款(30:根据本段落中提及的 任何条款的设备,其中:所述第一现象界面包括第一感知现象效应器 和第一感知现象传感器,其各被配置成与所述第一空间操作地介接。 条款(31:根据本段落中提及的任何条款的设备,其中:所述第二现 象界面包括第二感知现象效应器和第二感知现象传感器,其各被配置 成与所述第二空间操作地介接。条款(32:根据本段落中提及的任何 条款的设备,其还包括:处理组合件,其被配置成操作耦合到所述第 一现象界面和所述第二现象界面,且还被配置成与所述第一感知现象 效应器、所述第一感知现象传感器、所述第二感知现象效应器和所述 第二感知现象传感器操作地介接。条款(33):一种用于本段落中提 及的任何条款的设备的流形化器,所述流形化器包括:手势传感器, 其用于感测所述设备的佩戴者的身体部分的手势;流形生成器,其响 应于由所述手势传感器检测的流形开始手势;流形接触检测器,其用 于检测所述佩戴者与流形之间的接触;流形显示生成器,其响应于所 述流形接触生成器的输出。条款(34):一种拓扑造型器,其包括如 本段落中提及的任何条款中的流形化器,且还包括:流形积分器,其 响应于大体连续流形连续手势。条款(35):一种流形化显示生成器, 其包括如本段落中提及的任何条款中的流形化器,所述流形显示生成 器用于显示虚拟或现实装置的输出。条款(36).根据本段落中提及 的任何条款的流形化显示生成器,其中:所述流形显示生成器显示包 括刚性平坦贴片、嵌入在可对所述数字眼镜的所述佩戴者可见的三维 增强介导环境中的二维流形。条款(37).一种沙图用户界面,其包 括:三维视觉系统、处理器、和显示器,所述处理器包括曝光积分器, 所述曝光积分器响应于来自所述三维视觉系统的输入。条款(38). 根据本段落中提及的任何条款的用户界面,其包括:流形维度传感器 和手势传感器,所述手势传感器响应于所述流形维度传感器的输出。 条款(39).根据本段落中提及的任何条款的用户界面,其中:所述 现实世界物理对象包括二维流形,且其中所述流形维度传感器确定手 势是沿着沙图、从所述流形内到沙图或者从三维空间内到沙图而非所 述流形上做出。条款(40):一种用于在空间中生成流形的三维造型 系统,其包括:三维视觉系统;曝光积分器;和显示器,其用于示出 所述曝光积分器的输出,所述曝光积分器累积曝光。条款(41):根 据本段落中提及的任何条款的系统,其还包括:手势传感器,其用于 感测用于开始所述曝光积分器的曝光累积的手势。条款(42):根据 本段落中提及的任何条款的系统,其中:所述手势传感器用于感测用 于结束所述曝光积分器的曝光累积的手势。条款(43).根据本段落 中提及的任何条款的系统,其中:所述曝光积分器用于生成三维空间 中暂时生长的流形。条款(44).根据本段落中提及的任何条款的系 统,其还包括:相切传感器,其用于确定用户的身体部分到由暂时生 长流形定义的路径的相切。条款(45).一种用于沙图合成的方法, 所述方法包括:分配和清除曝光缓冲器;感测曝光物的曝光强度的程 度;感测曝光物在三维空间中的位置;关联所述曝光物的所述位置将 与所述曝光强度成比例的量添加到所述曝光缓冲器。条款(46).根 据本段落中提及的任何条款的方法,其中:曝光强度的程度是由手势 传感器确定的二进制量。条款(47).根据本段落中提及的任何条款 的方法,其中:所述曝光物是光源,且所述曝光强度是所述光源的照 明程度。条款(48).根据本段落中提及的任何条款的方法,其中: 所述曝光物是指尖,且所述曝光强度由连续可变手势确定。条款(49). 根据本段落中提及的任何条款的方法,其还包括:由手势传感器开始 沙图合成,所述手势传感器感测食指和拇指的“枪”手势。条款(50). 根据本段落中提及的任何条款的方法,其中:所述曝光强度连续可变 达所述拇指与所述食指之间的角度。条款(51).一种用于拓扑造型 的方法,所述方法包括:分配和清除拓扑造型缓冲器,所述方法包括: 感测曝光物的曝光强度的程度;感测曝光物在三维空间中的位置;关 联所述曝光物的所述位置将与所述曝光强度成比例的量添加到拓扑 造型缓冲器。条款(52).根据本段落中提及的任何条款的方法,其 中:感测所述位置包括感测所述方法的用户的身体部分的平坦部分在 与进展中的拓扑造型的接触点处对拓扑造型的相切,其中所述拓扑造 型处于其最新点,所述曝光强度与感测的相切的输出成比例。条款 (53).一种用于观看可扫描标的物的空间眼镜设备,其包括:空间 成像相机;处理器,其响应于所述空间成像相机的至少一个输出;空 间成像显示器,其选自由以下项组成的群:全息视频显示器、立体视 频显示器、和aremac、立体显示器,其中所述空间成像显示器响应于 所述处理器的至少一个输出;且其中所述空间成像显示器提供从所述 可扫描标的物的至少一些中导出的眼点图像。条款(54).根据本段 落中提及的任何条款的设备,其中所述空间成像相机包括3D相机。 条款(55):根据本段落中提及的任何条款的设备,其中:所述处理 器包括触觉检测器。条款(56).根据本段落中提及的任何条款的设 备,其中:所述处理器包括单应性侵入检测器。条款(57).根据本 段落中提及的任何条款的设备,其中:所述处理器包括球形体积侵入 检测器。条款(58):根据本段落中提及的任何条款的设备,其中: 所述处理器包括气泡隐喻生成器。条款59:根据本段落中提及的任 何条款的的设备,其中:所述处理器刺激气泡菜单,且气泡菜单选择 器响应于到位于离所述设备的用户的身体部分的距离小于r的半径为 r的球体体积中的侵入,所述用户的所述身体部分在其到所述体积中 的侵入的程度在统计上是显著的。条款60:一种用于空间眼镜的共 享增强介导现实系统,其包括:第一空间眼镜,其用于由所述共享增 强介导现实系统的第一用户使用,其中所述第一空间眼镜包括第一空 间成像相机;第二空间眼镜,其用于由所述共享增强介导现实系统的 第二用户使用,其中第二空间眼镜包括第二空间成像相机,其中所述 第一空间成像相机和所述第二空间成像相机被配置用于标的物的空 间成像;和空间成像多工器,其用于多工来自所述第一空间成像相机 和所述第二空间成像相机的扫描。条款61:根据本段落中提及的任 何条款的共享增强介导现实系统,其中:所述空间成像多工器是时分 多工器。条款62:一种用于由数字眼镜的佩戴者的一只眼睛或双眼 观看的数字眼镜设备,其包括:至少一个传感器,其用于感测来自多 个不同方向的光;处理器,其响应于来自所述传感器的至少一个输入; 和显示器,其响应于所述处理器的输出,其中所述显示器提供眼点图 像。条款63:根据本段落中提及的任何条款的数字眼镜设备,其中: 所述传感器是3D相机。条款64:根据本段落中提及的任何条款的数 字眼镜设备,其中:所述3D相机实施3D HDR成像。条款65:根据 本段落中提及的任何条款的数字眼镜设备,其中:所述3D相机包括 在共享计算机介导现实环境中与由其他参与者佩戴的其它3D相机协 作的时分多工器。条款66:根据本段落中提及的任何条款的数字眼 镜设备,其中:所述3D相机包括在共享计算机介导现实环境中与由 其他参与者佩戴的其它3D相机协作的可变振幅多工器,所述可变振 幅多工器响应于标的物的不同程度的照明而提供所述标的物的大致 相等所得物。条款67:根据本段落中提及的任何条款的数字眼镜设 备,其中:所述处理器包括合成孔隙成像构建器,其响应于由共享计 算机介导现实的一个以上参与者的照明器生成的光空间。条款68: 一种空间眼镜系统,其包括:一个或多个空间眼镜,其用于在空间眼 镜的视野中使标的物空间成像,且还包括:至少一个3D相机;处理 器,其响应于来自所述至少一个3D相机的至少一个输入;显示器, 其响应于所述处理器的输出,所述显示器响应于所述标的物中呈现的 空间信息而提供EyeTap眼点显现。条款69:根据本段落中提及的任 何条款的系统,其中:所述处理器包括比较测度合成器。条款70: 根据本段落中提及的任何条款的系统,其还包括:第一空间眼镜和第 二空间眼镜,且其中所述处理器搭配所述第二空间眼镜使用。条款 71:根据本段落中提及的任何条款的系统,其还包括:第一空间眼镜 和第二空间眼镜,且其中所述处理器搭配第二空间眼镜使用,且其中 所述第一空间眼镜和所述第二空间眼镜由两个单独用户佩戴,且其中 所述处理器包括叠加测度合成器。条款72:一种空间成像装置,其 包括:光空间分析眼镜;处理器,其响应于所述光空间分析眼镜的输 出;光空间合成眼镜,其响应于所述处理器的输出;和光空间共线性 化器。条款73:一种手势识别处理器实施方法,其包括:经由至少 一个传感器跟踪环境中的第一环境对象;指派至少一个环境对象识别 符给所述第一环境对象;识别与所述第一环境对象相关联的至少一个 空间坐标;基于所述至少一个空间坐标将坐标系与所述环境对象识别 符相关联。条款74:根据本段落中提及的任何条款的方法,其还包 括:经由所述至少一个传感器关于所述坐标系映射第二环境对象的手 势。条款75:根据本段落中提及的任何条款的方法,其中:映射手 势还包括:生成与所述第二环境对象相关联的点云。条款76:根据 本段落中提及的任何条款的方法,其中:映射手势还包括:识别所述 第二环境对象的至少一个第二环境对象空间坐标;和确定所述第二环 境对象空间坐标与所述第一环境对象的所述空间坐标之间的关系。条 款77:根据本段落中提及的任何条款的方法,其中:所述关系包括 相对位移。条款78:根据本段落中提及的任何条款的方法,其中: 所述关系包括相对取向。条款79:根据本段落中提及的任何条款的 方法,其中:所述传感器包括深度相机。条款80:根据本段落中提 及的任何条款的方法,其中:识别所述至少一个第二环境对象空间坐 标包括:生成与所述第二环境对象相关联的深度图。条款81:根据 本段落中提及的任何条款的方法,其还包括:通过组合与所述第二环 境对象相关联的所述深度图与至少一个增补深度图而生成扩展深度 图。条款82:根据本段落中提及的任何条款的方法,其中:确定所 述第二环境对象空间坐标与所述第一环境对象的所述空间坐标之间 的关系还包括:比较与所述第二环境对象相关联的所述深度图与第一 环境对象深度图。条款83:根据本段落中提及的任何条款的方法, 其中:所述第一环境对象是框。条款84:根据本段落中提及的任何 条款的方法,其中:所述第一环境对象是表面。条款85:根据本段 落中提及的任何条款的方法,其中:所述表面是桌子表面。条款86: 根据本段落中提及的任何条款的方法,其中:所述表面是墙壁。条款 87:根据本段落中提及的任何条款的方法,其中:所述表面是显示屏 幕。条款88:根据本段落中提及的任何条款的方法,其中:所述第 二环境对象是用户身体部分。条款89:根据本段落中提及的任何条 款的方法,其中所述用户身体部分是用户的手掌和拇指,且其中识别 至少一个第二环境对象空间坐标包括识别所述用户的手掌和拇指的 至少一个相对位置。条款90:根据本段落中提及的任何条款的方法, 其中:跟踪环境中的第一环境对象还包括:生成与所述第一环境对象 相关联的至少一个点云。条款91:根据本段落中提及的任何条款的 方法,其还包括:通过组合与所述第一环境对象相关联的所述至少一 个点云与至少一个增补点云而生成扩展点云。条款92:一种设备, 其包括:至少一个输入传感器;至少一个输出显示器;至少一个计算 装置,其通信耦合到所述至少一个输入传感器和至少一个输出显示 器,其中所述至少一个计算装置被配置成发布处理器可读程序指令, 其包括:经由所述至少一个输入传感器确定至少一个肢体的空间位 置;基于所述空间位置选择至少一个显示项;和经由所述至少一个输 出显示器呈现所述至少一个显示项。条款93:一种设备,其包括:

至少一个传感器,其被配置成检测至少第一环境对象与第二环境 对象的相对空间位置;至少一个计算装置,其发布被配置成识别所述 相对空间位置且配置至少一个显示部件的程序指令;和至少一个输出 显示器,其被配置成显示所述至少一个显示部件。条款94:根据本 段落中提及的任何条款的设备,其中:所述至少一个传感器包括被配 置成产生深度图的深度相机。条款95:根据本段落中提及的任何条 款的设备,其中所述计算装置基于所述深度图识别所述相对空间位 置。条款96:根据本段落中提及的任何条款的设备,其中所述计算 装置基于分别与所述第一环境对象和所述第二环境对象相关联的第 一点云和第二点云识别所述相对空间位置。条款97:根据本段落中 提及的任何条款的设备,其中所述计算装置基于所述第一点云和所述 第二点云的相交识别所述相对空间位置作为触摸手势。条款98:根 据本段落中提及的任何条款的设备,其中所述至少一个显示部件包括 虚拟键盘且所述第二环境对象包括用户身体部分。条款99:根据本 段落中提及的任何条款的设备,其中所述第一物理对象是表面且其中 所述虚拟键盘锚定至与所述至少一个输出显示器内的所述表面相关 联的坐标系。条款100.根据本段落中提及的任何条款的设备,其中所 述相对空间位置还包括相对空间运动。条款101.根据本段落中提及的 任何条款的设备,其中所述相对空间运动包括划动。条款102:根据 本段落中提及的任何条款的设备,其中所述划动是握指划动。条款 103.根据本段落中提及的任何条款的设备,其中所述相对空间运动包 括移动紧捏和弹爆紧捏中的至少一个。条款104.根据本段落中提及的 任何条款的设备,其中所述第一环境对象包括表面,其中所述至少一 个计算装置被配置成跟踪表面,且其中所述至少一个输出显示器被配 置成将至少一个媒体呈现固定至跟踪表面,条款105.根据本段落中提 及的任何条款的设备,其中所述至少一个媒体呈现固定在立体呈现 中。条款106.根据本段落中提及的任何条款的设备,其中所述至少一 个媒体呈现包括应用数据。条款107.根据本段落中提及的任何条款的 设备,其中所述相对空间位置指示所述表面与所述至少一个媒体呈现 之间的关联。条款108.根据本段落中提及的任何条款的设备,其中所 述相对空间位置包括将所述至少一个媒体呈现拖动并放到表面上。条 款109.根据本段落中提及的任何条款的设备,其中所述第二环境对象 包括做手势的手,其中所述第一环境对象包括在虚拟环境中的虚拟模 型,且其中所述至少一个计算装置发布程序指令以通过对与做手势的 手与所述虚拟模型之间的任何接触点进行造型而配置表示所述虚拟 模型的至少一个显示部件。条款110.根据本段落中提及的任何条款的 设备,其中所述至少一个计算装置发布程序指令以将至少一个唯一识 别符与所述第一环境对象和所述第二环境对象中的至少一个相关联, 所述唯一识别符连接到与用户相关联的社交网络数据。条款111.根据 本段落中提及的任何条款的设备,其中关联至少一个唯一识别符的所 述程序指令包括经由所述至少一个输出显示器应用标记到所述第一 环境对象和所述第二环境对象中的至少一个的指令。条款112.根据本 段落中提及的任何条款的设备,其中所述计算装置被配置成发布程序 指令以识别所述唯一识别符且其中所述输出显示器被配置成显示与 所述用户相关联的所述社交网络数据中的至少一些。条款113.根据本 段落中提及的任何条款的设备,其中所述至少一个传感器被配置成检 测竖起拇指用户手势,且所述至少一个计算装置发布程序指令以使反 馈与所述唯一ID相关联。条款114.根据本段落中提及的任何条款的 设备,其被配置成一对眼镜。条款115.一种用户界面管理处理器实施 方法,其包括:经由至少一个头戴式输出显示器提供多个图标用于显 示,所述多个图标被配置成经由至少一个手势跟踪传感器而进行选 择;经由至少一个手势跟踪传感器接收用户手势数据,所述用户手势 数据指示所述多个图标的所选择图标的选择;基于所述所选择图标的 所述选择访问图标层级;和基于所述选择图标经由所述至少一个头戴 式输出显示器提供所述图标层级的部分用于显示。条款116.根据本段 落中提及的任何条款的方法,其中提供所述多个图标用于显示还只在 所述至少一个手势跟踪传感器感测图标唤出手势时发生。条款117. 根据本段落中提及的任何条款的方法,其中所述图标唤出手势包括呈 现张开的手达至少一个阈值时段。条款118.根据本段落中提及的任何 条款的方法,其中使用至少一个循环气泡动画呈现所述多个图标。条 款119.根据本段落中提及的任何条款的方法,其中所述图标是气泡图 标。条款120:根据本段落中提及的任何条款的方法,其中所述用户 手势数据包括相对手运动悬停预选择。条款121.根据本段落中提及的 任何条款的方法,其中所述用户手势数据包括紧捏移动平移。条款 122.根据本段落中提及的任何条款的方法,其中所述用户手势数据包 括紧捏弹爆选择。条款123.根据本段落中提及的任何条款的方法,其 中所述多个图标图标中的至少一个包括应用标志。条款124.根据本段 落中提及的任何条款的方法,其中:经由所述至少一个头戴式输出显 示器提供所述图标层级的部分用于显示包括:响应于所述用户手势数 据显示所选择图标的至少一个动画。条款125.根据本段落中提及的任 何条款的方法,其中:所述至少一个动画包括向内/名片簿循环。条 款126.根据本段落中提及的任何条款的方法,其中:所述图标层级包 括文件夹级和应用/文件级。条款127.根据本段落中提及的任何条款 的方法,其中:所述图标层级包括设置级。条款128.根据本段落中提 及的任何条款的方法,其中:所述图标层级还包括与至少一个显示参 数相关联的设置子级。条款129.根据本段落中提及的任何条款的方 法,其中:所述至少一个显示参数包括连续显示参数,且还包括:经 由所述至少一个手势跟踪传感器接收与所述至少一个显示参数相关 联的所述至少一个设置子级图标的选择;确定所述设置子级图标与至 少一个用户身体部分的相对空间位置;经由所述输出显示器提供界面 元素,其包括从所述设置子级图标拉伸到所述用户身体部分的线;和 基于所述相对空间位置调整所述至少一个显示参数和所述线的长度。 条款130.一种手势识别设备,其包括:存储器;处理器,其耦合到所 述存储器且被配置成发布存储在所述存储器中的多个程序指令,所述 程序指令包括:经由至少一个传感器跟踪环境中的第一环境对象;指 派至少一个环境对象识别符给所述第一环境对象;识别与所述第一环 境对象相关联的至少一个空间坐标;基于所述至少一个空间坐标将坐 标系与所述环境对象识别符相关联。条款131.根据本段落中提及的任 何条款的设备,其还包括:经由所述至少一个传感器关于所述坐标系 映射第二环境对象的手势。条款132.根据本段落中提及的任何条款的 设备,其中映射手势还包括:生成与所述第二环境对象相关联的点云。 条款133.根据本段落中提及的任何条款的设备,其中映射手势还包 括:识别所述第二环境对象的至少一个第二环境对象空间坐标;和确 定所述第二环境对象空间坐标与所述第一环境对象的所述空间坐标 之间的关系。条款134.根据本段落中提及的任何条款的设备,其中所 述关系包括相对位移。条款135.根据本段落中提及的任何条款的设 备,其中所述关系包括相对取向。条款136.根据本段落中提及的任何 条款的设备,其中所述传感器包括深度相机。条款137.根据本段落中 提及的任何条款的设备,其中识别所述至少一个第二环境对象空间坐 标包括:生成与所述第二环境对象相关联的深度图。条款138.根据本 段落中提及的任何条款的设备,其还包括:通过组合与所述第二环境 对象相关联的所述深度图与至少一个增补深度图而生成扩展深度图。 条款139.根据本段落中提及的任何条款的设备,其中:确定所述第二 环境对象空间坐标与所述第一环境对象的所述空间坐标之间的关系 还包括:比较与所述第二环境对象相关联的所述深度图与第一环境对 象深度图。条款140.根据本段落中提及的任何条款的设备,其中所述 第一环境对象是框。条款141.根据本段落中提及的任何条款的设备, 其中所述第一环境对象是表面。条款142.根据本段落中提及的任何条 款的设备,其中所述表面是桌子表面。条款143.根据本段落中提及的 任何条款的设备,其中所述表面是墙壁。条款144.根据本段落中提及 的任何条款的设备,其中所述表面是显示屏幕。条款145.根据本段落 中提及的任何条款的设备,其中所述第二环境对象是用户身体部分。 条款146.根据本段落中提及的任何条款的设备,其中:所述用户身体 部分是用户的手掌和拇指,且其中识别至少一个第二环境对象空间坐 标包括识别所述用户的手掌和拇指的至少一个相对位置。条款147. 根据本段落中提及的任何条款的设备,其中跟踪环境中的第一环境对 象还包括:生成与所述第一环境对象相关联的至少一个点云。条款 148.根据本段落中提及的任何条款的设备,其还包括:通过组合与所 述第一环境对象相关联的所述至少一个点云与至少一个增补点云而 生成扩展点云。条款149.一种用户界面管理设备,其包括:存储器; 处理器,其耦合到所述存储器且被配置成发布存储在所述存储器中的 多个程序指令,所述程序指令包括:经由至少一个头戴式输出显示器 提供多个图标用于显示,所述多个图标被配置成经由至少一个手势跟 踪传感器而进行选择;经由至少一个手势跟踪传感器接收用户手势数 据,所述用户手势数据指示所述多个图标的所选择图标的选择;基于 所述所选择图标的所述选择访问图标层级;和基于所述选择图标经由 所述至少一个头戴式输出显示器提供所述图标层级的部分用于显示。 条款150.根据本段落中提及的任何条款的设备,其中提供所述多个图 标用于显示还只在所述至少一个手势跟踪传感器感测图标唤出手势 时发生。条款151.根据本段落中提及的任何条款的设备,其中所述图 标唤出手势包括呈现张开的手达至少一个阈值时段。条款152.根据本 段落中提及的任何条款的设备,其中使用至少一个循环气泡动画呈现 所述多个图标。条款153.根据本段落中提及的任何条款的设备,其中 所述图标是气泡图标。条款154.根据本段落中提及的任何条款的设 备,其中所述用户手势数据包括相对手运动悬停预选择。条款155. 根据本段落中提及的任何条款的设备,其中所述用户手势数据包括紧 捏移动平移。条款156.根据本段落中提及的任何条款的设备,其中所 述用户手势数据包括紧捏弹爆选择。条款157.根据本段落中提及的任 何条款的设备,其中所述多个图标图标中的至少一个包括应用标志。 条款158.根据本段落中提及的任何条款的设备,其中:经由所述至少 一个头戴式输出显示器提供所述图标层级的部分用于显示包括:响应 于所述用户手势数据显示所选择图标的至少一个动画。条款159.根据 本段落中提及的任何条款的设备,其中所述至少一个动画包括向内/ 名片簿循环。条款160.根据本段落中提及的任何条款的设备,其中所 述图标层级包括文件夹级和应用/文件级。条款161..根据本段落中提 及的任何条款的设备,其中所述图标层级包括设置级。条款162.根据 本段落中提及的任何条款的设备,其中所述图标层级还包括与至少一 个显示参数相关联的设置子级。条款163.根据本段落中提及的任何条 款的设备,其中所述至少一个显示参数包括连续显示参数,且还包括: 经由所述至少一个手势跟踪传感器接收与所述至少一个显示参数相 关联的所述至少一个设置子级图标的选择;确定所述设置子级图标与 至少一个用户身体部分的相对空间位置;经由所述输出显示器提供界 面元素,其包括从所述设置子级图标拉伸到所述用户身体部分的线; 和基于所述相对空间位置调整所述至少一个显示参数和所述线的长 度。条款164.一种手势识别非暂时介质,其包括:程序指令,其可由 耦合到所述介质的处理器发布以使所述处理器:经由至少一个传感器 跟踪环境中的第一环境对象;指派至少一个环境对象识别符给所述第 一环境对象;识别与所述第一环境对象相关联的至少一个空间坐标; 基于所述至少一个空间坐标将坐标系与所述环境对象识别符相关联。 条款165.根据本段落中提及的任何条款的介质,其还包括:经由所述 至少一个传感器关于所述坐标系映射第二环境对象的手势。条款166. 根据本段落中提及的任何条款的介质,其中:映射手势还包括:生成 与所述第二环境对象相关联的点云。条款167.根据本段落中提及的任 何条款的介质,其中映射手势还包括:识别所述第二环境对象的至少 一个第二环境对象空间坐标;和确定所述第二环境对象空间坐标与所 述第一环境对象的所述空间坐标之间的关系。条款168.根据本段落中 提及的任何条款的介质,其中所述关系包括相对位移。条款169.根据 本段落中提及的任何条款的介质,其中所述关系包括相对取向。条款 170.根据本段落中提及的任何条款的介质,其中所述传感器包括深度 相机。条款171.根据本段落中提及的任何条款的介质,其中:识别所 述至少一个第二环境对象空间坐标包括:生成与所述第二环境对象相 关联的深度图。条款172.根据本段落中提及的任何条款的介质,其还 包括:通过组合与所述第二环境对象相关联的所述深度图与至少一个 增补深度图而生成扩展深度图。条款173.根据本段落中提及的任何条 款的介质,其中:确定所述第二环境对象空间坐标与所述第一环境对 象的所述空间坐标之间的关系还包括:比较与所述第二环境对象相关 联的所述深度图与第一环境对象深度图。条款174.根据本段落中提及 的任何条款的介质,其中所述第一环境对象是框。条款175.根据本段 落中提及的任何条款的介质,其中所述第一环境对象是表面。条款 176.根据本段落中提及的任何条款的介质,其中所述表面是桌子表 面。条款177.根据本段落中提及的任何条款的介质,其中所述表面是 墙壁。条款178.根据本段落中提及的任何条款的介质,其中所述表面 是显示屏幕。条款179.根据本段落中提及的任何条款的介质,其中所 述第二环境对象是用户身体部分。条款180.根据本段落中提及的任何 条款的介质,其中所述用户身体部分是用户的手掌和拇指,且其中识 别至少一个第二环境对象空间坐标包括识别所述用户的手掌和拇指 的至少一个相对位置。条款181.根据本段落中提及的任何条款的介 质,其中跟踪环境中的第一环境对象还包括:生成与所述第一环境对 象相关联的至少一个点云。条款182:根据本段落中提及的任何条款 的介质,其还包括:通过组合与所述第一环境对象相关联的所述至少 一个点云与至少一个增补点云而生成扩展点云。条款183.一种用户界 面管理介质,其包括:程序指令,其可由耦合到所述介质的处理器发 布以使所述处理器:经由至少一个头戴式输出显示器提供多个图标用 于显示,所述多个图标被配置成经由至少一个手势跟踪传感器而进行 选择;经由至少一个手势跟踪传感器接收用户手势数据,所述用户手 势数据指示所述多个图标的所选择图标的选择;基于所述所选择图标 的所述选择访问图标层级;和基于所述选择图标经由所述至少一个头 戴式输出显示器提供所述图标层级的部分用于显示。条款184.根据本 段落中提及的任何条款的介质,其中提供所述多个图标用于显示还只 在所述至少一个手势跟踪传感器感测图标唤出手势时发生。条款185. 根据本段落中提及的任何条款的介质,其中所述图标唤出手势包括呈 现张开的手达至少一个阈值时段。条款186.根据本段落中提及的任何 条款的介质,其中使用至少一个循环气泡动画呈现所述多个图标。条 款187.根据本段落中提及的任何条款的介质,其中所述图标是气泡图 标。条款188.根据本段落中提及的任何条款的介质,其中所述用户手 势数据包括相对手运动悬停预选择。条款189.根据本段落中提及的任 何条款的介质,其中所述用户手势数据包括紧捏移动平移。条款190. 根据本段落中提及的任何条款的介质,其中所述用户手势数据包括紧 捏弹爆选择。条款191.根据本段落中提及的任何条款的介质,其中所 述多个图标图标中的至少一个包括应用标志。条款192.根据本段落中 提及的任何条款的介质,其中经由所述至少一个头戴式输出显示器提 供所述图标层级的部分用于显示包括:响应于所述用户手势数据显示 所选择图标的至少一个动画。条款193.根据本段落中提及的任何条款 的介质,其中所述至少一个动画包括向内/名片簿循环。条款194. 根据本段落中提及的任何条款的介质,其中:所述图标层级包括文件 夹级和应用/文件级。条款195.根据本段落中提及的任何条款的介质, 其中:所述图标层级包括设置级。条款196.根据本段落中提及的任 何条款的介质,其中:所述图标层级还包括与至少一个显示相关联的 设置子级。条款197.根据本段落中提及的任何条款的介质,其中所述 至少一个显示参数包括连续显示参数,且还包括:经由所述至少一个 手势跟踪传感器接收与所述至少一个显示参数相关联的所述至少一 个设置子级图标的选择;确定所述设置子级图标与至少一个用户身体 部分的相对空间位置;经由所述输出显示器提供界面元素,其包括从 所述设置子级图标拉伸到所述用户身体部分的线;和基于所述相对空 间位置调整所述至少一个显示参数和所述线的长度。条款(198).根 据权利要求115所述的方法,其中所述图标是沙图。条款(199).根 据权利要求115所述的方法,其中所述图标是从沙图中导出。条款 (200).根据权利要求115所述的方法,其中所述图标是拓扑造型。 条款(201).根据权利要求115所述的方法,其中所述图标各对应 于沙图曝光的一个迹线。条款(202).根据权利要求115所述的方 法,其中所述图标每个是沙图上的珠。条款(203).根据权利要求 134所述的方法,其中当被选择时,所述图标呈现为可沿着所述沙图 移动。

可明白,上文所述组合件和模块可如进行所属技术领域人员的范 畴内以进行这些组合和置换而无须以显性词描述其每个和每一个所 希望的功能和任务可所需而彼此连接。不存在优于所述领域可用的任 何等效物的特定组合件或部件。不存在实践优于其它标的物的所公开 标的物的特定模式,只要可进行功能。据信在本文件中已经提供所公 开的标的物的所有关键方面。应理解,所有主张标的物的范畴不限于: (i)从属权利要求;(ii)非限制实施方案的详细描述;(iii)发明内 容;(iv)摘要;和/或(v)本文件之外所提供的描述(即,如提交、 如起诉和/或如授予的即时申请之外)。应理解,出于本文件的目的, 片语“包括(includes)”等效于词“包括(comprising)”。应注意,上 文概述了非限制实施方案(实例)。针对特定非限制实施方案(实例) 进行描述。应理解,非限制实施方案只是说明为实例。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号