用于将数字信息投影到真实环境中的真实对象上的方法和系统

摘要

一种将数字信息投影在真实环境中的真实对象上的方法，包括利用可见光投影仪将数字信息投影在真实对象或真实对象的一部分上，使用相机捕获具有投影的数字信息的真实对象的至少一个图像，提供与相机配准的深度传感器，所述深度传感器捕获该真实对象或该真实对象的一部分的深度数据，以及基于所述至少一个图像和深度数据计算可见光投影仪与真实对象之间的空间变换。本发明还涉及相应的系统。

说明书

本发明涉及用于将数字信息投影在真实环境中的真实对象上的方法 和系统。此外，本发明涉及包括软件代码部分的计算机程序产品，该软件 代码部分在计算机系统上运行时用于执行该方法。

增强现实(AR)系统可以通过借助于计算机生成的数字信息直接视 觉上增强真实环境来加强真实环境。例如，这样的数字信息是用于增强真 实环境的视觉印象的虚拟信息。诸如在参考文献[1]中提及的，典型的应用 被称为，例如，所谓的基于投影仪的AR，投影式AR或空间AR。该数字 信息可以是任何类型的视觉可感知的数据，诸如对象、文本、绘图、视频 或它们的组合。真实环境的直接增强可以通过使用投影仪将计算机生成的 数字信息投影到真实环境或真实环境的一部分的真实对象的表面上来实 现。

投影式AR具有许多应用，诸如如参考文献[2]中描述的用于架构设 计的原型，和如参考文献[3]中描述的汽车制造，如参考文献[4]中描述的 用于新型计算机用户界面开发的普适计算，如参考文献[5]中描述的信息显 示，或者如参考文献[6]中描述的鞋的设计。

为了在投影的视觉数字信息与将在真实环境中增强的真实对象之间 具有所需的对准，必须已知真实对象和投射数字信息的投影仪之间的空间 变换。为此，经常进行校准程序以基于2D-2D、2D-3D、或3D-3D对应性 来估计空间变换，这是用于建立投影式AR系统的挑战性步骤。对于这样 的校准程序通常需要相机。

已经提出和开发许多校准方法以计算投影仪和真实对象之间的空间 变换。例如，Jundt等人在参考文献[3]中描述了使用相机和投影仪在汽车 表面上显示关于汽车的视觉数据的方法。相机和投影仪应该刚性地耦接， 以便对它们进行一次校准，然后假设根据由相机获取的处理视频数据所计 算的投影仪-车的外部特征(即，相对的空间位置和方位)。相机检测连接 至汽车的视觉标记，以便估计相机和汽车之间的空间变换。以这种方式， 可以确定投影仪和汽车之间的空间变换。该方法的问题是，必须预先测量 该标记相对于汽车的坐标系的位置和方位。

在参考文献[6]中描述的扩展3D是一种商业投影式AR系统，其基于 刚性地连接至投影仪的相机传感器来跟踪一组标记。这两个开发的系统具 有一些限制。校准不能由独立的实体检查。必须频繁地执行相机和投影仪 之间的额外的校准程序。该程序不能在任意对象上进行，而是需要呈现平 坦的表面或类似物。此外，视觉标记本身需要事先与汽车配准，这引入了 额外的误差源。

Raskar等人在参考文献[2]中开发了一种用于支持构架设计的投影式 AR系统。他们提出了用于多台投影仪的校准方法，以确保几何对齐投影 的图像。他们的系统需要手动调节投影图像的纹理坐标以与物理模型(真 实对象)视觉对齐。

Kurz等人在参考文献[6]中提出了一种校准方法，用于基于使用与相 机刚性耦接的激光指示器来建立投影仪与室内物理场景(即真实对象)之 间的空间变换。相机和激光系统安装在机器人云台装置(自动云台装置， robotic pan-tilt apparatus)中，使得可以控制相机和激光器的运动以用于扫 描室内环境并且利用室内环境校准投影仪。然而，机器人云台装置很昂贵， 并且难以实现相机和激光系统的受控运动。这主要是因为该系统需要云台 与相机的非常精确的手眼校准，其提供相机相对于云台单元的位置和方 位。并且，利用激光器对环境取样花费大量的时间，因为每次可以感测仅 一个点。

Fuchs等人在参考文献[7]中描述了使用来自投影仪的结构光来收集 后面可视化中待使用的深度信息。它们不在真实对象上投影虚拟信息，而 是使用头戴式显示器。

Lim在参考文献[8]中采用多台投影仪和一台相机用于现场重建。它 们基于相机和每个投影仪之间已知的变换校准多个投影仪之间的空间关 系。在校准过程中，它们需要在板上的投影，这意味着它们不能通过在任 何感兴趣的对象上投影来校准。它们需要额外的校准，以便能够估计校准 数据和感兴趣对象的坐标系中的变换。参考文献[8]的目标是重建环境。它 没有提出任何校准方法来计算投影仪和真实对象之间的空间变换。

为了校准投影仪和真实对象之间的空间关系并且估计投影式AR应 用程序或系统中投影仪的固有参数，所有先前的方法需要复杂的程序和/ 或昂贵的硬件设备。这肯定减小了投影式AR应用程序或系统的可用性和 效率。

因此，有益的是，开发一种方法和系统，其能够使投影式AR系统精 确地将数字信息投影在真实对象上而无需昂贵的硬件设备并且不需要进 行冗长的校准程序。

根据一个方面，提供了一种将数字信息投影在真实环境中的真实对象 上的方法，包括：利用可见光投影仪将数字信息投影在真实对象或真实对 象的一部分上，使用相机捕获具有投影的数字信息的真实对象的至少一个 图像，提供与相机配准(register)的深度传感器，所述深度传感器捕获该 真实对象或该真实对象的一部分的深度数据，以及基于所述至少一个图像 和深度数据计算可见光投影仪与真实对象之间的空间变换。

根据另一个方面，提供了一种用于将数字信息投影在真实环境中的真 实对象上的系统，包括：适于将数字信息投影在真实环境中的真实对象或 真实对象的一部分上的可见光投影仪，适于捕获具有投影的数字信息的真 实对象的至少一个图像的相机，以与相机配准并且适于捕获该真实对象或 该真实对象的一部分的深度数据的深度传感器，以及布置成基于所述至少 一个图像和深度数据来计算可见光投影仪与真实对象之间的空间变换的 处理单元。

根据一个特定实施方式中，在一个优选的实施例中，该方法包括基于 所述真实物体的已知3D模型来估计RGB-D相机系统与真实对象之间的 空间变换并且基于利用投影仪将一个或多个视觉图案投影在真实对象或 真实对象的一部分的一个或多个表面上来计算投影仪的固有参数和投影 仪与真实对象之间的空间变换。

根据一个实施例，该方法进一步包括使用深度数据来估计数字信息的 深度。

具体地说，该方法可以进一步包括使用深度数据和所述至少一个图像 来估计数字信息的3D位置。

在一个优选的实施方式中，深度传感器和相机被组合以形成子系统， 在该子系统中所述深度传感器和相机是相互关联的(即，在它们之间具有 已知的变换)，该方法还包括计算深度传感器和相机的子系统与真实对象 之间的空间变换的步骤。

例如，计算深度传感器和相机的子系统与真实对象之间的空间变换是 基于真实对象或真实对象的一部分的3D几何模型和真实对象或真实对象 的一部分的3D描述，其来自由深度传感器和相机的子系统捕获的真实对 象的一个或多个图像和深度数据。

具体地说，该方法可以进一步包括使用真实对象或真实对象的一部分 的3D几何模型和深度传感器和相机的子系统与真实对象之间的经计算的 空间变换来估计数字信息的深度，以获得第二深度数据。

根据一个实施例，该方法进一步包括以下步骤：使用可见光投影仪将 至少一个视觉图案作为数字信息投影到所述真实对象的表面上，并且使用 深度传感器和相机捕获投影的视觉图案的深度数据。

根据一个实施例，该方法进一步包括以下步骤：计算所述可见光投影 仪与深度传感器和相机的子系统之间的空间变换，计算或提供可见光投影 仪的固有参数，并且基于可见光投影仪与深度传感器和相机的子系统之间 的空间变换、深度传感器和相机的子系统与真实对象之间的空间变换，以 及优选地基于可见光投影仪的固有参数来计算可见光投影仪与真实对象 之间的空间变换。

根据另一个实施例，该方法进一步包括以下步骤：基于深度传感器和 相机的子系统与真实对象之间的空间变换，将投影的视觉图案的深度数据 从深度传感器和相机的子系统的坐标系变换到真实对象的对象坐标系，计 算或提供可见光投影仪的固有参数，以及基于变换的深度数据，以及优选 地基于可见光投影仪的固有参数来计算可见光投影仪与真实对象之间的 空间变换。

例如，深度传感器和相机的子系统是RGB-D相机系统，其中相机是 RGB(RGB＝红/绿/蓝)相机(其中D代表深度传感器)。

具体地，深度传感器捕捉真实对象或真实对象的一部分的深度数据， 而不依赖于可见光投影仪。

根据一个实施例，使用深度传感器和相机的子系统与可见光投影仪之 间的空间变换和可见光投影仪的固有参数，并且将一项数字信息(其从相 机的图像中提取)投影在真实对象上来创建第三深度数据。

例如，以下在本文中，由深度传感器捕获的深度数据被称为第一深度 数据，并且所述方法还包括计算第一深度数据、第二深度数据和第三深度 数据的任何组合之间的差异的步骤。

根据一个实施例，如果确定可见光投影仪到所述真实对象的一定距离 被达到或超过，则通知用户需要校准，或者自动开始校准程序。

根据另一个实施例，使用可视光投影仪将所述可见光投影仪到所述真 实对象的距离作为视觉数据显示在所述真实对象上。

根据一个实施例，该方法包括使用深度传感器和相机的子系统来跟踪 真实对象的步骤。

例如，一个或多个视觉标记被添加到真实环境中以支持追踪。

在一个优选的实施例中，如在下面更详细地提及的，迭代最近点(称 为ICP)算法被用于初始化深度传感器的姿态。

根据一个实施方式，可见光投影仪的姿态数据被用来设置投影仪的特 定参数，诸如焦距或放大倍数或亮度。

特别地，如果投影仪更接近真实对象，则可见光投影仪的亮度可能变 得更小。

特别地，可见光投影仪的变焦在离得更近时增加投影仪的视场，并且 当移动得更远时减小视场。

根据进一步的实施例，该方法进一步包括以下步骤：使用深度传感器 和相机的子系统在真实对象的表面的顶部上通过用户进行交互以便识别 用户触摸。

根据另一个方面，本发明还涉及一种适于被加载到数字计算机系统的 内部存储器中的计算机程序产品，其包括软件代码部分，当所述产品在所 述计算机系统上运行时，通过该软件代码部分来执行如上所述的步骤和特 征。此外，本发明也可部分地在硬件逻辑电路中实现，并且可以与被布置 为执行如本文所述方法的编程逻辑电路相关。

根据本发明的系统的实施例，相机和深度传感器被集成到共用外壳 中。

优选地，相机和深度传感器是RGB-D相机的功能单元。

在一个具体实施方式中，可见光投影仪、相机和深度传感器是手持式 或头戴式设备的一部分。

在一个优选的实施方式中，相机包括可见光相机，优选地为RGB相 机，并且深度传感器包括红外光投影仪和红外光相机。

根据一个实施例，所述可见光投影仪、相机和深度传感器被集成到共 用壳体中，其中，所述可见光投影仪通过绝缘或热阻尼材料与相机和深度 传感器分离。

根据另一个实施例，所述可见光投影仪、相机和深度传感器被集成到 普通外壳中，其中所述外壳的底板由碳纤维层压体制成。

根据进一步的实施例，该系统包括校准装置，在最近的校准的温度和 当前温度之间的温度差超过阈值的情况下，其通知用户需要对系统进行新 的校准，或者其自动地进行系统的自校准。

例如，可见光投影仪包含以下部件中的至少一个：通气孔、变焦光学 装置、可变焦距透镜。

根据一个实施例，该系统还包括红外光投影仪，其优选地被用作深度 传感器的一部分，其中红外光投影仪不包含以下部件中的至少一个：通气 孔、变焦光学装置、可变焦距透镜。

现在将参照附图对本发明的方面和其实施例进行描述，在附图中：

图1A示出了根据本发明的示例性系统设置，其中，RGB-D相机系 统和可见光投影仪中未刚性地相互耦接，

图1B示出了根据图1A的系统设置，其另外示出根据本发明的各方 面使用的坐标系，

图2示出了根据本发明的一个方面的另一种示例性的系统设置，其中 RGB-D相机系统和可见光投影仪被刚性地彼此耦接，

图3示出了根据本发明的一个实施例的方法的流程图，

图4示出了根据本发明的另一个实施例的方法的流程图，

图5示出了示例性的手持式设备，包括可以根据本发明的各方面使用 的可见光投影仪和RGB-D相机系统，

图6示出了示例性的头戴式设备，包括可以根据本发明的各方面使用 的可见光投影仪和RGB-D相机系统，

图7示出了根据本发明的各方面的有利的硬件设置，

图8示出了可以与根据本发明的各方面的方法结合使用的示例性的 ICP算法的流程图。

在本发明的实施例和各方面的以下描述中，主要是指根据图1A和1B 的系统设置，其仅是用于说明本发明而不是将本发明限于其中所示的任何 特定方面的示例性的系统设置。通常，根据本发明的系统设置能够在真实 环境中的真实对象上投影数字信息。在本示例中，真实对象是汽车11，然 而，也可以使用任何其他真实对象或其部分。该系统包括可见光投影仪15， 其适于将数字信息投影到真实环境中的真实对象上，诸如汽车11，或真实 对象的一部分上；相机12(具体地为可见光相机，诸如RGB相机或如本 文下面阐述的其他类型)，其适于捕获具有投影的数字信息的真实对象11 的至少一个图像；以及深度传感器(在本实例中，包括红外光相机13和 红外光投影仪14)，其使用与相机12配准并且适于捕获真实对象11或真 实对象11的一部分的深度数据。使用作为深度传感器的红外投影仪和红 外相机是一种用于测量真实对象的深度数据的技术，在该真实对象上投影 红外光并且由红外相机捕获，其对技术人员来说是已知的。也可以使用其 他深度感测技术。

可见光相机12和深度传感器13、14形成相机12和深度传感器13、 14的子系统16，其中相机和深度传感器是相互关联的，即通过它们之间 已知的空间变换相互关联。例如，如在下面更详细描述的，子系统16是 RGB-D相机系统。该系统还包括处理单元，其被尤其是布置成基于由相 机12捕获的至少一个图像和由深度传感器13、14测得的深度数据来计算 可见光投影仪15和真实对象11之间的空间变换，以及用于计算由此所需 的任何其他变换和如本文以下更详细地阐述的计算。处理单元17可以是 如通常在用于这种应用程序的紧凑或分布式计算机系统中使用的任何合 适的处理单元，诸如个人计算机的CPU或任何其它合适的处理器或处理 单元或逻辑电路。

根据本发明的一个优选的实施例，使用可见光投影仪15，通过基于 所述真实对象的已知3D模型估计RGB-D-相机系统16和真实对象11之 间的空间变换，并且基于从投影仪15投影到真实对象11或真实对象11 的一部分上的数字信息(优选地为一个或多个视觉图案)和由RGB-D-相 机系统16捕获的投影的数字信息(如视觉图案)的深度图来计算投影仪 15的固有参数，和投影仪15与真实对象11之间的空间变换，将计算机生 成的数字(本文也称为虚拟)信息投影在真实环境中的真正对象的表面上， 在本实例中，投影到真实对象11的表面上。

根据本发明的各方面，提出了一种这样的方法，其在真实环境中的真 实对象上投影数字信息，并且具体地在校准程序中，计算在真实对象或真 实对象的一部分上投影数字信息的可见光投影仪与真实对象或真实对象 的一部分之间的空间变换。空间关系或空间变换规定了对象在平移和旋转 方面相对于另一对象如何定位在3D空间中。RGB-D相机系统是捕获装置， 其能够捕获真实环境或真实环境的一部分的RGB-D图像。RGB-D图像是 具有相应的深度图(即，与在图像中捕获的真实对象相关的深度数据)的 RGB图像。代替深度图像，该系统还可以提供相对于相机坐标系的3D模 型。所提出的本发明可以很容易地推广到提供图像格式(颜色或灰度)的 任何相机，所述图像格式另外提供深度数据。它不限于提供RGB格式的 彩色图像的捕获系统。它也可以应用于任何其它彩色格式，并且还可应用 于单色图像，例如提供灰度级格式的图像的相机。在一个有利的实施方式 中，可见光相机可以是高动态范围相机或配备有限制其对某些光波的响应 的过滤器的相机，例如，使摄像机仅看到蓝色。深度图像不需要以与视觉 (颜色或/灰度级)相机图像相同的分辨率提供。所谓的RGB-D系统可以 是被一起安装和校准以提供环境中的一组物理点的一组测光信息和深度 信息的设备的任意组合。

真实环境由一个或多个真实对象构成。真实对象可以是世界上任何实 际存在的对象，如汽车、树木、建筑、人或石头。

投影仪是将图像(即视觉数字信息)投影到真实对象或真实对象的一 部分的物理表面上的光学装置。视觉数字(或虚拟)信息可以是任何类型 的视觉可感知的数据，如对象，尤其是3D对象、文本、图画、视频、用 户界面元素(例如，按钮)或它们的组合。

真实对象的3D模型描述了真实对象的3D几何结构。几何结构描述 了一个或多个属性，包括但不限于，形状、对称性、几何尺寸和结构。

校准投影仪和真实对象之间的空间关系的问题是确定包括投影仪和 真实对象之间的平移和方位的变换。

在下文中，假定如图1A和1B中所示的示例性背景场景，参考图3， 其示出了根据本发明的作为流程图的方法的实施例。

真实对象11或真实对象11的一部分的3D描述(例如，位于所述表 面上的点云的形式)是基于真实对象或真实对象的一部分的深度图由通过 RGB-D相机系统16捕获的深度数据构造(图3中的步骤31)的。在RGB-D 相机坐标系统102中构造真实对象11的3D描述(图1B)。RGB-D相机 系统16与真实对象11之间的空间变换104可以通过找到可在RGB-D相 机坐标系102中表示的重建云与在真实对象坐标系101中表示的真实对象 11的已知3D模型的点云之间的最佳几何匹配来数字上进行估计。这可以 通过使用本领域技术人员本身已知的和如在下面更详细描述的迭代最近 点(ICP)算法来实现。如参考文献[16]中描述的，其它的方法可以基于两 种模型的匹配特定特征，基于拓扑，曲率或形状。例如，真实对象的已知 3D模型的点云可以通过经由光线投影对3D模型进行采样来获得。也可以 由三角形对3D模型进行采样，然后使用基于点到面距离的ICP算法来估 计RGB-D相机系统和真实对象之间的空间变换(图3中的步骤33)。本 领域技术人员很清楚，真实对象的已知3D模型也可以以数学描述的形式 提供，例如SPLINES(样条)或NURBS。

投影仪15将具有已知几何形状的一个或多个视觉图案投影到真实对 象11或真实对象11的一部分上(图3中的步骤35)。视觉图案可以是各 种形式，诸如点、线、多个点、多条线、网格、圆形、十字线、厚条纹、 二进制编码图案、格雷码图案、颜色编码的条纹和随机纹理。一个或多个 投影的视觉图案在RGB-D相机坐标系统102中的一个或多个3D位置可 以直接从由RGB-D相机系统捕获的深度图获得(图3中的步骤36)。在 可替换的实施方式中，在RGB-D相机系统和真实对象之间的空间变换104 已被估计之后，可以从真实对象的3D模型获得一个或多个投影的视觉图 案的3D位置。

投影仪15和RGB-D相机系统16之间的空间变换106，以及投影仪 15的固有参数可以基于投影仪坐标系统103中的一个或多个视觉图案的 2D坐标和RGB-D相机坐标系统102中的一个或多个视觉图案的相应3D 坐标系来计算(图3中的步骤37)。假设已知投影仪的固有参数，可以使 用它们而不是对其进行重新估算。固有参数通常用于计算可见光投影仪与 深度传感器和相机的子系统之间的空间变换。一旦空间变换已经确定，则 固有参数仅可在对真实对象的信息可视化的步骤中使用。

应当指出的是，假设投影的视觉图案的3D位置从深度图获得，所描 述的计算真实对象与RGB-D相机系统之间的空间变换104和计算投影仪 与RGB-D相机系统之间的空间变换106的程序可以并行进行。

最后，基于真实对象11与RGB-D相机系统16之间的估计的空间变 换104和投影仪15与RGB-D相机系统16之间的估计的空间变换106来 计算投影仪15和真实对象11之间的空间变换105(图3中的步骤38)。

此外，本发明不需要投影仪15和RGB-D相机系统16被刚性地耦接 或在投影仪15和RGB-D相机系统16之间具有预先已知的空间变换(参 照图1A)。相比于如在参考文献[3,6]中描述的现有技术，这增加了本发明 的可用性和灵活性。特别是，因为RGB-D系统可作为紧凑型系统获得而 没有可动部件或光学装置，它们易于校准并且它们的物理结构不会轻易改 变，因此校准通常将不改变。另一方面，投影仪通常配备有可动光学装置 并且显示出较大的温度变化。它们还经常具有大的外壳、阻尼光学装置和 通气孔(vent)。所有这些特性使它们在显示非常明亮和高品质的图像时很 强，但是使得它们很难持续校准。

根据本发明的方法的另一个实施例示于图4中。步骤41-46对应于如 上述参照图3的实施例描述的步骤31-36。如上所述，确定RGB-D相机系 统16与真实对象11之间的配准，并且将一个或多个视觉图案投影到真实 对象11上导致投影仪坐标系统103和RGB-D相机坐标系统102之间的 2D-3D对应性。

在步骤47中，使用ICP算法所确定的变换，将这些对应性的3D坐 标从RGB-D相机坐标系统102变换到对象坐标系统101。最后，在步骤 48中，基于投影仪15和对象坐标系统101之间的2D-3D对应性来计算投 影仪15与真实对象11之间的空间变换(并且可选地投影仪的固有参数)。

RGB-D相机系统的可能的实现方式：

RGB-D相机系统可以是飞行时间(TOF)相机系统。Kolb等人在参 考文献[9]中给出了关于飞行时间相机传感器和应用程序的现有技术的概 述。RGB-D相机系统16也可以使用RGB相机12、红外光相机13和红外 投影仪14来构造(参见图1A)。RGB相机12、红外光相机13和红外光 投影仪14典型地是刚性耦接并且它们的空间关系是已知的。由此，RGB 相机、红外光相机和红外光投影仪可以在称为RGB-D相机坐标系统102 的公共坐标系统中定义。有利地，这三个传感器都紧紧地连接至一个公共 的部分，例如，结实的金属块或碳纤维层压体部分。

诸如在参考文献[2,6]中描述的几种方法已经被开发以校准相机和投 影仪之间的空间关系。一种常见的方法是使投影仪将具有已知几何形状的 图案投影到物理表面上并且使相机捕获投影的图案。这可以建立投影仪坐 标系和相机坐标系之间的对应关系，因此，可以估计投影仪和相机之间的 转换。

红外光投影仪和红外光相机可以一起产生真实对象或真实对象的一 部分的深度图。为此，红外投影仪将具有已知几何形状的图案投影到所述 真实对象上，并且红外相机捕捉投影的图案的图像。从投影的图案的图像， 可以生成真实对象的深度图。作为RGB相机，红外相机和红外投影仪在 共同的RGB-D相机坐标系中进行校准，可以从深度图和RGB相机的RGB 图像获得RGB-D图像。

存在一些基于使用RGB相机、红外相机和红外投影仪的市售的 RGB-D相机系统，例如来自Microsoft的已知动力学(Kinect)系统或来自 Asus的Xtion Pro。这些系统是现成货架的商品廉价消费设备的实例。US 8  150 142 B2和US 7 433 024 B2描述了RGB-D传感器的可能的实现方式的 详细方法。

本发明中深度传感器的有利版本能够以交互式帧频(例如高于每秒5 帧)方式传送深度图像。

可能的ICP算法的实现方式：

迭代最近点(ICP)(描述在例如参考文献[12]中)是一种算法，其空 间上配准通常由3D点云表示的两个部分重叠的3D模型。该算法的目的 是找到6DoF(DoF：自由度)刚体变换(包括3D旋转和3D平移)，该 变换将一个模型转换以与另一个模型配准，参见例如在下面描述的图8：

给定参考模型R(步骤81)、当前模型C(步骤82)，和C和R之间 的变换的初始猜测(步骤83)，该方法最初变换具有所提供的初始猜测的 C(步骤84)。需要注意的是，在最简单的情况下，初始猜测可以是恒等 变换。现在，迭代方法从模型R和C选择点样本R'和C'(步骤85)，然后 建立这两套点之间的匹配(步骤86)。在最简单的情况下，C'中的点的匹 配对应关系被确定为R'中的最近点。在随后的步骤(步骤87)中，计算 每一个匹配的权重。需要注意的是，其最简单的实现方式是为所有匹配分 配相等的权重。在分配误差度量之后(步骤88)，例如匹配点之间的距离 的均方根，找到使这种误差度量最小化的变换(步骤89)。

退出条件确定是否在另外的迭代中应当细化所找到的答案(步骤 810)。如果是，在通过从模型R和C中选择点样本R'和C'开始下一次迭 代之前，用找到的变换对C进行变换(步骤811)。否则，积累的变换(转 换)，即在迭代方法过程中应用至C的所有变换(转换)和在步骤89中找 到的最后变换的积累被返回作为使C与R对准的最终变换(步骤812)。

深度传感器的潜在附加用途：

具有能够产生深度图像的深度传感器具有附加的优点。一个优点可以 是实现差异测量，以便找到真实对象的虚拟模型(例如，计算机辅助设计 (CAD)模型)和真实对象的实际几何结构之间的差异。因为ICP算法能 够处理两个3D模型之间的部分误差或差异，因此该算法在大多数情况下 能够将部分不同的虚拟模型与来自深度传感器的深度数据对准。例如，然 后可以计算一个模型的顶点或点与另一模型的最接近顶点或点之间的差 异。对不同的距离分配不同的颜色，投影仪可以根据真实对象的部分与虚 拟3D模型的差异对真实对象的部分进行着色。

另一优点可以是额外实现与真实对象的触摸交互。根据现有技术(例 如，参考文献[11])，从深度数据检索身体姿态的技术是已知的。身体跟踪 可以用来检索系统用户的粗略头部位置。该头部位置可以用来改进所显示 的虚拟数据以使之看起来比仅假设用户具有可见投影仪的视点的情况下 更逼真并且更好地对准真实对象。关于这种渲染技术的更多内容可以在参 考文献[13]中找到。

身体跟踪也可以用于检索用户的手位置或检索用户接近实际对象的 最近的身体部分。该系统可以将假定与真实对象的距离小于某一阈值(例 如，10cm)的任何身体部分或只有手解释成鼠标点击或鼠标事件，其中， 所考虑的鼠标位置对应于3D模型上的最近3D点，其根据投影仪固有参 数被投影到2D坐标中。使用该信息并且结合它，或通过利用已知技术直 接确定3D模型的子部分，可以触发所有类型的用户交互。例如，虚拟便 签贴可以在该位置贴至3D模型，或者一部分可以是栩栩如生地动作或突 出显示。甚至可以通过在真实对象的顶部上拖拽虚拟对象或在真实对象的 顶部上“虚拟绘画”进行设计任务。

触摸交互方面的一个有利添加是当用户触摸真实对象时通过使用电 容感测或通过测量电流触来检测用户触摸真实对象。可将电容感测电路连 接至真实对象，并且当其检测到在真实世界中的对象的电容变化时，可将 输入信号提供给处理单元。另一可能的替代实现方式是使真实对象与地面 绝缘并且将真实对象连接至电压(例如，通过高电阻)并测量当用户触摸 对象将其接地时引起的电流。然后可以评价深度传感器数据，以便呈现真 实对象可能已被触摸的位置。

2012年12月17日检索的维基百科(Wikipedia)提供了实现电容感 测电路的以下可能的方式(http://en.wikipedia.org/wiki/Capacitive_sensing)：

“电容通常通过使用它来控制振荡器的频率，或者改变AC信号的耦 合(或衰减)的水平而被间接测量。简单电容计的设计经常是基于弛缓振 荡器。待感测的电容形成振荡器的RC电路或LC电路的一部分。基本上， 技术通过用已知的电流对未知的电容进行充电来工作。(电容器的状态方 程为i＝C dv/dt。这意味着电容等于电流除以电容器的电压的变化率)。电 容可以通过测量达到(弛缓振荡器的)阈值电压所需的充电时间来计算， 或等价地，通过测量振荡器的频率来计算。这两者都与振荡器电路的RC (或LC)时间常数成比例。电容测量误差的主要来源是杂散电容，如果 不防范，其可能会在大约10pF到10nF之间波动。杂散电容可以通过屏 蔽(高阻抗)电容信号，然后将屏蔽连接至(低阻抗)接地参考而保持相 对恒定。此外，为了使杂散电容的不期望的影响最小化，很好的做法是将 传感电子元件定位成尽可能接近传感器电极。另一个测量技术是跨电容分 压器施加固定频率的AC电压信号。这由串联的两个电容器构成，一个具 有已知值，而另一个具有未知值。然后横跨电容器中的一个获得输出信号。 未知电容器的值可以从电容量的比率获得，该比率等于输入/输出信号振幅 的比，如可以通过交流电压表测量的”。

也可以使用用户的触摸而不测量用户的位置，并且可以简单地触发可 能的内容工作流中的下一步骤。例如，系统首先在真实汽车上显示虚拟引 擎，并且在触摸汽车之后，系统切换至显示齿轮箱的结构。

为了扩展所述深度传感器的范围或更多处理系统用户，可以相对于第 一深度传感器以固定的空间关系安装第二深度传感器。两个深度传感器可 依次触发或仅按需要触发。

与如在参考文献[3,6]中描述的方法相比，本发明不要求可见光投影仪 和RGB-D相机系统之间的刚性耦接，并且不需要刚性地连接至真实对象 的视觉标记或纹理前景。因此，本方法简化了计算真实对象和可见光投影 仪之间的空间变换和估算投影仪的固有参数的校准程序。此外，与如在[3,6] 中描述的方法相比，在本发明的方法中不需要视觉标记和真实对象之间的 标记物-对象校准，其消除了标记物-对象校准所引起的错误。

与如在参考文献[6]中描述的需要机械人装置移动与相机连接的指针 以扫描真实对象的方法相比，本发明采用不同的构思，优选基于RGB-D 相机系统。与如在[6]中描述的方法相比，本发明可以减少校准时间。另外， 因为可以并行执行计算真实对象与RGB-D相机系统之间的空间变换和计 算投影仪与RGB-D相机系统之间的空间变换的两个所述的程序，因此本 发明可以进一步加快校准。有利的是，RGB-D相机系统能够以高于10Hz 的帧速率提供高于50×50像素的分辨率的深度图像。

真实对象或真实对象的一部分的另一深度图可以通过使用可见光投 影仪和RGB-D相机系统的RGB图像进行投影和捕获来产生。这个深度图 应当与由RGB-D相机系统提供的深度图相同。假设将RGB-D相机系统相 对于所述真实对象固定，则每当在校准投影仪和真实对象之间的空间关系 之后投影仪远离所述真实对象或远离RGB-D相机系统移动时，这两个深 度图将是不同的，并且系统应重新校准。

在下文中，参照根据图2的系统的另一个实施例。与根据图1的系统 类似，提供了具有RGB相机22的RGB-D相机系统26，由红外线相机23 和红外光投影仪24形成的深度传感器，和在真实对象21上投影数字信息 的可见光投影仪25。假定RGB-D相机系统26和投影仪25之间的相对变 换是固定的(参照图2)，可以在校准投影仪25和真实对象21之间的空间 关系之后检测真实对象21的移动。一旦检测到这种运动，投影仪25与真 实对象21之间的空间关系就应重新校准。

该检测可以如下来实现。让可见光投影仪将视觉图案投影到所述真实 对象的顶部，并且让RGB-D相机系统捕捉投影图案的图像，然后检查投 影的图像的位置是否在所需的位置。所需的图像位置可以基于真实对象与 投影仪之间的校准的空间关系通过计算从投影仪发射出的视觉图案的光 线和真实对象的3D模型之间的交点来估计。交点的3D位置可以表示在 真实对象坐标系中。所需的图像位置是基于所述真实对象和RGB-D相机 系统之间的校准的空间关系将交点重新投影到RGB-D相机系统的图像坐 标系统中。

检测还可以基于由RGB-D相机系统获得的深度图来实现。如果当前 获得的深度图与校准时由RGB-D相机系统捕获的深度图不同，则在校准 后可能存在真实对象的移动。

假设RGB-D相机系统26和投影仪25之间的相对变换是固定的(参 见图2)，则在校准投影仪和所述真实对象之间的空间关系后，RGB-D相 机系统可以利用计算机视觉方法或ICP(如在初始化期间所使用的)来跟 踪真实对象的移动，并且可以相应地更新投影仪和真实对象之间的空间关 系。此外，可见光投影仪的系统参数可以根据跟踪基于真实对象相对于 RGB-D相机系统的姿态来调整。例如，当它更接近真实对象时，投影仪 的亮度变得更低。

校准之后将视觉标记添加到真实对象能够使用RGB-D相机系统实现 对真实对象的鲁棒跟踪。

RGB-D相机系统和投影仪的本校准系统可以进一步支持以通过使用 来自RGB-D相机系统的深度图来检测所述真实对象的顶部上的用户交 互，以便发现触摸。

本发明的一个优点在于，在校准后存在两个独立的深度数据源。因此， 可以通过比较关于所述真实对象的两组深度数据来评价投影AR系统的质 量和它的校准，其中一组数据来自RGB-D相机系统并且一组数据来自使 用可见光投影仪和RGB相机的RGB图像。通过使用投影仪和RGB相机 的RGB图像提供的深度数据可以通过让投影仪将具有已知几何结构的视 觉图案投影到真实对象的物理表面上并且让RGB相机捕捉投影图案的 RGB图像来实现。具有可获得的固有和外部数据，可以将两个模型配准 并且可以返回质量测量值，例如，从投影仪到RGB-D模型的重建点的平 均距离。

检查校准质量的另一种可能的方式是将可检测的可见光信息投影到 真实对象上。根据可见光相机的固有参数、可见光投影仪的固有参数以及 可见光投影仪与真实对象的空间关系和可见光投影仪与可见光相机的空 间关系，可检测的可见光可以预期位于可见光相机图像中的某一位置。可 见光相机的固有参数从预校准程序已知。可检测的可见光信息的预期位置 和其真实位置之间的距离可以以像素作为质量测量值被返回。可替换地， 可以将该差以数学方式投影到真实对象上并将其转换成毫米。

根据本发明的一个方面，可见光相机和深度传感器被集成到公共的外 壳中，具体地是如所描述的RGB-D相机系统的功能单元。该系统，包括 可见光投影仪、深度传感器和可见光相机，也可以以小型化的方式实现， 以形成手持式或头戴式设备。

一个潜在的实现方式分别在图5、图6和图7中示出。可见光投影仪 和RGB-D相机系统的系统如果微型化的话可以被形成为手持式或头戴式 设备。图5所示的包括投影仪和RGB-D相机系统的示例性手持式设备50 包括手柄51、可见光投影仪55和RGB-D相机系统。RGB-D相机系统可 以进一步包括红外投影仪52、红外相机53、和RGB相机54。

图6所示的包括可见光投影仪和RGB-D相机系统的示例性头戴式设 备60可以包括固定部件61、可见光投影仪65和RGB-D相机系统。RGB-D 相机系统可以进一步包括红外投影仪62、红外相机63和RGB相机64。 固定部件61可以支撑头戴式设备和用其眼睛66感知投影的数字信息的使 用者的头部之间的刚性固定。

根据本发明的各方面的系统的另一个有利的硬件设置在图7中示出。 通常难以校准的可见光投影仪和RGB-D相机系统被结合在公共的外壳70 中，但是同时被功能上分开。将RGB-D相机系统(其在本实施例中包括 红外光投影仪74、可见光相机75和红外光相机76)的元件连接至固体结 构元件，因此它们的空间关系应该是针对移动或者甚至在运输过程中的冲 击是牢固的。可见光相机75、红外光投影仪74和红外光相机76中的至少 一个可以在一个可能的实施方式中配备有定焦光学装置。难以校准的可见 光投影仪包括复杂的光学装置71，其可以包括阻尼器、变焦和聚焦机构。 它具有高能量的光源79和空间光调制器78。由于高能光源，可见光投影 仪在打开之后具有较大的温度变化(由可选的温度指示器或传感器72指 示的)。较大的温度变化是去校准(decalibration)的主要来源，因为结构 元件的尺寸变化可能会改变系统部件的空间关系。

因此，在本实施例中，可见光投影仪和RGB-D相机系统由绝缘或热 阻尼材料73分开。有利地，外壳的底板70-1由碳纤维层压体制成，并且 RGB-D相机系统和可见光投影仪紧紧地连接至底板70-1且不连接至外壳 的侧壁70-2。外壳的侧壁70-2可以连接成使得其可以相对底板70-1稍微 运动。有利的是，所述外壳可以具有至少一个新鲜空气源或热空气出口 70-3。有利的是，该系统可以具有至少一个温度传感器72。在最后的校准 和当前温度之间的温度差超过给定阈值的情况下，该系统可以通知用户需 要新的校准。可替代地，该系统可以自动地进行自校准。

参考文献：

1.Sanni Siltanen,Theory and applications of marker-based augmented  reality.Espoo 2012.VTT Science 3.

http://www.vtt.fi/inf/pdf/science/2012/S3.pdf

2.Raskar,Ramesh,Greg Welch,and Wei-Chao Chen."Table-top  spatially-augmented realty:bringing physical models to life with  projected imagery."Augmented Reality,1999.(IWAR'99)Proceedings. 2nd IEEE and ACM International Workshop on.IEEE,1999.

3.DE 10 2010 013 420 A1

4.Rekimoto,Jun,and Masanori Saitoh."Augmented surfaces:a spatially  continuous work space for hybrid computing environments." Proceedings of the SIGCHI conference on Human factors in computing  systems:the CHI is the limit.ACM,1999.

5.Kurz,D.,F.,Grosse,M.,Schiewe,A.,and Bimber,O., Laser-Pointer Tracking in Projector-Augmented Architectural  Environments,In Proc.IEEE and ACM International Symposium on  Mixed and Augmented Reality(ISMAR2007),pp.19-26,Nara,Japan, 2007

6.Extend3D(from Website 9.12.2012 http://www.extend3d.de/en/solutions/design/)

7.Fuchs,Henry,et al."Augmented reality visualization for laparoscopic  surgery."Medical Image Computing and Computer-Assisted  Interventation—MICCAI’98(1998):934-943.

8.US 8 172 407 B2

9.Andreas Kolb,Erhardt Barth,Reinhard Koch,Rasmus Larsen: Time-of-Flight Sensors in Computer Graphics.Eurographics 2009.

10.O.Bimber and R.Raskar.Spatial Augmented Reality:Merging real  and virtual worlds.A K Peters LTD,2005.

11.J.Shotton,A.Fitzgibbon,M.Cook,T.Sharp,M.Finocchio,R.Moore, A.Kipman,A.Blake:Real-Time Human Pose Recognition in Parts  from Single Depth Images.Retrieved from  http://research.microsoft.com/pubs/145347/BodyPartRecognition.pdf17.12.2012.

12.Szymon Rusinkiewicz,Marc Levoy,Efficient Variants of the ICP  Algorithm.Third International Conference on 3D Digital Imaging and  Modeling

13.BIMBER,O.,WETZSTEIN,G.,EMMERLING,A.,AND NITSCHKE, C.Enabling view-dependent stereoscopic projection in real  environments.In Proc.IEEE and ACM Int.Symposium on Mixed and  Augmented Reality.2005

14.US 8150142 B2

15.US 7433024 B2

16.M.G.Park,M.Novotni,R.Klein:3D Shape Matching with  3D Shape Contexts.Retrieved from  http://cg.tuwien.ac.at/hostings/cescg/CESCG-2003/MKoertgen/paper.pd f,27.12.2012。