三维平面重建方法、三维平面重建系统与计算装置

摘要

一种三维平面重建方法、三维平面重建系统与计算装置。三维平面重建方法包括以下步骤：以感测装置连续取得动态场景的彩色信息、深度信息及方位信息。依据这些彩色信息及深度信息计算多个特征点，并标示出非平面物体。非平面物体包括动态物体及零碎物体。依据未标示为非平面物体的特征点及方位信息计算点云，并即时转换点云为三维网格。依据包围或邻近非平面物体的三维网格信息，扩增三维网格，以填补对应于非平面物体的空缺部分。

说明书

技术领域

本发明涉及三维平面重建方法、三维平面重建系统与计算装置。

背景技术

一般是以移动式相机模块扫描场景建立三维场景模型。然而，在扫描场景时，常有人员走动，而无法重建正确的三维场景模型。

在许多应用中，只需重建三维场景中的平面结构，不需包含凌乱的小物体或人员。

用一般方法扫描场景所产生的点云数据量非常大，而且需取得所有点云后才转换成网格，如此会占用大量存储器及处理器资源，无法有效地应用于头戴装置。

因此，研究人员致力于开发一种新的技术用于扫描并重建动态场景中的三维平面结构，以降低运算所需的存储器及处理器资源，并提高处理效率及品质。

发明内容

本发明涉及一种三维平面重建方法、三维平面重建系统与计算装置，结合彩色信息、深度信息及特征点的分析，除去动态物体及零碎物体，以精准地获得三维平面结构。并且可在取得局部点云后，即时转换成三维网格，以降低储存点云所需的存储器。同时依据新产生的点云持续更新三维网格，以提高处理效率。

根据本发明的一实施例，提出一种三维平面重建方法，包括以下步骤：以感测装置连续取得动态场景的彩色信息、深度信息及方位信息。依据彩色信息及深度信息，计算多个特征点，并标示出非平面物体。非平面物体包括动态物体及零碎物体。依据未标示为非平面物体的特征点及该方位信息计算点云信息，并即时转换点云信息为三维网格。依据包围或邻近非平面物体的三维网格信息，扩增三维网格，以填补对应于非平面物体的空缺部分。

根据本发明的一实施例，提出一种三维平面重建系统，包括：感测装置及计算装置。感测装置用于连续取得动态场景的彩色信息、深度信息及方位信息。计算装置包括特征点计算单元、非平面物体标示单元、网格计算单元及网格填补单元。特征点计算单元用于依据彩色信息及深度信息，计算多个特征点。非平面物体标示单元用于标示出非平面物体，包括动态物体及零碎物体。网格计算单元用于依据未标示为非平面物体的特征点及方位信息计算点云信息，并即时转换点云信息为三维网格。网格填补单元依据包围或邻近非平面物体的三维网格信息，扩增三维网格，以填补对应于非平面物体的空缺部分。

根据本发明的一实施例，提出一种计算装置。计算装置包括特征点计算单元、非平面物体标示单元、网格计算单元及网格填补单元。特征点计算单元，用于依据依彩色信息及深度信息，计算多个特征点。非平面物体标示单元用于标示出非平面物体，包括动态物体及零碎物体。网格计算单元用于依据未标示为非平面物体的特征点及方位信息计算点云信息，并即时转换点云信息为三维网格。网格填补单元用于依据包围或邻近非平面物体的三维网格信息，扩增三维网格，以填补对应于非平面物体的空缺部分。

为了对本发明的上述及其他方面有更佳的了解，下文特列举实施例，并配合所附附图详细说明如下：

附图说明

图1绘示根据一实施例的动态场景的三维平面的重建系统的示意图；

图2绘示根据一实施例的动态场景的三维平面重建方法的流程图；

图3绘示根据一实施例的动态物体的标示程序的局部流程图；

图4～5绘示根据一实施例的物体的示意图；

图6绘示根据一实施例的零碎物体的标示程序的局部流程图；

图7绘示图2的步骤S103的局部流程图；

图8～11绘示图7的各步骤的示例图；

图12～13绘示图2的步骤S104的示意图。

【附图标记说明】

1000：三维平面重建系统

100：感测装置

110：彩色相机

120：深度相机

130：方位感测器

200：计算装置

210：特征点计算单元

220：非平面物体标示单元

221：重复程度记录器

222：动态物体标示器

223：尺寸计算器

224：零碎物体标示器

230：网格计算单元

240：网格填补单元

CP1、CP2：点云信息

F1：特征点

F

MS1、MS2、MS3：三维网格

O1：非动态物体特征点

O2：非动态及非零碎物体特征点

OB1：移动物体

S1：彩色信息

S2：深度信息

S3：方位信息

S4：信赖度信息

S5：三维尺寸

S6：三维网格

S101、S102、S1021、S1022、S1023、S1024、S103、S1031、S1032、S1033、S104：步骤

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

请参照图1，其绘示根据一实施例的三维平面重建系统1000的示意图。三维平面重建系统1000包括感测装置100及计算装置200。感测装置100包括彩色相机110、深度相机120及方位感测器130。彩色相机110例如是摄影机或具有连拍功能的相机。深度相机120例如是双相机、结构光深度相机或飞时测距(time of flight，ToF)深度感测器等。方位感测器130可感测至少三轴旋转方向及三轴移动位置，例如由一或多个广角或鱼眼相机及惯性测量单元(Inertial measurement unit)组成。惯性测量单元例如是多自由度(degrees offreedom，DOF)微机电元件(MEMS)，其由陀螺仪(gyroscopes)、加速度计(accelerometers)、磁力计等组合而成。

如图1所示，计算装置200包括特征点计算单元210、非平面物体标示单元220、网格计算单元230及网格填补单元240。计算装置200例如是电脑、伺服器、云端运算中心、头戴式装置内的处理器、芯片、电路等装置。特征点计算单元210依据彩色信息及深度信息，计算多个特征点。非平面物体标示单元220包括重复程度记录器221、动态物体标示器222、尺寸计算器223及零碎物体标示器224。其中重复程度记录器221比对连续取得的多张画面，计算每个特征点的信赖度，再以动态物体标示器222排除动态物体，保留非动态物体特征点O1。尺寸计算器223依据彩色信息及深度信息(例如为深度图depth maps)，计算物体的三维尺寸，再以零碎物体标示器224排除零碎物体，保留非零碎物体特征点。网格计算单元230再依据这些非动态及非零碎物体特征点O2及方位信息(例如为yaw/roll/pitch旋转量及方向、XYZ移动位置等)计算点云(point clouds)，并即时转换为对应的三维网格。对于动态物体与零碎物体的空缺部分则由网格填补单元240依据包围或邻近空缺区域的三维网格信息，扩增三维网格进行填补，以建立完整的三维平面结构。在本实施例中，特征点计算单元210、非平面物体标示单元220、网格计算单元230及网格填补单元240采用持续更新技术进行处理，以减少运算所需的存储器及处理器资源。以下还搭配流程图详细说明上述各项元件的运作。

图2绘示根据一实施例的三维平面重建方法的流程图。在步骤S101中，以感测装置100连续取得动态场景的彩色信息S1、深度信息S2及方位信息S3。在此步骤中，彩色信息S1、深度信息S2及方位信息S3连续地由多张画面中取得。使用者例如是戴着装设感测装置100的头戴式装置边走动边提取影像，以连续地取得多张画面。本实施例所谓的动态场景指场景中有移动的物体，例如走动的人。每一张画面的彩色信息S1、深度信息S2及方位信息S3均一一对应，通过这些信息相互关系即可观察出动态物体在场景中的变化。

接着，在步骤S102中，特征点计算单元210依据彩色信息及深度信息，计算多个特征点F1，并由非平面物体标示单元220标示出非平面物体(包括动态物体及零碎物体)。在此步骤中，非平面物体标示单元220针对一段时间的连续多张彩色信息、深度信息及对应的特征点进行比对，标示画面中被判定为动态物体或零碎物体的特征点并删除。动态物体例如是工作中的人员、车辆等；零碎物体例如是凌乱的文具等。以下还通过局部流程图说明如何标示出动态物体与零碎物体。

请参照图3，其绘示根据一实施例的动态物体的标示程序的局部流程图。图2的步骤S102包括步骤S1021及S1022。在步骤S1021中，重复程度记录器221比对这些特征点F1的位置及重复出现次数，以获得这些特征点F1的多个信赖度信息S4。

举例来说，请参照图4～5，其绘示根据一实施例判断特征点信赖度的示意图。图4绘示在没有移动物体OB1干扰的情形下，静态场景的特征点可以从连续多张影像F

在步骤S1022中，动态物体标示器222依据这些信赖度信息S4，将小于信赖度门限值的特征点F1标示为动态物体并删除，保留非动态物体特征点O1再进行零碎物体的标示及删除。

请参照图6，其绘示根据一实施例的零碎物体标示程序的局部流程图。图2的步骤S102还包括步骤S1023及S1024。在步骤S1023中，尺寸计算器223依据非动态物体特征点O1所对应的彩色信息S1及深度信息S2切割物体，计算其三维尺寸S5。举例来说，可在彩色信息S1中寻找颜色或纹理明显变化之处暂定为物体的边缘，再寻找对应的深度信息S2不连续的边界，用于分割物体，估算其三维尺寸S5。

在步骤S1024中，零碎物体标示器224将三维尺寸S5小于尺寸门限值的特征点F1标示为零碎物体并删除。经过步骤S1022及步骤S1024后，保留非动态及非零碎物体特征点O2，再计算点云及网格。

被标示为动态物体或零碎物体的特征点F1会被排除，不会用来建立/修正三维网格。请参照图2的步骤S103，网格计算单元230使用非动态及非零碎物体特征点O2，及其方位信息S3计算点云信息，并即时转换点云信息为三维网格S6。

请参照图7～11，图7绘示图2的步骤S103中转换点云信息为三维网格的局部流程图，图8～11绘示图7的各步骤的示例图。在步骤S1031中，如图8～9所示，网格计算单元230删减位于已建立的三维网格MS1内的点云信息CP1，可以减少处理这些点云的运算资源，而不影响三维网格的结构。

在步骤S1032中，如图9～10所示，网格计算单元230依据三维网格MS1外的点云信息CP2，新增三维网格MS2。

接着，在步骤S1033中，如图10～11所示，网格计算单元230比较新增的三维网格MS2的方向向量与相邻的已建立三维网格MS1的方向向量，若方向向量的差异小于差异门限值，则合并为三维网格MS3，以减少网格数量。

接着说明图2的步骤S104，请参照图12～13。在步骤S104中，网格填补单元240依据包围或邻近非平面物体(例如是动态物体)的三维网格S6，扩增三围网格，以填补对应于非平面物体(例如是动态物体)的空缺部分。在此步骤中，填补的三维网格与邻近或包围被标示为非平面物体(例如是动态物体)的三维网格的方向向量差异小于差异门限值。

如此一来，在运算过程中不需要储存大量的点云信息，只需使用少量存储器及处理器资源，即可建立三维平面结构。综上所述，本发明的三维平面重建方法、三维平面重建系统与计算装置结合彩色信息、深度信息及特征点的分析，除去动态物体及零碎物体，以精准地获得三维平面结构。并且可在取得局部点云后，即时转换成三维网格，以降低储存点云所需的存储器。同时依据新产生的点云持续更新三维网格，以提高处理效率。

虽然本发明已以实施例公开如上，然其并非用于限定本发明。本领域技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围应当视权利要求书所界定为准。