三维建模装置和三维建模方法

摘要

本发明提供一种三维建模装置，恰当地对被拍摄体进行三维建模。接受部(11)接受通过使用立体照相机，从不同角度对被拍摄体多次拍摄而得到的多个图像的组的输入。生成部(12)生成多个基于多个图像的组的被拍摄体的三维模型。选择部(13)选择被合成三维模型，和合成三维模型。分割部(14)将选择的合成三维模型分割为多个合成区域。指定部(15)指定与多个合成区域相对应的、被合成三维模型中的多个被合成区域。取得部(16)取得用于将多个合成区域重叠在多个被合成区域上的多个坐标变换参数。变换部(17)基于取得的多个坐标变换参数，对多个合成区域进行坐标变换。更新部(18)将坐标变换后的多个合成区域合成在指定的多个被合成区域中。

说明书

相关申请参照

本申请要求以2010年3月17日申请的日本专利申请JP特願 2010-060115为基础的优先权，该基础申请的内容通过本申请全部引入此 文。

技术领域

本发明涉及一种三维建模装置和三维建模方法。

背景技术

使用立体照相机对人、动物、或美术品等被拍摄体进行拍摄，基于通 过摄像得到的一组图像，生成被拍摄体的三维模型的技术是众所周知的。 这样的技术在例如专利第2953154号公报中公开。

根据通过立体照相机的一次摄像而得到的一组图像，生成一个三维模 型。以前，根据通过使用立体照相机从不同角度对被拍摄体多次进行拍摄 而得到的多组图像，生成多个三维模型。而后，如果将生成的多个三维模 型合成，则得到被拍摄体的正确的三维模型。

但是，在立体照相机的多次摄像之间，被拍摄体部分移动的情况下， 无法将生成的多个三维模型恰当地合成。即，可合成三维模型的被拍摄体 限于静止的被拍摄体。由此，期望一种能够基于对部分移动的被拍摄体摄 像而得到的多组图像，而将该被拍摄体三维建模的图像处理装置。

发明内容

本发明鉴于上述问题，目的在于提供一种为了恰当地对被拍摄体进行 三维建模的合适的三维建模装置，以及三维建模方法。

为了达到上述目的，本发明第1观点的三维建模装置，包括：

接受单元，其接受通过使用立体照相机从不同角度对被拍摄体多次拍 摄而得到的多个图像的组的输入；

生成单元，其基于上述接受的多个图像的组中的任意一个，分别生成 上述被拍摄体的多个三维模型；

选择单元，其从上述生成的多个三维模型中，选择被合成三维模型、 和合成在该被合成三维模型中的合成三维模型；

分割单元，其将上述选择的合成三维模型分割为多个合成区域；

指定单元，其分别指定与上述多个合成区域中的任意一个相对应的、 上述被合成三维模型中的多个被合成区域；

取得单元，其分别取得用于将上述多个合成区域中的任意一个重合在 与该任意一个合成区域相对应的被合成区域上的多个坐标变换参数；

变换单元，其基于上述取得的多个坐标变换参数，对上述多个合成区 域进行坐标变换；和

更新单元，其将由上述变换单元进行了坐标变换后的多个合成区域合 成在上述指定的多个被合成区域中，从而更新上述被合成三维模型。

为了达到上述目的，本发明的第2观点的三维建模方法，(为三维建 模装置执行的三维建模方法，具备如下步骤：

接受步骤，接受通过使用立体照相机从不同角度对被拍摄体多次拍摄 而得到的多个图像的组的输入；

生成步骤，基于上述接受的多个图像的组中的任意一个，分别生成上 述被拍摄体的多个三维模型；

选择步骤，从上述生成的多个三维模型中，选择被合成三维模型、和 合成在该被合成三维模型中的合成三维模型；

分割步骤，将上述选择的合成三维模型分割为多个合成区域；

指定步骤，分别指定与上述多个合成区域中的任意一个相对应的、上 述被合成三维模型中的多个被合成区域；

取得步骤，分别取得用于将上述多个合成区域中的任意一个重合在与 该任意一个合成区域相对应的被合成区域上的多个坐标变换参数；

变换步骤，基于上述取得的多个坐标变换参数，对上述多个合成区域 进行坐标变换；

更新步骤，通过将上述坐标变换后的多个合成区域合成在上述指定的 多个被合成区域中，更新上述被合成三维模型。

附图说明

图1A为表示本发明的第1实施方式的立体照相机的前面的样子的外 观图。

图1B为表示本发明的第1实施方式的立体照相机的背面的样子的外 观图。

图2为示出本发明的第1实施方式的立体照相机的结构的方框图。

图3为示出本发明的第1实施方式的立体照相机的主要部分的结构的 方框图。

图4A～图4C为用于说明使用立体照相机对被拍摄体进行拍摄的方法 的图。

图5为示出本发明的第1实施方式的立体照相机执行的三维建模处理 的流程图。

图6为示出图5所示的区域分割处理的流程图。

图7A～图7C为用于说明将合成三维模型区域分割为多个合成区域的 方法的图。

图7D为示出将被合成三维模型区域分割为多个被合成区域的样子的 图。

图7E为用于说明对被合成区域进行坐标变换的方法的图。

图7F为示出将合成区域重合在被合成区域中的样子的图。

图7G为用于说明合成后的建模面的图。

图8为示出图5中所示的三维模型合成处理的流程图。

具体实施方式

以下参照附图，对本发明的实施方式的三维建模装置进行说明。

(第1实施方式)

在第1实施方式中，示出将本发明应用于数字式立体照相机的例子。 本实施方式中，立体照相机从按压快门按钮开始，到再次按压该快门按钮 之间，反复执行对被拍摄体进行拍摄和更新该被拍摄体的三维模型的处 理。首先，参照图1A、图1B，对本发明第1实施方式的立体照相机1000 的外观进行说明。

如图1A所示，在立体照相机1000的前面上，设置镜头111A、镜头 111B、闪光灯发光部400。此外，如图1A所示，在立体照相机1000的顶 面上，设置快门按钮331。进一步，如图1B所示，在立体照相机1000的 背面上，设置显示部310、操作按键332、电源按键333。

镜头111A和镜头111B隔开规定的间隔，平行地设置。

显示部310由具有电源按键、操作按键、电子取景器功能的LCD (Liquid Crystal Display，液晶显示器)构成。

快门按钮331为应在开始被拍摄体的摄像、或结束被拍摄体的摄像的 时候按压的按钮。即，立体照相机1000在按压快门按钮331后，直到再 次按压快门按钮331，反复进行被拍摄体的摄像。

操作按键332接受来自使用者的各种操作。操作按键332包含十字按 键、确定按键，用于模式切换、显示切换等的操作。

电源按键333为应在打开、关闭立体照相机1000的电源时按压的按 键。

闪光灯发光部400向被拍摄体照射闪光。对闪光灯发光部400的结构 后述。

这里，参照图2，对立体照相机1000的电气结构进行说明。

如图2所示，立体照相机1000包括第1摄像部100A、第2摄像部100B、 数据处理部200、接口部300、闪光灯发光部400。此外，在图中，适宜地 以I/F部表示接口部。

第1摄像部100A和第2摄像部100B，为对被拍摄体进行拍摄的部分。 立体照相机1000包括2个摄像部，即，第1摄像部100A和第2摄像部 100B具有立体照相机的功能。这里，第1摄像部100A和第2摄像部100B 为相同的结构。此外，在第1摄像部100A的结构中，将“A”添加在附图标 记的末尾，在第2摄像部100B的结构中，将“B”添加在附图标记的末尾。

如图2所示，第1摄像部100A包括光学装置110A和图像传感器部 120A，第2摄像部100B包括光学装置110B和图像传感器部120B。光学 装置110B与光学装置110A具有同样的结构，图像传感器部120B和图像 传感器部120A具有同样的结构。所以，以下，只对光学装置110A和图 像传感器部120A的结构进行说明。

光学装置110A包括例如镜头111A、光圈机构、快门机构等，进行与 拍摄相关的光学动作。即，通过光学装置110A的动作，汇聚入射光，并 且对焦距、光圈、快门速度等这样的，视角、焦点、曝光等这些光学要素 进行调整。此外，包含在光学装置110A中的快门机构为所谓的机械快门。 在只通过图像传感器部120A的动作进行快门动作的情况下，也可以不在 光学装置110A中包含快门机构。此外，光学装置110A通过后述的控制 部210的控制而动作。

图像传感器部120A生成与由光学装置110A汇聚的入射光相对应的 电信号。图像传感器部120A由例如CCD(Charge Coupled Device：电荷 耦合元件)，CMOS(Complementally Metal Oxide Semiconductor：互补型 金属氧化物半导体)等构成。图像传感器部120A进行光电变换，由此， 产生对应于接收光的电信号，将其输出给数据处理部200。

此外，像上述那样，第1摄像部100A和第2摄像部100B为相同的 结构。所以，镜头的焦距f，F值、光圈机构的光圈范围、图像传感器的 尺寸，像素数量、排列、像素面积等的各个参数全部相同。

在具有这样的第1摄像部100A和第2摄像部100B的立体照相机1000 中，如图1A所示，光学装置110A中构成的镜头111A和光学装置110B 中构成的镜头111B形成在立体照相机1000的外面上的同一平面上而构 成。这里，在沿快门按钮331朝上的方向，立体照相机1000水平的情况 下，按照中心位置在沿水平方向上延伸的同一条线上的方式，来配置2个 镜头(受光部)。即，在同时使第1摄像部100A和第2摄像部100B动 作的情况下，拍摄针对同一被拍摄体的2幅图像(以下称为“成对图像”)， 形成各图像中的光轴位置沿横向偏移的图像。立体照相机1000为所谓的 平行立体照相机的结构。

数据处理部200对通过第1摄像部100A和第2摄像部100B的摄像 动作而生成的电信号进行处理，形成表示拍摄的被拍摄体的图像的数字数 据，并且对该图像进行图像处理等。如图2所示，数据处理部200由控制 部210，图像处理部220，图像存储器230，图像输出部240，存储部250， 外部存储部260等构成。

控制部210由比如，CPU(Central Processing Unit：中央运算处理器) 等的处理器、RAM(Random Access Memory)等的主存储装置(存储器) 等构成。此外，通过执行存储于后述的存储部250等中的程序，控制部210 控制立体照相机1000的各部分。

图像处理部220由比如，ADC(Analog-Digital Converter：模拟数字 变换器)、缓存器、图像处理用的处理器(所谓的图像处理引擎)等构成。 图像处理部220根据通过图像传感器部120A和120B生成的电信号，生 成表示拍摄的被拍摄体的图像的数字数据(以下称为“图像数据”)。

即，ADC将从图像传感器部120A和图像传感器部120B输出的模拟 电信号变换为数字信号，依次存储于缓存器中。另一方面，图像处理部220 对已缓存的数字数据，进行所谓的显像处理等，由此，进行画质的调整， 数据压缩等。

图像存储器230由比如，RAM，闪存等存储装置构成。图像存储器 230暂时存储通过图像处理部220生成的摄像图像数据，通过控制部210 处理的图像数据等。

图像输出部240由比如，RGB信号的生成电路等构成，将存储于图像 存储器230中的图像数据变换为RGB信号并输出给显示画面(后述的显 示部310等)。

存储部250由比如，ROM(Read Only Memory)，闪存等的存储装置 构成。存储部250存储立体照相机1000的动作所必要的程序、数据等。 在本实施形式中，控制部210等执行的动作程序、各处理所必需的参数、 运算式等存储于存储部250中。

外部存储部260由比如，存储卡等这种可装卸于立体照相机1000中 的存储装置构成。外部存储部260，存储通过立体照相机1000拍摄的图像 数据、表示三维模型的数据等。

接口部300为立体照相机1000和其使用者或外部装置的接口的结构。 如图2所示，接口部300由显示部310、外部接口部320、操作部330等 构成。

显示部310由比如，液晶显示器等构成。显示部310显示输出对于操 作立体照相机1000来说必需的各种画面、摄像时的实时取景图像、拍摄 的被拍摄体的图像等。在本实施形式中，根据来自图像输出部240的图像 信号(RGB信号)等，显示拍摄的被拍摄体的图像、三维模型等。

外部接口部320由比如，USB(Universal Serial Bus)连接器、视频输 出端子等构成。外部接口部320将图像数据等输出至外部的计算机、外部 的监视器。

操作部330由形成于立体照相机1000的外面上的各种按钮等构成。 操作部330生成对应于立体照相机1000的使用者的操作的输入信号，将 其提供给控制部210。构成操作部330的按钮包括比如，用于指示快门动 作的快门按钮331，用于进行立体照相机1000的动作模式等的指定或各种 功能设定的操作按键332、电源按键333。

闪光灯发光部400由比如氙灯(氙气闪光灯)构成。闪光灯发光部400 通过控制部210的控制，向被拍摄体照射闪光。

立体照相机1000也可不包括图2所示的全部结构，也可以包括图2 所示结构以外的结构。

这里，参照图3，对立体照相机1000的动作中的三维建模的动作进行 说明。

图3为示出立体照相机1000的主要部分的结构，即用于实现三维建 模的动作的结构的图。

如图3所示，立体照相机1000包括接受部11、生成部12、选择部13、 分割部14、指定部15、取得部16、变换部17、更新部18。这些要素通过 例如控制部210构成。

接受部11接受通过使用立体照相机1000，从不同角度对被拍摄体多 次拍摄而得到的多个图像的组的输入。

生成部12分别生成多个基于接受的多个图像的组中的任一者的被拍 摄体的三维模型。

选择部13从生成的多个三维模型中，选择被合成三维模型、和合成 在该被合成三维模型中的合成三维模型。

分割部14将选择的合成三维模型分割为多个合成区域。

指定部15分别指定与多个合成区域中的任意一个相对应的、被合成 三维模型中的多个被合成区域。

取得部16分别取得用于将多个合成区域中的任意一个重合在与该任 意一个合成区域相对应的被合成区域的多个坐标变换参数。

变换部17基于取得的多个坐标变换参数，对多个合成区域进行坐标 变换。

更新部18通过将变换部17进行过坐标变换后的多个合成区域合成在 指定的多个被合成区域中，由此更新被合成三维模型。

接着，参照图4A～图4C，对拍摄被拍摄体的样子进行说明。

立体照相机1000每次对被拍摄体进行拍摄，基于通过摄像得到的图 像对，生成合成三维模型。立体照相机1000将生成的合成三维模型合成 到被合成三维模型中。这里，每次摄像从不同角度对被拍摄体进行拍摄。

本实施方式中，在最初的摄像中，从如图4A所示的照相机位置C1 对被拍摄体501进行拍摄，在第2次摄像中，从如图4B所示的照相机位 置C2对被拍摄体501进行拍摄，在第3次摄像中，从如图4C所示的照相 机位置C3对被拍摄体501进行拍摄。这里，假设在最初摄像时和第3次 摄像时，以表示熊缝制玩具的被拍摄体501的左臂没有举起来，在第2次 摄像时，被拍摄体501的左臂举着。立体照相机1000按此方式，可生成 摄像中部分发生了移动的被拍摄体501的三维模型。

接着，对使用如图5所示的流程图，立体照相机1000执行的三维建 模处理进行说明。立体照相机1000如果通过操作按键332等的操作，将 动作模式设定为三维建模模式，则执行如图5所示的三维建模处理。

首先，控制部210判断是否按压了快门按钮331(步骤S101)。控制 部210如果判断为没有按压快门按钮331(步骤S101：否)，则再次执行 步骤S101的处理。另一方面，控制部210如果判断为按压了快门按钮331 (步骤S101：是)，则将摄像次数计数器N初始化为1(步骤S102)。 此外，摄像次数计数器N存储在例如存储部250中。

控制部210如果完成步骤S102的处理，则对被拍摄体501进行拍摄 (步骤S103)。如果通过控制部210对被拍摄体501进行拍摄，则得到2 幅平行同位图像(成对图像)。取得的成对图像存储在例如图像存储器230 中。

控制部210如果完成了步骤S103的处理，则基于存储在图像存储器 230中的成对图像，生成三维模型(步骤S104)。三维模型(三维信息) 使用例如以下的算式(1)～(3)而根据成对图像求得。表示生成的三维 模型的信息存储在例如存储部250中。此外，针对根据成对图像取得三维 信息的详细方法公开在例如数字图像处理、2006年3月1日发行、 CG-ARTS协会中。

X＝(b*u)/(u-u’)    (1)

Y＝(b*v)/(u-u’)    (2)

Z＝(b*f)/(u-u’)    (3)

这里，b为光学装置110A和110B之间的距离，称为基线长。(u，v) 表示通过光学装置110A拍摄的被拍摄体501的图像上的坐标，(u’，v’) 表示通过光学装置110B拍摄的被拍摄体501的图像上的坐标。算式(1) ～(3)中的(u-u’)为通过光学装置110A和光学装置110B，对同一被拍 摄体501进行拍摄时得到的2幅图像上的被拍摄体501的坐标的差，称为 视差。f表示光学装置110A的焦距。根据已有的说明，光学装置110A和 110B具有相同的结构，焦距f也相等。

控制部210如果完成了步骤S104的处理，则判断摄像次数计数器N 是否为1(步骤S105)。这里，摄像次数计数器N为1表示是刚完成最初 摄像之后。控制部210如果判断摄像次数计数器N为1(步骤S105：是)， 则将步骤S104中生成的三维模型设定为被合成三维模型(步骤S106)。 这里，被合成三维模型是合成合成三维模型的三维模型，是成为合成的基 础的三维模型。

另一方面，控制部210如果判断摄像次数计数器N不为1，即，不是 刚完成最初摄像之后(步骤S105：否)，则执行区域分割处理(步骤S107)。 针对区域分割处理，参照图6和图7A～图7D，进行详细说明。图6是示 出步骤S107的区域分割处理的流程图。

首先，控制部210在合成三维模型上设定K个起点(步骤S201)。 在本实施方式中，为了便于理解，示出将合成三维模型变换为合成二次模 型并进行区域分割的例子。即，在步骤S201中，在使合成三次模型投影 到规定的投影面上时，在投影到该投影面上的二维化的合成三维模型上， 大致均匀设定K个起点510。此外，也可以通过摄像得到的图像对的任意 一个图像上的被拍摄体501上，设定K个起点510。图7A中示出，在二 维化的合成三维模型上，设定K个起点510的图像。

控制部210如果完成了步骤S201的处理，则将以各起点510为中心 的区域扩大至相互重叠(步骤S202)。例如，以起点510为中心的区域， 相互以同样的速度扩大，直到相互重叠为止。这里，在合成三维模型的三 维空间上的多边形表面的法线(多边形法线)急剧变化的地方，终止区域 的扩大。例如，合成三维模型的臂根部等构成该区域的边界线(三维空间 上的边界面)。图7B示出通过这样规则进行区域分割的，二维化的合成 三维模型的状态。图7B示出二维化的合成三维模型通过边界线511被分 割为多个小区域(以下，称为“合成区域”)512的样子。此外，图7C中示 出，分割为多个合成区域512、去除了起点510的二维化的合成三维模型。 此外，也可以对三维中的合成三维模型进行直接区域分割。这时，在三维 中的合成三维模型上直接设定K个起点，以各起点为中心的区域扩大至相 互重叠。通过各起点扩大时的边界面，将合成三维模型分割。

控制部210如果完成了步骤S202的处理，则在被合成三维模型上设 定K个起点(步骤S203)。控制部210如果完成了步骤S203的处理，则 针对二维化的被合成三维模型，将以各起点510为中心的区域扩大至相互 重叠为止(步骤S204)。此外，将二维化的被合成三维模型分割为多个小 区域(以下称为“被合成区域”)514的方法，与将二维化的合成三维模型 分割为多个合成区域512的方法相同。控制部210如果完成了步骤S204 的处理，则完成了区域分割处理。

控制部210如果完成了步骤S107的处理，则执行三维模型合成处理 (步骤S108)。针对三维模型合成处理，参照如图8所示的流程图进行详 细说明。

首先，控制部210取得立体照相机1000的相对位置(步骤S301)。 具体而言，基于被合成三维模型和合成三维模型，推定相对于最初摄像时 的照相机位置C1的、成为本次合成的合成三维模型的基础的成对图像的 摄像时的照相机位置的相对位置。这里，推定相对于照相机位置C1的、 照相机位置C2。即，被合成三维模型是根据从照相机位置C 1摄像得到的 成对图像而生成的三维模型，合成三维模型是根据从照相机位置C2摄像 得到的成对图像而生成的三维模型。

控制部210基于被合成三维模型和合成三维模型共同的、特征点的三 维空间上的坐标的差，推定相对的照相机位置。在本实施方式中，首先， 控制部210，使将被合成三维模型以照相机位置C1为视点二维投影变换 时的该被合成三维模型，和将合成三维模型以照相机位置C2为视点二维 投影变换时的该合成三维模型，这两者的二维空间上的特征点对应(例如， 通过SHFT法等)。进一步，控制部210基于通过立体摄像的建模而得到 三维信息，提高特征点对应的精度。而后，控制部210基于特征点的对应 关系，计算出相对于照相机位置C1的照相机位置C2的相对位置。此外， 在本实施方式中，在最初摄像时，被拍摄体501的左臂没有举起，在第2 次摄像时，被拍摄体501的左臂移动，举了起来。所以，如果严格地说， 最初摄像时的被拍摄体501和第2次摄像时的被拍摄体501的坐标并非完 全一致。但是，将左臂看作噪音。由此，可推定大致的相对照相机位置。

控制部210如果完成了步骤S301的处理，则基于步骤S301中求得的 相对的照相机位置，将合成三维模型的坐标系和被合成三维模型的坐标系 对准(步骤S302)。

控制部210如果完成了步骤S302的处理，则从二维化的合成三维模 型的多个合成区域512中，选择1个合成区域512(步骤S303)。这里， 对从多个合成区域512中选择合成区域513进行说明。

控制部210如果完成了步骤S303的处理，则指定与步骤S303中选择 的合成区域513相对应的被合成区域514(步骤S304)。即，控制部210 指定构成三维空间中的被合成三维模型的区域中、与所选择的合成区域 513对应的三维空间上的区域的邻近区域。此外，在步骤S302中，由于将 合成三维模型和被合成三维模型的坐标系对准，可进行临近计算。这里， 在合成区域513中，被合成区域515为对应的区域。

控制部210如果完成了步骤S304的处理，则求出用于将步骤S303中 选择的合成区域513合并在步骤S304中指定的被合成区域515中的坐标 变换参数(步骤S305)。坐标变换参数以为4×4的矩阵的H表示。通过 以下所示的算式(4)，将表示合成区域513的坐标的W’变换为表示被合 成区域515的坐标W。

kW＝HW’    (4)

这里，k为任意值，W、W’为同维坐标。从而，维度扩展，将1放置 在第4维中。H通过3×3的旋转矩阵式R，和3×1的平移向量T，以下式 所示的算式(5)表示。

$H=\left(\begin{array}{cccc}R(1,1)& R\left(\mathrm{1,2}\right)& R\left(\mathrm{1,3}\right)& T\left(1\right)\\ R\left(\mathrm{2,1}\right)& R\left(\mathrm{2,2}\right)& R\left(\left(\mathrm{2,3}\right)\right)& T\left(2\right)\\ R\left(\mathrm{3,1}\right)& R\left(\mathrm{3,2}\right)& R\left(\mathrm{3,3}\right)& T\left(3\right)\\ 0& 0& 0& 0\end{array}\right)---\left(5\right)$

在合成区域513和被合成区域515之间，在找出满足H的对应点在阈 值数以上的时候，求出作为坐标变换参数的H。此外，在步骤S304中， 在指定多个与合成区域513对应的被合成区域514的情况下，控制部210 从各个指定的多个被合成区域514中抽取候补特征点，通过RANSAC等 缩小对应点范围，由此，可指定1个被合成区域515。

控制部210如果完成了步骤S305的处理，则使用步骤S305中求出的 坐标变换参数H，对步骤S303中选择的合成区域513进行坐标变换(步 骤S306)。

例如，在步骤S303中选择图7C中的合成区域513，在步骤S304中 指定图7D中被合成区域515。此时，如图7E所示，合成区域513通过步 骤S306的坐标变换，成为合成区域516。

控制部210如果完成了步骤S306的处理，则将坐标变换后的合成区 域516与被合成区域515合成(步骤S307)。此外，虽然合成区域516 即使简单地重叠在被合成区域515上也是可以的，但在本实施方式中，针 对在合成区域516和被合成区域515之间的边界部分上执行平滑处理的例 子进行说明。

平滑处理中，针对本来就重叠的区域(包含为了求出变换参数H而使 用的特征点的区域)，将其成为平均(欧几里得距离的中间)的平面作为 新的三维模型的建模面。图7F中示出将合成区域516重叠在被合成区域 515上的样子。图7G中示出从图7F的箭头C4的方向看到的三维空间上 的边界面的样子。在图7G中示出取被合成区域515和合成区域516的欧 几里得距离的平均的新建模面517。

控制部210如果完成了步骤S307的处理，则判断全部合成区域512 是否选择完成(步骤S308)。控制部210如果判断为任意一个合成区域 512没有选择完成(步骤S308：否)，则返回步骤S303中的处理。另一 方面，控制部210如果判断为选择完成全部合成区域512(步骤S308：是)， 则在将合成后的被合成三维模型设定在被合成三维模型中之后(步骤 S309)，结束三维模型合成处理。

控制部210如果完成了步骤S108的处理，则将摄像次数计数器N的 值增加1(步骤S109)。

控制部210如果完成了步骤S106或步骤S109的处理，则判断是否按 压快门按钮331(步骤S110)。控制部210如果判断为按压了快门按钮331 (步骤S110：是)，则完成三维建模处理。另一方面，控制部210如果判 断为没有按压快门按钮331(步骤S110：否)，则返回步骤S103中的处 理。

根据本实施方式的立体照相机1000，即使在被拍摄体的一部分移动的 情况下，也可生成该被拍摄体的三维模型。此外，在本实施方式中，被拍 摄体的指定部分在作为整体而移动的情况下是有效的。其原因是由于考虑 了按照作为整体而移动的部分属于相同的区域的方式，进行区域分割。即 原因为，在本实施方式中，人、动物的关节，缝制玩具的接合部等，与作 为整体而移动的部分相连接的部分，按照构成区域分割时的边界的方式， 进行区域分割。此外，以分割的区域单位，进行坐标变换。由此，即使在 部分区域作为整体而移动的情况下，也能够与该移动的部分区域不移动的 情况相同地合成该部分。

(第2实施方式)

在第1实施方式中示出，将二维化的合成三维模型分割为多个合成区 域512，进一步，将二维化的被合成三维模型分割为多个被合成区域514 的例子。即，在第1实施方式中，示出从多个被合成区域514中选择与多 个合成区域512中任意一个相对应的区域的例子。但是，二维化的被合成 三维模型也不是必须被分割为多个被合成区域514。

此时，在图6所示的区域分割处理中，执行步骤S201～S202的处理即 完成区域分割处理。即，在区域分割处理中，不执行步骤S203～步骤S204 的处理。而后，在图8所示的三维模型合成处理的步骤S304中，与步骤 S303中选择的合成区域513相对应的区域(合成区域513的邻近区域)从 二维化的被合成三维模型中直接指定。此外，与合成区域513对应的区域， 通过例如该合成区域513内的特征点和二维化的被合成三维模型内的特征 点的比较而求得。作为坐标变换参数的H也同样通过该合成区域513内的 特征点和二维化的被合成三维模型内的特征点的比较而求得。本实施方式 的立体照相机1000的结构和上述动作之外的动作与第1实施方式相同。

根据本实施方式的立体照相机1000，不通过对二维化的被合成三维模 型进行区域分割，就可获得与第1实施方式同样的效果。由此，节约区域 分割中花费的处理时间。

(变形例)

本发明并不限于上述实施方式公开的内容。

本发明也可适用于不具有摄像装置的设备(例如，个人计算机)。此 时，基于预先准备的多个成对图像，执行三维模型的合成。此外，也可以 将多个成对图像中最好的拍摄被拍摄体的成对图像分配在作为基准的成 对图像(关键帧)中。

此外，本发明的三维建模装置不论使用专用的系统还是普通的计算机 都可实现。例如，也可在计算机中，将用于执行上述动作的程序，存储在 软盘、CD-ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical Disk)等计算机可读取的存储介质中传播， 通过将其安装在计算机系统中，构成执行上述处理的三维建模装置。

进一步，也可以将程序事先存储在互联网上的服务器装置具有的盘装 置等中，例如，将其加载在载波上，下载到计算机中。