进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序

摘要

图像描绘装置实现对三维建模空间中的背景立体模型和前景立体模型进行合成后的合成影像的立体视。纹理映射处理将背景图像变换为2个以上的视点纹理，将各视点纹理映射到三维建模空间中的背景立体模型，在窗口变换部中，分别针对2个以上的视点纹理执行从映射了视点纹理的背景立体模型和前景立体模型中提取窗口图像的处理。通过对立体视再现时的前景立体模型的视差与纹理内目标的视差进行比较，判定前景立体模型与纹理内目标的前后关系，根据判定结果，使纹理内目标的位置与前景立体模型的位置相匹配。

说明书

技术领域

本发明涉及3D模型的合成技术的技术领域。

背景技术

3D模型的合成技术是指与粘贴背景图像的背景立体模型一起显 示由三维建模数据定义的前景立体模型的技术。这里，在粘贴于背景 立体模型上的背景图像中具有街景。街景是指，在服务器上对在各个 道路上的地点拍摄的360度全景图像进行管理，通过WEB浏览器等 下载任意地点的道路上的风景，再现360度的全周围全景图像。

如果将表示行进方向的箭头图形的前景立体模型、作为道路标识 的前景立体模型合成到街景中，则用户能够掌握在街景中向哪里行 进、以及当前位置是哪里。而且，如果根据针对该图示用户接口即前 景立体模型的用户操作来切换显示街景，则能够提高对话性。

作为与街景有关的现有技术，具有以下专利文献1、2所记载的 技术。

现有技术文献

专利文献

专利文献1：日本特表2010-531007

专利文献2：日本特开2005-165614

发明内容

发明要解决的课题

但是，作为近年来的倾向，不仅平面视街景，还流行在立体视街 景中合成由三维建模数据定义的前景立体模型。作为立体视街景的实 现方法，在由三维建模空间定义的背景立体模型中粘贴背景图像作为 纹理，在预先确定的视点位置投影背景立体模型，从而得到窗口图像， 使该窗口图像立体化。这样，能够实现可以张望全周围的立体视街景。 这里，作为GUI部件的前景立体模型或用于粘贴的背景立体模型由 三维建模空间定义。由此，如果在三维建模空间内对作为GUI部件 的前景立体模型的位置进行调整，则前景立体模型和背景立体模型不 会发生干涉。

但是，在3D立体视街景的情况下，不仅在3D虚拟空间内的球 面中存在进深，在粘贴于立体模型上的纹理中也产生进深，所以，多 数情况下，在三维建模空间内设定的进深方向的值与实际对用户提供 的进深不同。

即，在街景的立体视化时，在三维建模空间中的位置关系的调整 不足，存在于纹理内的客体由于立体视效果而从画面内突现，与前景 立体模型发生干涉的情况必定进入视野。这里，将存在于背景图像的 构图内的客体、即立体视再现时具有进深感的部分称为“纹理内目 标”。根据深度图像中的各个像素的亮度确定纹理内目标的进深，所 以，在三维建模空间中，坐标的比例尺不同，在坐标值的简单比较中， 无法判断前景立体模型与纹理内目标的前后关系。因此，当希望利用 与平面视街景相同的方法实现3D立体视街景时，在与背景图像重叠 的CG目标之间，进深方向的匹配性可能矛盾，存在可能成为具有不 舒适感的街景的课题。

关于对CG和实拍立体图像进行合成而生成没有不舒适感的立体 视图像的技术，已经记载于日本特开2005-165614（专利文献2）中， 但是，没有考虑到将实拍立体图像用作纹理。

关于作为合成对象的背景立体模型，在粘贴有街景的立体模型、 前景立体模型为GUI部件这样的假设下提示了技术课题，但是，该 假设只不过是在说明上述技术课题时选择身边的题材，本申请中作为 对象的技术课题不限于上述例子的情况。上述技术课题可以涉及将纹 理具有进深感的立体模型合成到其他立体模型中的处理全部，在不久 的将来，使上述技术在工业产品中实用化时，是本申请的技术领域的 从业人员必须直面的技术屏障。

本发明的目的在于，提供如下的图像描绘装置：在粘贴于球面模 型上的纹理内的目标具有进深感的情况下，也能够良好地进行该纹理 内目标与前景立体模型的合成。

用于解决课题的手段

用于解决该课题的图像描绘装置实现对三维建模空间中的背景 立体模型和前景立体模型进行合成后的合成影像的立体视，其特征在 于，该图像描绘装置具有：坐标变换部，将规定背景立体模型和前景 立体模型的形状的建模数据中的顶点坐标变换为三维建模空间中的 三维坐标；纹理映射部，将背景图像数据变换为2个以上的视点纹理， 将各视点纹理映射到三维建模空间中的背景立体模型；窗口变换部， 分别针对2个以上的视点纹理执行从映射了视点纹理的背景立体模 型和前景立体模型中提取窗口图像的处理；以及管理部，对前景立体 模型和背景立体模型进行管理，2个以上的视点纹理具有纹理内目标， 所述管理部通过对立体视再现时的前景立体模型的视差与纹理内目 标的视差进行比较，判定前景立体模型与纹理内目标的前后关系，根 据判定结果，进行使纹理内目标的位置与前景立体模型的位置相匹配 的操作。

发明效果

在将前景立体模型作为立体视对象的情况下，通过对在前景立体 模型中赋予的视差和在纹理内目标中赋予的视差进行对比，判定纹理 内目标与前景立体模型的前后关系，所以，不需要进行坐标系的变换， 能够良好地判断纹理内目标与前景立体模型的前后关系。根据该结 果，如果实现前景立体模型与纹理内目标的前后关系的调整，则能够 在立体视街景上实现不与纹理内目标发生干涉的良好的GUI。

在根据用户操作事件、通信事件等外部事件而使前景目标移动/ 变形的情况下，也能够得到不使前景立体模型与纹理内目标发生干涉 的保障。由此，在街景的再现时，能够实现良好地追随用户操作的立 体视街景。

这里，通过在该图像描绘装置的发明中追加其他的发明特定事 项，并且，将该图像描绘装置的发明的发明特定事项从上位概念的事 项置换为下位概念的事项，能够进一步使上述图像描绘装置的发明发 挥效果。这些发明特定事项的追加、发明特定事项的下位概念化的变 化如下所述，这些变化在技术方案中进行区分而记载于技术方案2以 下的从属技术方案中。

虽然是任意的，但是也可以是，通过由坐标变换部将三维建模空 间中的前景立体模型的配置位置变更为远离背景立体模型的位置，从 而进行使所述目标的位置相匹配的操作。

能够实现如下的画面演出：在街景服务中使视点移动时，如果位 于远方的大厦变近，则伴随该接近，前景立体模型退出到近前侧。由 此，能够实现与街景中的大厦的运动连动的崭新的画面演出。

虽然是任意的，但是也可以是，通过取得与背景图像数据有关的 深度图像，并执行基于该深度图像的基于深度图像的绘制，从而从背 景图像数据变换为2个以上的视点纹理，通过对深度图像进行校正， 对背景图像数据实施基于校正后的深度图像的基于深度图像的绘制， 再次生成2个以上的纹理，从而进行使所述目标的位置相匹配的操 作。

固定前景立体模型的进深，再次生成纹理映射用的纹理，由此退 避背景图像，所以，如果前景立体模型向前方行进，则背景退避，能 够实现张望宽广景色的画面演出。由此，能够实现与其他公司产品之 间的差别化。

虽然是任意的，但是也可以是，通过对窗口图像中构成前景立体 模型的像素群中的、具有比纹理内目标的进深大的进深的像素实施掩 模，并描绘其余像素，从而进行使所述目标的位置相匹配的操作。

能够在一般的计算机图形处理的CG处理中的窗口变换中的掩模 处理的延长线上，实现与纹理内目标之间的位置匹配，能够容易地进 行软件安装。

虽然是任意的，但是也可以是，通过取得背景深度图像数据，并 执行基于背景深度图像数据的基于深度图像的绘制，从而生成2个以 上的视点纹理，通过将纹理内目标变换为建模数据，将规定变换后的 纹理内目标的形状的三维坐标与规定前景立体模型的三维坐标一起 存储在进深缓存中，接通深度测试功能，执行基于进深缓存中的三维 坐标的照度计算，从而进行使所述目标的位置相匹配的操作。

能够在一般的计算机图形处理中的指定了深度测试的照度计算 的延长线上，实现与纹理内目标之间的位置匹配，能够容易地进行软 件安装。

虽然是任意的，但是也可以是，根据2个以上的视点纹理中的任 意一方中的像素和与其他视点对应的视点纹理中的像素的视差，计算 对所述变换后的纹理内目标进行变换而得到的建模数据中的三维坐 标中的Z坐标。

进行基于深度图像的基于深度的绘制，求出与背景图像对应的2 个以上的视点图像纹理中的视差，由此，能够导出将纹理内目标变换 为建模数据时的视差。

虽然是任意的，但是也可以是，在视线方向发生变化的情况下， 窗口变换部从映射了任意一个视点纹理的背景立体模型和前景立体 模型中，再次提取与变化后的视线方向对应的窗口图像，通过对再次 提取而得到的窗口图像执行基于背景深度图像数据的基于深度图像 的绘制，从而得到2个以上的视点窗口图像。

不用重新进行坐标变换和照度计算（纹理映射处理），通过重新 进行窗口变换，能够实现与纹理内目标之间的位置匹配。由此，能够 实现迅速追随用户操作的立体视显示。

虽然是任意的，但是也可以是，使所述目标的位置相匹配的处理 通过对规定前景立体模型的形状的顶点坐标进行操作而对前景立体 模型实施几何学变换。

能够实现根据与街景中的物体之间的位置关系而使前景立体模 型的形状变化的画面演出。

虽然是任意的，但是也可以是，根据三维建模空间中的视点位置 提取窗口图像，通过对视点位置进行变更，从而进行使所述目标的位 置相匹配的处理。

不用重新进行坐标变换和照度计算（纹理映射处理），通过重新 进行CG处理中的窗口变换，能够实现与纹理内目标之间的位置匹 配。由此，能够实现迅速追随用户操作的立体视显示。

虽然是任意的，但是也可以是，在假设前景立体模型的坐标S配 置在左眼窗口上的坐标SL、配置在右眼窗口上的坐标SR的情况下， 前景立体模型中的视差是在点SL与点SR之间产生的视差PS，由下 述数学式（1）表示，

数学式（1）

PS=2p*（Sz-D）/Sz

Sz是视图坐标系中的前景图像的进深方向的坐标，D是从照相机 到显示器的距离，2p是左眼用照相机与右眼用照相机之间的距离。

只要是Sz这样的三维建模空间内的坐标值，就能够使用D、P 这样的固定的参数求出前景立体模型中的视差。由此，在目标的前后 关系的判定或位置调整中不会产生运算负荷。

虽然是任意的，但是也可以是，在假设粘贴在背景立体模型的内 侧表面上的纹理内目标的坐标B配置在左眼窗口上的坐标（BLx、 BLy、BLz）、粘贴在背景立体模型的内侧表面上的背景图像数据的 坐标B配置在右眼窗口上的（BRx、BRy、BRz）的情况下，纹理内 目标的视差是在点BL与点BR之间产生的视差PB，由下述数学式（2） 表示，

数学式（2）

PB={（D*BRx+p*（BRz-D））/BRz}-{（D*BLx-p*（BLz-D）） /BLz}

D是从照相机到显示器的距离，p是左眼用照相机与右眼用照相 机之间的距离的一半。

如果将左眼图像输出时的纹理内目标的坐标BLX、BLZ和右眼 图像输出时的纹理内目标的坐标BRX、BRZ应用于上述数学式，则 能够使用固定的参数即D、P来计算视差PB。

虽然是任意的，但是也可以是，图像描绘装置具有：位置方向判 定部，根据用户操作来判定地图上的当前视点位置和当前视线方向； 以及下载单元，使用与地图上的当前视点位置对应的地理信息生成图 像取得请求，将其发生到图像收集服务器，从而下载街景文件，从图 像收集服务器发送来的街景文件具有与图像取得请求中包含的地理 信息一致的拍摄地属性，所述背景图像数据存在于所下载的街景文件 内。将存在于照片文件中的地理信息作为关键字，使服务器进行背景 图像的检索，取得期望的街景文件，所以，在图像描绘装置被组入数 字电视机中的情况下，能够实现使数字电视机与立体视照相机协作的 新型服务。由此，在捆绑销售数字电视机和立体视照相机的情况下， 能够实现与竞争商品之间的差别化。

虽然是任意的，但是也可以是，图像描绘装置具有：位置方向判 定部，根据用户操作来判定地图上的当前视点位置和当前视线方向； 以及下载单元，使用与地图上的当前视点位置对应的地理信息生成图 像取得请求，将其发生到图像收集服务器，从而下载街景文件，从图 像收集服务器发送来的街景文件具有与图像取得请求中包含的地理 信息一致的拍摄地属性，所述背景图像数据存在于所下载的街景文件 内。用户能够在视点周边图像中出现的范围内自由改变视线，能够实 现随后体验功能的充实化。

附图说明

图1示出立体视全景检索服务的全体结构。

图2是示意地示出作为街景对象的虚拟空间的图。

图3示出横排粘贴多个背景图像的球面模型的内侧表面。

图4示出在三维建模空间中在立体视再现时生成的2个球面模 型。

图5示出根据在球体的内侧表面粘贴的背景图像而生成多视点图 像的过程。

图6示出粘贴了左位移后的全周围图像和右位移后的全周围图像 的状态的球面模型。

图7示出左眼用纹理和右眼用纹理的配置。

图8示出前景图像与背景图像的合成。

图9示出随后体验影像的一例。

图10示出街景导航的画面结构的一例。

图11是示出实施方式1中的图像描绘装置的输入输出方式的一 例的图。

图12是示出图像描绘装置的使用方式的一例的图。

图13是示出实施方式1中的图像描绘装置的内部结构的框图。

图14示出描绘控制部5的内部结构。

图15示出全周围图像的一例、以及针对全周围图像生成的深度 图像的一例。

图16示出在图像中存在于坐标（x、y）的像素Pix（x、y）和在 深度图像中存在于坐标（x、y）的像素depth（x、y）。

图17示出通过像素电平的位移而在左眼用纹理和右眼用纹理中 具有什么样的视差。

图18对比示出粘贴有左眼用纹理和右眼用纹理的球面模型所存 在的三维建模空间和深度空间。

图19示出窗口深度、左眼窗口图像、右眼窗口深度图像。

图20是示出目标管理部25的内部结构的图。

图21是用于说明窗口中的UI目标的投影像的图。

图22是三维建模空间的立体图。

图23示出三维建模空间内的左眼用照相机CL、右眼用照相机 CR、投影范围的设定的一例。

图24示出配置有照相机CL、CR的X-Z平面。

图25示出三维建模空间中的左眼用照相机CL和右眼用照相机 CR与窗口之间的关系。

图26示出构成纹理内目标的像素B如何映入窗口中。

图27示出写入左眼窗口和右眼窗口中的UI目标中的进深最深的 前端部的视差比纹理内目标的视差大的情况。

图28示出包括粘贴有左眼用纹理和右眼用纹理的球面模型在内 的三维建模空间、深度空间。

图29示出UI目标的位置调整的过程。

图30是示出纹理再次生成的过程的图。

图31示出掩模图案再次生成的过程。

图32示出几何学变换的过程。

图33是示出街景再现顺序的流程图。

图34示出视点位置变更时和视线方向变更时的深度空间的迁移。

图35是示出用于使前后关系一致的UI目标的操作顺序的流程 图。

图36是示出实施方式2中的描绘控制部的内部结构的框图。

图37是示出实施方式3中的描绘控制部的内部结构的框图。

图38示出根据左眼窗口图像和窗口深度执行DIBR并生成右眼 窗口图像的过程。

图39是图像描绘装置的硬件结构图。

图40是示出GPU的内部结构的图。

图41是球面模型与纹理的对应、以及用于实现纹理映射的API 调出的描述例。

具体实施方式

具有上述课题解决手段的图像描绘装置的发明能够作为用于再 现街景的数字家电设备来实施，集成电路的发明能够作为组入该数字 家电设备中的系统LSI来实施。图像描绘方法的发明能够作为在该数 字家电设备中实现的时序顺序来实施。图像描绘程序的发明能够作为 记录在计算机可读取的非临时的记录介质中并安装在数字家电设备 中的执行形式程序来实施。在图像描绘装置的说明之前，对图像描绘 装置的使用环境即立体视全景检索服务的全体结构进行说明。

图1示出立体视全景检索服务的全体结构。全景收集服务器1001 是将从世界中收集的背景图像与深度数据和地形数据相对应地存储 的服务器，根据来自客户端装置的请求，与深度图像和地形数据一起 发送视点周围图像。背景图像是在专用的拍摄车辆的行驶中拍摄的。 深度数据表示在该拍摄时取得的地标的进深。进而，视点周围图像表 示从与对全景收集服务器1001发送的图像取得请求中的地理信息对 应的地理位置张望周围时的光景。视点周围图像例如是张望90度、 120度、180度、360度这样的较宽视野的图像，特别地，将张望360 度视野的视点周围图像称为全景图像或全周围图像。为了便于说明， 在以后的说明中，假设视点周围图像为张望360度视野的全景图像即 全周围图像。该拍摄车辆具有多个照相机，在多个照相机中，通过纵 4×横7的背景图像表示车辆所在的场所。深度图像通过像素的亮度表 示深度数据中的地标的进深，表示背景图像的进深。即，深度图像的 各个像素成为表示背景图像的各个像素的进深的进深信息

客户端装置1002是数字电视机等网络对应的家电设备，对服务 器发送下载请求mg1，并接收全周围图像mg2、深度图像mg3。使用 该全周围图像执行3D街景。该下载请求包括纬度、经度、海拔的信 息，能够请求发送地球上的任意场所的全周围图像。

在用户希望视听立体视的街景的情况下，由用户佩戴眼镜1003。 这里的立体视通过多视点图像群实现。这里，多视点图像群是如左眼 图像、右眼图像、中央、右斜上图像、右斜下图像、左斜上图像、左 斜下图像那样、通过与2个以上的视点对应的视点图像实现立体视的 视点图像的集合体。对多视点图像群的全部变化进行说明时，说明变 得烦杂，所以，在以后的说明中，设多视点图像群是由必要最低限度 的视点图像组、即左眼图像和右眼图像的组构成的立体图像群，从而 进行说明。

图2是示意地示出街景立体视系统的图。本图的上半部分是模型 所在的虚拟空间，下半部分是客户端装置1002、眼镜1003所在的现 实空间。

首先，对虚拟空间进行说明。虚拟空间是指由用于配置三维坐标 的坐标系规定的三维建模空间，该三维坐标规定立体模型的几何学形 状。立体模型的形状不限。可以是圆柱、圆锥、三角锥、椭圆体等的 任意形状的三维模型，但是，为了便于说明，在以后的说明中，设为 球面模型进行说明。作为立体模型的球体的中心是照相机的位置。为 了简化，仅描绘一个球面模型，但是，在立体视时，存在分别与左眼 用、右眼用有关的球面模型。图中的照相机CL是配置在从球面模型 中心向右侧隔开p的位置的照相机。照相机CR是配置在从球面模型 中心向左侧隔开p的位置的照相机。这些照相机CL、CR成为左眼拍 摄时、右眼拍摄行为时的球面模型的中心位置。

在该立体模型的斜上方配置有结合了纵4×横7的背景图像的全 周围图像。全周围图像具有右眼用的全周围图像m1和左眼用的全周 围图像m2，在右眼用纹理和左眼用纹理中，三维建模空间中的配置 位置不同。在本图中，仅描绘球面模型的上半部分，但是，实际上还 存在下半部分。并且，关于全周围图像，也仅描绘上半部分，但是， 实际上还存在下半部分。

接着，对球面模型进行说明。在球体的内侧表面存在右眼用纹理 的粘贴范围m4和左眼用纹理的粘贴范围m5。球面模型中的粘贴范 围是指在球面模型中由4个或3个交点规定的网格。该网格具有球面 模型的曲率，被定义为将球面模型的极坐标作为顶点的三角形带的一 部分或全部。在纹理映射时，设图形类型为三角形带，通过与存储有 背景图像的正文缓存坐标进行对应，执行图形描绘。在纹理的近前存 在显示面，在该显示面中定义窗口mg6。窗口规定三维建模空间中的 用于显示的部分。投影到该窗口中的影像用于再现。窗口存在于左眼 投影范围和右眼投影范围交叉的场所。即，窗口配置在左眼用和右眼 用共同的位置。

在球面模型的内侧粘贴的纹理是全周围图像，所以，张望360° 的全周围。如果将三维建模空间中的球面模型展开为墨卡托图形，则 成为全周围图像。半球体中的纵2×横7的网格的个数与全周围图像 中的纵2×横7的背景图像的个数一致。即，进行将全周围图像中的 各个背景图像变换为纹理、并粘贴在球面模型的各个网格中的纹理映 射。

以上是与虚拟空间有关的说明。接着，对现实空间进行说明。

在本图中，在作为立体模型的球体的正下方描绘客户端装置1002 和佩戴了眼镜1003的用户的面部。客户端装置1002的显示画面存在 于球面模型内的窗口的正下方。并且，眼镜1003存在于比照相机CL、 CR的正下方更靠里侧。这是因为，用户的右眼、左眼成为照相机CL、 CR的位置，所以，眼镜1003必须配置在其附近。

如上所述，照相机CL、CR的位置与用户的右眼、左眼相当，窗 口与客户端装置1002的画面相当，所以，在客户端装置1002与用户 之间出现立体视图像。在虚拟空间中，房屋以平面方式表现，但是， 在现实空间中，房屋成为从客户端装置1002的画面中突现的形式。

图3示出从球面模型中心对粘贴在球面内侧的纹理进行视听的状 态。图3示出横排粘贴多个背景图像的球面模型的内侧表面。在图3 中，在正面配置近代的教堂，在右手侧存在滑梯。它们粘贴在球体的 内侧表面，所以，当在截面圆的中心配置照相机的情况下，以从全周 围包围该照相机的方式配置背景图像。在该球面模型中粘贴的纹理伴 随由地球上的纬度、经度、海拔确定的视点位置而变化。即，在用户 进行了视点位置的变更操作的情况下，影像提供装置对由地球上的地 理信息（纬度、经度、海拔等）确定的当前视点位置进行更新，下载 与更新后的当前视点位置一致的全周围图像，将该全周围图像粘贴在 球面模型中，进行再次描绘。

在图2的球面模型中，照相机存在于球面模型的中心，但是，这 是用于平面视的照相机位置，立体视的照相机位置不同。在立体视时， 通过在从球面模型中心隔开p的位置配置照相机，得到2个球面模型。 图4示出在三维建模空间中在立体视再现时生成的2个球面模型。图 4（a）是左眼用的球面模型，在内侧粘贴有通过对横向结合了横7张 背景图像的图像执行DIBR而生成的左眼图像。

图4（b）是通过对（a）的图像执行基于深度图像的基于深度的 绘制而生成的右眼图像，在内侧粘贴有通过对横向结合了横7张背景 图像的图像执行基于深度图像的基于深度的绘制而生成的右眼图像。

设构成全周围图像的横7张图像为图像A、B、C、D、E、F、G。 对如何根据该图像A～G生成右眼用纹理和左眼用纹理进行说明。图 5示出根据在该球体的内侧表面粘贴的背景图像而生成多视点图像的 过程。（a）示出如下的一例：在通过对球体内侧表面进行分割而得 到的7个分割区域中，按照A→B→C→D→E的顺序粘贴构成全周围 图像的横7张图像中的A、B、C、D、E这5张背景图像。对图5（a） 的图像A、图像B、图像C、图像D、图像E进行说明。在图像A 中，设由于基于DIBR的位移而使坐标变化的像素集合为AL、AM、 AR。在图像B中，设由于基于DIBR的位移而使坐标变化的像素集 合为BL、BM、BR，在图像C中，设由于基于DIBR的位移而使坐 标变化的像素集合为CL、CM、CR。在图像D中，设由于基于DIBR 的位移而使坐标变化的像素集合为DL、DM、DR，在图像E中，设 由于基于DIBR的位移而使坐标变化的像素集合为EL、EM、ER。 这些像素群在图像中呈现“V”的形状。

在左眼用纹理的生成中，结合图像A～E来执行DIBR。由此， 左端部分的像素在显示区域外，所以，在相邻图像即图像A、B、C、 D、E的右侧端部追加图5（a）中的像素集合BL、CL、DL、EL、 FL。该结果为图5（b）。如图5（b）所示，左眼用纹理由包含像素 群AM、AR、BL的图像A（L）；包含像素群BM、BR、CL的图像 B（L）；由像素群CM、CR、DL构成的图像C（L）；包含像素群 DM、DR.EL的图像D（L）；以及包含像素群EM、ER、FL的图像 E（L）构成。由于是纸面上的情况，所以，在图5中省略图像F、G 的图示，但是，图像F、G也进行与本图相同的处理。

在右眼用纹理的生成中，结合图像A～E来执行DIBR。由此， 右端部分的像素在显示区域外，所以，在相邻图像即图像A、B、C、 D、E的左侧端部追加图5（a）中的像素集合GR、AR、BR、CR、 DR。该结果为图5（c）。如图5（c）所示，右眼用纹理由包含像素 群GR、AL、Am的图像A（R）；包含像素群AR、BL、Bm的图像 B（R）；由像素群BR、CL、Cm构成的图像C（R）；包含像素群 CR、DL、Dm的图像D（R）；以及包含像素群DR、EL、Em的图 像E（R）构成。

图6（a）示出在球面内侧粘贴图5（b）的左位移后的像素时的 纹理。图6（b）示出在球面内侧粘贴图5（c）的右位移后的像素时 的纹理。

图7（a）示出在图1的三维建模空间中左眼用纹理、右眼用纹理 与窗口的关系。图7（a）是左眼用纹理的配置。在本图中，在左眼 用照相机的视线矢量前方配置左眼用纹理，在球面模型内侧粘贴左眼 用纹理。由此，与窗口相当的部分被用于显示。图7（b）是右眼用 纹理的配置。在本图中，在右眼用照相机的视线矢量前方配置右眼用 纹理，在球面模型内侧粘贴右眼用纹理。由此，与窗口相当的部分被 用于显示。

图8示出前景图像与背景图像的合成。（a）是作为题材的前景 图像，这是以近代的教堂为背景、新郎和新娘相互面对的内容的抓拍 照片。该近代的教堂也存在于背景图像中，所以，教堂的轮廓线形状 成为前景图像和背景图像的共同特征。图8（b）示出前景图像与背 景图像的匹配。通过该匹配，能够得到表示背景图像和前景图像的对 应关系的变换矩阵，所以，如果根据该矩阵对前景图像的深度图像进 行变换后进行DIBR，则得到与背景图像没有不舒适感的合成图像。

以该图8的合成为前提，能够实现随后体验。图9示出画面合成 的一例。视线vw1表示通过眼镜1003对右眼进行遮光时的影像的入 射。视线vw2表示通过眼镜1003对左眼进行遮光时的影像的入射。 通过该vw1对左眼图像进行视听。并且，通过vw2对右眼图像进行 视听。通过佩戴眼镜1003，用户交替视听右眼图像和左眼图像，再 现立体视图像。图9的图像是通过根据变换矩阵对窗口中得到的前景 图像和背景图像进行合成而得到的立体视图像。以在球面体内部粘贴 的多个背景图像为背景来显示人物，所以，得到临场感高的立体视影 像。如上所述，如果从服务器取得与照片的全局位置一致的全周围图 像，则能够在与该照片一致的全周围图像中合成照片。

并且，能够在街景中合成UI目标。图10示出合成了UI目标的 街景。方向导航ui在视觉上显示当前的视线方向。指示器ir1、ir2表 示当前的视点位置所在的地名（loss-Less Citycentral park）和建筑物 的名称（CABAC church）。十字按钮bn2在变更当前视点位置的情 况下受理其行进方向的选择。变焦放大按钮bn3在不改变视点位置和 视线方向的状态下受理显示内容的放大/缩小操作。角度按钮bn4受 理当前视线方向的右旋转、左旋转的指定。这些GUI被分配给遥控 器的键，所以，通过对遥控器进行操作，能够进行街景中的移动、旋 转这样的控制。以上是与全景检索服务有关的说明。

（实施方式1）

实施方式1涉及避免作为GUI部件的目标的UI目标与纹理内目 标的干涉的改良。图11是示出实施方式1中的图像描绘装置的输入 输出方式的一例的图。

图像描绘装置101受理与全周围图像对应的深度图像和UI目标 作为输入，进行左眼用和右眼用的图像输出。利用立体视对应显示器 103，在画面上同步描绘被输出的左眼图像和右眼图像，使视听者感 受立体图像。1个地点的全周围图像由纵4张、横7张的合计28张 部分图像构成。一张各部分图像具有纵512像素、横512像素的像素 数。深度图像表示立体空间中的对象物的进深。根据各像素的亮度， 颜色更黑的部分是在立体空间上位于里侧的物体，颜色较白的部分表 示在立体空间上存在于近前侧的物体。

图像描绘装置101针对各部分图像应用深度图像，与被输入的部 分图像的数量同样，分别生成28张右眼用图像和左眼图像。所生成 的右眼用图像和左眼图像分别被粘贴在三维建模空间的球面上，在相 同空间上配置UI目标。在左眼用和右眼用时，将在三维建模空间上 从球体中心观察球面侧的范围同步输出到画面上，由此，显示全周围 的立体图像。

（图像描绘装置的使用方式）

图12是示出图像描绘装置的使用方式的一例的图。用户使用遥 控器102指定希望视听的场所和角度，通过液晶快门式眼镜104对输 出到立体视对应显示器103的影像进行视听，由此，能够立体地感受 任意地点/角度的全周围图像。立体视对应显示器103与图像描绘装 置101连接，或者内置由图像描绘装置101的功能。在图12的使用 方式的例子中，立体视对应显示器103内置有图像描绘装置101的功 能，立体视对应显示器103经由因特网而与服务器105连接。立体视 对应显示器103下载与用户指定的场所对应的全周围图像和深度图 像，生成右眼用图像和左眼图像并同步显示在画面上。

图13是示出实施方式1中的图像描绘装置的内部结构的框图。 如本图所示，图像描绘装置101由UO检测部1、位置方向判定部2、 网络接口3、本地存储器4、描绘控制部5、左眼平面存储器6、右眼 平面存储器7和输出接口8构成。

（UO检测部1）

UO检测部1检测用户的遥控器操作、键盘操作、鼠标操作等， 将对应的操作代码（表示上下左右键按下、右键按下等的用户操作的 代码）发送到位置方向判定部2。

（位置方向判定部2）

位置方向判定部2根据从用户操作检测部1接受的操作代码，判 定应该显示在哪个视点方向观察地图上的哪个位置的全周围图像的 图像。地图上的位置是当前视点位置，由包含纬度和经度的地理信息 确定。并且，视点方向是当前视线方向，由水平角度和垂直角度确定。 设北方为0度，绕顺时针在0度～360度的范围内表现水平角度。设 地平线为0度、正上方为90度、正下方为-90度，在-90度～90度的 范围内表现垂直角度。位置方向判定部2根据所接受的操作代码，确 定这些纬度、经度、水平角度、垂直角度，将所确定的值转送到描绘 控制部5。

（网络接口3）

网络接口3具有请求发送部和应答接收部。请求发送部向全景收 集服务器1001发送指定了地球上的当前视点位置的图像取得请求。 这里，在针对地图图像进行了用户操作的情况下，请求发送部使用与 通过用户操作而指定的位置对应的地理信息，生成指定当前视点位置 的图像取得请求，将其发送到全景收集服务器1001。应答接收部接 收从全景收集服务器1001发送来的街景文件，作为针对图像取得请 求的应答。从全景收集服务器1001发送来的街景文件具有与图像取 得请求中包含的地理信息一致的位置属性。

在所下载的街景文件中存在有全周围图像和深度图像。街景文件 被临时存储在图像描绘装置内的本地存储器4中。在立即显示这些图 像的情况下，不存储在本地存储器4中，而将在装置内的存储器上下 载的全周围图像直接转送到全周围图像取得部11。

（本地存储器4）

本地存储器4是硬盘驱动器（HDD）、USB存储器、SD存储卡 等的安装在图像描绘装置上的记录介质。用于对从服务器105下载的 存储了全周围图像和深度图像的街景文件进行超高速缓存、并在图像 描绘装置中利用由服务器以外的外部设备生成的存储了全周围图像 和深度图像的街景文件等的用途。

（描绘控制部5）

描绘控制部5进行如下处理：根据由位置方向判定部2指示的地 图上的位置以及从网络接口3或本地存储器4取得的全周围图像和深 度图像，按照右眼用和左眼用的2个种类生成在三维建模空间内粘贴 在球面上的全周围图像，提取应该在由位置方向判定部2指示的视线 方向上从球的中心观察球面时被显示的图像（窗口图像），将提取出 的左眼图像和右眼图像分别输出到左眼平面存储器6和右眼平面存 储器7。

（左眼平面存储器6）

左眼平面存储器6是存储在立体视显示中应该对左眼提示的一帧 的窗口图像的存储器。

（右眼平面存储器7）

右眼平面存储器7是存储在立体视显示中应该对右眼提示的一帧 的窗口图像的存储器。

（输出接口8）

输出接口8将存储在左眼平面存储器6和右眼平面存储器7中的 图像一帧一帧地同步输出到立体视对应显示器103。具体而言，以 120Hz从左右的平面存储器中交替读出图像，左右分别向显示器侧发 送每秒60帧的影像。进行视听的用户佩戴液晶快门式眼镜104，液 晶快门以120Hz交替反复进行开闭，由此，能够在左眼中出现左眼 用的每秒60帧的图像，在右眼中出现左眼用的每秒60帧的图像，所 以，能够根据左右图像的视差来感受进深。

以上是与图像描绘装置有关的说明。接着，对描绘控制部5进行 详细说明。图14示出描绘控制部5的内部结构。如本图所示，描绘 控制部5由建模数据取得部10、全周围图像取得部11、全周围图像 解码器12、全周围图像存储器13、深度图像取得部14、深度图像解 码器15、深度图像存储器16、纹理变换部17、左眼用纹理存储器18a、 右眼用纹理存储器18b、CG处理部19（包括坐标变换部20、照度计 算部21、纹理映射部22、窗口变换部23）、目标管理部25、窗口深 度存储器26构成。

（建模数据取得部10）

建模数据取得部10从网络I/F或本地存储器中取得与指定的全周 围图像相关联的UI目标的信息。这里，UI目标（用户接口目标）是 GUI的结构部件，是指作为前景图像而显示的图像。其数据形式是 3D计算机图形的建模数据的数据形式。

（全周围图像取得部11）

全周围图像取得部11经由网络接口3从服务器105下载与由位 置方向判定部2指示的地图上的位置（由纬度和经度确定）对应的全 周围图像，或者从本地存储器4取得图像。1个地点的全周围图像由 纵4张、横7张的合计28张部分图像构成，一张各图像具有纵512 像素、横512像素的像素数。图15（a）示出全周围图像的一例。

（全周围图像解码器12）

全周围图像解码器12是JPEG解码器，进行压缩墨卡托图像的 展开，并将通过该展开而得到的全周围图像存储在全周围图像存储器 19中。

（全周围图像存储器13）

全周围图像存储器13是存储由全周围图像解码器12展开的全周 围图像的存储器。

（深度图像取得部14）

深度图像取得部14经由网络接口3从服务器105下载与全周围 图像取得部11取得的全周围图像对应的深度图像，或者从本地存储 器4取得图像。深度图像表示立体空间中的各像素的进深，利用8比 特的亮度表现各像素的进深。亮度0（黑色）表示对应像素位于最远 的位置，亮度255（白色）表示对应像素位于最近的位置。即，全周 围图像可以看成彩色图像，与此相对，深度图像被识别为仅由亮度表 现的灰度图像。图15（b）示出针对图15（a）的全周围图像生成的 深度图像的一例。表示深度图像的灰度图像与全周围图像同样，针对 1个地点，由纵4张、横7张的合计28张部分图像构成，一张各图 像具有纵512像素、横512像素的像素数（各像素仅由8比特的亮度 保持）。

（深度图像解码器15）

深度图像解码器15是PNG解码器，进行街景文件中包含的压缩 墨卡托深度的展开，并将其存储在深度图像存储器16中。

（深度图像存储器16）

深度图像存储器16是存储由深度图像解码器15生成的墨卡托深 度的存储器。

（纹理变换部17）

纹理变换部17具有纹理DIBR部，通过根据深度图像取得部14 取得的深度图像进行基于深度图像的绘制（DIBR），得到左眼用纹 理和右眼用纹理。具体而言，纹理DIBR部使全周围图像取得部11 取得的全周围图像中的各像素沿水平方向位移，得到左眼用纹理和右 眼用纹理。在本实施方式中，设全周围图像取得部11取得的基本图 像为左眼用、根据深度图像而生成的2个以上的视点图像为右眼用， 从而进行说明，但是，即使设全周围图像取得部11取得的基本图像 为右眼用、根据深度图像而生成的2个以上的视点图像为左眼用，图 像描绘装置的结构和效果也相同。

叙述在执行基于深度图像的绘制时对各像素设定什么样的视差。 在存在于深度图像的坐标（x、y）的像素中，在从视点起的进深为 Depth（x、y）的情况下，例如，能够根据以下的数学式从深度图像 中存在于坐标（x、y）的亮度Y（x、y）变换为进深Depth（x、y）。

（数学式）

Y（x、y）=255-（log（Depth（x、y）+1）×100）

通过将这样求出的进深Depth（x、y）变换为与显示器的画面尺 寸对应的像素数offset（x、y），能够将像素的亮度变换为适当的视 差。

在基于深度图像的绘制中，在使构成图像的多个像素中的位于任 意坐标（x、y）的像素的坐标沿水平方向移动时，根据由在对应的深 度图像中存在于坐标（x、y）的像素的亮度Y（x、y）导出的进深 Depth（x、y），求出该坐标（x、y）固有的offset（Depth（x、y）、 y），使用该offset（Depth（x、y）、y）作为移动量，由此得到其他 视点的视点图像。图16（a）示出在深度图像中存在于坐标（x、y） 的像素的进深Depth（x、y）。Depth（x、y）在位置上与图16（b） 中的Pix（x、y）对应。图16（b）示出在图像存储器中存在于坐标 （x、y）的像素Pix（x、y）。图16（c）示出在生成左眼纹理时像 素Pix（x、y）如何位移。在图16（c）中，在全周围图像存储器13 中，Pix（x、y）沿水平方向以Offset（Depth（x、y））进行变位。 因此，位于Pix（x+Offset（Depth（x、y））、y）。在全周围图像中， Offset（Depth（x、y））在x、y坐标中是唯一的偏移，根据基于深 度图像中的对应像素的亮度的Depth（x、y）来设定。

在生成2个以上的视点图像时，像素沿水平方向如何变位是根据 图像的每个像素而不同的。深度图像中的像素的亮度电平与位移量即 像素数之间的对应能够根据上述数学式导出。作为该对应的一例，可 以如图16（c）那样设定。

图16（c）示出Y（x、y）中的0～255的亮度范围与1像素～16 像素的单位偏移之间的对应。在本图中，对0～63的亮度范围分配0～ 2像素的范围的偏移，对64～127的亮度范围分配3～4像素的范围 的偏移，对128～191的亮度范围分配5～8像素的偏移，对192～255 的亮度分配9～16像素的偏移。即，进行如下的非线性的对应：增大 应该对明亮部分的亮度范围分配的视差，减小应该对昏暗部分的亮度 范围分配的视差。

图17示出通过像素电平的位移而在左眼用纹理和右眼用纹理中 具有什么样的视差。图17（a）示出深度图像，图17（b）示出左眼 用纹理存储器的存储内容，图17（c）示出右眼用纹理存储器的存储 内容。

Pix（x1、y）是图17（b）中并列的3个大厦中的最靠前的大厦 的像素。Pix（x2、y）是3个大厦中的第2个大厦的像素。Pix（x3、 y）是3个大厦中的第3个大厦的像素。

图17（a）是深度图像的一例，示出对左眼用纹理中的像素Pix （x1、y）、Pix（x2、y）、Pix（x3、y）赋予的进深。Depth（x1、y） 表示左眼用纹理中的Pix（x1、y）的进深。Depth（x2、y）表示左眼 用纹理中的Pix（x2、y）的进深。Depth（x3、y）表示左眼用纹理中 的Pix（x3、y）的进深。

图17（c）的下侧示出在DIBR中对各像素赋予的偏移。Offset （Depth（x1、y）、y）表示对左眼用纹理中的Pix（x1、y）赋予的 偏移。Offset（Depth（x2、y）、y）表示对左眼用纹理中的Pix（x2、 y）赋予的偏移，Offset（Depth（x3、y）、y）表示对左眼用纹理中 的Pix（x3、y）赋予的偏移。如本图所示，由于具有Depth（x1、y） >Depth（x2、y）>Depth（x3、y）的关系，所以，对构成最靠前的大 厦的像素赋予最大的视差，从画面中大幅突现。以上是与纹理变换部 17有关的说明。

（左眼用纹理存储器18a、右眼用纹理存储器18b）

右眼用纹理存储器18a、左眼用纹理存储器18b的对存储纹理变 换部17进行DIBR而得到的左眼用纹理和右眼用纹理。

图18对比示出粘贴有左眼用纹理和右眼用纹理的球面模型所存 在的三维建模空间和深度空间。图18（a）是粘贴有左眼用纹理的球 面模型所存在的三维建模空间，图18（b）是粘贴有右眼用纹理的球 面模型所存在的三维建模空间。图18（c）是深度空间。深度空间是 指在三维建模空间中考虑了纹理内目标的进深的空间。即，在三维建 模空间中，纹理内目标以平面的方式存在于球面模型的表面。与此相 对，在深度空间中，纹理内目标从球面模型的表面突现，与UI目标 共存。图18（d）、图18（e）示出三维建模空间和深度空间中的目 标的存在差异。可知，在图18（d）中，纹理内目标即大厦只不过作 为球面模型的图案而存在，但是，在图18（e）中，纹理内目标即大 厦作为立体物而从球面模型突现。

<CG处理部19>

CG处理部19进行如下处理：将构成建模数据的三维坐标配置在 三维建模空间中，将该三维建模空间中的三维坐标投影到窗口中。该 处理具有坐标变换、照度计算（纹理映射处理）、窗口处理。

<坐标变换部20>

坐标变换部20将视点设为照相机，通过指定照相机的方向和变 焦等级，决定投影立体物的幕。然后，将规定UI目标或球面模型的 建模数据的三维坐标变换为三维建模空间中的世界坐标。这里的坐标 变换是指，将三维建模空间中的照相机位置作为原点，将规定建模数 据的三维坐标变换为从照相机观察的坐标系中的世界坐标。

<照度计算部21>

照度计算部21计算对立体物照射从在三维建模空间中设定的光 源位置照射的光时的各顶点中的照度。

<纹理映射部22>

纹理映射部22在三维建模空间上准备左眼用和右眼用的2个球 面，将对背景图像进行变换而得到的左眼用纹理和右眼用纹理映射到 三维建模空间中的球体模型的内侧表面。

<窗口变换部23>

窗口变换部23按照包含显示器的分辨率等的显示器信息，将三 维建模空间中的三维坐标的顶点坐标变换为二维的幕坐标，从而提取 窗口图像。提取出的图像具有左眼窗口图像和右眼窗口图像，窗口变 换部将它们分别输出到左眼平面存储器6和右眼平面存储器7。在从 位置方向判定部2对描绘控制部5进行的指示为当前视点位置没有变 化、仅当前视线方向变化的情况下，纹理映射部跳过纹理映射处理， 仅窗口变换部伴随当前视线方向变化而进行窗口的再次提取和向平 面存储器的再次输出。对基于窗口变换部23的窗口图像提取进行说 明。

对根据图15（a）的图像而得到的左眼窗口图像和右眼窗口图像 进行说明。图19示出窗口深度和左眼窗口图像。在本图中，左眼用 全周围图像501与图15（a）相同，深度图像506与图15（b）相同。 可知，通过基于窗口变换部23的窗口图像提取，提取左眼用全周围 图像501和深度图像506中的与提取范围503相当的部分，从而得到 窗口深度506和左眼窗口图像504。

图19（b）示出左眼窗口图像504和右眼窗口图像505的一例。 提取作为纹理而粘贴在球面模型上的左眼用全周围图像501和右眼 用全周围图像502中的与提取范围503相当的部分作为窗口图像504、 505。在基于窗口变换部23的窗口变换时，在这些左眼窗口图像和右 眼窗口图像中合成UI目标的投影图像。以上是与基于窗口变换部23 的UI目标投影有关的说明。

（Z缓存24）

在Z缓存（进深缓存）24中存储变换后的三维坐标。

（目标管理部25）

目标管理部25对作为坐标变换部20、纹理映射部21、窗口变换 部23的处理对象的UI目标进行管理。

（窗口深度存储器26）

窗口深度存储器26存储由进深前后判定部36生成的窗口深度。 图19（c）是根据针对UI目标和纹理内目标计算出的视差而生成的 窗口深度的一例。在球面模型上粘贴全周围图像作为纹理时产生的视 差成为被标准化为8比特中的0～255的深度值的内容。

以上是与窗口深度存储器26有关的说明。

至此结束图像描绘装置的内部结构的说明。内部结构图所示的结 构要素中的目标管理部25是为了解决本申请的技术课题而特意创作 的主旨的要素，除此之外只不过是用于担保作为现有装置的功能的一 般要素。对该目标管理部25的内部结构进行说明。图20是示出目标 管理部25的内部结构的图。如本图所示，目标管理部25由目标状态 表31、UI目标视差计算部32、虚拟照相机环境设定部33、纹理视差 计算部34、窗口深度生成部35、进深前后判定部36、干涉目标登记 表37、目标操作部38、目标位置调整部39、纹理再次生成部40、掩 模图案再次生成部41、几何学变换部42构成。

<目标状态表31>

目标状态表31与UI目标的ID、世界顶点坐标、状态代码对应 地示出各UI目标的状态。该状态代码所示的状态确定UI目标处于起 动中还是处于休止中等。

<UI目标视差计算部32>

UI目标视差计算部32按照构成UI目标的每个顶点，计算由目 标状态表管理的各UI目标呈什么样的视差。这样，在按照构成UI 目标的每个顶点计算视差后，在构成在左眼窗口图像和右眼窗口图像 上得到的窗口的左眼投影像和右眼投影像的各个像素中，计算产生什 么样的视差，计算与构成UI目标的左眼投影像和右眼投影像的各个 像素有关的视差。基于UI目标视差计算部32的视差的计算原理特别 重要，所以，穿插图21～图23的参考图，更加详细地进行说明。

图21（a）示出构成UI目标的建模数据的一例。建模数据使用构 成UI目标的顶点的顶点坐标表现UI目标的形状。图21（b）示出针 对左眼窗口和右眼窗口的UI目标的投影像。图21（b）的上段示出 写入左眼窗口中的UI目标。在左眼窗口中，描绘基于左眼用照相机 的视线矢量的角度的街景。因此，UI目标成为基于左眼用照相机的 视线矢量的形状。

图21（b）的下段示出写入右眼窗口中的UI目标。在右眼窗口 中，描绘基于右眼用照相机的视线矢量的角度的街景。因此，UI目 标被实施基于右眼用照相机的视线矢量的变形。UI目标为箭头形状， 该箭头的前端在左眼窗口中存在于坐标PL。在右眼窗口中，箭头的 前端存在于坐标PR。这些PR、PL构成Ps的视差。

图22（a）是三维建模空间的立体图，在三维建模空间内设定左 眼用照相机CL、右眼用照相机CR、左眼窗口404、右眼窗口405。 图22（b）在图22（a）的三维建模空间中设定左眼用投影范围406 和右眼用投影范围407。图22（c）示出UI目标的前端坐标。该UI 目标的前端中球面401中配置在由三维空间坐标（Sx、Sy、Sz）确定 的坐标S。

图23（a）示出三维建模空间的X-Z坐标系中的照相机CL、CR 的配置设计。照相机CL和照相机CR隔着基座长度2p而存在。球面 上的点S经由虚线的路径vu1、vu2而到达照相机CL、照相机CR。 左眼用投影范围406能够从照相机CL进行视听，右眼用投影范围407 能够从照相机CR进行视听。显示器408是投影用屏幕，在左眼用、 右眼用中是共通的。关于左眼用照相机CL和右眼用照相机CR，照 相机的视线矢量均设为e（0、0、1）。

图23（b）示出左眼窗口图像和右眼窗口图像中的点S的映射点 SL、SR。图23（c）示出在图24（b）中使相似关系成立的三角形。 能够由该（b）发现的相似关系是指，由顶点S、SL、SR构成的三角 形与由顶点S、CL、CR构成的三角形的相似关系。

根据该相似关系，2p:Sz=Ps:（Sz-D）的等式成立。如果关于Ps 对该等式进行变形，则得到以下的式子。

PS=2p*（Sz-D）/Sz……数学式（1）

其中，视差P表示，在正方向越大，则进深越大，在负方向越大， 则越靠前。在判断GUI与背景图像中的建造物之间的前后关系时， 必须对上述GUI的视差PS和在全周围图像上的一点B产生的视差 PB进行比较。以上是与UI目标视差计算部32有关的说明。

<虚拟照相机环境设定部33>

虚拟照相机环境设定部33存储与三维建模空间中的照相机、窗 口、球面模型有关的信息，以进行基于坐标变换部20的坐标变换和 基于照度计算部21的照度计算。并且，还存储纹理映射用的球面模 型中的网格的三维坐标。

<纹理视差计算部34>

纹理视差计算部34根据球面模型表面的三维坐标、照相机的基 座长度、球面模型的进深位置，计算构成左眼用纹理和右眼用纹理的 像素所呈的视差。基于UI目标视差计算部32的视差的计算原理是重 要的，所以，使用图24～图26的一连串的参考图进行详细说明。

全周围图像上的一点B包含在投影范围内，在所输出的左眼用背 景图像与右眼用背景图像之间产生视差PB。图24（a）示出三维建 模空间中的左眼用照相机、窗口、投影范围的关系。照相机CL存在 于从原点向x轴方向隔开-p的位置。球面401中的坐标BL存在于从 照相机CL向Z轴方向隔开BLz、向X轴方向隔开BLx的位置。窗 口存在于从照相机CL隔开D的位置。引出线yj5放大球面模型中的 投影范围406的内容。在图24（a）的投影范围内存在有图19（a） 的全周围图像501，该全周围图像中的设定有球面模型的网格503的 范围成为显示对象。引出线yj6放大窗口的内容。在图24（a）的窗 口内存在有图19（a）中的窗口图像504。

图24（b）示出三维建模空间中的右眼用照相机、窗口、投影范 围的关系。照相机CR存在于从原点向x轴方向隔开p的位置。球面 401中的坐标BR存在于从照相机CL向Z轴方向隔开BRz、向X轴 方向隔开BRx的位置。窗口存在于从照相机CR隔开D的位置。引 出线yj7放大投影范围407的内容。在图24（b）的投影范围内存在 有图19（b）的全周围图像502，该全周围图像中的设定有球面模型 的网格503的范围成为显示对象。引出线yj8放大窗口图像的内容。 在图24（b）的窗口内存在有图19（b）的图像505。图25（a）示出 构成纹理内目标的像素B如何映入窗口中。这里，设左眼用纹理中 的像素B的坐标为（BLx、BLy、BLz），设右眼用纹理中的B的坐 标为（BRX、BRY、BRZ）。如本图所示，球面模型中的像素B的X 坐标即BRX在窗口中偏移PR。并且，左眼用纹理中的像素B的X 坐标即BLX中窗口中偏移PL。

接着，说明PL、PR成为什么样的值。图25（b）是窗口中的XY 平面图。设从像素（BLX、BLY、BLZ）向左方向偏移PL的像素位 置为（BLX'、BLY、D），设从像素（BRX、BRY、BRZ）偏移p的 位置为（BRX'、BRY、D）。此时，窗口中的纹理内目标的视差PB 由BLX'-BRX'表现。接着，说明PL、PR成为什么样的值。

图26是用于说明BR'的导出过程的图。图26（a）在三维建模空 间的X-Y坐标系平面描绘左眼用投影范围406、窗口、左眼用照相机 CL。在映射有左眼用全周围图像的球面中，与点B相当的点BL被 配置在（BLx、BLy、BLz）。箭头yj11放大示出窗口中的像素BL 的坐标。图26（b）示出为了计算视差而假设的三角形。该三角形是 直角三角形，高度为BLZ，宽度为P+BLx。作为该三角形的相似形 的三角形的高度为BLZ-D，宽度为PL。

根据这2个三角形的相似关系，能够导出（p+BLx）:BLz=PL: （BLz-D）这样的式子。将其变形为与PL有关的式子时，成为PL= （p+BLx）*（BLz-D）/BLz。

由此，BLx'的值成为

BLx'=BLx-PL=BLx-（p+BLx）*（BLz-D）/BLz

=[D*BLx-p*（BLz-D）/BLz]

图26（c）在三维建模空间的X-Z坐标系的平面中描绘右眼用投 影范围407、窗口、右眼用照相机CR。在图26（c）的球面中，与点 B相当的点BR被配置在（BRx、BRy、BRz）。箭头yj12放大示出 球面401中的像素BL的坐标。图26（d）示出为了计算视差而假设 的三角形。该三角形是直角三角形，高度为BRZ，宽度为P-BRx。 作为该三角形的相似形的三角形的高度为BRZ-D，宽度为PR。

根据这2个三角形的相似关系，能够导出（p-BRx）:BRz=PR: （BRz-D）这样的式子。将其变形为与PR有关的式子时，成为PR= （P-BRx）*（BRz-D）/BRz。

BRx'的值成为

BRx'=BRx+PR=BRx+（p-BRx）*（BRz-D）/BRz

=[D*BRx+p*（BRz-D）/BRz]

此时，在点BL、点BR之间产生的视差PB能够由下述数学式（2） 表现。

PB={（D*BRx+p*（BRz-D））/BRz}-{（D*BLx-p*（BLz-D）） /BLz.....数学式（2）

纹理视差计算部34针对球面模型表面的坐标中的属于投影范围 的全部坐标，进行上述数学式（1）（2）的计算，从而计算纹理中的 视差。以上是与纹理视差计算部34有关的说明。

<窗口深度生成部35>

窗口深度生成部35根据纹理内目标的视差PB和UI目标的视差 PS，生成利用像素的精度表示在窗口中出现的纹理内目标、UI目标 的进深的窗口深度，将其存储在窗口深度存储器26中。对纹理视差 计算部34计算出的左眼用纹理和右眼用纹理中的各个像素的视差、 以及UI目标视差计算部32计算出的构成各目标的投影像的每个像素 的视差进行合并，生成表示应该在窗口中得到的图像的进深的窗口深 度，将其写入窗口深度存储器26中。

<进深前后判定部36>

进深前后判定部36对虚拟照相机环境设定部33计算出的构成与 UI目标有关的投影像的像素的视差、纹理视差计算部34计算出的左 眼用纹理和右眼用纹理中的各个像素的视差的大小进行比较，判定其 顶点的Z坐标是否存在进深比左眼用纹理和右眼用纹理大的UI目 标。如果存在进深比纹理内目标大的至少一个顶点，则将具有该顶点 的UI目标作为干涉UI目标而登记在干涉目标登记表37中。为什么 需要该进深前后判定部36，与CG处理中的建模数据的一般性质密 切相关。在三维建模空间的球面内部，UI目标配置在视点与球面内 侧表面之间。这样，由于深度测试的性质，球面的内侧表面中的被 UI目标遮挡的部分位于显示对象外。这里，深度测试是CG绘制功 能之一，指定z缓存中的进深，不显示比该进深深的像素。于是，关 于通过3D模型绘制而得到的投影像，UI目标必定位于前方（前景） 侧，纹理位于后方（背景）侧。但是，在立体视再现中，由于粘贴在 球面表面上的纹理具有进深感，所以，不是UI目标位于前面，与UI 目标相比，纹理内目标位于前面侧，从而发生干涉。

这里的“干涉”是指，在立体视效果中，纹理内目标从球面模型 中突现，所以，由于上述CG处理的一般性质，纹理内目标与UI目 标重叠，纹理内目标扎入UI目标内，或者，UI目标隐藏在纹理内目 标后方，纹理内目标与UI目标的合成不自然。基于进深前后判定部 36的背景图像与UI目标之间的前后关系的判定是为了弄清上述UI 目标与纹理内目标有无发生干涉。

图27（a）示出写入左眼窗口和右眼窗口中的UI目标中的进深最 深的前端部的视差比纹理内目标的视差大的情况。图27（b）示出三 维建模空间内的配置了UI目标601的状态的一例。

图27（c）的窗口深度表示在由左眼用照相机CL和右眼用照相 机CR投影的窗口图像中产生的视差分布。在得到图27（c）的窗口 深度时，利用鸟瞰图示出从用户观察的进深、即视差上的进深的一例 的设计为图27（d）中的X-Z坐标系设计。在该X-Z坐标系设计中， 在背景图像上覆盖描绘UI目标，所以产生前后关系的矛盾。

图28（a）示出包括粘贴有左眼用纹理的左眼用球面模型在内的 三维建模空间，图28（b）示出包括粘贴有右眼用纹理的右眼用球面 模型在内的三维建模空间，图28（c）示出深度空间。在图28（a） 中，引出线yj1放大窗口中的窗口图像，在图28（b）中，引出线yj2 放大窗口中的窗口图像。图27（e）示出在产生前后关系的矛盾的情 况下提供给用户的立体视影像的一例。当引起前后关系的矛盾时，用 户感觉UI目标601埋没在背景图像中，难以实现自然的立体视。

三维建模空间和深度空间的坐标系不同，所以，为了避免UI目 标和纹理内目标的干涉，需要进行坐标系变换。但是，对规定UI目 标和纹理内目标的全部3D坐标进行变换的处理的负荷很大，所以进 行近似计算。这里，使用全周围图像和深度图像进行DIBR，得到右 眼用纹理和左眼用纹理并将其粘贴在球面模型上，进行投影，从而实 现立体视。由此，按照每个像素计算在窗口中产生什么样的视差，如 果将该视差与UI目标所具有的视差进行比较，则不用进行坐标系的 变换，也能够判断深度坐标系中的目标的前后关系。通过进行以上的 视差比较，进深前后判定部36能够判定有无发生这种目标间干涉。 以上是与进深前后判定部36有关的说明。

<干涉目标登记表37>

干涉目标登记表37对应地示出与纹理内目标发生干涉的UI目标 和作为该干涉的发生原因的顶点。

<目标操作部38>

目标操作部38进行深度坐标系中的纹理内目标和UI目标的匹配 性操作。匹配性操作具有目标位置调整、纹理再次生成、掩模图案再 次生成、目标的几何学变换，作为实现这些匹配性操作的结构要素， 目标操作部38具有目标位置调整部39、纹理再次生成部40、掩模图 案再次生成部41、几何学变换部42。

<目标位置调整部39>

在指定了目标位置调整作为基于UI目标的干涉避免操作的情况 下，目标位置调整部39针对在某个顶点中发生干涉而登记在干涉目 标登记表37中的UI目标进行基于目标位置调整的前后关系调整。

如上所述，纹理内目标和UI目标中的深度坐标系的前后关系被 粘贴在球面模型上的左眼用纹理和右眼用纹理中的纹理内目标的视 差以及UI目标的视差所左右，所以，如果以固定纹理内目标侧的进 深、改变UI目标侧的进深的方式进行目标位置调整，则能够实现目 标间的匹配。

通过将三维建模空间中的UI目标的配置位置变更为远离球面模 型的位置，从而进行“目标位置调整”。由于PS>PB而产生目标间 干涉，所以，如果选择PS≤PB这样的z坐标作为UI目标的配置坐标， 则能够避免发生干涉。

图29示出UI目标的位置调整。图29（a）示出针对左右窗口的 UI目标右眼用图像。在图29（a）中，隔开PSi而存在有UI目标的 前端。因此，在目标位置调整中，求出满足PSi=PB的坐标Szi，在 三维建模空间中，在该坐标Szi配置UI目标的开头。图29（b）示出 在三维建模空间中配置在坐标Szi的UI目标。图29（c）示出该配置 时的窗口深度，（d）示出该配置时的深度空间中的X-Z坐标系设计。 由于坐标Szi满足PSi=PB，所以，在深度空间中，纹理内目标和UI 目标不会发生干涉。

图29（e）是通过图29（d）的UI目标配置而显示的立体视影像。 在纹理内目标的前方存在有UI目标的前端，不会发生干涉。以上是 与UI目标位置调整部39有关的说明。

<纹理再次生成部40>

在指定了纹理再次生成作为基于UI目标的干涉避免操作的情况 下，纹理再次生成部40对存储在深度图像存储器16中的深度图像中 的各像素的亮度进行校正，使纹理变换部17再次执行DR，由此进 行基于纹理再次生成的前后关系调整。下面叙述纹理再次生成。在 UI目标的位置调整中固定纹理内目标的位置，与此相对，在基于纹 理再次生成的干涉避免中，固定UI目标的位置，对纹理内目标的进 深进行调整，从而实现干涉避免。具体而言，通过对深度图像的明暗 度进行校正，再次执行基于校正后的深度图像的DIBR，从而进行纹 理再次生成。该校正对深度图像中的各像素的进深进行调整，以使得 UI目标必定位于近前侧。

在进深前后判定部36判定为UI目标位于后方的情况下，从构成 全周围图像的深度的各像素的亮度中减去偏差，再次存储在深度图像 存储器16中。纹理变换部17执行基于从各像素的亮度中减去偏差而 得到的深度图像的DIBR。通过从构成深度图像的各像素中减去偏差， 能够将背景图像配置在里侧，能够确保与UI目标之间的前后关系的 匹配性。

图30（a）示出具有视差Ps时的左眼窗口图像和右眼窗口图像。 该视差满足PS>PB的关系。图30（b）示出执行伴有视差的窗口右 眼用图像时的深度空间模型。在PS>PB的关系成立时，在近前侧出 现纹理内目标，所以，成为UI目标扎入纹理内目标中的形式。因此， 在纹理再次生成中，通过从构成对应的深度图像的各像素的亮度中减 去规定偏差，对深度图像进行校正。图30（c）示出从各像素的亮度 中减去偏差前的深度图像，图30（d）示出从各像素的亮度中减去偏 差后的深度图像。（c）（d）各自的下侧示出深度图像中的像素的亮 度所占的范围。由于从深度图像的各像素中减去偏差，所以，在该校 正后的深度图像中，纹理内目标中的各像素的亮度范围相当低。

图30（e）示出通过基于校正后的深度图像的DIBR而生成的左 眼用纹理和右眼用纹理。该左眼用纹理内的纹理内目标和右眼用纹理 内的纹理内目标呈PB的视差，存在于更深的位置。图30（f）示出 将图30（e）的纹理合成到纹理内目标中时的合成影像。以上是与纹 理再次生成部40有关的说明。

<掩模图案再次生成部41>

在指定了掩模图案再次生成作为基于UI目标的干涉避免操作的 情况下，掩模图案再次生成部41针对在某个顶点中发生干涉而登记 在干涉目标登记表37中的UI目标进行基于掩模图案再次生成的前后 关系调整。对“掩模图案再次生成”进行说明。掩模图案再次生成是 在窗口变换的阶段中进行的匹配性调整。在掩模图案再次生成中，通 过对窗口图像中构成UI目标的像素群中的、具有比纹理内目标的进 深大的进深的像素实施掩模，并描绘其余像素，从而进行掩模图案再 次生成。该掩模图案再次生成与UI目标的位置调整同样，也固定纹 理内目标侧的进深。但是，与UI目标的位置调整的不同之处在于， 在CG处理部19中的窗口变换的阶段中，描绘的对象限定为构成UI 目标的一部分像素。

参照图31对基于掩模图案再次生成的干涉避免进行说明。该掩 模图案将引起前后关系的矛盾的像素作为对象。图31（a）示出具有 视差时的右眼窗口图像。设该UI目标的前端满足Ps>Pb的关系。图 31（b）示出与图31（a）的UI目标对应的掩模图案。箭头形状中的 前端部分成为黑像素，后端部分成为白像素。如果取该掩模图案与 UI目标的排他的逻辑和，则掩模图案的白像素的部分残留，不显示 黑像素的部分。图31（c）示出在使用掩模图案的情况下生成的立体 视影像。如本图所示，由于不存在UI目标的前端部分，所以，UI目 标不会扎入纹理内目标内。以上是与掩模图案再次生成部41有关的 说明。

<几何学变换部42>

在通过虚拟照相机环境设定部33指定了目标几何学变换作为基 于UI目标的干涉避免操作的情况下，几何学变换部42针对在某个顶 点中发生干涉而登记在干涉目标登记表37中的UI目标进行基于目标 几何学变换的前后关系调整。下面对目标的几何学变换进行详细说 明。目标的几何学变换是坐标变换的等级中的干涉避免。具体而言， 得到用于对窗口深度下的UI目标实施旋转变换的变换矩阵，通过该 变换矩阵，对UI目标进行几何学变换。

图32（a）示出窗口深度。通过将构成UI目标深度的各像素的亮 度与构成背景深度的各像素的亮度进行合并，从而得到该窗口深度。 图32（b）示出在窗口深度中在纹理内目标的近前侧定义的梯形框。 选择梯形形状是因为，由于梯形的上边短、下边长，所以，如果在该 梯形形状中应用UI目标，则能够使UI目标产生远近感。由此，如果 将UI目标投影到该梯形框中，则能够使UI目标远离纹理内目标。

为了将UI目标投影到该梯形框中，需要变换矩阵。图32（c）示 出变换矩阵。右侧是窗口图像，左侧是梯形框。在窗口图像中，求出 使UI目标外切的矩形框W2变形为框w1的变换矩阵。该变换矩阵 是单应矩阵。最后，通过使用单应矩阵对UI目标进行几何学变形， 能够将UI目标投影到窗口深度中的上述框内。

图32（d）示出对UI目标实施了使用矩阵的几何学变换的左眼 窗口图像和右眼窗口图像。以上是与目标的几何学变换部42有关的 说明。

如果进行以上的UI目标的位置调整、纹理再次生成、掩模图案 再次生成、目标的几何学变换，则不用进行将三维建模空间的坐标变 换为深度空间的坐标的坐标变换，也能够对纹理内目标与UI目标的 前后关系进行调整。

<目标位置调整、纹理再次生成、掩模图案再次生成、几何学变 形的选择指针>

上述目标位置调整、纹理再次生成、掩模图案再次生成、几何学 变形既有长处也有短处。如果从显示品位进行分级，则成为“目标位 置调整=纹理再次生成>几何学变形>掩模图案再次生成”。目标位置 调整、纹理再次生成均能够保持UI目标的形状，所以能够维持显示 品位。几何学变形虽然对UI目标实施变形，但是，UI目标能够保持 原来的形状，所以，品味次于目标位置调整、纹理再次生成。掩模图 案再次生成在发生顶点干涉时对描绘实施掩模，不会看到任何顶点， 所以品位低。

如果从迅速性进行分级，则成为“掩模图案再次生成>几何学变 形>纹理再次生成>目标位置调整”。掩模图案再次生成在窗口变换 的阶段进行，到窗口变换中的掩模处理为止重新进行匹配性操作用的 CG处理，所以迅速性高。几何学变形是窗口图像中的UI目标投影 像的变形，所以，迅速性次于掩模图案再次生成。纹理再次生成需要 到照度计算为止重新进行处理，所以，迅速性次于掩模图案再次生成。 投影，目标位置调整也到照度计算为止重新进行处理，所以，迅速性 次于掩模图案再次生成。

如上所述，关于进行目标位置调整～几何学变形中的哪个，鉴于 UI目标中的全部顶点数、发生干涉的顶点数、描绘内容是当前视点 位置的变更还是当前视线方向的变更这样的描绘内容等，优选选择适 当的匹配性操作。并且，也可以按照UI目标的每个建模数据指定优 选的匹配性操作。

通过利用硬件元件具体实现上述图像描绘装置中的各结构要素， 能够以工业方式生产本实施方式的图像描绘装置。但是，图像描绘装 置也能够进行基于软件的安装。即，预先将利用计算机代码描述了上 述各结构要素的处理顺序的程序组入代码ROM中，使装置的硬件结 构中的单一的处理部（CPU）执行该程序的处理顺序，也能够以工业 方式生产本装置。下面，参照流程图对装置的软件安装所需要的处理 顺序进行说明。

图33是示出实施方式1中的街景再现顺序的流程图。本流程图 相当于最上位的处理即主进程，作为本流程图的下位的流程图，具有 图33的流程图。下面，对主进程中的处理顺序进行说明。

对当前视听位置和视听方向进行初始化，在三维建模空间中配置 球面模型（步骤S1），使用从位置方向判定部接受的当前视听位置 和视听方向的信息，设定左眼窗口404和右眼窗口405（步骤S2）。

接着，深度图像取得部向服务器发送用于取得包括与当前视听位 置对应的全周围图像数据和深度图像的街景文件的取得请求（步骤 S3），以后，在步骤S4中，等待接收街景文件，如果接收到街景文 件，则转移到步骤S5。

在步骤S5中，使用存储在街景文件中的深度图像，对存储在街 景文件中的全周围图像执行基于深度图像的绘制，从而得到左眼用纹 理和右眼用纹理，将通过该基于深度图像的绘制而得到的左眼用纹理 和右眼用纹理作为纹理粘贴在球面上，提取左眼窗口图像和右眼窗口 图像。

接着，计算纹理内目标的视差Pb（步骤S6），读入存储在目标 管理部25中的UI目标的建模数据（步骤S7），通过PS=2p*（Sz-D） /Sz的计算，按照窗口图像中的每个像素计算将UI目标投影到两个窗 口时产生的视差，求出窗口图像中的像素的进深，将其与背景深度中 的各像素的进深进行合并，生成窗口深度（步骤S8）。

根据所生成的窗口深度，判定是否存在位于纹理内目标里侧的 UI目标（步骤S9），在存在至少一个位于背景图像后方的UI目标 的情况下，目标管理部25执行用于使前后关系一致的UI目标的操作 （UI目标的位置调整、纹理的再次生成、掩模图案的再次生成、目 标几何学变换），以使得UI目标位于背景图像前方（步骤S10）。

以后，成为步骤S11～步骤S12的循环。

步骤S11判定是否按下上下左右键，步骤S12判定是否进行角度 变更。

在请求了针对上下左右中的任意一个方向的行进的情况下（步骤 S11：“是”），根据所按下的键设定当前视听位置（步骤S13）， 转移到步骤S3。

在按下了角度键的情况下（步骤S12：“是”），设定当前视线 方向（步骤S14），转移到步骤S4。根据当前视点位置的变更和当前 视线方向的变更而转移到步骤S3、S5是为了执行目标移动距离的再 次定义。

“目标移动距离的再次定义”是指，在产生了通过用户操作等而 请求UI目标的位置变化的事件的情况下，不是立即进行与该请求对 应的目标移动，而是鉴于深度图像空间中有无发生干涉，进行目标的 位置调整。在UI目标的旋转、移动中，UI目标的位置变化，所以， 有时在旋转前未发生干涉，但是在旋转后发生干涉。

图34示出视点位置变更时和视线方向变更时的深度空间的迁移。 当从图34（a）的状态起通过用户指定对全周围图像的角度进行变更 时，如图34（b）所示，深度图像空间中的纹理内目标与UI目标的 位置关系变化。此时，UI目标601也与全周围图像的角度变更连动 地变形。进而，当从图34（b）的画面输出的状态起通过用户指定对 全周围图像的视点位置进行变更时，如图34（c）所示，深度图像空 间中的纹理内目标与UI目标的位置关系变化。因此，在本实施方式 中，在当前视点位置变更时，转移到步骤S3～S5，对目标的位置进 行调整，由此，实现目标间干涉的避免。

图35是示出用于使前后关系一致的UI目标的操作顺序的流程 图。步骤S21判定操作内容。如果是UI目标的位置调整，则转移到 步骤S22-步骤S23。步骤S22导出满足PSi=PB的SZi，步骤S23将 在Szi中加上α而得到的值设定为Sz，再次执行照度计算（纹理映射）、 窗口提取。由此，进行UI目标的再次描绘。

如果是纹理再次生成，则从深度图像中的各像素的亮度中减去规 定偏差，从而对深度图像进行校正（步骤S24），根据校正后的深度 图像执行DIBR，再次生成左眼用纹理和右眼用纹理，粘贴在球面模 型的内侧表面上（步骤S25）。如果操作内容是掩模图案再次生成， 则计算坐标Szi（步骤S26），生成将构成UI目标的像素中的具有 Szi以上的进深的像素作为白像素的掩模图案（步骤S27），使用掩 模图案局部描绘UI目标（步骤S28）。

如果是目标的几何学变换，则在窗口深度中在纹理内目标的近前 侧配置梯形的框（步骤S29），求出用于将与UI目标外切的矩形框 投影到该梯形框中的变换矩阵（步骤S30）。然后，进行使用该矩阵 的几何学变形（步骤S31）。然后，通过使用变形的UI目标深度和 背景深度的DIBR，生成左眼用窗口图像和右眼窗口图像（步骤S32）。

（变形例）

在本实施方式中，以描绘背景图像时和描绘UI目标时的投影用 屏幕和右眼用/左眼用照相机相同为前提进行了说明，但是，作为本 实施方式的变形，在背景图像的描绘和UI目标的描绘中也可以使用 不同的投影用屏幕，还可以对右眼用照相机与左眼用照相机的距离进 行变更。

例如，通过将描绘UI目标时的右眼用照相机与左眼用照相机的 距离设定为比描绘背景图像时的距离大，通过式（1），能够相对增 大在UI目标的描绘中产生的视差。并且，通过将投影用屏幕配置在 里侧并增大D的值，通过式（2），也能够得到同样的效果。在具有 多个UI目标的情况下，可知也可以在各个UI目标中设定独自的照相 机距离、投影用屏幕。

（实施方式2）

在实施方式1中，使用窗口深度进行深度判定，但是，在本实施 方式中，通过将纹理内目标变换为建模数据而实现干涉避免。具体而 言，将纹理内目标变换为建模数据，将规定变换后的纹理内目标的形 状的三维坐标与规定UI目标的三维坐标一起存储在Z缓存中，接通 深度测试功能，执行基于Z缓存中的三维坐标的照度计算，从而避免 发生干涉。

在CG绘制中，能够指定深度测试。如上所述，深度测试是指如 下功能：指定z缓存中的进深，不显示比该进深深的像素。在将纹理 内目标变换为建模数据后，求出作为边界的坐标B的Z坐标即B'z， 使用该B'z执行指定了深度测试的描绘。

图36是示出实施方式2中的描绘控制部的内部结构的框图。本 图是基于第1实施方式中的图14的内部结构图而制作的，与作为该 基础的结构相比，不同之处在于追加了新的结构要素。具体而言，标 注了50号段（番台）的参照标号的结构要素（纹理变换部51）是本 图特有的结构要素。下面，对该新的结构要素进行说明。

纹理变换部51进行作为CG处理的一个过程的坐标变换，对深 度图像取得部15取得的深度图像进行变换，生成将纹理内目标配置 在各点的三维建模空间内时的顶点数据。以上是与纹理变换部51有 关的说明。

作为追加结构要素的说明的补充，对与现有结构要素（窗口变换 部23）之间的关联进行说明。

窗口变换部23从通过纹理变换部51的变换而生成的顶点数据、 以及全周围图像的纹理内目标和存储在目标管理部25中的UI目标的 建模数据中，提取三维建模空间上的应该显示的窗口图像。这里，提 取出的窗口图像由左眼图像和右眼图像构成。左眼图像和右眼图像是 在球面的内侧表面上粘贴全周围图像数据并对GUI进行合成而得到 的。它们分别被写入左眼平面存储器26和右眼平面存储器27中。

根据左眼用纹理中的像素与右眼用纹理中的像素的视差PB，计 算变换后的纹理内目标的建模数据中的Z坐标。接着，叙述通过对纹 理内目标进行变换而得到的建模数据的顶点数据的生成方法。

在全周围图像中的构成纹理内目标的一点B包含在窗口中时，如 上所述，在所输出的右眼用背景图像与左眼用背景图像之间产生的视 差PB能够由数学式（1）表现。在将纹理内目标变换为建模数据时， 在三维建模空间视图坐标系中，在建模数据即构成纹理内目标的点 B'（B'x、B'y、B'z）中产生与该视差PB相同的视差。根据数学式（1）， 下述成立。

PB=2p*（B'z-D）/B′.....数学式（3）

B'zPB=2p*（B'z-D）.....数学式（4）

B'z=2pD/（2p-PB）.....数学式（5）

根据数学式（5），将构成映射到球面401上的全周围图像的纹 理内目标上的各坐标I（x、y、z）再次配置在三维建模空间中的坐标 （x、y、2pD/（2p-PI）），使深度测试有效，执行照度计算和窗口 图像提取。于是，在深度缓存中，仅2pD/（2p-PI）之前的部分用于 显示，2pD/（2p-PI）之后的部分不用于显示，所以，不会以UI目标 扎入背景图像中这样的方式进行显示，能够确保显示品位。

（实施方式3）

在本发明的实施方式1中，进行如下处理：使用全周围图像和深 度图像，经由计算机图形中的坐标变换、照度计算（纹理映射）处理、 窗口变换而生成2个以上的视点图像后，将其粘贴在球面上。与此相 对，在实施方式3中，提供当前视线方向和当前视点位置变化时的 迅速的再次显示。具体而言，在当前视线方向变化的情况下，从映射 有任意一个视点纹理的球面模型和UI目标中，再次提取与变化后的 视线方向对应的窗口图像。针对通过再次提取而得到的窗口图像，执 行基于深度图像的DIBR，由此得到2个以上的视点图像窗口图像（左 眼图像、右眼图像）。

图37是示出实施方式3中的描绘控制部的内部结构的框图。本 图是基于第1实施方式中的内部结构图而制作的，与作为该基础的结 构相比，不同之处在于追加了新的结构要素。具体而言，标注了50 号段的参照标号的结构要素（窗口DIBR部52）是本图特有的结构 要素。在说明追加的结构要素之前，对作为该追加的前提的现有的结 构要素的视线变更时的动作、视点变更时的动作（描绘控制部5、CG 处理部19、窗口变换部23、窗口深度生成部35的动作）进行说明。

描绘控制部5根据由位置方向判定部2指示的地图上的位置以及 从网络接口3或本地存储器4取得的全周围图像和深度图像，生成在 三维建模空间内粘贴在球面上的全周围图像，对粘贴在球面的内侧表 面上的全周围图像合成UI目标。然后，进行提取应该在由位置方向 判定部2指示的视线方向上从球的中心观察球面时被显示的窗口图 像、并将左眼窗口图像和右眼窗口图像写入左眼平面存储器6和右眼 平面存储器7中的处理；以及计算窗口图像的各点的进深、并将窗口 深度写入窗口深度存储器26中的处理。以上是与描绘控制部5有关 的说明。

在从位置方向判定部2对描绘控制部5进行的指示为位置没有变 化、仅视线方向变化的情况下，CG处理部19跳过纹理映射处理， 进行伴随视线方向变化的显示图像的再次提取、以及针对右眼平面存 储器6和左眼平面存储器7的窗口图像的再次写入。此时，照度计算 部21和纹理映射部22在三维建模空间上配置对全周围图像进行纹理 映射后的球面和UI目标。

窗口变换部23提取应该在由位置方向判定部2指示的当前视线 方向上从球的中心观察球面时被显示的图像，并将其输出到左眼平面 存储器6和右眼平面存储器7。

窗口深度生成部35针对在粘贴在球面的内侧表面上的全周围图 像合成UI目标后的合成图像，生成窗口深度，将其描绘在窗口深度 存储器26中。根据深度图像取得部和目标管理部的信息生成该窗口 深度。

以上是作为前提的现有的结构要素的动作（描绘控制部5、CG 处理部19、窗口变换部23、窗口深度生成部35的动作）的说明。接 着，对本实施方式特有的新的结构要素（窗口DIBR部52）进行详 细说明。

窗口DIBR部52在球面的内侧表面上粘贴全周围图像，针对合 成了UI目标后的窗口影像进行像素位移，生成2个以上的视点图像 即左眼图像和右眼用图像。根据存储在左眼平面存储器26或右眼平 面存储器27中的窗口图像以及存储在窗口深度存储器26中的窗口深 度，进行该像素位移。基于像素位移的2个以上的视点图像的生成方 法在实施方式1中已经进行了说明，所以省略。

图38示出根据左眼窗口图像和窗口深度执行DIBR并生成右眼 窗口图像的过程。左上侧是左眼窗口图像，右上侧是窗口深度，下侧 是右眼窗口图像。在左上侧得到合成了UI目标的状态下的窗口图像， 所以，通过根据窗口深度执行将其作为对象的DIBR，能够得到合成 了UI目标的状态的右眼窗口图像。

如上所述，根据本实施方式，在球面的内侧表面上粘贴全周围图 像，针对合成了UI目标的窗口图像进行像素位移，所以，具有如下 优点：即使在三维建模空间中进行旋转等变形，向用户提供的图像中 的视差也始终保持水平。

并且，根据三维建模空间中的当前视点位置的变更来进行窗口图 像的再次提取。于是，在UI目标与纹理内目标发生干涉时，通过对 当前视点位置进行变更，能够避免干涉。在这些当前视点位置的变更 中，不需要重新进行坐标变换和照度计算，所以，能够根据用户操作 而使窗口图像迅速变化。

也可以根据三维建模空间中的当前视点位置的变更来执行上述 窗口图像的再次提取。于是，在UI目标与纹理内目标发生干涉时， 通过对当前视点位置进行变更，能够避免干涉。在这些当前视点位置 的变更中，不需要重新进行坐标变换和照度计算，所以，能够根据用 户操作而使窗口图像迅速变化。

（实施方式4）

本实施方式公开了利用什么样的硬件结构实现此前的实施方式 所述的图像描绘装置。

首先，对与CG处理部有关的硬件结构进行说明。图39示出CG 处理部的硬件结构。如本图所示，图像描绘装置由接口201、视频解 码器电路202、纹理存储器203、代码ROM204、CPU205、工作存储 器206、GPU207、帧存储器208构成。

接口201是与内部媒体和移动媒体的驱动器之间的接口。

视频解码器202是对通过接口201读出的背景图像和深度图像进 行解码的专用电路。

纹理存储器203存储通过视频解码器电路202的解码而得到的非 压缩的背景图像。

代码ROM204存储构成此前的流程图所述的程序的代码串。

CPU205通过读出存储在代码ROM204中的代码串并进行处理， 实现此前的实施方式所述的处理。

工作存储器206在代码ROM204进行处理时被用作变量或排列 的存储场所。

GPU207是纹理映射等的图形处理用的专用处理电路。

帧存储器208是GPU207进行处理所使用的存储器。

图40是示出GPU的内部结构的图。

X级主板800实现X（Transformation、Xformation）级的处理， 具有HIP801、GED802、显示列表超高速缓存803、SIMD芯片804a、 804b、804c、804d。X（Transformation）级的处理大致而言有二个。 一个是将三维的各顶点数据（x、y、z）变换为二维的幕坐标的处理， 第二个是关于各顶点、根据光源和材质信息计算明亮度（颜色）的照 光（lighting）计算处理。将这两个（Transformation and Lighting）处 理统称为T&L处理或TnL处理。

HIP（Host Interface Processor）801是对输入的OpenGLAPI呼叫 进行解释并转换为适合于运算处理的形式的ASIC（Application  Specific Integrated Circuit）。

GED（Geometry Element Distributor）802发挥将各顶点数据分配 给4个初级SIMD芯片中的处于等待处理状态的SIMD芯片的作用。

显示列表超高速缓存803是存储将OpenGLAPI呼叫分组后的显 示列表的超高速缓冲存储器。如果将经常使用的一连串的 OpenGLAPI呼叫设置在显示列表中，则能够大幅削减从CPU转送到 X级主板的数据量。

SIMD芯片804a、804b、804c、804d是由ASIC实现的单芯片处 理器，具有3个系统的FPU（浮动小数点运算单元），具有微代码存 储用的超高速缓存和数据超高速缓存。在一个FPU中包括二个运算 器。一个是通常的浮动小数点ALU（Arithmetic Logic Unit），另一 个是浮动小数点乘法器。在本主板中搭载了4个该SIMD芯片。FPU 的12个系统并行进行动作，所以，能够同时并行进行12个顶点数据 （x、y、z）的处理。

SIMD芯片中的处理内容（坐标变换或照光计算的算法）通过微 代码描述。运算电路根据存储在芯片上的超高速缓存中的微代码进行 动作。微代码在系统起动时被载入超高速缓存中。SIMD芯片中的运 算结果被集中到FIFO（First-In First-Out）存储器中，作为X级主板 全体的输出而被转送到称为Triangle Bus的总线。各顶点数据包括幕 坐标系上的坐标（x、y）和进深信息z、照光计算的结果即（r、g、b）、 透明度信息的a、法线矢量（nx、ny、nz）以及纹理坐标（s、t）。

并且，用于优化下一S级的计算效率的预处理也在本主板中进 行。作为代表性的预处理，具有背面剔除。背面剔除是如下处理：检 测在变换为窗口坐标系时朝向背面的三角形，针对这种三角形，将顶 点数据不输出到Triangle Bus。以上是X级主板的处理。

对S级主板805进行说明。S级主板805由4种ASIC芯片（TG806、 PG807、TF808、IMP809）构成。S（Scan conversion）级中的处理包 括涂满三角形内部的各像素的栅格化处理、隐藏面消除处理、模板掩 膜处理、雾化效果的处理等。

栅格化处理中的重要功能在于，在球面带中粘贴全周围图像这样 的纹理映射。在纹理映射中，代替利用插值求出明亮度（r、g、b）， 根据对纹理坐标（s、t）进行插值后的结果来计算存储在纹理存储器 中的纹理图像的地址，读出适当的像素，将其明亮度（r、g、b）作 为断片的明亮度数据。

S级主板的输入是从X级主板通过Triangle Bus给出的三角形各 顶点中的断片形式的数据（幕坐标（x、y、z）、纹理坐标（s、t）、 明亮度（r、g、b）、透明度a、法线矢量（nx、ny、nz））。

TG（Texture Generator）芯片806进行三角形的涂满，输出每个 像素的纹理坐标（s、t）的插值结果，生成纹理存储器的地址，将纹 理像素（被称为纹理元素（texel））转送到TF（Texture Filter）。

在PG（Pixel Generator）芯片807中，进行栅格化处理即三角形 的涂满处理，进行每个像素的明亮度（r、g、b）等的插值。

TF（Texture Filter）芯片808对PG的输出结果即被隐蔽的明亮 度和纹理存储器的输出（纹理元素）进行合成，将每个像素的断片转 送到IMP（Image Memory Processor）。

IMP（IMage Proccer）809是实现像素处理流程的处理器，进行 雾化处理、抗锯齿处理、α测试、模板测试、深度测试、混合、屏蔽、 写入缓存选择这样的像素处理，将处理结果写入帧存储器208中。

D级主板812是进行D级处理的主板，具有XMAP813和 VOC814。

XMAP（Pixel Mapping Asic）813从Pixel Bus接受图像数据，根 据需要利用查阅表进行变换，并且，还进行光标的显示，在Video  Packet Bus中加入图像数据。各VOC按照描述了自身所承担的矩形 区域的VOF数据拾取图像，利用DA变换器变换为视频信号。

VOC（Video Output Channel）电路814具有放大图像的输出电路、 用于优化放大图像的画质的滤波电路，如果在显示处理中负荷较重， 则以较粗的分辨率动态地进行描绘，以硬件放大的方式进行显示。在 D级主板中具有最大8个输出通道，除此之外，还具有HDMI输出 编码器。

接着，说明应该利用软件对上述硬件结构的GPU指示什么样的 控制。

图41的上半部分示意地示出球面模型与纹理之间的对应。左侧 示出构成球面模型的网格，右侧示出存储纹理的纹理缓存的存储内 容。左侧的球面模型在横向被分割成W个，在各个分割部分上粘贴 纹理。在本实施方式中，设作为纹理映射对象的图形类型为三角形带， 设该三角形带的全部或一部分为纹理映射对象。该三角形带的全部或 一部分被规定为顶点网格。具体而言，由T1、T2、T3构成的网格成 为纹理映射对象，由T3、T4、T5、T6构成的网格成为1个纹理映射 的对象。将构成这些网格的交点的坐标指定为索引后，进行纹理映射。

图41的下半部分是用于实现纹理映射的OPEN-GL中的API调 出的描述例。

“glVertexPointer（3、GL#FLOAT、0、g#v）；”存储三维建模 空间中的网格的各交点的坐标群作为顶点群。变量的"3"是三维建模 空间的维数，GL#FOLAT表示坐标群的各个坐标的类型为浮动小数 点形式。

“glTexCoordPointer（2、GL#FLOAT、0、g#uv）；”是用于存 储与三维建模空间中的网格对应的纹理的坐标群g#uv作为纹理坐标 值的API调出。

“for（I=0；i<W；i++）”针对横向的W个坐标分别被规定为反 复进行glDraw Elements的调出的循环构造。

对“glDrawElements（GL#TRIANGLE#STRIP、（H+1）*2、 GL#UNSIGNED#SHORT、getStaticData（）->g#index[i]）；”进行 说明。该API调出的第1变量指定3D模型的图形类型为三角形带 （GL#41Triangle#Stirp）。第2变量是顶点数的指定，指定（纵分割 数H+1）×2的数值。GL#UNSIGNED#SHORT表示存储顶点的index 的类型为无码的short形式。g#index[W]是决定描绘顺序的索引排列， 存储网格交点的顶点坐标作为各个排列要素。通过按照作为g#index 的排列要素而存储的顶点坐标执行描绘，进行纹理映射。

首先，对用于实现DIBR的硬件结构（全周围图像存储器13、纹 理DIBR部的硬件结构）进行说明。

全周围图像存储器13由多个行存储器构成，全周围图像数据分 别被存储在构成行存储器的32比特长的存储元件中。而且，全周围 图像数据在画面上的坐标例如对应于全周围图像存储器13中的行存 储器的地址即ROW地址与行存储器中的存储元件的相对地址即 COLUMN地址的组。以上是与全周围图像存储器13有关的说明。接 着，对纹理DIBR部的硬件结构进行说明。

纹理DIBR部对全周围图像数据和深度图像数据实施像素位移， 生成其他视点的纹理。

在希望对全周围图像中的像素的X坐标进行变更而生成左眼用 纹理的情况下，在从全周围图像存储器13向左眼用纹理存储器18a 进行复制时，事前以与像素数X相当的地址对指示作为其复制目的 地的存储元件的COLUMN地址进行调整。如果以这种地址调整为前 提执行复制，则左眼用纹理的坐标向左方向位移。由此，纹理DIBR 部能够在伴随地址调整的复制处理中生成左眼用纹理。

在希望对街景的X坐标进行变更而生成右眼用纹理的情况下，在 从全周围图像存储器13向右眼用纹理存储器18b进行复制时，事后 以与像素数X相当的地址对指示作为其复制目的地的存储元件的 COLUMN地址进行调整。如果以这种地址调整为前提执行复制，则 右眼用纹理的坐标向右方向位移。由此，纹理DIBR部能够在伴随地 址调整的复制处理中生成右眼用纹理。以上是基于硬件的纹理DIBR 部的实现。

并且，能够利用行扫描仪实现DIBR。行扫描仪是指，按照横1920 像素的每一个像素读出存储在帧存储器中的一个画面的像素 （1920×1080）的集合，将其变换为数字影像信号。该行扫描仪可以 通过能够存储1行的像素数据的行像素存储器、滤波电路、进行并行 /串行变换的变换电路而实现。如上所述，DIBR是将深度图像的各个 像素的亮度变换为视差并进行像素位移的处理。如果使从行存储器中 读出的全周围图像的一行的像素的坐标沿横向移动与针对全周围图 像的深度图像中的对应行的进深对应的像素数，则能够生成具有深度 图像所示的进深的其他视点的视点图像。

<备注>

以上，对申请人在本申请的申请时点得知的最佳实施方式进行了 说明，但是，关于以下所示的技术话题，能够进行进一步的改良或变 更实施。希望注意到，如各实施方式所示那样实施、或者是否实施这 些改良/变更均为任意的，基于实施者的主观。

（视点周围图像的范围增减）

在各实施方式中，将横向结合了横7张背景图像而得到的全周围 图像作为对象进行了说明，但是，通过减少横向图像的结合数，也可 以变更从视点张望的周围的范围。上述实施方式的全周围图像在横7 张背景图像中网罗了360°的视野，所以，一张背景图像中网罗的范 围为52°（≈365°/7）。由此，在结合了2张图像的情况下，能够张 望104°（≈52°×2）的范围，在结合了3张图像的情况下，能够张望 156°（≈52×3）的范围。这样，通过在街景收集服务器或图像描绘装 置中改变横向图像的结合数，能够改变视点周围图像的规模，能够减 轻纹理映射处理或纹理中的视差计算等的负荷。

另外，在本实施方式中，每次进行描绘时产生像素位移，所以， 在根据窗口图像和深度信息、通过像素位移而生成2个以上的视点图 像的处理中，优选利用系统LSI进行。

（深度图像的变化）

压缩墨卡托深度图像是以PNG形式对表示相对于墨卡托图像的 进深的图像进行压缩后的数据，但是，进深的压缩噪声明显，所以， 优选以PNG形式等的无损形式进行压缩。街景文件中的压缩墨卡托 深度图像的数据冗长，所以，除了PNG形式的压缩以外，也可以具 有周围的地形数据、以及表示压缩墨卡托图像与地形数据之间的关系 的数据。

（集成电路的实施方式）

排除第1实施方式所示的图像描绘装置的硬件结构中的记录介质 的驱动部、与外部连接的连接器等的机构部分，可以对与逻辑电路和 存储元件相当的部分、即逻辑电路的核心部分进行系统LSI化。系统 LSI是指在高密度基板上安装裸芯片并进行封装。通过将多个裸芯片 安装在高密度基板上并进行封装，将使多个裸芯片恰好具有1个LSI 的外形构造的模块称为多芯片模块，但是，这种模块也包含在系统 LSI中。

这里，着眼于封装的类别时，系统LSI具有QFP（四方扁平阵列）、 PGA（针网格阵列）这样的类别。QFP是在封装的四个侧面安装有针 的系统LSI。PGA是在底面全体安装有多个针的系统LSI。

这些针发挥电源供给、地线、作为与其他电路之间的接口的作用。 系统LSI中的针具有这样的接口的作用，所以，通过在系统LSI中的 这些针上连接其他电路，系统LSI发挥作为再现装置的核心的作用。

（对左眼图像和右眼图像中的任意一方进行处理的技术意义）

另外，在立体照片的DIBR中，通过将立体照片放置在近前，能 够衬托立体照片，能够实现更加易于观看的随后体验。

另外，本实施方式对立体照片进行了说明，但是，同样能够适用 于动态图像。在动态图像的情况下，将动态图像的一帧视为静态图像 进行处理即可。

（基于数学式的运算的具体化）

在此前的实施方式中，公开了基于数学式的运算处理，但是，这 些数学式不意味着数学概念，而彻底意味着在计算机上执行的数值运 算，所以，当然可以施加用于使计算机实现该运算所需要的改变。例 如，当然可以施加用于以整数型、固定小数点型、浮动小数点型对数 值进行处理的饱和运算或正值化运算。进而，各实施方式所示的基于 数学式的运算处理中的与常数之间的乘法可以通过使用常数ROM的 ROM乘法器而实现。预先计算被乘数与常数之积的值并存储在常数 ROM中。例如，在被乘数为16比特长的情况下，按照每4比特将该 被乘数划分成4个，该4比特部分与常数之积、即常数的0～15的倍 数被存储在上述常数ROM中。上述一个区间的4比特与常数16比 特之积为20比特长，上述四个常数被存储在同一地址中，所以， 20×4=80比特长成为一个单词的比特长。如上所述，能够通过ROM 乘法器实现，所以，本说明书中所说的“运算处理”不仅意味着纯粹 的算术运算，还包括根据被运算符的值读出存储在ROM等记录介质 中的运算结果这样的记录介质的读出。

（程序的实施方式）

各实施方式所示的程序可以如下生成。首先，软件开发者使用程 序设计语言描述用于实现各流程图和功能性的结构要素的源程序。在 该描述时，软件开发者按照程序设计语言的语法，使用等级构造体、 变量、排列变量、外部函数的呼叫，描述具体实现各流程图和功能性 的结构要素的源程序。

所描述的源程序作为文件提供给编译程序。编译程序翻译这些源 程序而生成目标程序。

基于编译程序的翻译由语法解析、优化、资源分配、代码生成这 样的过程构成。在语法解析中，进行源程序的字句解析、语法解析和 意思解析，将源程序变换为中间程序。在优化中，针对中间程序进行 基本模块化、控制流程解析、数据流程解析这样的作业。在资源分配 中，为了使目标处理器适合于命令组，将中间程序中的变量分配给目 标处理器所具有的寄存器或存储器。在代码生成中，将中间程序内的 各中间命令变换为程序代码，得到目标程序。

这里生成的目标程序由使计算机执行各实施方式所示的流程图 的各步骤、功能性的结构要素的各个顺序的1个以上的程序代码构 成。这里，程序代码如处理器的本地码、JAVA（注册商标）字节码 那样具有多个种类。基于程序代码的各步骤的实现具有多个种类。在 能够利用外部函数实现各步骤的情况下，呼叫该外部函数的呼叫文成 为程序代码。并且，实现1个步骤的程序代码有时也归属于不同的目 标程序。在命令种类受限的RISC处理器中，也可以通过组合算术运 算命令、逻辑运算命令、分支命令等，实现流程图的各步骤。

生成目标程序后，程序员针对这些目标程序起动连接程序。连接 程序对存储器空间分配这些目标程序和关联的库存程序，将它们结合 成一个程序，生成载入模块。这样生成的载入模块以基于计算机的读 取为前提，使计算机执行各流程图所示的处理顺序和功能性的结构要 素的处理顺序。将该计算机程序记录在非临时的计算机可读取的记录 介质中提供给用户即可。

（立体视再现的变化）

在立体视再现时，根据一张全周围图像生成左眼用纹理和右眼用 纹理，但是，也可以将该全周围图像用作左眼用纹理而仅生成右眼用 纹理。同样，也可以将全周围图像用作左眼用纹理而仅生成右眼用纹 理。该情况下，与立体视再现时的照相机位置相比，将隔开2×p的位 置作为右眼照相机的配置位置，在该配置位置配置照相机，由此执行 上述坐标变换、纹理映射、窗口变换即可。

产业上的可利用性

本发明的图像描绘装置能够在制造产业中以经营性质持续和反 复制造、销售。特别地，能够在与全周围立体图像的制作和再现有关 的民生设备中加以利用。

标号说明

101：图像描绘装置；102：遥控器；104：液晶快门式眼镜；103： 立体视对应显示器；1：UO检测部；2：位置方向判定部；3：网络 接口；4：本地存储器；5：描绘控制部；6：左眼平面存储器；7：右 眼平面存储器；8：输出接口。