信息处理装置、信息处理方法以及程序

摘要

提供了一种信息处理装置，该信息处理装置设置有：获得单元(211)，用于获得存在于第一空间中的第一用户的第一身体信息以及存在于第二空间中的第二用户的第二身体信息；虚拟空间生成单元(213)，用于基于第一身体信息或第二身体信息来生成虚拟空间；操作模式控制单元(211)，用于在发生可归因于第一用户和第二用户中的至少一者的触发时切换操作模式；以及控制单元(210)，用于使存在于第一空间中的至少一个装置或存在于第二空间中的至少一个装置与操作模式的切换互锁。

说明书

技术领域

本公开内容涉及信息处理装置、信息处理方法以及程序。

背景技术

近年来，已经开发了各种技术以有效地实现技术和技能的传递。例如，下面的专利文献1公开了一种装置，该装置能够通过将预先记录的用作工作的模型的虚拟对象呈现给现在工作的用户，来更有效地传递关于工作的技术和技能。

此处，为了更有效地传递技术和技能，更优选的是，位于同一空间中的指导者和学生彼此实时通信，而不是如专利文献1中所公开的那样，将所记录的虚拟对象作为模型来呈现。然而，在指导者和学生远程地定位的情况下，他们移动以定位在同一空间中并不容易。

此处，作为用于支持远程地定位的用户之间的通信的系统，常规地已经提出了使用视频电话的会议系统等，并且指导者可以使用该会议系统等向学生提供指导。

引用列表

专利文献

专利文献1：国际公开第2017/030193号

发明内容

本发明要解决的问题

然而，尽管常规会议系统可以实现状况的相互确认、文档数据共享等，但是这不能使位于不同空间中的多个用户感觉好像他们在同一空间中工作。因此，通过使用常规会议系统等来传递技术和技能并不容易。

因此，本公开内容提出了一种信息处理装置、信息处理方法和程序，其能够向存在于不同空间中的多个用户提供好像各个用户在同一空间中工作的感觉。

问题的解决方案

根据本公开内容，提供了一种信息处理装置，该信息处理装置设置有：获得单元，其获得存在于第一空间中的第一用户的第一身体信息以及存在于第二空间中的第二用户的第二身体信息；虚拟空间生成单元，其基于第一身体信息或第二身体信息来生成虚拟空间；操作模式控制单元，其在发生由第一用户或第二用户中的至少任何一者引起的触发的情况下切换操作模式；以及控制单元，其使操作模式的切换与存在于第一空间中的至少一个装置或存在于第二空间中的至少一个装置互锁。

此外，根据本公开内容，提供了一种由计算机执行的信息处理方法，该方法具有以下操作：获得存在于第一空间中的第一用户的第一身体信息以及存在于第二空间中的第二用户的第二身体信息；基于第一身体信息或第二身体信息来生成虚拟空间；在发生由第一用户或第二用户中的至少任意一者引起的触发的情况下，切换操作模式；以及使操作模式的切换与存在于第一空间中的至少一个装置或存在于第二空间中的至少一个装置互锁。

此外，根据本公开内容，提供了一种程序，该程序允许计算机实现以下操作：获得存在于第一空间中的第一用户的第一身体信息以及存在于第二空间中的第二用户的第二身体信息；基于第一身体信息或第二身体信息来生成虚拟空间；在发生由第一用户或第二用户中的至少任意一者引起的触发的情况下，切换操作模式；以及使操作模式的切换与存在于第一空间中的至少一个装置或存在于第二空间中的至少一个装置互锁。

本发明的效果

如上所述，根据本公开内容，可以向位于不同空间的多个用户提供好像各个用户在同一空间中工作的感觉。

注意，上述效果不必然是限制性的，并且与上述效果一起或代替上述效果，还可以获得本说明书中描述的效果中的任何一种效果或可以根据本说明书理解的其他效果。

附图说明

图1是示出根据本公开内容的一个实施方式的信息处理系统的配置示例的框图。

图2是用于说明第一空间100A和第二空间100B中的装置布置等的视图。

图3是用于说明第一空间100A和第二空间100B中的装置布置等的视图。

图4是用于说明由服务器装置200生成的虚拟空间的视图。

图5是用于说明第一空间100A和第二空间100B中的装置布置等的变型的视图。

图6是用于说明面对模式的视图。

图7是用于说明左右反转模式的视图。

图8是用于说明并排模式的视图。

图9是用于说明拥靠模式(possession mode)的视图。

图10是用于说明在切换操作模式时每个装置的互锁的具体示例的视图。

图11是用于说明在切换操作模式时每个装置的互锁的具体示例的视图。

图12是用于说明在切换操作模式时每个装置的互锁的具体示例的视图。

图13是用于说明在切换操作模式时每个装置的互锁的具体示例的视图。

图14是用于说明在切换操作模式时每个装置的互锁的变型的视图。

图15是用于说明在切换操作模式时每个装置的互锁的变型的视图。

图16是用于说明使用每个装置的信息传送的视图。

图17是用于说明使用每个装置的信息传送的视图。

图18是用于说明使用每个装置的信息传送的视图。

图19是用于说明从捕获图像中提取对象的处理的视图。

图20是示出第一空间100或第二空间100B的配置示例的框图。

图21是用于说明摄像装置123的模式的视图。

图22是用于说明摄像装置123的模式的视图。

图23是示出服务器装置200的功能配置示例的框图。

图24是用于说明显示器的显示模式的视图。

图25是示出服务器装置200的处理流程的示例的流程图。

图26是示出服务器装置200的处理流程的示例的流程图。

图27是示出在存在多个第一空间100A和多个用户A的情况下的窗口显示器133B的显示示例的视图。

图28是示出在存在多个第一空间100A和多个用户A的情况下的桌显示器131B的显示示例的视图。

图29是用于示出仅向多个用户A中的至少一个用户执行各种输出的情况的示例的视图。

图30是用于示出仅向多个用户A中的至少一个用户执行各种输出的情况的示例的视图。

图31是用于说明窥视模式(peep mode)的视图。

图32是示出实现服务器装置200或客户端装置110的信息处理装置900的硬件配置示例的框图。

图33是用于说明根据本公开内容的信息处理系统的应用示例的视图。

图34是用于说明根据本公开内容的信息处理系统的应用示例的视图。

图35是用于说明根据本公开内容的信息处理系统的应用示例的视图。

图36是用于说明根据本公开内容的信息处理系统的应用示例的视图。

具体实施方式

在下文中，参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本相同的功能配置的部件被分配有相同的附图标记，并且不重复其描述。

注意，按照以下顺序给出描述。

1.概述

2.细节

3.配置示例

4.处理流程示例

5.变型

6.硬件配置示例

7.总结

<1.概述>

首先，描述本公开内容的概述。

如上所述，为了更有效地传递技术和技能，更优选的是，位于同一空间中的指导者和学生彼此实时通信，而不是如专利文献1中所公开的那样，将所记录的虚拟对象作为模型来呈现。然而，在指导者和学生远程地定位的情况下，他们移动以定位在同一空间中并不容易。例如，在学生散布在世界各地的情况下，需要指导者在世界各地移动的同时提供指导，使得指导的效果受到限制。

此外，作为用于支持远程地定位的用户之间的通信的系统，常规地已经提出了使用视频电话的会议系统等，并且指导者可以使用该会议系统等向学生提供指导。

然而，尽管常规会议系统可以实现状况的相互确认、文档数据共享等，但是这不能使位于不同空间中的多个用户感觉好像他们在同一空间中工作。例如，在指导者和学生位于同一空间中的情况下，学生可以从指导者的视角观察指导者的手边的工作，或者指导者可以抓住学生的手来提供指导；然而，这样的传递方法不能在会议系统中实现。因此，通过使用常规会议系统等来传递技术和技能并不容易。

鉴于上述情况，本申请的公开者已经实现了根据本公开内容的技术。根据本公开内容的信息处理装置获得存在于第一空间中的第一用户(例如，指导者)的第一身体信息或存在于第二空间中的第二用户(例如，学生)的第二身体信息，并且基于第一身体信息或第二身体信息来生成虚拟空间。更具体地，信息处理装置生成虚拟空间，该虚拟空间再现第一用户与第二用户之间的位置关系。

于是，在发生由第一用户或第二用户中的至少任何一者引起的触发的情况下，信息处理装置切换操作模式，并且使操作模式的切换与设置在第一空间或第二空间中的至少一个装置(例如，显示器、扬声器等)互锁。例如，信息处理装置在第一空间或第二空间中设置的显示器或扬声器中反映通过编辑由摄像装置123获得的捕获图像而获得的信息或虚拟空间的部分信息。

因此，信息处理装置可以向存在于不同空间中的第一用户或第二用户提供好像各个用户在同一空间中工作的感觉。

<2.细节>

以上描述了本公开内容的概述。随后，详细地描述本公开内容。

(2.1.系统配置示例)

首先，参照图1描述根据本公开内容的一个实施方式的信息处理系统的配置示例。

如图1所示，在根据该实施方式的信息处理系统中，存在第一空间100A和第二空间100B，并且每个空间都设置有客户端装置110、输入装置组120和输出装置组130。此外，根据该实施方式的信息处理系统还设置有服务器装置200，该服务器装置200能够经由网络300与每个空间中的客户端装置110通信。

服务器装置200是用作上述“信息处理装置”的装置。更具体地，服务器装置200通过分析分别来自客户端装置110A和客户端装置110B的各种类型的输入信息，来获得存在于第一空间100A中的第一用户的第一身体信息或存在于第二空间100B中的第二用户的第二身体信息，并且通过使用第一身体信息或第二身体信息来生成虚拟空间。“身体信息(包括第一身体信息或第二身体信息；在下文中，为方便起见，有时将“第一身体信息或第二身体信息”简称为“身体信息”)”是包括每个用户的身体部位的位置信息的概念。因此，服务器装置200可以基于身体信息在虚拟空间中再现各个用户的位置关系(和姿势)。

此外，服务器装置200可以通过分析分别来自客户端装置110A或客户端装置110B的各种类型的输入信息，来获得包括与存在于第一空间100A中的对象有关的信息的第一环境信息或包括与存在于第二空间100B中的对象有关的信息的第二环境信息，并且除了身体信息之外，通过还使用第一环境信息或第二环境信息来生成虚拟空间。“环境信息(包括第一环境信息或第二环境信息；在下文中，为方便起见，有时将“第一环境信息或第二环境信息”简称为“环境信息”)”是包括每个空间中存在的对象(包括输入装置组120和输出装置组130)的每个部分的位置信息的概念。因此，服务器装置200可以通过不仅基于身体信息而且还基于环境信息来生成虚拟空间，而在虚拟空间中再现各个对象之间的位置关系以及每个对象与每个用户之间的位置关系。

然后，在发生预定触发的情况下，服务器装置200可以切换操作模式，基于操作模式来生成控制信息，并且将该控制信息提供给客户端装置110A或客户端装置110B，从而以互锁的方式控制输出装置组130A或输出装置组130B。注意，服务器装置200可以控制输入装置组120A或输入装置组120B。

客户端装置110A是全面控制设置在第一空间100A中的装置(输入装置组120A和输出装置组130A)的装置。例如，客户端装置110A从输入装置组120A获得各种类型的输入信息，并且将其提供给服务器装置200，或者基于从服务器装置200提供的控制信息来控制输出装置组130A。

输入装置组120A是获得各种类型的输入信息的装置组，并且可以包括例如摄像装置、麦克风、任意传感器等。输入装置组120A的内容和安装模式不受特别限制。这在稍后详细地描述。

输出装置组130A是对第一用户执行各种输出的装置组，并且可以包括例如显示器(包括稍后描述的桌显示器131和窗口显示器133)、扬声器、触觉呈现装置等。输出装置组130A的内容和安装模式不受特别限制。这在稍后详细地描述。

注意，关于设置在第二空间100B中的客户端装置110B、输入装置组120B和输出装置组130B，其配置与上面描述的设置在第一空间100A中的那些配置类似，因而不再重复其描述。

以上描述了根据该实施方式的信息处理系统的配置示例。注意，以上参照图1描述的配置仅是示例，并且根据该实施方式的信息处理系统的配置不限于这样的示例。例如，可以在客户端装置110或另一外部装置中提供服务器装置200的功能中的全部或一些。此外，相反，可以在服务器装置200或另一外部装置中提供客户端装置110的功能中的全部或一些。根据该实施方式的信息处理系统的配置可以根据规范和操作灵活地变形。此外，第二空间100B的配置不必与第一空间100A的配置相同。

(2.2.每个空间中的装置布置等)

以上描述了根据该实施方式的信息处理系统的配置示例。随后，描述第一空间100A和第二空间100B中的装置布置等。

当更具体地描述第一空间100A中的装置布置等时，在第一空间100A中，例如，如图2所示，存在用户A(第一用户)，并且提供桌显示器131A(第二显示器)和窗口显示器133A(第一显示器)作为输出装置组130的示例，该桌显示器131A的显示表面被设置在桌(用作工作桌的桌)的顶板部分上并且被定位成基本上平行于地表面，该窗口显示器133A被设置成基本上垂直于桌显示器131A上的一端，该窗口显示器133A的显示表面被定位成基本上垂直于地表面。此外，在第二空间100B中，如图3所示，存在用户B(第二用户)，并且基本上如第一空间100A中那样布置桌显示器131A、窗口显示器133A等。为了避免冗余的描述，在下文中以第一空间100A作为示例进行描述。注意，尽管图3示出了每个用户处于站立的状态，但是每个用户的姿势不限于此。例如，每个用户可能坐在椅子上。

第一空间100A中的窗口显示器133A显示存在于第二空间100B中的用户B和另一对象(另一对象可以包括第二空间100B中的桌显示器131B等)。于是，窗口显示器133A具有足够大的区域以使用户A良好地识别第二空间100B的状态(横向宽度和纵向宽度等于或大于预定长度)，并且实时地以与第一空间100A基本相同的比例(换言之，实际比例或实际尺寸)并且以基本相同的高度(换言之，在对准地平面的状态下)显示用户B和另一对象。

更具体地描述的，服务器装置200分析来自客户端装置110A或客户端装置110B的各种类型的输入信息，以获得用户A的第一身体信息或用户B的第二身体信息以及关于存在于第一空间100A中的对象的第一环境信息或关于存在于第二空间100B中的对象的第二环境信息，并且基于身体信息或环境信息(或至少身体信息)来生成虚拟空间。例如，如图4所示，服务器装置200生成虚拟空间，该虚拟空间再现隔着桌(与桌显示器131对应的桌)的用户A与用户B之间的会话的场景。然后，服务器装置200切出虚拟空间的部分信息，并且将其提供给客户端装置110A，并且窗口显示器133A和桌显示器131A经由客户端装置110获得该信息以进行显示，使得用户A可以感觉到好像他/她与用户B位于同一空间中。

更具体地描述的，例如，在仅以放大或缩小的方式在显示器上显示用户B的面部部分(如在会议系统中)的情况下，显示内容与现实相去甚远，使得用户A不能感觉到好像他/她与用户B位于同一空间中。相比之下，如上所述，在具有大面积的窗口显示器133A上以基本相同的比例并且以基本相同的高度实时地显示用户B等的情况下，显示内容是真实的，使得用户A可以感觉到好像他/她与用户B位于同一空间中。特别地，通过以基本相同的比例并且以基本相同的高度实时地显示用户B等，用户A可以感觉到好像他/她与用户B有目光接触。注意，服务器装置200不需要允许显示器显示完全符合虚拟空间的视频，并且可以允许显示器显示适当改变的视频。例如，在发生用户A与用户B之间的目光接触困难的情形的情况下，服务器装置200可以改变视频在显示器上的显示位置等。此外，为了再现现实，服务器装置200可以向客户端装置110提供通过编辑输入信息(例如，由摄像装置123获得的捕获图像等)获得的信息(例如，具有效果的图像、与另一图像组合的图像等)，该输入信息是通过每个输入装置组120(例如，摄像装置123等)获得的。

注意，如图5所示，可以使用具有比图2中的横向宽度小的横向宽度的窗口显示器133A或桌显示器131A。在这种情况下，例如，通过增加窗口显示器133A的纵向宽度，用户A也可以良好地识别第二空间100B中的状态，并且因此，如以上描述中那样，用户A可以感觉到好像他/她与用户B位于同一空间中。此外，窗口显示器133A可以显示经受能够强调两个用户位于同一空间中的任意图像处理(例如，背景颜色改变处理、模糊处理等)之后的视频。

如图2、图5等所示，在桌显示器131上显示显示图像20。显示图像20是示出根据应用的交互的显示对象，并且例如是静止图像、运动图像(视频)、各种UI(例如，菜单画面或控制画面)等。此外，显示图像20可以是二维图像或三维图像。由于通过各种传感器检测用户对显示图像20进行的操作输入，因此用户可以通过使操作体(例如，手)接触或靠近以在显示图像20上移动来对显示图像20执行各种操作输入。例如，用户可以通过用手指对桌显示器131绘制轨迹来允许桌显示器131显示自由描述的内容(在图中，通过自由的描述生成具有圆形形状的显示图像21)。

对桌显示器131上的显示图像20(或显示图像21)的操作输入可以例如通过诸如设置在桌显示器131上的触摸传感器、设置在周围的深度摄像装置、热成像摄像装置(thermocamera)、RGB摄像装置或超声传感器的输入装置组120来检测。例如，服务器装置200通过分析由输入装置组120获得的捕获图像和深度信息，来获得位于桌显示器131的显示屏幕上的用户的手和手指的位置和深度信息(换言之，三维信息)，并且检测用户的手在高度方向上与桌显示器131的接触或接近或者手与桌显示器131的分离。

在本说明书中，可以由用户A和用户B两者操作的对象(显示图像20和显示图像21)被称为“共享对象”。服务器装置200可以在另一侧的桌显示器131上显示的对应共享对象中(实时地)反映来自用户的对在一侧的桌显示器131上显示的共享对象的操作输入，从而进一步提高协作工作中的便利性。更具体地，例如，当在桌显示器131A和桌显示器131B上以相同布置显示同一共享对象时，在用户A移动放置在桌显示器131A上的共享对象的情况下，服务器装置200也使桌显示器131B上的对应的共享对象移动。

(2.3.操作模式的类型)

在根据该实施方式的信息处理系统中，关于提供给用户A(第一用户)和用户B(第二用户)的视听效果，提供了多种操作模式。于是，在发生预定触发的情况下，服务器装置200可以切换操作模式以改变提供给用户A和用户B的视听效果，从而允许用户A和用户B感知到相互的位置关系(和姿势)。

关于技术和技能的传递，指导者和学生在适当地改变相互的位置关系的同时进行双向通信是更有用的。例如，不仅通过指导者与学生之间的面对面授课，而且还通过由在移动至学生的位置之后在学生附近的指导者进行的适当的技术或技能演示等，学生的理解水平得到提高。

因此，随后，描述根据该实施方式的信息处理系统中使用的操作模式的类型。例如，如图6所示，可以提供以下操作模式(为方便起见，在下文中被称为“面对模式”)，在该操作模式中，用户A和用户B彼此面对面地定位并且根据实际位置关系来执行输出(例如，由显示器进行的显示、由扬声器进行的语音输出等)。在面对模式中，服务器装置200允许每个显示器显示通过编辑由每个空间中的摄像装置123获得的捕获图像而生成的不同图像(例如，具有效果的图像、与另一图像组合的图像等)。注意，如上所述，服务器装置200可以允许每个显示器显示从基于身体信息或环境信息生成的虚拟空间切出的信息(注意，服务器装置200可以适当地处理从虚拟空间切出的信息)。因此，如图6所示，在用户B举起他/她的右手的情况下，面对的用户A看到用户B举起他/她的右手。例如，在指导者与学生等进行面对面授课的情况下，可以应用面对模式。

此外，如图7所示，可以提供以下操作模式(为了方便起见，在下文中被称为“左右反转模式”)，在该操作模式中，用户A与用户B彼此面对面地定位并且根据实际位置关系在左右反转的状态下执行输出。在左右反转模式中，服务器装置200允许每个显示器显示通过编辑由每个空间中的摄像装置123获得的捕获图像而生成的不同图像(例如，通过左右反转捕获图像而获得的图像、具有效果的图像、与另一图像组合的图像等)。注意，如上所述，服务器装置200可以切出基于身体信息或环境信息生成的虚拟空间的部分信息，并且允许每个显示器在位置关系左右反转的状态下显示该信息。因此，如图7所示，在用户B举起他/她的右手的情况下，面对的用户A看到用户B举起他/她的左手。如面对模式那样地，例如在指导者与学生等进行面对面授课的情况下，也可以应用左右反转模式。

此外，如图8所示，提供了以下操作模式(为了方便起见，在下文中被称为“并排模式”)，在该操作模式中，用户A和用户B基本上面向相同方向，并且在用户A和用户B并排地定位的状态下执行输出。在并排模式中，例如，在第一空间100A中的桌显示器131A上，将用户B的手的显示图像22B(在图8的示例中为用户B的右手的图像)显示到用户A的左侧，使得用户A可以感知到用户B位于左侧。相反，由于在第二空间100B中的桌显示器131B上将用户A的手的显示图像22A(在图8的示例中为用户A的两只手的图像)显示在用户B的右侧，使得用户B可以感知到用户A位于右侧。例如，可以在指导者移动到学生的一侧以示出工作样本(反之亦然)等的情况下应用并排模式。

此外，如图9所示，提供了以下操作模式，在该操作模式中，用户A和用户B基本上面向相同方向，并且在一个用户位于背后以覆盖另一个用户的状态下执行输出(这引起好像一个用户拥靠另一个用户的感觉，因而为了方便起见，在下文中该操作模式被称为“拥靠模式”)。在拥靠模式中，例如，在第一空间100A中的桌显示器131A上，将用户B的手的显示图像22B(在图9的示例中为用户B的两只手的图像)显示在用户A的两侧，使得用户A可以感知到用户B位于背后以覆盖用户A(注意，不需要将用户B的两只手的图像显示在用户A的两侧)。相反，由于在第二空间100B中的桌显示器131B上用户A的手的显示图像22A(在图9的示例中为用户A的两只手的图像)被显示在用户B的两只手之间，因此使得用户B可以感知到他/她位于背后以覆盖用户A。注意，根据用户A与用户B之间的位置关系，用户A的后脑勺可以被显示在第二空间100B中的桌显示器131B上。例如，在指导者在从背后拥靠学生的状态下示出工作样本的情况下(换言之，在指导者拥靠学生的情况下)，在学生移动到指导者背后以检查指导者的工作的情况下(换言之，在学生拥靠指导者的情况下)，等等，可以应用拥靠模式。

注意，尽管在以上描述中主要描述对显示器的显示控制(图6至图9)，然而服务器装置200可以控制除了包括在输出装置组130中的显示器之外的装置，从而允许用户A和用户B在每种操作模式中感知彼此之间的位置关系(和姿势)。例如，服务器装置200可以控制在输出装置组130中包括的扬声器以将声像定位在真实空间中，从而允许用户A和用户B感知彼此之间的位置关系(和姿势)。

此外，在根据该实施方式的信息处理系统中提供的操作模式的类型不限于以上描述。更具体地，服务器装置200可以基于用户之间的位置关系的改变来适当地重新建立或改变操作模式。

(2.4.操作模式的切换)

以上描述了根据该实施方式的信息处理系统中使用的操作模式的类型。随后，描述操作模式的切换。

在发生预定触发的情况下，服务器装置200通过切换上述操作模式来使设置在第一空间100A或第二空间100B中的至少一个装置(例如，显示器、扬声器等)互锁。

此处，假设用于切换操作模式的“预定触发”是由用户A(第一用户)或用户B(第二用户)中的至少任意一个用户引起的触发。例如，预定触发包括由用户A或用户B进行的预定动作(例如，从椅子上站起来的动作、在坐在椅子上的同时移动的动作等)、预定语句(例如，“我要去那里。”、“请到这里来”等的语句)、预定操作输入(例如，对桌显示器131的触摸、对按钮的按压等)等。注意，预定触发的内容不限于此。

当切换操作模式时，服务器装置200可以通过如上所述的那样使每个装置互锁来向每个用户赋予用户A与用户B之间的位置关系(和姿势)在同一空间中改变的感觉。即，用户A和用户B可以自由且自然地改变他们的位置关系(和姿势)。

随后，参照图10至图12，描述当切换操作模式时每个装置的互锁的具体示例。图10至图12是说明当从面对模式切换到拥靠模式时窗口显示器133A和桌显示器131A的显示操作的具体示例的视图。

例如，图10的A中的窗口显示器133A显示坐在椅子上的用户B，并且桌显示器131A显示由用户A和用户B共享的共享对象。因此，用户A感知到他/她隔着放置有共享对象的桌而面对用户B。

此后，检测到作为预定触发的用户B从椅子站起来的动作等的服务器装置200执行一系列操作模式切换处理。例如，如图10的B所示，服务器装置200允许窗口显示器133A在拉动用户B(减小用户B的尺寸)的情况下显示用户B。注意，在此时，服务器装置200可以允许窗口显示器133A在使整个窗口显示器133A模糊的情况下显示用户B。

在图11的C中，服务器装置200允许窗口显示器133A在用户B相对于用户A横向旋转的状态下显示用户B。在图11的D中，服务器装置200允许用户B直接走出窗口显示器133A。注意，在图11的C和D中，服务器装置200也可以允许窗口显示器133A在使整个窗口显示器133A模糊的情况下显示用户B。

在图12的E中，服务器装置200允许桌显示器131在经过用户B移动到用户A的背后所需的时间之后，从近侧显示位于用户B移动到的一侧(在该示例中为左侧)的用户B的手(在该示例中为左手)的显示图像22B。此后，在图12的F中，服务器装置200允许桌显示器131从用户A的右近侧显示另一只手(在该示例中为右手)的显示图像22B。

通过图10至图12所示的一系列显示操作，服务器装置200可以向每个用户提供用户B从用户A的左侧绕过来移到用户A背后的感觉。

随后，参照图13至图15，描述当从面对模式切换到拥靠模式时窗口显示器133A和桌显示器131A的显示操作的变型。

如图13所示，桌显示器131A不显示由用户A和用户B共享的共享对象，而是显示由用户A使用的文档(换言之，由用户A和用户B使用的文档是不同的)的显示图像23A。其他与图10的A中的那些类似。

此后，检测到作为预定触发的用户B从椅子站起来的动作等的服务器装置200执行一系列操作模式切换处理。例如，如图13的B所示，服务器装置200逐渐将显示在桌显示器131A上的显示图像23A改变成黑色(转暗(blackout))。其他与图10的B中的那些类似。

在图14的C和D中，服务器装置200将桌显示器131A置于完全转暗的状态。其他与图11的C和D中的那些类似。在图15的E中，服务器装置200允许桌显示器131在经过用户B移动到用户A背后所需的时间之后，从用户B移动到的一侧(在该示例中为从左上方)显示由用户B使用的文档的显示图像23B。此后，在图15的F中，服务器装置200允许在整个桌显示器131上显示显示图像23B。

通过图13至图15所示的一系列显示操作，服务器装置200可以向每个用户提供用户B从左侧绕过用户A以移动到用户A背后的感觉，并且将由用户B使用的文档放置在用户A的桌上。于是，然后，用户B可以通过使用文档的显示图像23B将信息等传送给用户A。

在图10至图15的示例中，服务器装置200适当地处理通过编辑由每个输入装置组120(例如，摄像装置123等)获得的输入信息(例如，由摄像装置123获得的捕获图像等)而获得的信息(例如，具有效果的图像、与另一图像组合的图像等)或者从虚拟空间切出的信息，并且允许每个装置(窗口显示器133、桌显示器131等)输出这些信息，从而向每个用户提供用户A和用户B的位置关系(和姿势)在同一空间中改变的感觉。更具体地，服务器装置200允许每个装置输出通过对通过编辑由每个输入装置组120获得的输入信息而获得的信息或者从虚拟空间切出的信息(例如，用户B的图像)应用各种类型的图像处理(例如，缩小处理、模糊处理、旋转处理和位置改变(移动)处理)而获得的信息。即，本公开内容的要点之一是向每个用户提供每个用户的位置关系(和姿势)在同一空间中改变的感觉，并且作为其方法，服务器装置200可以允许每个装置按原样输出通过编辑由每个输入装置组120获得的输入信息而获得信息或从虚拟空间切出的信息，或者在处理该信息之后输出该信息。注意，处理这些信息的方法不限于上述示例。

此外，服务器装置200可以允许每个装置输出除了通过编辑由每个输入装置组120获得的输入信息而获得的信息之外的信息或者除了从虚拟空间切出的信息之外的信息。例如，在服务器装置200保持每个用户的身体信息和任意对象信息(例如，关于每个用户的身体和任意对象的特性的信息，其包括形状、颜色等)的情况下，这可以通过使用该信息来编辑每个显示器的显示内容。因此，例如，服务器装置200可以通过在从再现现实的虚拟空间删除每个用户之后将处于期望状态(姿势)的用户或期望对象叠加在虚拟空间上，来允许每个显示器显示与现实完全不同的视频。存在仅通过再现现实的虚拟空间的信息不能充分地产生每个用户存在于同一空间中的感觉的可能性。在这方面，服务器装置200可以通过如上所述的那样使用除通过编辑由每个输入装置组120获得的输入信息而获得的信息之外的信息或者除从虚拟空间切出的信息之外的信息，来控制每个装置的输出，从而适当地删除妨碍每个用户存在于同一空间中的感觉的因素。

(2.5.使用每个装置的信息传送的变型)

以上描述了操作模式的切换。随后，描述使用每个装置的信息传送的变型。

关于技术和技能的传递，可以说，在指导者和学生直接彼此接触的情况下执行信息传送是更有用的。例如，当指导者在直接触摸学生的情况下提供关于如何移动身体等的指导时，学生对技术和技能的理解程度得到提高。

因此，根据本公开内容的信息处理系统不仅可以向每个用户提供如上所述的各个用户之间的位置关系在同一空间中改变的感觉，而且可以向每个用户提供每个用户在彼此接触的情况下传送信息的感觉。

例如，参照图16，以用户A(学生)从用户B(指导者)接收关于手术的指导的情况作为示例进行描述。在图16的示例中，设置用户A拥靠用户B的拥靠模式，并且在第一空间100A中的桌显示器131A上显示用户B的身体的一部分和由用户B使用的教学材料(在手术中使用的工具和模仿人体的一部分的手术目标)的显示图像24。用户A使用由他/她自己持有的工具和在桌显示器131A上显示的手术目标进行手术训练。

在此时，服务器装置200基于由用户A(第一用户)进行的输入来控制存在于第一空间100A或第二空间100B(或至少第二空间100B)中的至少一个装置(注意，相反，服务器装置200可以基于由用户B(第二用户)进行的输入来控制存在于第一空间100A或第二空间100B(或至少第一空间100A)中的至少一个装置)。例如，用户A可以使用输入装置组120A执行各种输入，从而允许第一空间100A或第二空间100B(或至少第二空间100B)中的桌显示器131显示指示显示图像24的一部分的显示图像25以及包括字符串的气球的显示图像26(在图16的示例中，在气球中包括字符串“请详细讲授这部分。”)。因此，用户A可以获得他/她在与用户B直接接触的情况下询问关于技术或技能的更详细的问题的感觉。注意，相反地，用户B可以通过使用输入装置组120B执行各种输入来将重要部分传送至用户A。

随后，如图17所示，以用户A(学生)从用户B(指导者)接收关于手工艺品的指导的情况作为示例进行描述。在图17的示例中，设置用户B拥靠用户A的拥靠模式。此外，假设输出装置组130A包括能够进行投影映射的投影仪以及安装在用户A的手上并且可以向用户A的手呈现触觉的触觉呈现装置。

此时，用户B可以使用输入装置组120B执行各种输入，以将包括字符串的气球的显示图像27以叠加的方式投影在用户A的身体和目标对象的一部分上，并且控制触觉呈现装置以向用户A的手呈现各种触觉。例如，在图17的示例中，用户B在将包括字符串“请紧紧握住。”或“请对中指施加力。”的气球的显示图像27A和显示图像27B以叠加的方式投影在用户A的身体和目标对象的一部分上的同时，呈现与每个气球的内容对应的触觉(例如，紧紧握住目标对象的触觉、弯曲中指的触觉等)。因此，用户A可以获得他/她在与用户B直接接触的情况下接收关于技术和技能的更详细的信息的传送的感觉。注意，在此时，可以将与呈现给用户A的触觉对应的不同触觉(例如，在将触觉呈现给用户A时发生的不同触觉)呈现给用户B。

此外，在图17的示例中，还投影了示出投影气球的显示图像27的用户B的显示图像28。这允许用户A直观地识别出投影是由用户B执行的。以这种方式对信息源的指示在三个或更多个用户使用根据本公开内容的信息处理系统进行通信的情况下特别有用。稍后描述三个或更多个用户使用根据本公开内容的信息处理系统进行通信的情况的具体示例。

此处，优选的是，指示每个用户或目标对象的一部分的显示图像(例如，图16中所示的指示显示图像24的一部分的显示图像25和图17所示的以叠加的方式投影在用户A的身体或目标对象的一部分上的气球的显示图像27)跟随该部分连续显示。

更具体地，在显示指示用户的拇指的显示图像29的情况下，即使用户的手的姿势如图18的A至C所示的那样改变，优选的是，连续地显示显示图像29以跟随手的姿势变化。因此，每个用户可以通过改变彼此之间的位置关系和姿势来从各种角度传送关于重要部分的信息。

(2.6.从捕获图像中提取真实对象的处理)

以上描述了使用每个装置的信息传送的变型。随后，描述从捕获图像中提取真实对象的处理。

例如，如图19的A所示，考虑以下情况：以可以对桌显示器131A上的对象进行成像的模式，将第一空间100A中的输入装置组120A中包括的摄像装置123A安装在桌显示器131A上方。在这种情况下，当服务器装置200通过按原样使用由摄像装置123A捕获的捕获图像来生成虚拟空间并且在第二空间100B中的桌显示器131B中反映该捕获图像的一部分时，如图19的B所示，不仅显示用户A的手的显示图像30A，而且还显示用户B的手的显示图像30B(对第一空间100A中的桌显示器131A上显示的显示图像30B的图像捕获)。以这种方式，无限重复在桌显示器131上显示的显示图像再次被显示在桌显示器131上的事件(尽管为了方便起见，在图19的B中未示出，但是显示图像30A和显示图像30B被无限地叠加和显示)。注意，根据摄像装置123的安装模式，图像不仅可以无限重复地显示在桌显示器131上，而且可以无限重复地显示在窗口显示器133上。

因此，服务器装置200分析由摄像装置123A生成的捕获图像，并且删除显示在桌显示器131A上的图像(图19的A的示例中为显示图像30B)，以提取实际存在于桌显示器131A上方的对象(在图19的A的示例中为用户A的手)。换言之，服务器装置200分析通过捕获用户A(第一用户)的身体信息的至少一部分以及存在于第一空间100A中的桌显示器131A(第二显示器)的显示图像而获得的捕获图像，从而从捕获图像中提取用户A(第一用户)的身体信息的至少一部分。注意，相反地，服务器装置200可以分析通过捕获用户B(第二用户)的身体信息的至少一部分以及存在于第二空间100B中的桌显示器131B(第二显示器)的显示图像而获得的捕获图像，从而从捕获图像中提取用户B(第二用户)的身体信息的至少一部分。

例如，服务器装置200按预定时段存储由摄像装置123A生成的捕获图像，并且在某个对象被放置在桌显示器131A上的情况下，服务器装置200将最新的捕获图像与所存储的过去捕获图像进行比较，从而提取对象(例如，服务器装置200通过执行背景差处理来提取对象)。

此后，服务器装置200可以使用提取结果来生成虚拟空间，并且在第二空间100B中的桌显示器131B中反映该虚拟空间的一部分，从而如图19的C所示，在桌显示器131B上仅显示用户A的手的显示图像30A。注意，提取实际存在于桌显示器131A上的对象的方法不限于以上方法，并且可以使用已知的图像分析处理。此外，同样在这种情况下，服务器装置200也可以允许每个显示器显示通过编辑由摄像装置123获得的捕获图像而不是切出虚拟空间的一部分而获得的信息。

<3.配置示例>

以上描述了从捕获图像中提取对象的处理。随后，描述根据该实施方式的每个空间的配置示例和每个装置的功能配置示例。

(3.1.第一空间100或第二空间100B的配置示例)

首先，参照图20，描述第一空间100或第二空间100B的配置示例。如图20所示，第一空间100或第二空间100B设置有客户端装置110、输入装置组120和输出装置组130。

(客户端装置110)

如上所述，客户端装置110是全面控制输入装置组120和输出装置组130的装置。如图20所示，客户端装置110设置有控制单元111、通信单元113和存储单元115。

(控制单元111)

控制单元111是全面控制由客户端装置110执行的整体处理的功能配置。例如，当控制单元111获得从输入装置组120提供的各种类型的输入信息时，控制单元111控制向服务器装置200提供输入信息的处理。注意，在此时，控制单元111不将输入信息按原样提供给服务器装置200，而是控制单元111可以分析输入信息并将分析结果提供给服务器装置200，从而减少服务器装置200的处理负荷或减少通信数据量。

此外，控制单元111通过将来自服务器装置200的控制信息提供给输出装置组130来控制输出装置组130的处理。注意，控制单元111的控制内容不限于这些。例如，控制单元111可以控制通常在通用计算机、个人计算机(PC)、平板PC、智能电话等中执行的处理(例如，关于操作系统(OS)的处理等)。

(通信单元113)

通信单元113是与包括服务器装置200、输入装置组120和输出装置组130的外部装置进行各种通信的功能配置。例如，通信单元113从输入装置组120接收输入信息并且将输入信息传送给服务器装置200。此外，通信单元113从服务器装置200接收用于控制输出装置组130的控制信息，并且将控制信息传送至输出装置组130。注意，由通信单元113传达的信息以及通信的情况不限于此。此外，通信单元113的通信方法不受特别限制。

(存储单元115)

存储单元115是存储各种类型的信息的功能配置。例如，存储单元115存储从输入装置组120提供的输入信息、从服务器装置200提供的控制信息等。此外，存储单元115存储在客户端装置110的处理中使用的各种程序、各种参数等。注意，存储在存储单元115中的信息不限于此。

(输入装置组120)

输入装置组120是生成各种类型的输入信息的装置组。如图20所示，输入装置组120设置有传感器单元121、摄像装置123和麦克风125。注意，输入装置组120的配置不限于此，并且可以在输入装置组120上设置可以生成输入信息的任何装置。

(传感器单元121)

传感器单元121是设置有任意传感器的配置。例如，传感器单元121可以设置有触摸传感器、压力传感器、接近传感器、红外光接收单元、超声波传感器、深度摄像装置、热成像摄像装置、RGB摄像装置等，并且可以设置有操作输入单元，该操作输入单元通过使用诸如按钮、开关、控制器(例如，棒型控制器等)和操纵杆的物理配置来形成。

(摄像装置123)

摄像装置123是通过对用户、用户的工作目标等进行成像来生成捕获图像的配置。注意，摄像装置123的安装模式不受特别限制。例如，可以按如下模式安装摄像装置123：其中，当如图21的A所示的那样用户对设置在传感器单元121上的棒型控制器执行操作输入时，摄像装置123的成像方向如图21的B所示的那样改变。因此，例如，可以调整成像范围，使得容易地产生各个用户在同一空间中工作的感觉。此外，如图22所示，可以按球形形状安装多个摄像装置123。这从各种角度生成对象(包括用户的身体)的捕获图像，使得变得更容易调整成像范围，以便容易地产生各个用户在同一空间中工作的感觉，或者变得更容易获得身体信息或环境信息。

(麦克风125)

麦克风(麦克)125是感测用户的讲话语音等的配置。注意，麦克风125的安装模式不受特别限制。

(输出装置组130)

如上所述，输出装置组130是对用户A(第一用户)或用户B(第二用户)执行各种输出的装置组。如图20所示，输出装置组130设置有桌显示器131、窗口显示器133、扬声器135和触觉呈现装置137。注意，输出装置组130的配置不限于此，并且可以在输出装置组130上设置可以执行各种输出的任何装置。

(桌显示器131)

桌显示器131是显示表面设置在桌的顶板部分上的显示器，该显示器被定位成基本上平行于地表面。注意，显示器的类型不受特别限制。

(窗口显示器133)

窗口显示器133是与桌显示器131的一端基本上垂直地设置在桌显示器131的一端的显示器，该窗口显示器的显示表面被定位成基本上垂直于地表面。注意，显示器的类型不受特别限制。

(扬声器135)

扬声器135是输出语音的配置。此外，例如，可以通过多个扬声器135等的协作将声像定位在真实空间中。因此，每个用户可以直观地识别其他用户的位置、姿势等，使得可以进一步强调各个用户存在于同一空间中的感觉。注意，扬声器135的类型不受特别限制。

(触觉呈现装置137)

触觉呈现装置137是向用户呈现触觉的配置。例如，触觉呈现装置137是由用户佩戴的可穿戴设备(例如，眼镜式、手表式、手套式或服装式可穿戴装置等)、与用户的身体接触的外部装置等。触觉呈现装置137设置有例如呈现振动的致动器(例如，偏心马达(ERM)、线性共振致动器(LRA)、音圈马达(VCM)等)、呈现力感的电气元件、呈现温度感的温度改变元件(例如，珀耳帖元件(Peltier element)等)等。注意，由触觉呈现装置137呈现的触觉不受特别限制。

以上描述了第一空间100或第二空间100B的配置示例。注意，以上参照图20描述的配置仅仅是示例，并且每个空间的配置不限于这样的示例。例如，客户端装置110、输入装置组120或输出装置组130不必然设置有图20中所示的所有配置。此外，每个空间中的配置是可以根据规范和操作灵活地变形的。此外，客户端装置110可以是能够向用户提供虚拟现实的装置(例如，屏蔽型头戴式显示器等)。在这种情况下，不使用桌显示器131和窗口显示器133，并且客户端装置110基于从服务器装置200提供的控制信息来控制头戴式显示器的显示。

(3.2.服务器装置200的功能配置示例)

随后，参照图23来描述服务器装置200的功能配置示例。如图23所示，服务器装置200设置有控制单元210、通信单元220以及存储单元230。

(控制单元210)

控制单元210是全面控制由服务器装置200执行的整体处理的功能配置。例如，控制单元210基于由用户通过使用输入装置组120等执行的输入来控制各种类型的处理的开始和停止。注意，控制单元210的控制内容不受特别限制。例如，控制单元210可以控制通常在通用计算机、PC、平板PC、智能电话等中执行的处理(例如，关于OS的处理等)。

如图23所示，控制单元210设置有输入信息分析单元211、虚拟空间生成单元213、显示控制单元215、语音输出控制单元217和触觉呈现控制单元219。

(输入信息分析单元211)

输入信息分析单元211是对从设置在每个空间中的输入装置组120获得的输入信息进行分析的功能配置(输入信息分析单元211还用作分析单元)。例如，输入信息分析单元211用作通过分析输入信息来获得身体信息或环境信息的获得单元。如上所述，身体信息是包括每个用户的身体部位的位置信息的概念，而环境信息是包括在每个空间存在的对象(包括输入装置组120和输出装置组130)的每个部分的位置信息的概念。注意，应当注意，通过由输入信息分析单元211分析输入信息来获得环境信息的处理是包括上述从捕获图像提取真实对象的处理的概念。

此外，输入信息分析单元211通过分析输入信息来识别由用户进行的肢体动作(gesture)、由用户讲出的语音的内容等。此处，肢体动作包括例如用户的手和手臂的移动、姿势(例如，骨骼信息)、视线、触摸操作(特别地，触摸、点击、双击、轻扫或拖动)等。例如，输入信息分析单元211将对桌显示器131的触摸操作、对窗口显示器133的指向操作等识别为肢体动作。此外，输入信息分析单元211通过分析由麦克风(麦克)125获得的用户的语音来识别由用户讲出的内容。

此外，输入信息分析单元211还用作基于上述分析结果来切换(或设置)操作模式的操作模式控制单元。即，输入信息分析单元211通过基于上述分析结果来选择面对模式、左右反转模式、并排模式或拥靠模式中的任何一种来切换(或设置)操作模式。

(虚拟空间生成单元213)

虚拟空间生成单元213是基于由输入信息分析单元211获得的身体信息或环境信息(或至少身体信息)生成虚拟空间的功能配置。虚拟空间生成单元213可以基于身体信息或环境信息，在虚拟空间中再现各个用户或各个对象之间的位置关系。虚拟空间生成单元213根据需要基于从客户端装置110提供的输入信息来更新虚拟空间。

(显示控制单元215)

显示控制单元215是控制由设置在每个空间中的显示器进行的显示处理的功能配置。如图23所示，显示控制单元215设置有桌显示器显示控制单元215a和窗口显示器显示控制单元215b。

(桌显示器显示控制单元215a)

桌显示器显示控制单元215a是控制由设置在每个空间中的桌显示器131进行的显示处理的功能配置。更具体地，桌显示器显示控制单元215a基于由输入信息分析单元211识别的输入的内容、由输入信息分析单元211设置的操作模式、由虚拟空间生成单元213生成的虚拟空间等，来控制由桌显示器131进行的显示处理。

此处，桌显示器显示控制单元215a可以在桌显示器131中设置多个显示区域。例如，如图24所示，桌显示器显示控制单元215a可以在桌显示器131A中设置显示区域31。然后，桌显示器显示控制单元215a可以根据由用户A进行的操作输入等来改变显示区域31在桌显示器131内的位置，或者通过与窗口显示器显示控制单元215b的协作将显示区域31的位置改变到窗口显示器133。因此，用户A可以将显示区域31的位置改变至工作较容易的期望位置。

桌显示器显示控制单元215a生成包括桌显示器131的显示内容的控制信息，并且经由通信单元220将该控制信息提供给客户端装置110，从而控制桌显示器131的显示处理。

(窗口显示器显示控制单元215b)

窗口显示器显示控制单元215b是控制由设置在每个空间中的窗口显示器133进行的显示处理的功能配置。更具体地，窗口显示器显示控制单元215b基于由输入信息分析单元211识别的输入的内容、由输入信息分析单元211设置的操作模式、由虚拟空间生成单元213生成的虚拟空间等，来控制由窗口显示器133进行的显示处理。

此处，如桌显示器显示控制单元215a的情况那样，窗口显示器显示控制单元215b也可以在窗口显示器133中提供多个显示区域31。然后，窗口显示器显示控制单元215b也可以根据由用户A进行的操作输入等来改变显示区域31在窗口显示器133内的位置，或者通过与桌显示器显示控制单元215a的协作来将显示区域31的位置改变到桌显示器131。

窗口显示器显示控制单元215b生成包括窗口显示器133的显示内容的控制信息，并且经由通信单元220将该控制信息提供给客户端装置110，从而控制窗口显示器133的显示处理。

(语音输出控制单元217)

语音输出控制单元217是控制由设置在每个空间中的扬声器135进行的语音输出处理的功能配置。例如，语音输出控制单元217将用户A的语音传送给用户B(或者将用户B的语音传送给用户A)。语音输出控制单元217生成基于由麦克风125获得的用户的语音信息而生成的控制信息，并且经由通信单元220将该控制信息提供给客户端装置110，从而控制扬声器135的语音输出处理。在此时，语音输出控制单元217可以基于由虚拟空间生成单元213生成的虚拟空间(各个用户之间的位置关系)和由输入信息分析单元211设置的操作模式来生成控制信息，从而将声像定位在真实空间中，以允许各个用户感知到他们之间的位置关系。

(触觉呈现控制单元219)

触觉呈现控制单元219是控制由设置在每个空间中的触觉呈现装置137进行的触觉呈现处理的功能配置。更具体地，触觉呈现控制单元219基于由输入信息分析单元211识别的输入的内容、由输入信息分析单元211设置的操作模式、由虚拟空间生成单元213生成的虚拟空间等，来控制由触觉呈现装置137进行的触觉呈现处理。触觉呈现控制单元219生成包括由触觉呈现装置137进行的触觉呈现的内容的控制信息，并且经由通信单元220将该控制信息提供给客户端装置110，从而控制触觉呈现装置137的触觉呈现处理。

(通信单元220)

通信单元220是与包括客户端装置110的外部装置进行各种通信的功能配置。例如，通信单元220在与客户端装置110的通信中接收由输入装置组120获得的输入信息，以及传送用于控制输出装置组130的控制信息。注意，由通信单元220传达的信息以及通信的情况不限于此。此外，通信单元220的通信方法不受特别限制。

此处，控制单元210可以对要传送至客户端装置110的控制信息分配优先级，并且通信单元220可以根据优先级确定在通信中使用的各种参数(例如，编码方法、传送频带等)。更具体地描述的，由输出装置组130的各个装置进行的输出的优先级根据所设置的操作模式的类型、由每个用户执行的工作的内容等而改变。例如，如图8和图9所示，在设置了并排模式或拥靠模式的情况下，基本上在窗口显示器133上仅显示背景(当然，不存在限制)。因此，在这种情况下，控制单元210可以将关于窗口显示器133的控制信息的优先级设置为低于其他装置的优先级。因此，通信单元220可以通过基于优先级确定在通信中使用的各种参数来减少通信量。注意，设置优先级的方法不限于以上描述。例如，可以基于用户的注视点等来设置优先级(例如，将与用户正在注视的显示器有关的控制信息的优先级设置为更高等)。

(存储单元230)

存储单元230是存储各种类型的信息的功能配置。例如，存储单元230存储输入信息、由输入信息分析单元211进行的分析的结果、由虚拟空间生成单元213生成的虚拟空间、由显示控制单元215、语音输出控制单元217和触觉呈现控制单元219生成的控制信息等。此外，存储单元230存储在服务器装置200的处理中使用的各种程序、各种参数等。注意，存储在存储单元230中的信息不限于此。

以上描述了服务器装置200的功能配置示例。注意，以上参照图23描述的功能配置仅仅是示例，并且服务器装置200的功能配置不限于这样的示例。例如，服务器装置200不必然必须具有图23中所示的所有功能配置。此外，服务器装置200的功能配置可以根据规范和操作灵活地变形。此外，服务器装置200还可以在考虑每个用户的视听特性的情况下生成要提供给客户端装置110的控制信息。例如，各个用户的视听特性根据用户的属性(例如，年龄、性别等)、用户的身体特性(例如，身高、体重、BMI、存在/不存在身体残疾等)等而彼此不同。因此，服务器装置200的显示控制单元215、语音输出控制单元217和触觉呈现控制单元219可以通过经过某种方法(例如，由用户预先进行的输入、对输入信息的分析等)获得用户的属性、身体特性等来估计用户的视听特性，并且基于估计结果来生成针对每个用户优化的控制信息。

<4.处理流程示例>

以上描述了根据该实施方式的每个空间的配置示例和每个装置的功能配置示例。随后，参照图25描述服务器装置200的处理流程的示例。

在步骤S1000处，服务器装置200的通信单元220从设置在每个空间中的客户端装置110接收各种类型的输入信息。在步骤S1004处，输入信息分析单元211分析各种类型的输入信息以获得身体信息或环境信息并且识别输入的配置。在步骤S1008处，虚拟空间生成单元213基于身体信息或环境信息来生成虚拟空间。在步骤S1012处，执行关于输出装置组130的输出控制的处理。稍后将描述具体示例。服务器装置200继续步骤S1000至S1012处的处理，直到服务器装置200从客户端装置110接收到完成指令(步骤S1016/否)。在从客户端装置110接收到完成指令(步骤S1016/是)的情况下，服务器装置200结束这一系列处理。

随后，参照图26描述关于在图25中的步骤S1012处执行的输出控制的处理流程的示例。

在图26的步骤S1100中，服务器装置200的输入信息分析单元211基于各种类型的输入信息的分析结果，确认是否执行用于切换操作模式的输入。在执行用于切换操作模式的输入(步骤S1100/是)的情况下，输入信息分析单元211根据该输入来切换操作模式。在不执行用于切换操作模式的输入(步骤S1100/否)的情况下，不执行步骤S1104处的操作模式切换处理。

此后，桌显示器显示控制单元215a和窗口显示器显示控制单元215b分别在步骤S1108和S1112处基于输入的内容(例如，捕获图像等)、虚拟空间、设置的操作模式等来生成控制信息。例如，桌显示器显示控制单元215a和窗口显示器显示控制单元215b基于用户A与用户B之间的位置关系的变化(或位置关系本身)来生成用于允许各个显示器从各个用户的视点显示视频的控制信息。

在步骤S1116处，语音输出控制单元217基于输入的内容、虚拟空间、设置的操作模式等来生成控制信息。例如，语音输出控制单元217基于由麦克风125获得的用户讲出的语音来生成用于允许由另一用户使用的扬声器135输出语音的控制信息。

在步骤S1120处，触觉呈现控制单元219基于输入的内容、虚拟空间、设置的操作模式等来生成控制信息。例如，触觉呈现控制单元219基于由传感器单元121获得的用户输入来生成用于控制由另一用户穿戴的可穿戴设备等的控制信息。在步骤S1124处，通信单元220将所生成的各种类型的控制信息传送至两个客户端装置110，使得关于输出控制的一系列处理结束。

注意，上述图25和图26中的流程图中的步骤不必然必须以所描述的顺序按时间序列来处理。即，流程图中的步骤可以按与所描述的顺序不同的顺序来处理，或者可以并行处理。

<5.变型>

以上描述了服务器装置200的处理流程的示例。随后，描述本公开内容的变型。

在上述实施方式中，存在一个用户A(第一用户)和一个用户B(第二用户)。在本公开内容的变型中，考虑存在多个第一空间100A和多个用户A(第一用户)的情况。例如，考虑作为学生的多个用户A接收来自作为指导者的一个用户B的指导的情况。在这种情况下，服务器装置200可以允许窗口显示器133(第一显示器)或桌显示器131(第二显示器)显示多个用户A(第一用户)的身体信息(第一身体信息)的至少一部分。

注意，应当注意，这同样适用于存在多个第二空间100B以及多个用户B(第二用户)的情况(这同样适用于以下将描述的内容)。即，服务器装置200可以允许窗口显示器133(第一显示器)或桌显示器131(第二显示器)显示多个用户B(第二用户)的身体信息(第二身体信息)的至少一部分。

如图27的A所示，在存在用户A-1至A-6(在图27的A中，示出了在一个窗口显示器133B上显示一个用户的情况)的情况下，服务器装置200可以提取各个用户A的上身部分并且允许窗口显示器133B显示它们以形成一行或更多行，如图27的B所示的那样。此外，服务器装置200可以允许划分成用户A的数目的桌显示器131B如图28的B所示的那样显示每个用户A的手。在此时，服务器装置200可以允许经划分的桌显示器131B一起显示用于标识每个用户A的信息(例如图28的B中的示例中的“用户A-1”)。图27的B和图28的B中的显示方法允许用户B更高效地识别多个用户A的状态。注意，在图27和图28中，示出存在多个用户A和一个用户B的情况作为示例，但是不存在限制。更具体地，可以存在一个用户A和多个用户B，或者存在多个用户A和多个用户B。

在该变型中，服务器装置200也可以向用户A或用户B中的至少任何一者提供好像各个用户在同一空间中工作的感觉。例如，服务器装置200可以向用户B提供图27的B和图28的B中所示的非现实的图像，而服务器装置200向每个用户A提供好像他/她面对用户B的图像，从而提供他/她与用户B在同一空间中工作的感觉。此外，服务器装置200还可以例如通过在预定背景图像中的预定位置(例如，在教室的背景图像中的每个座位的位置等)调整比例的情况下显示所有用户A的一部分，来向用户B提供他/或她与所有用户A在同一空间中工作的感觉(例如，他/她在教室中对所有用户A进行授课的感觉)。

此处，服务器装置200使得每个用户能够彼此进行目光接触。更具体地，服务器装置200基于每个用户A在由用户B使用的显示器上的显示位置来调整用户B在由用户A使用的显示器上的显示位置(例如，在一个用户A被显示在用户B的窗口显示器133B的右上部分的情况下，用户B被显示在用户A的窗口显示器133A的右下部分)。因此，在用户B与一个用户A有目光接触的情况下，该用户A也可以经由窗口显示器133A感知到他/她与用户B有目光接触。注意，服务器装置200可以不通过如上所述的那样调整用户A和用户B的位置而是通过处理用户A或用户B的眼睛部分(或在眼睛部分附近)的图像等来使得每个用户能够具有目光接触。

在该变型中，服务器装置200可以通过分析多个用户A(第一用户)中的每一个的第一身体信息来评估每个用户A的工作(当然，相反地，服务器装置200可以通过分析多个用户B(第二用户)中的每一个的第二身体信息来评估每个用户B的工作)。更具体地，服务器装置200可以将通过对预先登记的工作模型进行成像而获得的捕获图像与通过对每个用户A的工作状态进行成像而获得的捕获图像进行比较，以计算相似度，从而评估每个用户A的工作的诸如准确性、速度等的元素(此外，服务器装置200可以基于这些元素来输出学习水平作为综合评估)。

然后，在服务器装置200通过分析捕获图像检测到单个用户A(例如，与其他用户A相比，其工作特别准确和快速的用户A等)的情况下，服务器装置200可以通过在用户B的输出装置组130(例如，桌显示器131B、窗口显示器133B等)上执行预定输出(例如，通过在显示器上突出显示此人)来向用户B通知该事实。注意，对用户B的通知的内容不限于此。例如，服务器装置200可以通过预定方法(例如，数值、进度条、语音输出、灯照明等)向用户B通知每个用户A的进度状态。

此外，服务器装置200可以通过使用预定的机器学习方法或人工智能(AI)来分析每个用户A的工作状态，从而例如计算所有用户A(例如，整个班级)中的工作的准确性和速度的平均值或者按属性(例如，年龄、性别、血型等)计算每个类别的工作的准确性和速度的平均值。因此，用户B可以更容易地在所有用户A中以及针对每个类别进行倾向分析，从而更适当地提供指导。

此外，服务器装置200可以基于由用户B(第二用户)进行的输入来指定多个用户A(第一用户)中的至少一个，并且仅向该用户A执行各种输出(注意，相反地，服务器装置200可以基于由用户A(第一用户)进行的输入来指定多个用户B(第二用户)中的至少一个并且仅向该用户B执行各种输出)。例如，如图29所示，考虑服务器装置200通过分析其中用户B被成像的捕获图像而识别出用户B向某个用户A瞥了一眼(在图29的示例中，用户B向用户A-6瞥了一眼)的情况。在这种情况下，如图30的A所示，服务器装置200可以突出由用户A-6使用的窗口显示器133A，从而向用户A-6通知用户B向用户A-6瞥了一眼。在此时，如图30的B所示，由用户B没有向其瞥一眼的用户A-1至A-5使用的窗口显示器133A未被突出。

此外，在用户A在这种状态下说了某些话的情况下，服务器装置200可以通过使用麦克风125仅向用户A-6通知该语句(在图29和图30的示例中，用户B说“好”)。在此时，如图30的B所示，没有向用户B没有向其瞥一眼的用户A-1至A-5通知该语句。

此处，在指导者对多个学生提供特定指导的情况下，通常认为单独地向一部分学生给予警告、建议等是重要的。例如，接收到警告和建议的一部分学生可能会更容易接受警告和建议，因为他们不会因被其他学生听到而感到羞耻。因此，如上所述，服务器装置200可以通过仅向多个用户A之一执行各种输出来实现更顺畅的指导。当然，在指导者向学生通知肯定消息等的情况下，服务器装置200可以将此通知给所有用户A。

此外，在存在多个用户A(第一用户)的情况下，可以新提供其中用户A可以观看用户B(第二用户)与另一用户A之间的通信的状态的操作模式。在下文中，将其中某个用户A可以观看用户B与另一用户A之间的通信状态的操作模式称为“窥视模式”。根据窥视模式，如图31所示，用户A-1可以从另一视点观看处于面对状态的用户B与用户A-2之间的通信等。因此，用户A-1可以获得不仅通过他/她与用户B之间的通信而且还通过用户A-2与用户B之间的通信交换的信息，使得学习等变得更有效。

如在上述实施方式中那样，用于从另一操作模式切换到窥视模式的触发不受特别限制。更具体地，假设用于切换到窥视模式的触发是由用户A(第一用户)或用户B(第二用户)中的至少任何一者引起的触发。例如，用于切换到窥视模式的触发包括用户A或用户B进行的预定行为(例如，用户A-1实际移动到可以观看用户B和用户A-2在虚拟空间中彼此实际进行通信的状态的位置等)、预定的语句(例如，用户A-1的语句“我要去那里”等)、预定的操作输入等(例如，对桌显示器131A的触摸、用户A-1对按钮的按压等)。例如，当在显示器上显示由服务器装置200生成的虚拟空间时，用户A可以通过选择虚拟空间中的任意位置和方向来选择用于窥视的位置和方向。注意，用于切换到窥视模式的触发的内容不限于此。

注意，在本公开内容的变型中，客户端装置110和服务器装置200的各个功能配置的功能的内容也没有特别改变。例如，同样在本公开内容的变型中，服务器装置200的输入信息分析单元211分析输入信息(例如，捕获图像等)，并且显示控制单元215、语音输出控制单元217和触觉呈现控制单元219控制向每个用户的输出(例如，显示控制单元215允许显示器显示并排的多个用户A(第一用户)的身体信息(第一身体信息)的一部分等)。

<6.硬件配置示例>

以上描述了本公开内容的变型。随后，参照图32描述服务器装置200或客户端装置110的硬件配置示例。

图32是示出实现服务器装置200或客户端装置110的信息处理装置900的硬件配置示例的框图。信息处理装置900设置有中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903、主机总线904、桥接器905、外部总线906、接口907、输入设备908、输出设备909、存储装置(HDD)910、驱动器911和通信装置912。

CPU 901用作算术处理装置和控制装置，并且根据各种程序来控制信息处理装置900中的整体操作。此外，CPU 901也可以是微处理器。ROM 902存储由CPU 901使用的程序、运算参数等。RAM 903临时地存储在CPU 901的执行中使用的程序、在CPU 901的执行中适当改变的参数等。CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904彼此连接。服务器装置200的控制单元210或客户端装置110的控制单元111的每个功能是通过CPU901、ROM 902和RAM 903的协作来实现的。

主机总线904经由桥接器905连接至诸如外围部件互连/接口(PCI)总线的外部总线906。注意，主机总线904、桥接器905和外部总线906不必然必须分开配置，并且这些功能可以安装在一条总线上。

输入设备908包括：用于用户输入信息的诸如鼠标、键盘、触摸板、按钮、麦克风、开关和操纵杆的输入装置；基于由用户进行的输入生成输入信号并将所生成的输入信号输出至CPU 901的输入控制电路，等等。通过操作输入设备908，使用信息处理装置900的用户可以将各种数据输入至每个装置，并且提供处理操作的指令。尽管以上以输入装置组120设置在客户端装置110外部的情况作为示例进行了描述，然而在输入装置组120的一部分设置在客户端装置110中的情况下，输入装置组120可以由输入设备908来实现。

输出设备909例如包括显示装置，例如阴极射线管(CRT)显示装置、液晶显示器(LCD)装置、有机发光二极管(OLED)装置以及灯。此外，输出设备909包括语音输出装置，例如，扬声器和耳机。此外，输出设备909包括任意可穿戴装置(例如，眼睛式、手表式、手套式、服装式可穿戴装置等)。尽管以上以输出装置组130设置在客户端装置110外部的情况作为示例进行了描述，然而在输出装置组130的一部分设置在客户端装置110中的情况下，输出装置组130可以由输出设备909来实现。

存储装置910是用于存储数据的装置。存储装置910可以包括存储介质、将数据记录在存储介质中的记录装置、从存储介质中读取数据的读取装置、删除记录在存储介质中的数据的删除装置等。存储装置910包括例如硬盘驱动器(HDD)。存储装置910驱动硬盘，并且存储各种数据和由CPU 901执行的程序。存储装置910实现服务器装置200的存储单元230或客户端装置110的存储单元115的功能。

驱动器911是用于存储介质的读取器/写入器，并且被内置在信息处理装置900中或者从外部安装在信息处理装置900上。驱动器911读出记录在安装在其上的可移除存储介质913(例如，磁盘、光盘、磁光盘或半导体存储器)中的信息以输出至RAM 903。此外，驱动器911还可以将信息写入可移除存储介质913中。

通信装置912例如是由用于连接至通信网络914的通信装置等配置的通信接口。通信装置912实现服务器装置200的通信单元220或客户端装置110的通信单元113的功能。

<7.总结>

如上所述，根据本公开内容的信息处理装置(服务器装置200)获得存在于第一空间100A中的第一用户(例如，指导者)的第一身体信息或存在于第二空间100B中的第二用户(例如，学生)的第二身体信息，并且基于第一身体信息或第二身体信息来生成虚拟空间。更具体地，信息处理装置生成再现第一用户或第二用户的位置关系的虚拟空间。注意，如上所述，信息处理装置还可以通过使用关于存在于第一空间100A中的对象的第一环境信息或关于存在于第二空间100B中的对象的第二环境信息，来在虚拟空间中再现每个空间中存在的对象。

然后，在发生由第一用户或第二用户中的至少任何一者引起的触发的情况下，信息处理装置切换操作模式，并且使操作模式的切换与第一空间100A或第二空间100B中设置的至少一个装置(例如，桌显示器131、窗口显示器133、扬声器135、触觉呈现装置137等)互锁。例如，信息处理装置在第一空间100A或第二空间100B中设置的显示器等中反映通过编辑由摄像装置123获得的捕获图像而获得的信息或虚拟空间的部分信息。

因此，信息处理装置可以允许存在于不同空间中的第一用户或第二用户感觉到好像各个用户在同一空间中工作。

尽管以上参照附图详细地描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于这样的示例。清楚的是，本公开内容的技术领域的普通技术人员可以在权利要求书中记载的技术构思的范围内设想各种修改和修正，并且应当理解，它们也自然地属于本公开内容的技术范围。

例如，尽管以上(图16和图17)以根据本公开内容的信息处理系统用于关于手术和手工艺品的指导的情况作为示例进行描述，但是根据本公开内容的信息处理系统的应用不限于此。

例如，根据本公开内容的信息处理系统可以用于由多个用户执行的各种通信，例如，如图33所示的关于烹饪的指导、如图34所示的关于书法的指导、如图35所示的关于乐器演奏的指导或如图36所示的通过使用文档进行的采访和会议。可以说，根据本公开内容的信息处理系统由于其多个用户可以在改变他们的位置关系和姿势的情况下彼此通信的特性而对需要精细工作的应用特别有用。

此外，本说明书中所描述的效果仅仅是说明性的或示例性的，而并非限制性的。即，与上述效果一起或代替上述效果，根据本公开内容的技术可以展现根据本说明书的描述对于本领域技术人员而言明显的其他效果。

注意，以下配置也属于本公开内容的技术范围。

(1)

一种信息处理装置，其设置有：

获得单元，其获得存在于第一空间中的第一用户的第一身体信息以及存在于第二空间中的第二用户的第二身体信息；

虚拟空间生成单元，其基于所述第一身体信息或所述第二身体信息来生成虚拟空间；

操作模式控制单元，其在发生由所述第一用户或所述第二用户中的至少任何一者引起的触发的情况下，切换操作模式；以及

控制单元，其使所述操作模式的切换与存在于所述第一空间中的至少一个装置或存在于所述第二空间中的至少一个装置互锁。

(2)

根据上述(1)所述的信息处理装置，

其中，所述获得单元还获得包括与存在于所述第一空间中的对象有关的信息的第一环境信息或包括与存在于所述第二空间中的对象有关的信息的第二环境信息，并且

所述虚拟空间生成单元还基于所述第一环境信息或所述第二环境信息来生成所述虚拟空间。

(3)

根据上述(2)所述的信息处理装置，

其中，所述操作模式控制单元基于所述虚拟空间中的所述第一用户与所述第二用户之间的位置关系的改变来切换所述操作模式。

(4)

根据上述(3)所述的信息处理装置，

其中，所述位置关系包括以下关系中的至少任何一者：其中所述第一用户和所述第二用户彼此面对面地定位的关系；其中所述第一用户和所述第二用户在基本上面向相同方向的状态下并排地定位的关系；以及其中所述第一用户和所述第二用户在基本上面向相同方向的状态下被定位成使得一者覆盖另一者的关系。

(5)

根据上述(1)至(4)中任一项所述的信息处理装置，

其中，所述装置包括至少一个显示器。

(6)

根据上述(5)所述的信息处理装置，

其中，所述装置包括第一显示器和第二显示器，所述第一显示器的显示表面被定位成基本上垂直于地表面，并且所述第二显示器的显示表面被定位成基本上平行于地表面。

(7)

根据上述(6)所述的信息处理装置，

其中，所述第二显示器也用作所述第一用户或所述第二用户的工作桌。

(8)

根据上述(7)所述的信息处理装置，

其中，所述控制单元允许存在于所述第一空间中的所述第一显示器或所述第二显示器显示所述第二身体信息的至少一部分。

(9)

根据上述(8)所述的信息处理装置，还设置有：

分析单元，其分析捕获图像，以从所述捕获图像中提取所述第二身体信息的至少一部分，在所述捕获图像中，捕获了所述第二身体信息的至少一部分以及存在于所述第二空间中的所述第二显示器的显示图像。

(10)

根据上述(9)所述的信息处理装置，

其中，在存在多个第二空间和多个第二用户的情况下，

所述控制单元允许所述第一显示器或所述第二显示器显示所述多个第二用户中的每一者的所述第二身体信息的至少一部分。

(11)

根据上述(10)所述的信息处理装置，

其中，所述分析单元分析所述多个第二用户中的每一者的所述第二身体信息，以评估所述第二用户中的每一者的工作。

(12)

根据上述(1)至(11)中任一项所述的信息处理装置，

其中，所述控制单元基于由所述第一用户进行的输入来控制存在于所述第二空间中的至少一个装置。

(13)

根据上述(12)所述的信息处理装置，

其中，在存在多个第二空间和多个第二用户的情况下，

所述控制单元基于由所述第一用户进行的输入来指定所述多个第二空间中的至少任何一者，并且控制在所指定的所述第二空间中存在的至少一个装置。

(14)

根据上述(1)至(13)中任一项所述的信息处理装置，

其中，所述装置包括扬声器或触觉呈现装置。

(15)

一种由计算机执行的信息处理方法，所述方法包括：

获得存在于第一空间中的第一用户的第一身体信息以及存在于第二空间中的第二用户的第二身体信息；

基于所述第一身体信息或所述第二身体信息来生成虚拟空间；

在发生由所述第一用户或所述第二用户中的至少任何一者引起的触发的情况下，切换操作模式；以及

使所述操作模式的切换与存在于所述第一空间中的至少一个装置或存在于所述第二空间中的至少一个装置互锁。

(16)

一种使得计算机能够实现以下操作的程序：

获得存在于第一空间中的第一用户的第一身体信息以及存在于第二空间中的第二用户的第二身体信息；

基于所述第一身体信息或所述第二身体信息来生成虚拟空间；

在发生由所述第一用户或所述第二用户中的至少任何一者引起的触发的情况下，切换操作模式；以及

使所述操作模式的切换与存在于所述第一空间中的至少一个装置或存在于所述第二空间中的至少一个装置互锁。

附图标记列表

100A 第一空间

100B 第二空间

110 客户端装置

111 控制单元

113 通信单元

115 存储单元

120 输入装置组

121 传感器单元

123 摄像装置

125 麦克风

130 输出装置组

131 桌显示器

133 窗口显示器

135 扬声器

137 触觉呈现装置

200 服务器装置

210 控制单元

211 输入信息分析单元

213 虚拟空间生成单元

215 显示控制单元

215a 桌显示器显示控制单元

215b 窗口显示器显示控制单元

217 语音输出控制单元

219 触觉呈现控制单元

220 通信单元

230 存储单元

300 网络