远程作业支持系统以及远程作业支持程序存储介质

摘要

提供远程作业支持系统，其具有多个便携终端，经由网络在多个便携终端间发送或接收图像，在所述图像上显示指针而支持远程作业。多个便携终端各自具有：呼叫连接部，其与其他便携终端之间进行呼叫连接；触摸面板部，其具有显示画面，通过感知该显示画面的接触位置来确定操作位置，所述显示画面在呼叫连接后显示与其他便携终端之间共享的图像；指针显示控制部，其使触摸面板部的显示画面显示指针，在显示画面上进行指针的显示控制；画面控制部，其根据显示画面所显示的图像的特征点的位置信息与指针的位置信息之间的相对位置关系，形成将所述图像的特征点作为原点的相对坐标系，进行坐标调整，该坐标调整是根据与共享图像的其他便携终端之间的显示画面尺寸差异而进行的。

说明书

技术领域

本申请主张2013年3月29日申请的日本申请、特愿2013-071671号的优先权， 并且将其整体通过参照引入本说明书中。

本发明涉及远程作业支持系统和存储有远程作业支持程序的永久性存储介质，例 如，可应用于在指示者与被指示者之间共享作业信息的同时支持远程作业的远程作业 支持系统以及存储有程序的永久性存储介质。

背景技术

例如，一般情况下，在制造厂商中，设计者等作业指示者(以下，称为指示者) 针对生产现场等的作业者，直接指导作业内容。但是，有时制造厂商的生产据点与设 计者的据点设置在分开的位置，存在指示者无法对作业者指导直接作业指示的情况。

针对于此，以往，作为指示者针对在远距离的现场进行作业的作业者进行作业的 指示及指导支持的系统，存在远程作业支持系统。

日本特开2008-107871号公报中记载的技术是如下这样的技术：经由网络连接了 指示者的终端与作业者的终端，将指示者拍摄到的影像放映到作业者的终端，两终端 共享影像。由此，指示者和作业者能够一边观察相同的影像，一边由指示者通过电话 利用语音对作业者进行作业指示。

此外，在上述文献所记载的技术中，对放映到指示者自身的终端的影像画面上赋 予箭头，一边利用该箭头进行位置确认一边进行作业指示。

发明内容

发明要解决的课题

然而，在上述文献所记载的技术中，尽管在指示者和作业者的显示器上放映相同 的影像，但是，关于详细的指示，利用语音进行指示，从而指示者无法直观地利用简 单的操作来进行作业指示。

此外，尽管能够在放映到显示器的影像上简单地显示箭头等，但是，当作业者进 行观察时，箭头在画面上连续移动地放映出来，作业者也无法判断作为作业重点的部 位，无法准确地目视判断作业指示。

此外，在上述文献所记载的技术中，在指示者侧的影像上重叠显示箭头等。但是， 例如，在像指示者侧利用指针指示作业者侧的影像等那样，影像的拍摄源与指针的指 示源不同的情况下，由于两终端的画面尺寸不同，影像的大小不同，因此，需要对放 映的影像的坐标轴与指针的坐标轴进行调整。在没有采取影像与指针的位置信息的坐 标调整的情况下，会产生位置信息的偏差，因此，例如在进行螺丝紧固等细致的作业 指示时，有时指示者无法准确地利用指针指示螺丝(指示对象)的位置。

因此，要求如下这样的远程作业支持系统以及远程作业支持程序存储介质：既能 够进行语音通信，又能够在多个便携终端之间，共享准确地进行了坐标调整的影像以 及指针信息，作业指示者能够进行直观的指示，作业者能够通过目视准确地识别作业 指示。

用于解决课题的手段

本发明的第一方式是一种远程作业支持系统，所述远程作业支持系统具有多个便 携终端，经由网络在多个便携终端之间发送或者接收图像，且在所述图像上显示指针 而支持远程作业，多个便携终端各自具有：(1)呼叫连接部，其与其他便携终端之间 进行呼叫连接；(2)触摸面板部，其具有显示画面，通过感知该显示画面的接触位置 来确定操作位置，所述显示画面在呼叫连接后显示与其他便携终端之间共享的图像； (3)指针显示控制部，其使触摸面板部的显示画面显示指针，且在显示画面上进行 指针的显示控制；以及(4)画面控制部，其根据显示画面所显示的图像的特征点的 位置信息与指针的位置信息之间的相对位置关系，形成将所述图像的特征点作为原点 的相对坐标系，进行坐标调整，该坐标调整是根据与共享图像的其他便携终端之间的 显示画面尺寸的差异而进行的。

本发明的第二方式是一种永久性存储介质，所述永久性存储介质存储了使计算机 执行远程作业支持处理的程序，所述处理包括：(1)经由网络与其他便携终端之间进 行呼叫连接，(2)感知显示画面的接触位置来确定操作位置，由此作为触摸面板发挥 功能，所述显示画面在呼叫连接后，显示与其他便携终端之间共享的图像，(3)使所 述显示画面显示指针，在显示画面上进行指针的显示控制，(4)根据所述显示画面所 显示的图像的特征点的位置信息与指针的位置信息之间的相对位置关系，形成将上述 图像的特征点作为原点的相对坐标系，进行坐标调整，该坐标调整是根据与共享图像 的另一便携终端之间的显示画面尺寸的差异而进行的。

发明效果

根据本方式，能够在多个便携终端之间共享影像和指针信息，作业指示者能够进 行直观的指示，作业者能够通过目视准确地识别作业指示。

附图说明

图1是示出实施方式的远程作业支持系统的整体结构的整体结构图。

图2是示出实施方式的便携终端的内部结构的内部结构图。

图3是说明实施方式的便携终端的控制部的主要功能的功能框图。

图4是说明实施方式的指针的显示种类的设定及变更的说明图。

图5是示出实施方式的远程作业支持处理的开始菜单画面的一例的画面图。

图6是示出实施方式的作为呼叫源的便携终端的呼叫画面的一例的画面图。

图7是示出实施方式的便携终端之间的呼叫控制处理的时序图。

图8是说明实施方式的会话建立后的便携终端之间的语音通信及影像通信的情 形的说明图。

图9是示出实施方式的便携终端中的画面及指针的坐标调整处理的流程图。

图10是说明在实施方式的便携终端的显示画面上显示的指针的初始位置的说明 图。

图11是示出实施方式的指针信息的通信处理的时序图。

图12是说明实施方式的固定指针的说明图。

图13是说明实施方式的指针的移动的说明图。

具体实施方式

(A)主要实施方式

以下，一边参照附图，一边对本方式的远程作业支持系统和存储有远程作业支持 程序的永久性存储介质的主要实施方式进行详细说明。

(A-1)实施方式的结构

(A-1-1)整体结构

图1是示出实施方式的远程作业支持系统的整体结构的整体结构图。在图1中， 本实施方式的远程作业支持系统10具有能够与网络3连接的、多个(在图1中，示 出了2台的情况)便携终端1-1和1-2、以及呼叫控制装置2。

呼叫控制装置2是进行便携终端1-1与便携终端1-2之间的会话控制的装置。呼 叫控制装置2的通信协议没有特别限定，例如可以采用由SIP(Session Initiation  Protocol：会话发起协议)或ITU-T建议的H.323等规定的协议。在本实施方式中， 举例示出了呼叫控制装置2是SIP服务器的情况。

便携终端1-1和1-2是由作业者、指示者所持有的便携终端，只要是具有触摸面 板方式的操作显示部的便携终端即可，可以采用各种便携终端。便携终端1-1和1-2 例如可以采用智能手机、平板电脑、便携电话、游戏终端、笔记本型个人计算机、数 码照相机等。在本实施方式中，便携终端1-1是指示者的便携终端，便携终端1-2是 作业者的便携终端。

另外，在本实施方式中，为了便于说明，举例示出具有2台便携终端1-1和1-2 的功能的情况。但是，便携终端的个数也可以为3台以上。例如，在指示者同时向多 个作业者提供作业指示的情况下，也可以为具有1台指示者的便携终端与2台以上的 作业者的便携终端等。

便携终端1-1和1-2具有语音通信功能、通信功能、拍摄功能、影像显示功能、 指向功能等，该指向功能对在影像画面上指示位置信息的作为图形或图像的鼠标指针 (以下，简称为指针)进行显示、移动、变更等。

便携终端1-1和1-2通过呼叫控制装置2的控制，建立终端彼此之间的会话，在 会话建立后，进行语音数据包(packet)、影像数据包、指针信息数据包等的收发。

这里，关于语音通信，便携终端1-1和1-2可以进行双向通信。

此外，关于影像通信，在便携终端1-1和1-2中，将任意一个便携终端所拍摄的 影像显示在该一个便携终端上，并且将包含拍摄影像的影像数据包发送给另一个便携 终端。即，影像通信是单向通信，将一个便携终端拍摄到的影像发送给另一个便携终 端。

影像通信例如可以通过向便携终端1-1和1-2分配影像发送权限来实现。当向现 场的作业者侧的便携终端1-2分配了影像发送权限的情况下，具有影像发送权限的便 携终端1-2进行拍摄，将包含其拍摄影像的数据包发送给另一个便携终端1-1。由此， 能够将拍摄到作业者现场处理的对象物的影像放映在所有的便携终端1-1和1-2。另 外，上述影像发送权限可以变更，可以从作业者侧的便携终端1-2变更到指示者侧的 便携终端1-1。

此外，关于影像上的指针信息的通信，基本上是从一个便携终端向另一个便携终 端的单向通信。例如，在便携终端1-1和1-2共享具有影像发送权限的作业者侧的便 携终端1-2的拍摄影像的同时，指示者侧的便携终端1-1向便携终端1-2发送包含影 像上显示的指针信息的数据包。由此，可设为影像是作业者侧的影像且指针是指示者 侧所指示的指针，因此指示者可以远程指示位于现场的作业者。

另外，指针信息的通信也可以根据需要而在便携终端1-1和1-2之间进行双向通 信。在接受指示者的指示的期间，作业者利用指针进行确认或者利用指针指示来提问 的情况下，指针信息的通信是有效的。

(A-1-2)便携终端的内部结构

图2是表示实施方式的便携终端1-1和1-2的内部结构的内部结构图。由于便携 终端1-1和1-2都具有同样的内部结构，因此，在图2中，将便携终端1-1和1-2表 示为便携终端1进行说明。

在图2中，实施方式的便携终端1具有控制部101、存储部102、通信部103、 拍摄控制部104、触摸面板控制部105、显示控制部106、扬声器/话筒控制部107、 摄像头108、触摸面板109、显示部110以及扬声器/话筒111。

另外，在本实施方式中，举例示出了将扬声器/话筒111搭载于便携终端1的情 况。但是，扬声器/话筒111也可以外置于便携终端1。

控制部101负责由便携终端1实现的功能。控制部101例如具有CPU、RAM、 ROM、EEPROM、输入输出接口部等，CPU通过读取ROM中保存的处理程序并执 行处理程序，从而实现便携终端1的功能。另外，也可以是，可经由网络下载处理程 序，且可由CPU读取安装后的该处理程序。因此，处理程序可以存储在后述的存储 部102或各种永久性的计算机可读存储介质中，从这些存储介质中读取且执行处理程 序。

存储部102例如存储处理程序、处理所需要的信息等。此外，存储部102存储后 述的显示部110上显示的与作业支持相关的伴随指针显示(也包含指针的轨迹和各种 指针的种类等)的影像画面。作业支持的影像画面可以为动态图像或者也可以为静止 图像。存储部102存储有主要由指示者在影像画面上指示的指针显示的时间序列的影 像。即，能够存储(录像)指示者使用便携终端1来进行作业指示的影像。另外，存 储部102也可以在存储与作业支持相关的影像的同时，存储(录音)指示者与作业者 之间交流的语音。

通信部103与网络3之间进行信息的收发。通信部103的通信协议没有特别限定， 可以广泛地采用通信协议，例如可以采用IP(互联网协议)。

摄像头108是通过拍摄控制部104的控制进行拍摄处理的拍摄部。

拍摄控制部104接受控制部101的控制，对作为拍摄部的摄像头108的动作进行 控制。拍摄控制部104进行静止图像或者动态图像的拍摄控制。

触摸面板109利用传感器感知显示画面上的操作点的位置信息，并将该感知信号 提供给触摸面板控制部105。触摸面板109与后述的显示部110一体地设置，感知显 示部110所显示的显示画面上被触摸的位置信息。

触摸面板控制部105接受控制部101的控制，对触摸面板109的处理进行控制， 根据来自触摸面板109的感知信号，检测操作点的位置信息。另外，触摸面板109 和触摸面板控制部105可以广泛地采用各种方式，例如，可以采用表面型静电电容方 式、投射型静电电容方式、电磁感应方式、红外线方式、表面声波方式等。

显示部110根据显示控制部106的控制，显示菜单画面以及与作业支持相关的影 像、指针等。

显示控制部106接受控制部101的控制，对显示部110的显示功能进行控制。

扬声器/话筒111是接受扬声器/话筒控制部107的控制，输出利用语音通信接收 到的语音的扬声器和捕捉语音的话筒。

扬声器/话筒控制部107接受控制部101的控制，对扬声器/话筒111的动作进行 控制。

(A-1-3)便携终端的控制部的功能说明

图3是说明本实施方式的便携终端1的控制部101的主要功能的功能框图。

在图3中，控制部101的主要功能具有呼叫控制部21、画面控制部22、指针显 示控制部23、指针信息通知部24以及记录部25。

呼叫控制部21进行与其他便携终端1之间的呼叫控制。呼叫控制部21具有用于 设定影像发送权限的影像发送权限设定部211。

影像发送权限设定部211通过在显示部110上显示的规定的设定画面，对任意的 便携终端1设定影像发送权限。影像发送权限设定部211例如能够在以其他便携终端 1为目标进行呼叫时使显示部110显示设定画面而设定影像发送权限。此外，也可以 是，即使在通话中也能够通过规定操作使显示部110显示设定画面而设定或者变更影 像发送权限。

画面控制部22对与其他便携终端1之间共享的影像进行画面控制。如图3所示， 画面控制部22具有图像处理部221、图像信息发送部222、图像信息接收部223、坐 标调整部224以及图像固定部225。

图像处理部221为了进行画面的坐标调整，根据摄像头108的拍摄影像进行图像 处理，提取图像中的特征点。提取图像的特征点的方法可以广泛地采用各种方法，例 如可以采用在图像的空间域或频域上进行的滤波技术。例如，可以采用如下方法：图 像处理部221使用空间滤波器，根据图像中的、某关注点(例如，像素或规定的块单 位)的浓度值(亮度值)与关注点的附近点(例如，像素或规定的块单位)的浓度值 (亮度值)之间的差分，提取出包含浓度值、颜色和图样等特征的区域。

图像信息发送部222向其他便携终端1发送具有影像发送权限的自身的摄像头 108拍摄到的图像。这里，图像信息发送部222为了进行画面的坐标调整，向其他便 携终端1通知摄像头108的显示部110的画面尺寸、显示部110的像素数、图像的特 征点的位置信息。

图像信息接收部223接收从具有影像发送权限的便携终端1发送来的图像，并将 该接收到的图像提供给显示控制部106。此外，图像信息接收部223为了进行画面的 坐标调整，从具有影像发送权限的便携终端1取得摄像头108的图像的画面尺寸、显 示部110的像素数以及图像的特征点的位置信息。

坐标调整部224进行具有影像发送权限的便携终端1与自身之间的图像的坐标调 整。坐标调整部224的坐标调整方法可以广泛地采用各种方法。

例如，坐标调整部224求出从具有影像发送权限的便携终端1取得的图像的特征 点(原点)的坐标与指针的初始位置(画面中央部坐标)之间的相对值(相对坐标)， 根据该相对值求出将图像的特征点作为原点的相对坐标系。

此外，坐标调整部224根据具有影像发送权限的便携终端1的画面尺寸与自身的 画面尺寸之间的差分，进行坐标系的坐标转换。即，根据画面尺寸的差分，进行画面 上的X坐标轴(水平方向)与Y坐标轴(垂直方向)的伸缩。此外，坐标调整部224 根据具有影像发送权限的便携终端1的显示部110的显示部110的像素数与自身的显 示部110的像素数，进行像素数的间距校正处理。通过上述方式，求出将图像的特征 点作为原点的相对坐标系。

图像固定部225用于固定来自具有影像发送权限的便携终端1的图像。在来自具 有影像发送权限的便携终端1的影像为动态图像的情况下，有时在图像中产生模糊而 导致指示者无法利用指针正确地进行指示。因此，图像固定部225使影像固定，由此 指示者能够在固定后的图像上利用指针准确地进行指示。

指针显示控制部23对在显示部110的显示画面上显示的指针信息进行显示控制。 如图3所示，指针显示控制部23具有初始位置设定部231、指针操作控制部232以 及指针信息取得部233。

在指示者侧的便携终端1开始进行指针显示时，初始位置设定部231在显示部 110的显示画面的画面中央部坐标处显示指针。通过初始位置设定部231在画面中央 坐标值处显示指针，能够根据该画面中央部坐标与图像的特征点(原点)的坐标之间 的相对值(相对坐标)，求出将图像的特征点作为原点的相对坐标系。

指针操作控制部232对显示部110的显示画面所显示的指针进行显示控制。指针 操作控制部232接受指示者等的操作，能够在显示部110的显示画面上显示1个或者 多个指针，且控制各个指针的显示种类和功能。

关于指针的功能性的类型，例如存在如下这样的指针：固定地表示显示画面上的 特定位置的固定指针；能够在显示画面上移动的移动指针。选择固定指针或者移动指 针的方法有各种方法，可以设定1个指针中心方法，或者也可以并列设定多个指针选 择方法。

例如，存在如下方法：在显示部110的显示画面上显示包含预先设定的固定指针 和移动指针的指针种类列表，使指示者等从该指针种类列表中进行选择。也可以是， 在显示部110的显示画面上，将指针种类列表显示为带图标的选择按钮(例如，工具 条等)。

此外，例如存在如下方法：根据指示者等在触摸面板109上的操作方法(操作模 式)的差异，选择固定指针与移动指针。具体而言，也可以是，当在触摸面板109 上的任意的位置上触摸了1次的情况下，指针操作控制部232使移动指针显示出来， 当在触摸面板109上的任意的位置上连续地触摸了2次的情况下，指针操作控制部 232使固定指针显示出来。

此外，例如也可以是，在使显示画面显示1个或者多个固定指针时，指针操作控 制部232使显示画面显示被赋予了数字、字符(例如，字母等)的固定指针。

图12是说明实施方式的固定指针的说明图。在图12中，举例示出了显示被赋予 了数字的固定指针51、52、53的情况。

如图12所示，按照显示画面所显示的固定指针的显示顺序，指针操作控制部232 使显示画面显示被赋予了“1”、“2”、“3”、…等数字的固定指针。由此，例如指示者 以“请将“1”的部件移动至“2”的位置。”等方式，使用固定指针的数字等，能够实现指 示者与作业者之间的沟通，从而能够进行更明确的指示。

指针的显示方式的类型包括各种指针的形状、图样和颜色等。无论在固定指针与 移动指针中的哪个指针的情况下，都可以对指针的形状、图样和颜色等进行设定及变更。

图4是说明实施方式的指针的显示种类的设定及变更的说明图。图4的(1)表 示便携终端1的显示部110上的指针选择按钮5。这里，为了便于说明，举例示出指 针选择按钮5为移动指针的情况。像图4的(1)所例示那样，指针选择按钮5设置 在显示部110的右上端部附近，每当指示者等按下指针选择按钮5时，指针操作控制 部232变更指针的显示种类。图4的(2)示出指针的显示种类的一例。像图4的(2) 所例示那样，设指针的显示种类从“指针禁用”到“双圆圈”为1个周期，每当按下指针 选择按钮5时，按照“指针禁用”→“向上(箭头)”→“向下(箭头)”→“向右(箭头)”→“向 左(箭头)”→“交叉”→“双圆圈”→“指针禁用”→…的顺序进行切换，能够变更指针的 显示方式。

此外，当在触摸面板109上同时触摸了多个位置的情况下，指针操作控制部232 在显示画面上描绘线。

例如，可以是，当在触摸面板109上同时触摸了2个点的情况下，指针操作控制 部232在显示画面上描绘出将2个点的位置连起来的线。此时，由于指针操作控制部 232具有将图像的特征点作为原点的坐标系，因此，能够取得2个点相对于原点的相 对位置信息。因此，指针操作控制部232可以使用2个点的相对位置信息来求出2 个点之间的线段的长度。

此外，例如在触摸面板109上同时触摸了3个点的情况下，指针操作控制部232 可以在显示画面上描绘出将相邻的3个点的位置连起来的框。

指针信息取得部233从触摸面板控制部105取得触摸面板109上的指针的位置信 息，从指针操作控制部232取得识别指针类型的指针识别信息。

指针信息通知部24将由指针信息取得部233取得的指针信息(指针的位置信息、 指针识别信息)以及自身的显示部110的画面尺寸信息通知给其他便携终端1。

记录部25将与作业支持相关的伴随指针显示(也包含指针的轨迹和各种指针的 种类等)的影像画面记录在存储部102中。此外，记录部25也可以在存储部102中 记录与作业支持相关的影像的同时，记录指示者与作业者之间交流的语音。

(A-2)实施方式的动作

接着，一边参照附图，一边对本实施方式的远程作业支持系统10中的远程作业 支持处理进行详细说明。

(A-2-1)通信处理

以下，指示者侧的便携终端1-1和作业者侧的便携终端1-2中的任意一个便携终 端起动远程作业支持的应用程序，开始进行远程作业支持处理。

关于远程作业支持处理的开始，可以从便携终端1-1和便携终端1-2中的任意一 个便携终端开始进行远程作业支持处理。这里，设为指示者侧的便携终端1-1开始进 行远程作业支持处理。

图5是示出实施方式的远程作业支持处理的开始菜单画面的一例的画面图。例 如，像图5所例示那样，开始菜单画面具有开始按钮500、用于指定指示者的权限的 指示者指定栏501以及用于指定影像发送权限的影像发送源指定栏502。

在该例子的情况下，指示者在指示者指定栏501中输入自身的便携终端1-1的识 别信息(例如，电话号码、IP地址、便携终端ID等)，并且在影像发送源指定栏502 中输入便携终端1-2的识别信息后，选择开始按钮500。

另外，关于影像发送权限、指示者的设定及变更，可以在远程作业支持处理的最 初进行，也可以在会话建立后的通信中进行。特别是，正在通信中的情况下，也可以 读取显示画面的菜单栏等，进行影像发送权限、指示者的设定及变更。

此外，在图5的例子中，举例示出了指定指示者指定栏501和影像发送源指定栏 502这双方的情况，但是，也可以仅仅指定指示者指定栏501和影像发送源指定栏502 中的任意一个。

接着，便携终端1-1接受指示者的操作，将便携终端1-2的电话号码作为呼叫目 的地而进行呼叫，建立便携终端1-1与便携终端1-2之间的会话。

图6是示出作为实施方式的呼叫源的便携终端1-1的呼叫画面的一例的画面图。 例如，像图6所例示那样，呼叫画面具有用于输入呼叫目的地的电话号码(IP电话 号码)的输入栏503。在该例子的情况下，指示者在输入栏503中输入便携终端1-2 (呼叫目的地)的电话号码，并按下Call(呼叫)按钮504。由此，便携终端1-1针 对作为呼叫目的地的便携终端1-2进行呼叫。

图7是示出实施方式的便携终端1-1和1-2间的呼叫控制处理的时序图。这里， 举例示出了使用SIP来建立会话的情况。

在图7中，首先，便携终端1-1向呼叫控制装置2发送发起呼叫请求数据包(以 下，称为INVITE(邀请))(S101)，该发起呼叫请求数据包包含以作为呼叫目的地 的便携终端1-2为目标的INVITE消息。

呼叫控制装置2针对INVITE，向便携终端1-1返回包含100(Try(尝试))响 应的数据包(以下，也称为100(Try)响应)(S104)。此外，呼叫控制装置2向作 为呼叫目的地的便携终端1-2转发INVITE(S103)。

便携终端1-2针对INVITE，向呼叫控制装置2返回100(Try)响应(S104)。 此时，被叫侧的便携终端1-2开放(OPEN)TCP端口(S105)。便携终端1-2向呼叫 控制装置2返回包含表示正处于呼叫中的180(Ring(振铃))响应的数据包(以下， 称为180(Ring)响应)(S106)。呼叫控制装置2向便携终端1-1转发接收到的180 (Ring)响应(S107)。

如果便携终端1-2进行了响应，则便携终端1-2向呼叫控制装置2发送包含200 (OK(确认))响应的数据包(以下，也称为200(OK)响应)(S108)。此外，呼 叫控制装置1-1向便携终端1-1转发200(OK)响应(S109)。

便携终端1-1连接TCP端口来建立会话(S110)，向便携终端1-2返回ACK(S111)。

如上所述，建立便携终端1-1与便携终端1-2的会话，在便携终端1-1与便携终 端1-2之间开始进行语音通信和影像通信(S112)。

图8是说明实施方式的会话建立后的便携终端1-1与便携终端1-2之间的语音通 信和影像通信的情形的说明图。另外，在图8中，505是指针选择按钮，506是结束 通话按钮。

如图8所示，关于语音通信，在便携终端1-1与便携终端1-2之间双向进行语音 通信。

另一方面，关于影像通信，从具有影像发送权限的便携终端1-2向便携终端1-1 单向进行影像通信。作业者使用便携终端1-2通过摄像头108拍摄作业对象物。便携 终端1-2在显示部110上显示拍摄到的影像，并且向便携终端1-1发送包含拍摄影像 的影像数据包。

具体而言，在SIP的情况下，便携终端1-1利用描述媒体信息的SDP(Session  Description Protocol：会话描述协议)中表示仅接收影像的“recvonly(仅接收)”来进 行通知，由此便携终端1-1能够仅仅进行影像接收。另一方面，具有影像发送权限的 便携终端1-2利用SDP中表示仅发送影像的“sendonly(仅发送)”来进行通知，由此 便携终端1-2能够仅仅进行影像发送。

(A-2-2)坐标调整处理

图9是示出实施方式的便携终端1中的画面和指针的坐标调整处理的流程图。

首先，当在便携终端1-1与便携终端1-2之间建立会话且开始进行语音通信/影像 通信时，在指示者侧的便携终端1-1的显示部110上显示指针选择按钮505(参照图 8)。图8的指针选择按钮505处于指针禁用的状态。

当指示者按下便携终端1-1的显示画面的指针选择按钮505时(S201)，指针显 示变为ON(启用)。

当指针显示变为ON时，在指示者的便携终端1-1的显示部110的显示画面的中 央部坐标处显示指针(S202)。即，如图10所示，指针507被显示在作为初始位置的 画面中央部坐标处。

此时，从便携终端1-1向便携终端1-2通知表示指针显示已变为ON的信息。由 此，便携终端1-2也意识到指针显示已变为ON，如图10所示，在便携终端1-2的显 示部110的显示画面的中央部坐标处显示指针508。然后，在便携终端1-1和便携终 端1-2双方中进行画面的坐标调整处理。

在便携终端1(1-1和1-2)中，坐标调整部224求出便携终端1-2拍摄到的图像 的特征点(原点)的坐标与指针的初始位置(画面中央部坐标)之间的相对值(相对 坐标)(S203)。由此，能够求出将图像的特征点作为原点的相对坐标系。

接着，坐标调整部224根据具有影像发送权限的便携终端1的画面尺寸与自身的 画面尺寸之间的差分来进行坐标系的坐标转换(S204)。

进而，坐标调整部224根据具有影像发送权限的便携终端1的显示部110的显示 部110的像素数与自身的显示部110的像素数之间的差分，进行显示部110的校正处 理(S205)。如上这样地求出将图像的特征点作为原点的相对坐标系。由此，能够实 现图像与指针的联动。

其结果为，对于指示者观察图像后用手指触摸到的指针的位置，在作业者的画面 中，根据拍摄到的图像的原点来确定指示者的指针的位置，因此能够降低指示的偏差。

另外，也可以是，在便携终端1-2拍摄动态图像的情况下，图像中产生模糊时， 使图像固定而成为静止图像后，进行坐标调整。

(A-2-3)指针操作和指针信息的通信处理

接着，一边参照附图，一边对指示者的便携终端1-1中的指针操作的说明以及指 针信息的通信处理进行详细说明。

图11是示出实施方式的指针信息的通信处理的时序图。

在图11中，举例示出向作业者侧的便携终端1-2通知在指示者侧的便携终端1-1 的触摸面板109上操作的指针的指针信息的情况。此外，在图11中，按照触摸面板 109上的操作手势，记载了多个指针信息的通信方式。

指针信息的通知进行套接字通信。在套接字通信中需要通信对方的IP地址。但 是，由于呼叫控制装置(SIP服务器)2中也有改写IP地址的呼叫控制装置，因此， 也有时因呼叫控制装置2的种类而无法使用套接字通信。

因此，在本实施方式中，在指针信息的通知中使用SIP的INFO方法。INFO方 法用于在呼叫建立(会话建立)后向SIP网络内转发与会话状态无关的信息。

即，在INFO方法的Content(内容)中设定指针信息来进行通信。这样，通过 使用INFO方法，不需要通信对方的IP地址，即可进行指针信息的通信。

在图11中，指示者在便携终端1-1的触摸面板109上进行触摸(S121)。

指针显示控制部23取得表示指针的类型的指针识别信息、该指针的指针位置信 息以及包含该便携终端1-1的画面尺寸的信息，作为指针信息。此外，指针信息通知 部24对INFO方法的Content赋予上述指针信息后发送给呼叫控制装置(SIP服务器) 2(S122)。

呼叫控制装置2向建立了会话的便携终端1-2发送从便携终端1-1接收到的包含 指针信息的INFO(S123)。

在便携终端1-2中，指针显示控制部23根据接收到的INFO方法的Contennt中 包含的指针信息，在该便携终端1-2的显示部110上显示指针信息(S124)。即，指针 显示控制部23根据指针识别信息，决定所要显示的指针的种类。此外，指针操作控制 部232根据指针位置信息和画面尺寸，决定自身的显示部110显示指针的指针显示位置。

这里，在便携终端1-1中，在指示者变更了指针的种类的情况下，也进行与图11 的S121～S124的处理相同的处理。即，便携终端1-1对INFO方法的Content赋予变 更后的指针的指针识别信息、指针位置信息以及画面尺寸后，经由呼叫控制装置2 向便携终端1-2发送。在便携终端1-2中，根据指针识别信息，变更为变更后的种类 的指针，在基于指针位置信息和画面尺寸的显示位置处显示指针。

图13是说明实施方式的指针的移动的说明图。在图13中，举例示出指示者使指 针的位置从位置509移动到位置510的情况。

如图13所示，在指示者移动指针位置时的指针信息的通信中，进行图11的 S131～S139的处理。

首先，如果指示者在便携终端1-1的触摸面板109上进行了触摸(S131)，则便 携终端1-1经由呼叫控制装置2向便携终端1-2发送INFO方法(S132、S133)，该 INFO方法被赋予了包含该指针的指针识别信息、指针位置信息以及画面尺寸的指针 信息。而且，便携终端1-2根据INFO方法的Content中包含的指针信息，在显示部 110上显示指针(S134)。

在便携终端1-1中，指示者移动指针位置(S135)。此时，在指针的移动中，便 携终端1-1不向便携终端1-2通知指针信息。因此，虽然指示者在便携终端1-1的触 摸面板109上移动指针，但是在作业者的便携终端1-2的显示部110上没有反映指针 的移动。

然后，在便携终端1-1中，指示者从触摸面板109拿开手指时(即，触摸面板109 上的感知消失时)，便携终端1-1经由呼叫控制装置2向便携终端1-2发送INFO方法 (S136～S138)，该INFO方法被赋予了包含拿开该手指后的最后的指针位置信息、 指针识别信息以及画面尺寸的指针信息。然后，便携终端1-2根据INFO方法的Content 中包含的指针信息，在显示部110上显示指针(S139)。

接着，在指示者移动指针的时间比较长的情况下，可能会产生没有向便携终端 1-2通知指针信息、从而便携终端1-2的显示部110不显示指针的情况。

因此，在指示者对指针的移动时间比较长的情况下，进行图11的S141～S155 的处理。

首先，如果指示者在便携终端1-1的触摸面板109上进行了触摸(S141)，则便 携终端1-1经由呼叫控制装置2向便携终端1-2发送INFO方法(S142、S143)，该 INFO方法被赋予了包含该指针的指针识别信息、指针位置信息以及画面尺寸的指针 信息。然后，便携终端1-2根据INFO方法的Content中包含的指针信息，在显示部 110上显示指针(S144)。

在便携终端1-1中，指示者移动指针位置(S145)。此时，在便携终端1-1中， 指针显示控制部23从指针开始移动起进行定时时刻的计时，经过规定时间后，取得 指针在该规定时间内移动的多个指针位置信息以及指针识别信息。例如，指针显示控 制部23可以存储经过规定时间为止的指针位置信息的轨迹，也可以存储比该规定时 间短的每个时间段的指针位置信息。

此外，指针信息通知部24经由呼叫控制装置2向便携终端1-2发送INFO方法 (S146、S147)，该INFO方法被赋予了包含规定时间内的多个指针位置信息、指针 识别信息以及画面尺寸的指针信息。

由此，即使在指针的移动中，便携终端1-2也能够根据INFO方法的Content中 包含的指针信息，在显示部110上显示指针的移动(S148)。在指针的移动中，每当 经过规定时间，便携终端1-1重复进行S145～S148的处理(S149～S151)。

然后，在便携终端1-1中，指示者在从触摸面板109拿开手指时(即，触摸面板 109上的感知消失时)，便携终端1-1经由呼叫控制装置2向便携终端1-2发送INFO 方法(S152～S154)，该INFO方法被赋予了包含拿开该手指的时刻为止的多个指针 位置信息、指针识别信息以及画面尺寸的指针信息。然后，便携终端1-2根据INFO 方法的Content中包含的指针信息，在显示部110上显示指针(S155)。

(A-3)实施方式的效果

如上所述，根据本实施方式，除了语音通信，还能够在指示者终端与作业者终端 之间共享影像以及指针信息，作业指示者能够进行直观的指示，作业者能够通过目视 准确地识别作业指示。

(B)其他的实施方式

在上述的实施方式中说明了各种变形实施方式，但是，也可以应用于以下的变形 实施方式。

(B-1)在上述的实施方式中，举例示出了例如在制造厂商的设计者等指示者的 便携终端与生产现场等的作业者的便携终端之间进行的远程作业支持系统的实施方 式。但是，使用的用途不限于如上所述的制造厂商中的使用，可以广泛地应用于指示 者对位于远距离的对象进行指示的情况。例如，也可以应用于医疗现场和教育现场等。

(B-2)在上述的实施方式的动作的说明中，举例示出了便携终端1-1和便携终 端1-2共享便携终端1-2拍摄到的图像的情况，但是，通过影像发送权限的变更，也 可以在便携终端1-1和便携终端1-2之间共享便携终端1-1拍摄到的影像。

(B-3)此外，在上述的实施方式中，关于指针的操作，举例示出了只有指示者 侧的便携终端1-1进行操作的情况。但是，也可以是，例如通过改变指针的颜色等， 使指示者侧的便携终端1-1与作业者侧的便携终端1-2双方都能够进行指针操作。由 此，不仅实现基于语音通信的沟通，还可以通过指针实现沟通。

(B-4)在上述的实施方式中，举例示出了在便携终端之间共享便携终端1-2实 时拍摄到的图像的情况。但是，也可以从存储部(例如，包含便携终端中内置的存储 部、闪存等)读取预先拍摄到的图像，在便携终端之间共享该图像。

(B-5)

在上述的实施方式的基础上，还可以在作业者侧的便携终端1-2的画面上设置“暂 时停止按钮”。通过按下该暂时停止按钮来实现的暂时停止功能，不仅暂时停止拍摄 中的动态图像，还使来自指示者侧的指针显示固定在画面上。

例如，作业者在动态图像拍摄中，在进行指示者通过指针指示的部位的作业时， 按下“暂时停止按钮”。当按下“暂时停止按钮”时，作业者侧的画面成为静止状态，显 示按下按钮的时刻的静止图像与指针显示。

此时，停止的是仅仅为拍摄，而维持通信及通话状态，但是不受理来自指示者侧 的指针显示的指示。当再次按压“暂时停止按钮”时，重新开始进行动态图像拍摄。

如上所述，通过在动态图像拍摄中暂时停止图像，在进行作业时，不拍摄作业对 象也能观察作业对象的图像与指针显示，因此也能够容易地进行需要双手的作业。

另外，也可以是，不是暂时停止动态图像，而是作业者利用一个按钮针对放映的 影像切换动态图像与静止图像。