生物体计测装置、生物体计测方法、计算机可读取的记录介质及程序

摘要

有关本发明的一形态的生物体计测装置具备光源、图像传感器、控制电路和信号处理电路。上述控制电路使上述光源反复射出照射到包括对象者的头部的对象部的光脉冲，使图像传感器接受通过对上述对象部照射上述光脉冲而产生的反射光脉冲，使上述图像传感器输出表示上述对象者的脸的外观的第1图像数据，使上述图像传感器输出与上述反射光脉冲的一部分成分的光量分布相应的第2图像数据。上述信号处理电路基于上述第1图像数据的随时间的变化及上述第2图像数据的随时间的变化，生成表示上述对象者的状态的数据。

说明书

技术领域

本发明涉及生物体计测装置、生物体计测方法、计算机可读取的记录介质及程序。

背景技术

已知有计测由对象者的脑活动引起的生物体信号的各种方法。

例如，专利文献1公开了如下技术：一边向消费者提示视觉刺激，一边从消费者以非束缚方式取得视线数据和与眼球无关的生物计量学(biometric)数据，并基于这些数据来评价消费者的反应。

专利文献2公开了以不与对象物接触的状态取得表示对象者的脑血流的随着时间的变化的信息的摄像装置的例子。

现有技术文献

专利文献

专利文献1：国际公开第2008/030542号

专利文献2：日本特开2017－009584号公报

非专利文献

非专利文献1：ASHIT TALUKDER et al.，"A Real－time Non－IntrusiveEyetracking and Gaze－point Determination for Human－Computer Interaction andBiomedicine"，SPIE Defense and Security Symposium，Optical Patter RecognitionXV，Orlando，FL，April 12－16，2004

非专利文献2：Hirokazu Doi et al.，"NIRS as a tool for assayingemotional function in the prefrontal cortex"，Front Hum Neurosci.2013

非专利文献3：Suda M et al.，"Decreased cortical reactivity underliessubjective daytime light sleepiness in healthy subjects：a multichannel near－infrared spectroscopy study"，Neurosci Res.60：319－326，2008

非专利文献4：Suda M et al.，"Subjective feeling of psychologicalfatigue is related to decreased reactivity in ventrolateral prefrontalcortex"，Brain Res.1252 152－160，2009

非专利文献5：Mototaka Yoshioka et al.，"Brain signal pattern ofengrossed subjects using near infrared spectroscopy(NIRS)and its applicationto TV commercial evaluation"，IJCNN 2012：1－6

发明内容

发明要解决的课题

本发明提供一种用于使用单一的装置以非接触的方式取得表示对象者的脸的外观的信息和表示脑血流的状态的信息，并基于这些信息来推测对象者的状态的技术。

用来解决课题的手段

有关本发明的一技术方案的生物体计测装置具备：光源，射出被照射到包括对象者的头部的对象部的光脉冲；图像传感器，接受通过向上述对象部照射上述光脉冲而产生的反射光脉冲，输出表示上述对象者的脸的外观的第1图像数据、以及与上述反射光脉冲的一部分成分的光量分布相应的第2图像数据；控制电路，控制上述光源及上述图像传感器；以及信号处理电路。上述控制电路使上述光源反复射出上述光脉冲，使上述图像传感器输出上述第1图像数据，使上述图像传感器输出上述第2图像数据。上述信号处理电路基于上述第1图像数据的随时间的变化及上述第2图像数据的随时间的变化，生成表示上述对象者的状态的数据并输出。

本发明的包含性或具体的形态，也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的记录盘等的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合实现。计算机可读取的记录介质例如可以包括CD－ROM(Compact Disc-Read Only Memory)等的非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由两个以上的装置构成的情况下，这两个以上的装置既可以被配备在1个设备内，也可以被分开配置在分离的两个以上的设备内。在本说明书及权利要求书中所述的“装置”，不仅可以指1个装置，也可以指由多个装置构成的系统。

发明效果

根据本发明的技术，能够使用单一的装置以非接触的方式取得表示对象者的脸的外观的信息和表示脑血流的状态的信息，并基于这些信息推测对象者的状态的技术。

附图说明

图1A是表示本发明的例示性的实施方式的生物体计测装置的概略性的结构的图。

图1B是表示本发明的例示性的实施方式的生物体计测系统的示意图。

图2是表示到达图像传感器的光的强度的时间变化的例子的图。

图3是表示图像传感器的检测光量对输入光脉冲的宽度的依赖性的曲线图。

图4A是表示图像传感器的1个像素的概略性的结构的例子的图。

图4B是表示图像传感器的结构的一例的图。

图5是表示1帧内的动作的例子的图。

图6A是表示光源及图像传感器的控制的概要的流程图。

图6B是表示信号处理电路使从图像传感器取得的图像数据的分辨率变化而进行处理的例子的流程图。

图6C是表示图像传感器使帧速率变化而输出图像数据、信号处理电路生成运动图像数据的处理的例子的流程图。

图7是表示发出矩形的光脉冲而从用户返回来的光到达图像传感器的光信号的一例的图。

图8是表示发出矩形的光脉冲而从用户返回来的光到达图像传感器的光信号的另一例的图。

图9A是表示检测表面反射成分的情况下的时间图的一例的图。

图9B是表示检测内部散射成分的情况下的时间图的一例的图。

图10A是示意地表示脑血流量的时间变化的一例的图。

图10B是示意地表示在用户的对象部内的多个部位同时进行计测的情况下的例子的图。

图11A是示意地表示光的照射区域的例子的图。

图11B是示意地表示用户的对象部在横向上移位的情况下的信号的变化的图。

图12A是表示兴趣判定处理的动作的例子的流程图。

图12B是表示图12A中的步骤S205的处理的例子的流程图。

图12C是表示图12A中的步骤S205的处理的另一例的流程图。

图13是表示脑血液中的氧化血红蛋白及脱氧血红蛋白各自的浓度的随时间的变化的一例的图。

图14A是表示在内容中确定用户抱有兴趣的对象的处理的一例的流程图。

图14B是表示图14A中的步骤S403的动作的详细情况的流程图。

图15是表示根据用户的兴趣对象使内容(contents)的详细内容变化的处理的一例的流程图。

图16是表示生物体计测装置的使用例的图。

图17是表示根据用户的兴趣对象改变向用户提示的内容(contents)的详细内容的系统的一例的图。

图18是表示具备生物体计测装置的头戴式显示器的实施方式的图。

图19是表示具备生物体计测装置的智能电话的实施方式的图。

图20是示意地表示用户利用搭载于车辆的生物体计测装置的状况的图。

图21是表示患者在床上利用生物体计测装置的例子的图。

具体实施方式

本发明包括以下的各项目中记载的生物体计测装置、生物体计测方法、计算机可读取的记录介质及程序。

[项目1]

有关第1项目的生物体计测装置具备：光源，射出被照射到包括对象者的头部的对象部的光脉冲；图像传感器，接受通过向上述对象部照射上述光脉冲而产生的反射光脉冲，输出表示上述对象者的脸的外观的第1图像数据、以及与上述反射光脉冲的一部分成分的光量分布相应的第2图像数据；控制电路，控制上述光源及上述图像传感器；以及信号处理电路。

上述控制电路使上述光源反复射出上述光脉冲，使上述图像传感器输出上述第1图像数据，使上述图像传感器输出上述第2图像数据，上述信号处理电路基于上述第1图像数据的随时间的变化及上述第2图像数据的随时间的变化，生成表示上述对象者的状态的数据并输出。

[项目2]

在有关第1项目的生物体计测装置中，也可以是，上述控制电路使上述图像传感器通过检测下降期间开始后且包含上述下降期间的至少一部分在内的期间中的上述反射光脉冲的成分，来生成上述第2图像数据，上述下降期间是上述反射光脉冲的强度开始减小起到减小结束为止的期间。

[项目3]

在有关第2项目的生物体计测装置中，也可以是，上述控制电路使上述图像传感器通过检测包含上述反射光脉冲的上述下降期间开始前的至少一部分期间在内的期间中的上述反射光脉冲的成分，来生成上述第1图像数据。

[项目4]

在有关第1至第3项目的任一项的生物体计测装置中，也可以是，上述第1图像数据的分辨率与上述第2图像数据的分辨率不同。

[项目5]

在有关第1至第4项目的任一项的生物体计测装置中，也可以是，上述第1图像数据的分辨率比上述第2图像数据的分辨率高。

[项目6]

在有关第1至第3项目的任一项的生物体计测装置中，也可以是，上述信号处理电路还进行使从由上述第1图像数据所表示的图像的至少一部分的分辨率及上述第2图像数据所表示的图像的至少一部分的分辨率构成的组中选择的至少1个变化的处理；上述信号处理电路基于进行上述处理后的上述第1图像数据的上述随时间的变化及上述第2图像数据的上述随时间的变化，生成表示上述对象者的状态的上述数据。

[项目7]

在有关第1至第6项目的任一项的生物体计测装置中，也可以是，上述图像传感器将上述第1图像数据以第1帧速率输出，上述图像传感器将上述第2图像数据以第2帧速率输出，上述第1帧速率与上述第2帧速率不同。

[项目8]

在有关第1至第7项目的任一项的生物体计测装置中，也可以是，上述图像传感器将上述第1图像数据以第1帧速率输出，上述图像传感器将上述第2图像数据以第2帧速率输出，上述第1帧速率比上述第2帧速率高。

[项目9]

在有关第1至第8项目的任一项的生物体计测装置中，也可以是，上述图像传感器包括以二维排列的多个光检测单元，上述多个光检测单元分别包括光电变换元件、第1电荷积蓄部和第2电荷积蓄部，上述控制电路使上述第1电荷积蓄部积蓄作为上述第1图像数据的来源的第1电荷，使上述第2电荷积蓄部积蓄作为上述第2图像数据的来源的第2电荷。

[项目10]

在有关第1至第9项目的任一项的生物体计测装置中，也可以是，上述信号处理电路进行如下处理：基于上述第1图像数据的上述随时间的变化，检测外观信息的随时间的变化，上述外观信息表示从由上述对象者的视线、上述对象者的瞳孔的大小、上述对象者的眨眼的频度、上述对象者的眨眼的时间间隔及上述对象者的表情构成的组中选择的至少1个；基于上述外观信息的上述随时间的变化和上述第2图像数据的上述随时间的变化，生成表示上述对象者的状态的上述数据。

[项目11]

在有关第1至第10项目的任一项的生物体计测装置中，也可以是，上述控制电路在上述对象者被赋予了刺激的状态下，使上述光源射出上述光脉冲，使上述图像传感器生成上述第1图像数据及上述第2图像数据，表示上述对象者的状态的上述数据表示从由上述对象者对上述刺激的兴趣、上述对象者的愉快感、上述对象者的睡意及上述对象者的专注构成的组中选择的至少1个状态。

[项目12]

在有关第1至第11项目的任一项的生物体计测装置中，也可以是，上述信号处理电路将表示上述对象者的状态的上述数据经由信息设备向上述对象者提示。

[项目13]

在有关第13项目的生物体计测方法包括如下处理：使光源反复射出照射到包括对象者的头部的对象部的光脉冲；使图像传感器接受通过向上述对象部照射上述光脉冲而产生的反射光脉冲；使上述图像传感器输出表示上述对象者的脸的外观的第1图像数据；使上述图像传感器输出与上述反射光脉冲的一部分成分的光量分布相应的第2图像数据；以及基于上述第1图像数据的随时间的变化及上述第2图像数据的随时间的变化，生成表示上述对象者的状态的数据并输出。

[项目14]

在有关第14项目的计算机可读取的记录介质，是保存有用来计测对象者的状态的程序的记录介质，当上述程序被上述计算机执行时，执行如下处理：使光源反复射出照射到包括上述对象者的头部的对象部的光脉冲；使图像传感器接受通过向上述对象部照射上述光脉冲而产生的反射光脉冲；使上述图像传感器输出表示上述对象者的脸的外观的第1图像数据；使上述图像传感器输出与上述反射光脉冲的一部分成分的光量分布相应的第2图像数据；以及基于上述第1图像数据的随时间的变化及上述第2图像数据的随时间的变化，生成表示上述对象者的状态的数据并输出。

[项目15]

有关在有关第15项目的程序使计算机执行如下处理：使光源反复射出照射到包括对象者的头部的对象部的光脉冲；使图像传感器接受通过向上述对象部照射上述光脉冲而产生的反射光脉冲；使上述图像传感器输出表示上述对象者的脸的外观的第1图像数据；使上述图像传感器输出与上述反射光脉冲的一部分成分的光量分布相应的第2图像数据；以及基于上述第1图像数据的随时间的变化及上述第2图像数据的随时间的变化，生成表示上述对象者的状态的数据并输出。

以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤及步骤的顺序是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。各图是示意图，并不一定是严密地图示的。进而，在各图中有对于实质上相同的结构赋予相同的标号而将重复的说明省略或简略化的情况。

在本发明中，电路、单元、装置、部件或部的全部或一部分、或框图的功能块的全部或一部分也可以由包括半导体装置、半导体集成电路(IC)或LSI(large scaleintegration)的一个或多个电子电路执行。LSI或IC既可以集成到一个芯片中，也可以将多个芯片组合而构成。例如，存储元件以外的功能块也可以集成到一个芯片中。这里称作LSI或IC，但根据集成的程度而叫法变化，也可以称作系统LSI、VLSI(very large scaleintegration)或ULSI(ultra large scale integration)。也可以以相同的目的使用在LSI的制造后能够编程的Field Programmable Gate Array(FPGA)、或能够进行LSI内部的接合关系的再构成或LSI内部的电路划区的设置的reconfigurable logic device。

进而，电路、单元、装置、部件或部的全部或一部分的功能或操作可以通过软件处理来执行。在此情况下，软件被记录到一个或多个ROM、光盘、硬盘驱动器等的非暂时性记录介质中，当软件被处理装置(processor)执行时，由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的一个或多个非暂时性记录介质、处理装置(processor)及需要的硬件设备、例如接口。

首先，说明本发明的实施方式的生物体计测装置的基本的结构的例子。

图1A是表示本发明的例示性的实施方式的生物体计测装置100的概略性的结构的图。在图1A中，也表示了生物体计测的对象者、即生物体计测装置100的用户400。

生物体计测装置100具备光源20、图像传感器30、控制电路60和信号处理电路70。光源20射出被照射到包括对象者的头部的对象部的光脉冲。图像传感器30接受通过向对象部照射光脉冲而产生的反射光脉冲，输出图像数据。控制电路60对光源20及图像传感器30进行控制。信号处理电路70对从图像传感器30输出的图像数据进行处理，生成关于对象者的脑活动的信号并输出。控制电路60及信号处理电路70也可以由被合并的1个电路实现。

控制电路60执行以下的动作。

(1)使光源20反复射出光脉冲。

(2)使图像传感器30输出表示对象者的脸的外观的第1图像数据。(3)使图像传感器30输出与反射光脉冲的一部分成分的光量分布相应的第2图像数据。

信号处理电路70基于第1图像数据的随时间的变化及第2图像数据的随时间的变化，生成表示对象者的状态的数据并输出。表示对象者的状态的数据如后面详细说明那样，例如反映对象者的心理或身体上的状态。该数据例如可以表示从由对赋予给对象者的刺激的兴趣、愉快感、睡意及专注度构成的组中选择的至少1个状态。从信号处理电路70输出的表示对象者的状态的数据例如被利用于控制其他设备。

通过上述的结构，生物体计测装置100能够使用单一的装置以非接触的方式取得表示对象者的脸的外观的信息和表示脑血流的状态的信息。进而，能够基于所取得的信息来推测对象者的心理或身体上的状态。

第1图像数据及第2图像数据例如可以通过以下的方法生成。

第1图像数据例如可以基于包含反射光脉冲的下降期间开始前的至少一部分期间在内的期间中的反射光脉冲的成分来生成。这里，“下降期间”是指在图像传感器30的受光面的位置处，光脉冲的强度开始减小起到减小结束为止的期间。控制电路60能够使图像传感器30通过检测包括反射光脉冲的下降期间开始前的至少一部分期间在内的期间中的反射光脉冲的成分，来生成第1图像数据。“包括反射光脉冲的下降期间开始前的至少一部分期间在内的期间”也可以包括反射光脉冲向图像传感器30入射的期间的整体。

第1图像数据也能够基于与从光源20射出的光脉冲不同的光来生成。例如，也可以将在来自与光源20不同的照明装置的光或太阳光等背景光下拍摄的脸图像的数据作为第1图像数据。

第2图像数据例如可以基于在反射光脉冲的下降期间中包含的一部分反射光脉冲的成分来生成。控制电路60能够使图像传感器30通过检测下降期间开始后且包含下降期间的至少一部分在内的期间中的反射光脉冲的成分来生成第2图像数据。

如后面详细说明那样，反射光脉冲的下降期间开始后的成分即脉冲的后端成分因对象者的脑活动而其强度变动。基于其变动成分，能够推测对象者的心理或身体上的状态。

根据上述结构，能够使用1个图像传感器30以非接触的方式生成第1图像数据及第2图像数据。不需要设置多个图像传感器，能够以低成本构成节省空间的生物体计测装置100。此外，通过使用1个图像传感器，能够不需要多个图像传感器的同步控制。此外，在从光源20射出的光脉冲例如是红外线的脉冲的情况下，能够抑制因该红外线的反射光脉冲入射到用来生成脸图像的其他图像传感器中造成的信号的干涉。

图像传感器30可以被控制为，将第1图像数据以第1帧速率输出，将第2图像数据以第2帧速率输出。第1帧速率既可以比第2帧速率高，也可以相同，也可以较低。脸的外观的变化多数情况下比脑血流的变化快。因此，在第1帧速率比第2帧速率高的情况下，能够为了变化相对较快的外观信息而分割较多的帧。此外，即使第2帧速率比第1帧速率低，也由于脑血流的变化相对较慢，所以多数情况下不会影响处理。

第1图像数据和第2图像数据的分辨率也可以不同。通过提高特别想关注的图像的分辨率，能够实现数据容量的有效利用。

第1图像数据的分辨率也可以比第2图像数据的分辨率高。通过使第1图像数据具有较高的分辨率，容易取得脸的外观的变化。第1图像数据也可以是边缘被强调或边缘被提取出的图像数据。第1图像数据也可以表示仅想要关注的外观信息被提取出的图像。例如，在关注于视线或眨眼的情况下，第1图像数据既可以表示仅单眼的图像，也可以表示双眼的图像。通过限定关注的部位，能够减少数据量而提高数据的处理速度。在摄像时，对象者也可以佩戴眼镜或隐形眼镜等的视力矫正工具或防护镜(eyewear)。

第1图像数据可以基于被照射在对象部上的光脉冲中的至少一个光脉冲来生成。第2图像数据也可以表示分辨率比第1图像数据低的图像。通过降低第2图像数据的分辨率，能够减少数据量，能够提高数据处理速度。为了降低分辨率，也可以使用50×50尺寸等的空间滤波器使第2图像数据平滑化。通过平滑化，能够降低在微弱的脑血流信号中包含的噪声。此外，也可以通过进行降低图像的灰阶数(即比特数)的处理，来削减数据量。作为其他方法，也可以通过从图像在空间上将像素间隔剔除的处理或调整尺寸处理而生成较低分辨率的图像，削减数据量。通过降低灰阶数或降低像素数，能够提高数据处理速度。

第1图像数据及第2图像数据各自的分辨率也可以由信号处理电路70在信号处理的过程中使其变化，也可以通过由控制电路60调整光源20及/或图像传感器30的动作或输出而使其变化。

图像传感器可以具备以二维排列的多个光检测单元。多个光检测单元分别可以包括光电变换元件、第1电荷积蓄部和第2电荷积蓄部。控制电路60使光源20例如执行以下的动作。

(a)使其射出光脉冲。

(b)使多个光检测单元中的至少一部分光检测单元的第1电荷积蓄部积蓄第1电荷，该第1电荷是通过包含反射光脉冲的下降期间开始前的至少一部分期间在内的期间中的反射光脉冲的成分入射到光电变换元件而产生的电荷。

(c)使上述至少一部分光检测单元的第2电荷积蓄部积蓄第2电荷，该第2电荷是通过反射光脉冲的下降期间开始后且包含下降期间的至少一部分在内的期间中的反射光脉冲的成分入射到光电变换元件而产生的电荷。

(d)使图像传感器基于在上述至少一部分光检测单元的第1电荷积蓄部中积蓄的第1电荷，生成第1图像数据。

(e)使图像传感器基于在上述至少一部分光检测单元的第2电荷积蓄部中积蓄的第2电荷，生成第2图像数据。

上述(a)至(c)的动作也可以多次反复执行。在此情况下，在上述(d)及(e)的动作中，图像传感器基于经过多次积蓄在第1电荷积蓄部中的第1电荷生成1帧的第1图像数据，基于经过多次积蓄在第2电荷积蓄部中的第2电荷，生成1帧量的第2图像数据。

根据这样的结构，能够有效地生成第1图像数据及第2图像数据。

信号处理电路70能够基于第1图像数据的随时间的变化，检测对象者的外观的变化。在外观的变化的检测中，可以使用例如周知的识别算法。信号处理电路70也可以检测表示从由例如对象者的视线、瞳孔的大小、眨眼的频度、眨眼的时间间隔及表情构成的组中选择的至少1个的外观信息的随时间的变化。信号处理电路70基于该外观信息的随时间的变化和第2图像数据的随时间的变化，能够生成表示对象者的状态的数据。

控制电路60也可以在对象者被赋予了例如视觉或听觉的刺激的状态下，使光源20射出光脉冲，使图像传感器30生成第1图像数据及第2图像数据。表示对象者的状态的数据也可以表示对象者的从由对该刺激的兴趣、愉快感、睡意及专注度构成的组中选择的至少1个状态的程度。

信号处理电路70或控制电路60也可以将根据对象者的状态决定的信息经由信息设备向上述对象者提示。

以下，更具体地说明本发明的实施方式。在以下的说明中，对相同或类似的构成要素赋予相同的标号。

(实施方式)

[1.生物体计测系统]

图1B是表示有关本发明的例示性的实施方式的生物体计测系统的示意图。生物体计测系统具备生物体计测装置100和服务器200。生物体计测装置100具备刺激装置10、光源20、图像传感器30、控制电路60、信号处理电路70、通信电路80和记录介质90。服务器200是配置在与生物体计测装置100不同的场所的计算机。服务器200例如可以经由局域网(LAN)或因特网等网络连接到生物体计测装置100。

刺激装置10是对作为对象者的用户赋予例如视觉或听觉等的刺激的装置。刺激装置10例如可以是显示器、扬声器或其他的电子设备。刺激装置10也可以是生物体计测装置100的外部的因素。光源20射出被照射到包括用户的头部及脸的对象部的光脉冲。光源20并不限于单一的发光装置，也可以由多个发光装置的组合实现。图像传感器30检测从用户的对象部返回来的光脉冲的至少一部分，输出图像数据。图像传感器30具备多个像素。多个像素分别包括光电变换元件32和1个以上的电荷积蓄部34。信号处理电路70进行基于从图像传感器30输出的图像数据的各种处理。通信电路80例如包括网络接口控制器，在与外部的装置例如服务器200之间进行通信。记录介质90包括RAM及ROM等存储器。记录介质90保存规定由控制电路60及信号处理电路70执行的处理的程序、以及在处理的过程中生成的各种数据。控制电路60与刺激装置10、光源20、图像传感器30、信号处理电路70、通信电路80及记录介质90连接。控制电路60对生物体计测装置100的整体的动作进行控制。

本实施方式的控制电路60包括对光源20进行控制的光源控制部61、对图像传感器30进行控制的传感器控制部62和对刺激装置10进行控制的刺激控制部63。光源控制部61、传感器控制部62及刺激控制部63既可以由分离的3个电路实现，也可以由单一的电路实现。光源控制部61、传感器控制部62及刺激控制部63分别也可以通过由控制电路60执行保存在记录介质90例如存储器中的控制用的程序来实现。

光源控制部61对从光源20射出的光脉冲的强度、脉冲宽度、射出定时及/或波长进行控制。传感器控制部62对图像传感器30的各像素的信号积蓄的定时进行控制。刺激控制部63控制由刺激装置10赋予的刺激的内容及定时。刺激控制部63例如控制作为刺激而被赋予的影像的色相、色彩度及亮度中的至少1个，或声音的音质及大小中的至少1个。

信号处理电路70基于从图像传感器30输出的图像数据，生成表示对象者的状态的数据。信号处理电路70能够将该数据经由通信电路80向服务器200发送。信号处理电路70也能够将积蓄在服务器200中的数据经由通信电路80读出。控制电路60能够基于由信号处理电路70生成的数据，决定由刺激装置10赋予的刺激的内容。

服务器200积蓄由信号处理电路70生成的数据、和作为向用户提示的候选的内容的数据。作为候选的内容，例如是字符、影像及声音中的至少1个的信息。

在本说明书中，“生物体信息”是指通过刺激而变化的生物体的可计测的量。生物体信息中例如包括血流量、血压、心跳数、脉搏数、呼吸数、体温、脑波、血液中的氧化血红蛋白浓度、血液中的脱氧血红蛋白浓度、血中氧饱和度、皮肤的反射波谱等各种量。生物体信息的一部分有被称作生命体征(vital signs)的情况。

以下，更具体地说明生物体计测装置100的各构成要素。

[1－1.刺激装置10]

刺激装置10对用户赋予刺激。刺激装置10也可以构成为对多个用户赋予刺激。从刺激装置10赋予的刺激引起用户的生物体反应。刺激装置10也可以将基于用户的生物体反应决定的内容等的信息向用户或用户以外的人提示。在图1B的例子中，生物体计测装置100具备刺激装置10，但也可以是，刺激装置10的一部分或整体设置于生物体计测装置100的外部。

刺激装置10例如可以是头戴装置、护目镜及头戴式耳机装置或智能电话等的具备显示器的装置。刺激装置10也可以是音频设备、照明装置或空调设备。刺激装置10也可以包括赋予不同的刺激的多个装置。刺激装置10例如可以对用户赋予影像、字符、音乐或声响等的声音、明亮度、热、冷感、湿润、干燥、振动、或风中的至少1个的刺激。影像及字符是对于视觉的刺激。声音是对于听觉的刺激。具备显示器的刺激装置10也可以作为刺激而对用户赋予图像、影像或语音的内容。视觉性的刺激例如可以是Web广告、运动图像、游戏。也可以将计算问题、语言问题、谜题或智力答题等各种课题作为视觉性的刺激赋予。课题也可以是为了诊断对象者的脑活动的状态而特别制作的。刺激装置10也可以在提示课题的同时，输出与课题建立了关联的声音。除了影像或声音的内容以外，视觉性的刺激也可以是室内的照明的明亮度或颜色的变化。

除了对于视觉或听觉的刺激以外，也可以赋予对于触觉、嗅觉或味觉的刺激。刺激装置10根据对用户赋予的刺激的种类而具有不同的构造及功能。例如，在对用户赋予触觉刺激的情况下，刺激装置10可以是产生振动或热的装置。在对用户赋予嗅觉刺激的情况下，刺激装置10可以是产生气味的装置。

[1－2.光源20]

光源20向包括用户的头部例如额头的对象部照射光。从光源20射出并到达了用户的光被分为被用户的表面反射的表面反射成分I1、和在用户的内部被散射的内部散射成分I2。内部散射成分I2是在生物体内部1次反射或散射、或多重散射的成分。在朝向用户的头部射出光的情况下，内部散射成分I2是指从用户的头部的表面向里侧到达8mm至16mm左右的部位例如脑、再次回到生物体计测装置100的成分。表面反射成分I1包括直接反射成分、扩散反射成分及散射反射成分这3个成分。直接反射成分是入射角与反射角相等的反射成分。扩散反射成分是由表面的凹凸形状扩散而反射的成分。散射反射成分是由表面附近的内部组织散射而反射的成分。在朝向用户的头部射出光的情况下，散射反射成分是在表皮内部散射而反射的成分。在用户的表面反射的表面反射成分I1可以包含这3个成分。表面反射成分I1及内部散射成分I2通过反射或散射而行进方向变化，其一部分到达图像传感器30。

在本实施方式中，检测从用户的头部返回来的反射光中的表面反射成分I1及内部散射成分I2。表面反射成分I1反映用户的脸的外观。因此，通过解析表面反射成分I1的随时间的变化，能够推测用户的脸的外观的变化。另一方面，内部散射成分I2反映用户的脑活动而其强度变动。因此，通过将内部散射成分I2的随时间的变化解析，能够推测用户的脑活动的状态。

首先，对内部散射成分I2的取得方法进行说明。光源20按照来自控制电路60的指示，将光脉冲以规定的时间间隔或规定的定时多次反复射出。从光源20射出的光脉冲例如可以是下降期间接近于零的矩形波。在本说明书中，“下降期间”是指光脉冲的强度开始减小起到减小结束为止的期间。通常，入射到用户的光以各种各样的路径在用户内传播，伴随着时间差而从用户的表面射出。因此，光脉冲的内部散射成分I2的后端具有展宽。在用户的对象部是额头的情况下，内部散射成分I2的后端的展宽是4ns左右。若考虑该情况，则光脉冲的下降期间例如可以设定为作为其一半的2ns以下。下降期间也可以是其再一半的1ns以下。从光源20射出的光脉冲的上升期间的长度是任意的。“上升期间”是指光脉冲的强度开始增加起到增加结束为止的期间。在本实施方式的内部散射成分I2的检测中，使用光脉冲的下降部分，不使用上升部分。光脉冲的上升部分可以被用于表面反射成分I1的检测。光源20例如可以是LD等的激光。从激光射出的光具有光脉冲的下降部分与时间轴大致成直角的陡峭的时间响应特性。

从光源20射出的光的波长可以是例如650nm以上950nm以下的波长范围中包含的任意的波长。该波长范围被包含在从红色到近红外线的波长范围中。上述的波长范围被称作“生物窗”，具有光比较不易被生物体内的水分及皮肤吸收的性质。在将生物体作为检测对象的情况下，通过使用上述波长范围的光，能够提高检测灵敏度。在如本实施方式那样检测用户的脑的血流变化的情况下，可以想到所使用的光主要被氧化血红蛋白(HbO

光源20既可以射出包含在上述波长范围中的单一的波长的光，也可以射出两个以上的波长的光。多个波长的光也可以被从多个光源分别射出。

通常，生物体组织根据波长而吸收特性及散射特性不同。因此，通过检测基于内部散射成分I2的光信号的波长依赖性，能够进行测量对象的更详细的成分分析。例如，在生物体组织中，在波长805nm以上时，氧化血红蛋白(HbO

在本实施方式的生物体计测装置100中，以非接触的方式计测用户的脑血流。因此，可以使用考虑对视网膜的影响而设计的光源20。例如，可以使用满足由各国制定的激光器安全基准的等级1的光源20。在满足等级1的情况下，辐射释放极限(AEL)低于1mW的程度的低照度的光被照射到用户。另外，光源20自身也可以不满足等级1。例如，也可以通过将扩散板或ND滤波器设置在光源20之前而将光扩散或衰减，来满足激光器安全基准的等级1。

以往，为了将在生物体内部的深度方向上的不同的地方的吸收系数或散射系数等的信息区分开来检测，使用快速扫描相机(streak camera)。例如，日本特开平4－189349公开了这样的快速扫描相机的一例。在这些快速扫描相机中，为了以希望的空间分辨率进行测量，使用脉冲宽度为飞秒或皮秒的极超短光脉冲。

相对于此，本实施方式的生物体计测装置100能够将表面反射成分I1和内部散射成分I2区分开来检测。因而，光源20发出的光脉冲不需要是极超短光脉冲，可以任意地选择脉冲宽度。

在为了计测脑血流而用光照射用户的头部的情况下，内部散射成分I2的光量可能成为表面反射成分I1的光量的几千分之1至几万分之1左右的非常小的值。进而，如果考虑激光器安全基准，则能够照射的光的光量变得极小。因而，内部散射成分I2的检测非常难。在此情况下，也只要光源20射出脉冲宽度比较大的光脉冲，则能够使伴随着时间延迟的内部散射成分I2的累计量增加。由此，能够增加检测光量，使SN比提高。

光源20例如射出脉冲宽度为3ns以上的光脉冲。通常，在脑等的生物体组织内被散射的光的时间上的扩展是4ns左右。图2是表示到达图像传感器30的光的强度的时间变化的例子的图。在图2中，表示了从光源20射出的输入光脉冲的宽度是0ns、3ns及10ns的3个的情况下的例子。如图2所示，随着将来自光源20的光脉冲的宽度扩大，在从用户返回来的光脉冲的后端部出现的内部散射成分I2的光量增加。

图3是将输入光脉冲的宽度表示在横轴、将图像传感器30中的检测光量表示在纵轴的图。图像传感器30具备电子快门。图3的结果是在从光脉冲的后端被用户的表面反射而到达图像传感器30的时刻起经过1ns后将电子快门打开的条件下得到的。选择该条件的理由是因为，在光脉冲的后端刚到达后，与内部散射成分I2相比，表面反射成分I1的比率较高。如图3所示，如果将从光源20射出的光脉冲的脉冲宽度设为3ns以上，则能够使检测光量最大化。

光源20也可以射出脉冲宽度5ns以上、进而10ns以上的光脉冲。另一方面，即使脉冲宽度过大，也会导致不使用的光增加而成为浪费。因此，光源20例如射出脉冲宽度50ns以下的光脉冲。或者，光源20也可以射出脉冲宽度30ns以下、进而20ns以下的光脉冲。

光源20的照射样式例如也可以是在照射区域内具有均匀的强度分布的样式。在这一点上，本实施方式与在例如日本特开平11－164826号公报等中公开的以往的生物体计测装置不同。在日本特开平11－164826号公报所公开的装置中，使图像传感器和光源相离3cm左右，在空间上将表面反射成分从内部散射成分分离。因此，不得不进行离散性的光照射。相对于此，本实施方式的生物体计测装置100能够在时间上将表面反射成分I1从内部散射成分I2分离而降低。因此，能够使用具有均匀的强度分布的照射样式的光源20。具有均匀的强度分布的照射样式也可以通过将光源20发出的光用扩散板扩散而形成。

在本实施方式中，与以往技术不同，在用户的照射点正下方也能够检测到内部散射成分I2。也可以通过遍及在空间上较大的范围而用光照射用户，来提高计测分辨率。

[1－3.图像传感器30]

图像传感器30按每个像素检测从用户的头部返回来的反射光脉冲的至少一部分。图像传感器30按每个像素输出与检测到的光的强度相应的多个信号。多个信号包括与反射光脉冲中的、上升期间的至少一部分中包含的强度相应的信号、和与下降期间的至少一部分中包含的强度相应的信号。

图像传感器30具备以二维配置的多个光检测单元，能够一次取得用户的二维信息。各光检测单元包括光电变换元件和1个以上的电荷积蓄部。在本说明书中，将光检测单元也称作“像素”。图像传感器30例如可以是CCD图像传感器或CMOS图像传感器等的任意的摄像元件。

图像传感器30具备电子快门。电子快门是对摄像的定时进行控制的电路。在本实施方式中，控制电路60中的传感器控制部62具有电子快门的功能。电子快门对将接受的光变换为有效的电信号并积蓄的1次信号积蓄的期间和将信号积蓄停止的期间进行控制。信号积蓄期间也可以称作“曝光期间”。在以下的说明中，有将曝光期间的宽度称作“快门宽度”的情况。有将从1次曝光期间结束到下个曝光期间开始的时间称作“非曝光期间”的情况。以下，有将正在曝光的状态称作“开(OPEN)”、将停止了曝光的状态称作“闭(CLOSE)”的情况。

图像传感器30通过电子快门，能够将曝光期间及非曝光期间在亚纳秒、例如30ps至1ns的范围中调整。以距离计测为目的的以往的TOF相机为了与被摄体的明亮度无关地计测距离，检测从光源20射出并由被摄体反射回来的光的全部。因而，在以往的TOF相机中，需要快门宽度比光的脉冲宽度大。相对于此，在本实施方式的生物体计测装置100中，不需要将被摄体的光量修正。因此，不需要快门宽度比脉冲宽度大。能够将快门宽度例如设定为1ns以上30ns以下的值。根据本实施方式的生物体计测装置100，由于能够缩小快门宽度，所以能够降低检测信号中包含的暗电流的影响。

在用光照射用户的额头而检测脑血流等的信息的情况下，生物体内部中的光的衰减率非常大。例如，相对于入射光，射出光能够衰减到100万分之1左右。因此，若要检测内部散射成分I2，仅通过1个脉冲的照射会有光量不足的情况。在激光安全性基准的等级1的照射下，光量特别微弱。在此情况下，光源20多次发出光脉冲，与其对应，图像传感器30也通过电子快门多次曝光，由此能够将检测信号累积而提高灵敏度。

以下，说明图像传感器30的结构例。

图像传感器30可以具备以二维排列在摄像面上的多个像素。各像素可以具备例如光电二极管等的光电变换元件和1个或多个电荷积蓄部。以下，说明各像素具备通过光电变换产生与受光量相应的信号电荷的光电变换元件、将通过光脉冲的表面反射成分I1产生的信号电荷积蓄的电荷积蓄部、以及将通过光脉冲的内部散射成分I2产生的信号电荷积蓄的电荷积蓄部的例子。在以下的例子中，控制电路60使图像传感器30通过检测从用户的头部返回来的光脉冲中的下降开始前的部分来检测表面反射成分I1。控制电路60还使图像传感器30通过检测从用户的头部返回来的光脉冲中的下降开始后的部分来检测内部散射成分I2。该例中的光源20射出两种波长的光。

图4A是表示图像传感器30的1个像素201的概略性的结构例的图。另外，图4A示意地表示1个像素201的结构，并不一定反映实际的构造。该例中的像素201包括进行光电变换的光电二极管203、作为电荷积蓄部的第1浮动扩散层(Floating Diffusion)204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207和排出信号电荷的漏极202。

因1次光脉冲的射出而入射到各像素中的光子由光电二极管203变换为作为信号电荷的信号电子。变换后的信号电子按照从控制电路60输入的控制信号被向漏极202排出，或者被分配到第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207中的某一个。

从光源20的光脉冲的射出、向第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207的信号电荷的积蓄和信号电荷向漏极202的排出以该顺序被反复进行。该反复动作是高速的，例如可以在运动图像的1帧的时间(例如约1/30秒)内反复进行几万次至几亿次。像素201最终生成基于积蓄在第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207中的信号电荷的4个图像信号并输出。

该例中的控制电路60使光源20依次反复射出具有第1波长的第1光脉冲和具有第2波长的第2光脉冲。作为第1波长及第2波长，通过选择对用户的内部组织的吸收率不同的两个波长，能够分析用户的状态。例如，也可以作为第1波长而选择比805nm长的波长，作为第2波长而选择比805nm短的波长。由此，能够检测用户的血液中的氧化血红蛋白浓度及脱氧血红蛋白浓度各自的变化。

如图5所示，控制电路60首先使光源20射出第1光脉冲。控制电路60在第1光脉冲的表面反射成分I1入射到光电二极管203中的第1期间，使第1浮动扩散层204积蓄信号电荷。接着，控制电路60在第1光脉冲的内部散射成分I2入射到光电二极管203中的第2期间，使第2浮动扩散层205积蓄信号电荷。接着，控制电路60使光源20射出第2光脉冲。控制电路60在第2光脉冲的表面反射成分I1入射到光电二极管203中的第3期间，使第3浮动扩散层206积蓄信号电荷。接着，控制电路60在第2光脉冲的内部散射成分I2入射到光电二极管203中的第4期间，使第4浮动扩散层207积蓄信号电荷。

这样，控制电路60在开始第1光脉冲的发光之后，隔开规定的时间差，使第1浮动扩散层204及第2浮动扩散层205依次积蓄来自光电二极管203的信号电荷。然后，控制电路60在开始第2光脉冲的发光后，隔开上述规定的时间差，使第3浮动扩散层206及第4浮动扩散层207依次积蓄来自光电二极管203的信号电荷。将以上的动作反复进行多次。为了推测干扰光及环境光的光量，也可以设置在将光源20灭掉的状态下向未图示的其他的浮动扩散层积蓄信号电荷的期间。通过从第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207的信号电荷量减去上述其他浮动扩散层的信号电荷量，能够得到将干扰光及环境光成分除去后的信号。

另外，在本实施方式中，将电荷积蓄部的数量设为4，但根据目的，也可以设置为两个以上的多个数量。例如，在仅使用1种波长的情况下，电荷积蓄部的数量也可以是2个。此外，在使用的波长是1种、不检测表面反射成分I1的用途中，每个像素的电荷积蓄部的数量也可以是1个。此外，即使在使用两种以上的波长的情况下，如果以不同的帧进行使用各个波长的摄像，则电荷积蓄部的数量也可以是1个。在分别以不同的帧进行表面反射成分I1的检测和内部散射成分I2的检测的情况下，电荷积蓄部的数量也可以是1个。

图4B是表示图像传感器30的结构的一例的图。在图4B中，由双点划线的框包围的区域相当于1个像素201。在像素201中包括1个光电二极管。在图4B中仅表示了被排列为2行2列的4像素，但实际上可以配置更多数量的像素。像素201包括第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207。积蓄在第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207中的信号如通常的CMOS图像传感器的4像素的信号那样被处置，被从图像传感器30输出。

各像素201具有4个信号检测电路。各信号检测电路包括源极跟随器晶体管309、行选择晶体管308和复位晶体管310。在该例中，复位晶体管310与图4A所示的漏极202对应，被输入到复位晶体管310的栅极中的脉冲与漏极排出脉冲对应。各晶体管例如是形成在半导体基板上的场效应晶体管，但并不限定于此。如图所示，源极跟随器晶体管309的输入端子及输出端子的一方(典型的是源极)与行选择晶体管308的输入端子及输出端子的一方(典型的是漏极)连接。源极跟随器晶体管309的作为控制端子的栅极连接于光电二极管203。由光电二极管203生成的信号电荷(即空穴或电子)被积蓄到作为光电二极管203与源极跟随器晶体管309之间的电荷积蓄部的浮动扩散层中。

第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207连接于光电二极管203。在光电二极管203与第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207之间，可以设置开关。该开关根据来自控制电路60的信号积蓄脉冲，切换光电二极管203与第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207各自之间的导通状态。由此，控制向第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207各自的信号电荷的积蓄的开始和停止。本实施方式的电子快门具有这样的用于曝光控制的机构。

积蓄在第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207中的信号电荷通过由行选择电路302将行选择晶体管308的栅极设为ON而被读出。此时，根据第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206及第4浮动扩散层207的信号电位，从源极跟随器电源305向源极跟随器晶体管309及源极跟随器负荷306流入的电流被放大。基于从垂直信号线304读出的该电流的模拟信号由按每个列连接的模拟－数字(AD)变换电路307变换为数字信号数据。该数字信号数据由列选择电路303按每个列读出，从图像传感器30输出。行选择电路302及列选择电路303在进行1个行的读出后，进行下一行的读出，以下同样，读出全部行的浮动扩散层的信号电荷的信息。控制电路60在将全部的信号电荷读出后，通过将复位晶体管310的栅极设为导通，将全部的浮动扩散层复位。由此，1个帧的摄像完成。以下同样，通过反复进行帧的高速摄像，由图像传感器30进行的一系列的帧的摄像完结。

在本实施方式中，说明了CMOS型的图像传感器30的例子，但图像传感器30也可以是其他种类的摄像元件。图像传感器30例如既可以是CCD型，也可以是单一光子计数型元件，也可以是放大型图像传感器(例如，EMCCD或ICCD)。

图5是表示本实施方式的1帧内的动作的例子的图。如图5所示，也可以在1帧内将第1光脉冲的发光和第2光脉冲的发光交替地切换多次。这样，能够减小基于两种波长的检测图像的取得定时的时间差，即使是有运动的用户，也能够几乎同时进行通过第1及第2光脉冲的摄影。

在本实施方式中，图像传感器30检测光脉冲的表面反射成分I1和内部散射成分I2双方。根据表面反射成分I1的时间上或空间上的变化，能够取得用户的第1生物体信息。第1生物体信息表示用户的脸的外观，例如可以是关于视线、瞳孔径、眨眼或表情的信息。另一方面，根据内部散射成分I2的时间或空间上的变化，能够取得作为用户的第2生物体信息的脑活动信息。

在本说明书中，有将表示第1生物体信息的信号称作“第1生物体信号”的情况。此外，有将表示脑活动信息的信号称作“脑活动信号”的情况。

[1－4.控制电路60及信号处理电路70]

控制电路60调整光源20的光脉冲的射出定时与图像传感器30的快门定时的时间差。在本说明书中，有将该时间差称作“相位差”的情况。光源20的“射出定时”指的是从光源20射出的光脉冲开始上升的定时。“快门定时”指的是开始曝光的定时。控制电路60既可以使射出定时变化来调整相位差，也可以使快门定时变化来调整相位差。

控制电路60也可以构成为，从由图像传感器30的各像素检测到的信号去除偏移成分。偏移成分是由太阳光或荧光灯等环境光、或干扰光带来的信号成分。在将光源20的驱动设为OFF而不从光源20射出光的状态下，通过由图像传感器30检测信号，来估计由环境光或干扰光带来的偏移成分。

控制电路60例如可以是处理器及存储器的组合、或内置处理器及存储器的微控制器等的集成电路。控制电路60例如通过由处理器执行记录在存储器中的程序，例如进行射出定时和快门定时的调整。

信号处理电路70是对从图像传感器30输出的图像信号进行处理的电路。信号处理电路70进行图像处理等的运算处理。信号处理电路70可以通过例如数字信号处理器(DSP)、现场可编程门阵列(FPGA)等的可编程逻辑器件(PLD)或中央运算处理装置(CPU)、或者图像处理用运算处理器(GPU)与计算机程序的组合实现。控制电路60及信号处理电路70既可以是合并的1个电路，也可以是分离的单独的电路。信号处理电路70也可以是例如设在远处的服务器等外部装置的构成要素。在此情况下，服务器等外部装置通过有线通信或无线通信，与光源20、图像传感器30及控制电路60相互进行数据的收发。

本实施方式的信号处理电路70能够基于从图像传感器30按每个帧输出的图像数据，生成表示脑血流的时间变化的运动图像数据及表示脸的外观的时间变化的运动图像数据。信号处理电路70并不限于这样的运动图像数据，也可以生成其他信息。例如，也可以通过与其他设备同步，生成脑的血流量、血压、血中氧饱和度或心跳数等生物体信息。信号处理电路70也可以进行由干扰光带来的偏移成分的估计及偏移成分的除去。

已知在脑血流量或血红蛋白等的血液内成分的变化与人的神经活动之间有密切的关系。例如，根据人的兴趣度而神经细胞的活动变化，由此脑血流量或血液内的成分变化。因而，如果能够计测脑血流量或脸的外观信息等生物体信息，则能够推测用户的心理状态或身体状态。用户的心理状态例如是心情、感情、健康状态或温度感觉。心情例如可以包括愉快或不愉快这样的心情。感情例如可以包括安心、不安、悲伤或愤怒这样的感情。健康状态例如可以包括精神饱满或疲倦这样的状态。温度感觉例如可以包括热、冷或闷热这样的感觉。派生于这些而表示脑活动的程度的指标，例如兴趣度、熟练度、熟悉度或专注度也可以包含在心理状态中。进而，疲劳度、睡意或因饮酒带来的醉的程度等的身体状态也包含在信号处理电路70的推测对象中。信号处理电路70能够基于脑血流状态的变化及脸的外观的变化，推测用户的心理状态或身体状态，输出表示推测结果的信号。

图6A是表示由控制电路60进行的光源20及图像传感器30的控制的概要的流程图。这里为了简单，说明使用1种波长的光按每个像素检测反射光的表面反射成分I1及内部散射成分I2的情况下的动作。在该例中，图像传感器30的各像素包括积蓄由表面反射成分I1带来的电荷的第1电荷积蓄部、和积蓄由内部散射成分I2带来的电荷的第2电荷积蓄部。

在步骤S101中，控制电路60首先使光源20以规定时间发出光脉冲。此时，图像传感器30的电子快门处于停止了曝光的状态。控制电路60使电子快门停止曝光，直到光脉冲被用户的表面反射而开始到达图像传感器30。

接着，在步骤S102中，控制电路60在反射光脉冲开始到达图像传感器30起到下降期间开始为止的规定的定时，使电子快门开始曝光。将该曝光称作“第1曝光”。开始第1曝光的定时可以通过预先按每个像素计测到对象部的距离而按每个像素适当地设定。第1曝光的开始定时既可以根据对象部的表面的弯曲程度而按每个像素不同，也可以在全部的像素中相同。通过第1曝光检测的光主要是在对象部的皮肤的表面被散射而到达图像传感器30的光。

在经过规定时间后，在步骤S103中，控制电路60使电子快门停止第1曝光。曝光停止的定时例如可以是反射光脉冲的下降期间开始之前。

接着，在步骤S104中，控制电路60在光脉冲的一部分在用户的内部被散射而到达图像传感器30的定时，使电子快门开始第2曝光。更具体地讲，控制电路60在反射光脉冲的下降期间开始后使第2曝光开始。第2曝光的开始定时可以基于预先按每个像素计测的到对象部的距离来计算。第2曝光的开始定时也既可以根据对象部的表面的弯曲程度而按每个像素不同，也可以在全部的像素中相同。

在经过规定时间后，在步骤S105中，控制电路60使电子快门停止第2曝光。第1曝光的时间长和第2曝光的时间长既可以相同也可以不同。通常，通过第1曝光检测的表面反射成分I1的光量比通过第2曝光检测的内部散射成分I2的光量大。因而，也可以将第1曝光的时间长设定为比第2曝光的时间长短。

接着，在步骤S106中，控制电路60判定执行了上述信号积蓄的次数是否达到了规定的次数。在该判定为“否”的情况下，重复步骤S101至S105，直到判定为“是”。该次数依据内部散射成分I2的检测灵敏度而被设定为适当的次数。如果在步骤S106中判定为“是”，则在步骤S107中，控制电路60使图像传感器30生成基于积蓄在各电荷积蓄部中的信号电荷的图像信号。图像传感器30输出基于积蓄在各像素的第1电荷积蓄部中的电荷的第1图像数据和基于积蓄在各像素的第2电荷积蓄部中的电荷的第2图像数据。

通过以上的动作，能够以高灵敏度检测在对象部的表面附近被散射的光的成分和在对象部的内部被散射的光的成分。另外，多次的发光及曝光不是必须的，而根据需要进行。

信号处理电路70通过对第1图像数据进行色调修正、像素插值或帧插值等的所需的图像处理，生成表示用户的脸的外观的变化的第1运动图像数据。信号处理电路70还通过对第2图像数据进行所需的图像处理，生成表示用户的脑血流的状态的变化的第2运动图像数据。信号处理电路70还基于第1运动图像数据和第2运动图像数据，进行用户的心理状态或身体状态的推测。例如，能够基于根据第1运动图像数据推测的表情或视线的变化和根据第2运动图像数据推测的脑活动状态的变化，推测用户的兴趣或专注这样的状态。关于这些处理的详细情况在后面叙述。

信号处理电路70也可以进行使第1图像数据及第2图像数据的至少一方的分辨率变化的处理。例如，也可以进行处理以使第1图像数据具有比第2图像数据高的分辨率。使分辨率变化的处理也可以仅对各个图像的一部分进行。即，信号处理电路也可以进行使第1图像数据表示的图像的至少一部分的分辨率及/或第2图像数据表示的图像的至少一部分的分辨率变化的处理。在此情况下，信号处理电路70基于该处理后的第1图像数据及第2图像数据各自的随时间的变化，生成表示对象者的状态的数据。以下，说明这样的处理的例子。

图6B是表示使第1图像数据和第2图像数据的分辨率变化的处理的一例的流程图。该例的信号处理电路70通过执行图6B所示的步骤S108至S114的处理，使第1及第2图像数据的分辨率变化。通过上述处理，信号处理电路70能够使得第1图像数据具有比第2图像数据高的分辨率。以下，说明各步骤的动作。

在步骤S108中，信号处理电路70取得由图像传感器30生成的第1图像数据及第2图像数据。

在步骤S109中，信号处理电路70从第1图像数据中选择需要的区域。例如，在取得视线数据的情况下，选择眼球附近的区域。

在步骤S110中，信号处理电路70对于第1图像数据的所选择的区域的数据，进行高分辨率处理。例如通过进行周知的超分辨率处理，将第1图像数据处理为具有比第2图像数据高的分辨率。另外，信号处理电路70也可以对第1图像数据进行使分辨率下降的处理。在此情况下，也可以通过抑制第1图像数据的分辨率的下降率，使得第1图像数据具有比第2图像数据高的分辨率。

在步骤S111中，信号处理电路70从第2图像数据中选择需要的区域。例如，选择对象者的额头的一部分区域。

在步骤S112中，信号处理电路70对第2图像数据进行低分辨率处理。为了低分辨率化，可以在近邻的像素间进行信号值的加法平均。通过进行加法平均处理，能够降低微弱的脑血流信号中包含的噪声。

在步骤S113中，信号处理电路70输出处理后的第1图像数据及第2图像数据。例如，信号处理电路70将处理后的第1图像数据及第2图像数据记录到记录介质90中。

在步骤S114中，信号处理电路70判定处理是否已结束。在该判定为“否”的情况下，信号处理电路70重复步骤S108至S113，直到判定为“是”。处理是否已结束的判定，例如可以基于由图像传感器30进行的图像数据的输出是否已结束、或者是否有来自用户的停止指示来进行。或者，也可以基于从计测开始起的经过时间是否达到了既定的时间、或者从计测开始起的数据的积蓄量是否达到了既定的数据量等来进行结束的判定。

信号处理电路70也可以仅对第1图像数据及第2图像数据中的一方进行将分辨率变更的处理。在提高第1图像数据的分辨率、降低第2图像数据的分辨率的情况下，能够削减数据量，并且还能够同时取得高分辨率的脸的外观信息。

图像传感器30输出第1图像数据的第1帧速率和图像传感器30输出第2图像数据的第2帧速率也可以不同。

图6C是表示由图像传感器30使帧速率变化而输出图像数据、信号处理电路70生成运动图像数据的处理的概要的流程图。

在步骤S115中，图像传感器30将基于表面反射成分I1的第1图像数据以高帧速率输出。在此情况下，为了提高帧速率，控制电路60调整图像传感器30的快门定时，使1帧内的累计曝光时间变短。为了提高帧速率，控制电路60也可以调整光源20的发光定时而使1次的发光时间变长，也可以减少1帧内的发光次数。也可以通过在1帧内进行连续发光，将1帧内的发光次数设为1次。

另外，为了取得脸的外观信息，光源20也可以是LED。在脸的外观信息的取得中，并不一定需要光脉冲的下降部分与时间轴大致成直角的LD等的激光，陡峭的时间响应特性不是必须的。

在步骤S116中，信号处理电路70基于在步骤S115中输出的第1图像数据，生成脸的外观数据并输出。

在步骤S117中，图像传感器30将基于内部散射成分I2的第2图像数据以低帧速率输出。在此情况下，为了使帧速率变低，控制电路60调整图像传感器30的快门定时，使1帧内的累计曝光时间比取得了第1图像数据时变长。

在步骤S118中，信号处理电路70基于在步骤S117中取得的第2图像数据，生成脑血流数据。

另外，也可以代替图像传感器30以较低的帧速率输出第2图像数据，而图像传感器30在将全部帧以高帧速率输出后，信号处理电路70事后使多次量的图像数据累计而作为1次的图像数据输出。

图像传感器30及信号处理电路70反复进行步骤S115至S118的处理，直到在步骤S119中接受到计测结束的指示。另外，在第1图像和第2图像中，反复次数也可以不同。

[1－5.服务器200及刺激装置10的控制]

本实施方式的生物体计测装置100可以与外部的服务器200协同而使用。服务器200具备积蓄影像或语音等的内容、游戏、文本或课题的数据的存储装置。服务器200还具备与生物体计测装置100的通信电路80通信的通信电路。服务器200除了能够向用户提供的运动图像或应用等数据以外，还积蓄由信号处理电路70生成的运动图像数据及脑活动的诊断数据。也可以是服务器200的一部分或全部的功能被内置在生物体计测装置100中。相反，也可以由服务器200进行生物体计测装置100中的信号处理电路70的一部分功能。

控制电路60具备刺激控制部63。刺激控制部63能够对刺激装置10进行控制而对用户提供影像或语音等的刺激。刺激控制部63例如能够控制作为刺激提供的影像的内容的色相、彩度、或亮度、或语音的种类、音质或音量。

控制电路60能够基于信号处理电路70推测出的用户的心理状态或身体状态，决定接下来对用户提供的刺激。例如，在判断为正在视听某个内容的用户失去了兴趣或专注力的情况下，可以决定为显示不同的内容。该决定的处理也可以由服务器200具备的处理器进行。控制电路60可以从服务器200取得需要的影像或语音等的数据，使刺激装置10提供基于该数据的刺激。

[1－6.其他]

生物体计测装置100也可以具备将用户的二维像形成在图像传感器30的受光面上的成像光学系统。成像光学系统的光轴相对于图像传感器30的受光面大致正交。成像光学系统也可以包括变焦透镜。如果变焦透镜的位置变化，则用户的二维像的放大率变更，图像传感器30上的二维像的分辨率变化。因而，即使到用户的距离较远，也能够将想要测量的区域放大而详细地观察。

生物体计测装置100也可以在用户与图像传感器30之间具备仅使从光源20射出的波段的光或其附近的光通过的带通滤波器。由此，能够降低环境光等的干扰成分的影响。带通滤波器可以由多层膜滤波器或吸收滤波器构成。考虑到光源20的温度及伴随于向滤波器的斜入射的波段移位，带通滤波器的带宽也可以具有20nm至100nm左右的宽度。

生物体计测装置100也可以在光源20与用户之间、以及图像传感器30与用户之间分别具备偏光板。在此情况下，配置在光源20侧的偏光板和配置在图像传感器30侧的偏光板的偏光方向处于正交尼克尔的关系。由此，能够防止用户的表面反射成分I1中的正反射成分、即入射角与反射角相同的成分到达图像传感器30。即，能够使表面反射成分I1到达图像传感器30的光量减少。

[2.时间分解摄像的动作]

本实施方式的生物体计测装置100如上述那样，能够将被照射在对象部上的光的表面反射成分I1与内部散射成分I2区分开来检测。将这样的摄像在本说明书中称作“时间分解摄像”。

以下，说明本实施方式的生物体计测装置100的动作的例子。

如图1B所示，如果光源20向用户照射光脉冲，则产生表面反射成分I1及内部散射成分I2。表面反射成分I1及内部散射成分I2的一部分到达图像传感器30。内部散射成分I2被从光源20发出，在到达图像传感器30之前穿过用户的内部。即，内部散射成分I2的光路长与表面反射成分I1的光路长相比长。因而，内部散射成分I2到达图像传感器30的时间相对于表面反射成分I1平均较晚。

表面反射成分I1例如可以通过以下的动作来检测。

图7是表示从光源20发出矩形的光脉冲、从用户返回来的光到达图像传感器30的光信号的一例的图。在部分(a)至(d)中横轴都表示时间(t)。在部分(a)至(c)中纵轴表示强度，在部分(d)中纵轴表示电子快门的OPEN或CLOSE的状态。部分(a)表示表面反射成分I1。部分(b)表示内部散射成分I2。部分(c)表示了表示表面反射成分I1的部分(a)与表示内部散射成分I2的部分(b)的合计成分。部分(d)表示用来取得用户的表面反射成分I1的快门定时。

如图7的部分(d)所示，通过将快门设为OPEN，能够有效地收集向图像传感器30入射的反射光中的较早到达的成分。较早到达的成分意味着对象部中的散射较少，包含对象部的表面信息。实质上光被积蓄的时间是脉冲波的前端的一点点的时间，但快门并不需要一定只是该期间。如图7的部分(d)所示，也可以在比脉冲波的前端到达图像传感器30早的阶段将快门设为OPEN。在图7的部分(d)所示的例子中，在曝光期间即将结束之前，检测出反射光脉冲的前端部分。在采用这样的快门控制的情况下，不需要使用能够进行皮秒级的曝光的昂贵的图像传感器。本实施方式的生物体计测装置100能够由便宜的图像传感器30构成。

在图7的例子中，光源20照射矩形的脉冲波。此时，脉冲宽度不需要是ps级，是几ns就可以。因而，能够使用便宜的光源。

在该例中，仅检测反射光脉冲的前端部分，但并不限定于这样的检测方法。例如，也可以在曝光期间中包括从上升期间结束到下降期间开始为止的期间。如果是这样的检测方法，也能够取得表示用户的脸的外观的图像数据。

接着，说明内部散射成分I2的检测方法的例子。

图8是表示从光源20发出矩形的光脉冲、从用户返回来的光到达图像传感器30的光信号的另一例的图。图8中的部分(a)至(c)分别表示与图7中的部分(a)至(c)同样的时间变化。图8中的部分(d)表示用来取得内部散射成分I2的快门定时。

如图8中的部分(a)所示，表面反射成分I1维持矩形。另一方面，如图8中的部分(b)所示，由于内部散射成分I2是各种各样的光路长的光的合计，所以呈现在光脉冲的后端拖尾那样的特性。即，与表面反射成分I1相比下降期间更长。为了从图8中的部分(c)的光信号提高内部散射成分I2的比例而提取，如图8中的部分(d)所示，在表面反射成分I1的后端以后，电子快门开始电荷积蓄。表面反射成分I1的后端以后指的是表面反射成分I1下降时或其之后。该快门定时由控制电路60调整。如上述那样，本实施方式的生物体计测装置100将表面反射成分I1和内部散射成分I2区分开来检测。因此，发光脉冲宽度及快门宽度是任意的。因而，与以往的使用快速扫描相机的方法不同，能够通过简便的结构实现内部散射成分I2的取得，能够使成本降低。

为了执行图8的部分(d)所示的动作，控制电路60使图像传感器30检测反射光脉冲中的下降期间的至少一部分的成分并输出表示用户的二维像的信号。在本实施方式中，从图像传感器30输出的信号可以包含表示反射光脉冲中的下降期间的至少一部分的成分的光量的信号。

在图8的部分(a)中，表面反射成分I1的后端垂直地下降。换言之，从表面反射成分I1开始下降到结束为止的时间是零。但是，现实中，有光源20照射的光脉冲自身不是完全的垂直、或在用户的表面有微细的凹凸、或通过表皮内的散射而表面反射成分I1的后端不垂直地下降的情况。此外，由于用户是不透明的物体，所以表面反射成分I1的光量与内部散射成分I2的光量相比非常大。因而，即使在表面反射成分I1的后端从垂直的下降位置稍稍伸出的情况下，内部散射成分I2也有可能被掩盖。进而，还有在电子快门的读出期间中发生伴随于电子的移动的时间延迟的情况。因此，有不能实现如图8的部分(d)所示的理想的二进制的读出的情况。在此情况下，控制电路60也可以使电子快门的快门定时比表面反射成分I1的刚开始下降后稍稍延迟。例如，也可以使其延迟0.5ns至5ns左右。控制电路60也可以代替调整电子快门的快门定时而调整光源20的发光定时。换言之，控制电路60也可以调整电子快门的快门定时与光源20的发光定时的时间差。如果使快门定时过于延迟，则原本较小的内部散射成分I2进一步减小。因此，也可以将快门定时停留在表面反射成分I1的后端附近。如上述那样，由于由额头内部的散射带来的时间延迟是4ns，所以快门定时的最大的延迟量可以是4ns左右。

也可以将从光源20射出的多个光脉冲分别以相同时间差的快门定时曝光而积蓄信号。由此，内部散射成分I2的检测光量被放大。

也可以代替在用户与图像传感器30之间配置带通滤波器或在此基础上，通过在不使光源20射出光的状态下以相同的曝光期间进行摄影，来估计偏移成分。估计的偏移成分从由图像传感器30的各像素检测到的信号中差减来除去。由此，能够将在图像传感器30上产生的暗电流成分及/或干扰光的影响除去。

接着，说明每1帧的表面反射成分I1及内部散射成分I2的检测方法的例子。

图9A表示检测表面反射成分I1的情况下的时间图的一例。为了表面反射成分I1的检测，例如也可以如图9A所示，在光脉冲到达图像传感器30之前将快门设为OPEN，在光脉冲的后端到达之前将快门设为CLOSE。通过这样对快门进行控制，能够使内部散射成分I2的混入变少。能够使经过用户的表面附近的光的比例变大。特别是，也可以将快门CLOSE的定时设为光刚到达图像传感器30之后。由此，能够进行提高了光路长比较短的表面反射成分I1的比例的信号检测。作为其他的表面反射成分I1的取得方法，也可以是图像传感器30取得光脉冲整体，或从光源20照射连续光而检测。

图9B表示检测内部散射成分I2的情况下的时间图的一例。在该例中，在脉冲的后端部分开始到达图像传感器30之后，快门被设为OPEN。通过这样的控制，能够取得内部散射成分I2的信号。

如果如本实施方式那样，进行由相同的图像传感器进行的分时摄像，则不易发生时间及空间上的偏差。在用相同的图像传感器取得表面反射成分I1及内部散射成分I2双方的信号的情况下，也可以如图9A及图9B所示，按每1帧切换所取得的成分。或者，也可以如参照图5及图6A说明那样，在1帧内将取得的成分高速地交替切换。在此情况下，能够减小表面反射成分I1与内部散射成分I2的检测时间差。

进而，也可以使用两个波长的光取得表面反射成分I1和内部散射成分I2各自的信号。在分别用两个波长取得表面反射成分I1和内部散射成分I2的情况下，如例如参照图4A至图5说明那样，可以利用在1帧内高速地切换4种电荷积蓄的方法。通过这样的方法，能够减小检测信号的时间上的偏差。

[3.脑血流量的变化的检测例]

接着，说明检测用户的脑血流量的变化的方法的例子。

图10A是示意地表示脑血流量的时间变化的一例的图。如图10A所示，用户的对象部被照射来自光源20的光，其返回光被检测。在此情况下，表面反射成分I1与内部散射成分I2相比非常大。但是，通过上述的快门调整，能够仅提取内部散射成分I2。图10A所示的曲线图表示脑血液中的氧化血红蛋白(HbO

图10B是示意地表示在用户的对象部内的多个部位同时进行计测的情况下的例子的图。在该例中，由于拍摄二维的区域，所以能够取得脑血流量的二维分布。在此情况下，光源20的照射样式例如也可以是均匀强度的均匀的分布、点状的分布或圆圈状的分布。如果是均匀强度的均匀的分布的照射，则能够不需要调整对象部的照射位置或调整变得简便。如果均匀的分布的照射，则光从广范围向用户的对象部入射。因此，能够增强由图像传感器30检测的信号。进而，只要是照射区域内，就能够在任意的位置进行计测。如果是点状的分布或圆圈状的分布那样的部分性的照射，则仅通过将对象部从其照射区域避开就能够降低表面反射成分I1的影响。

图11A是示意地表示光的照射区域22的例子的图。在以非接触的方式进行的脑血流测量中，检测光量与从装置到对象部的距离的平方成反比例地衰减。所以，也可以将由图像传感器30检测的各像素的信号通过将附近的多个像素的信号累计而增强。由此，能够在维持SN比的状态下降低累计脉冲数。由此，能够使帧速率提高。

图11A表示仅向用户的头部照射光的例子，但在使用相同的光取得用户的脸图像的情况下，脸也包含在照射区域中。在使用其他光取得脸图像的情况下，来自光源20的光不需要照射头部以外的区域。

图11B是示意地表示用户的对象部在横向上移位的情况下的信号的变化的图。如上述那样，通过检测脑活动状态从平常状态变化时的脑血流量与平常状态下的脑血流量的差分，读取脑活动的变化。在使用具备以二维排列的多个光电变换元件的图像传感器30的情况下，如图11B的上段所示，能够取得二维的脑活动分布。在此情况下，即使不事前取得平常状态下的信号，也能够根据二维分布内的相对的强度分布来检测脑活动较活跃的部位。在本实施方式中，由于以非接触的方式进行计测，所以如图11B的下段所示，有对象部的位置在计测中变化的情况。这例如可能在用户为了呼吸而稍稍活动的情况下发生。通常，脑血流量的二维分布不会在微小时间内急剧地变化。因此，例如通过检测到的二维分布的帧间的图案匹配，能够将对象部的位置偏差修正。或者，如果是呼吸那样的周期性的运动，则也可以仅提取其频率成分而修正或除去。对象部不需要是单一的区域，也可以是多个区域。该多个区域例如也可以是左右各1个、或2×6的矩阵状的点分布。

[4.用户的状态的推测]

接着，说明使用上述的生物体计测装置100推测用户的状态的方法的例子。生物体计测装置100可以在例如将影像或语音的内容经由因特网等的网络提供的系统中使用。这样的系统例如可以包括业者运营的服务器、用户拥有的个人计算机(PC)、智能电话或平板电脑等各种计算机。图1B所示的服务器200也可以是这样的系统中的服务器。

这样的系统能够由多个用户利用。各用户利用生物体计测装置100。各用户例如能够使用智能电话等的计算机，经由刺激装置10阅览从服务器分发的应用、运动图像或游戏等内容。生物体计测装置100也可以被内置或外置于用户拥有的计算机。

[4－1.用户的兴趣的判定]

作为一例，说明判定用户的兴趣的方法的例子。在该例中，用户视听显示在显示器上的影像的内容，在其之间，通过上述的方法，反复生成表示用户的脸的外观的图像数据和表示用户的脑血流的状态的图像数据。在该例中，如参照图4A至图5说明那样，使用两个波长的光，按每个帧生成基于由各波长的光带来的表面反射成分I1及内部散射成分I2的合计4种图像数据。以下，将基于表面反射成分I1的两种图像数据称作“第1图像数据”，将基于内部散射成分I2的两种图像数据称作“第2图像数据”。信号处理电路70基于第1图像数据的随时间的变化，检测用户的视线的变化，基于第2图像数据，检测用户的脑活动的变化。信号处理电路70基于这些检测结果，确定用户的兴趣度高的定时、和此时用户注视的部位。由此，能够推测在用户视听的内容中用户对哪个部分抱有较强的兴趣。

图12A是表示本实施方式的兴趣判定处理的动作的例子的流程图。在该例中，信号处理电路70按每个帧执行图12A所示的步骤S201至S206的处理。

在步骤S201中，信号处理电路70取得基于表面反射成分I1的第1图像数据。第1图像数据如上述那样，从图像传感器30以第1帧速率反复输出。

在步骤S202中，信号处理电路70基于第1图像数据生成视线数据J1。视线数据J1是表示用户的视线的方向的数据。视线数据J1例如可以是表示用户的瞳孔中心的坐标的数据。用户的瞳孔中心的坐标例如可以使用周知的角膜反射法，根据用户的瞳孔的中心位置与作为角膜反射像的浦尔金耶(Purkinje)像的位置关系来计算。在基于角膜反射法的眼球位置的计算方法中，存在各种方法。例如，如在非专利文献1中公开那样，可以使用将从相机观察的瞳孔中心的水平方向及垂直方向上的移动量映射到显示器平面上的方法。在本实施方式中，第1图像数据包括基于比805nm短的波长的光的图像数据、和基于比805nm长的波长的光的图像数据。视线数据的生成既可以仅基于这两种图像数据中的一方来生成，也可以基于双方来生成。

在步骤S203中，信号处理电路70取得基于内部散射成分I1的第2图像数据。第2图像数据如上述那样，从图像传感器30以第2帧速率反复输出。

在步骤S204中，信号处理电路70基于第2图像数据，生成脑血流数据J2。脑血流数据J2是表示用户的脑血流的状态的数据。脑血流数据J2例如可以是表示脑血液中的氧化血红蛋白(HbO

在步骤S205中，信号处理电路70基于视线数据J1及脑血流数据J2判定用户的兴趣，并记录表示判定结果的数据。该判定处理的详细情况参照图12B在后面叙述。

信号处理电路70反复进行步骤S201至S205的处理，直到在步骤S206中受到计测结束的指示。

图12B是表示步骤S205的处理的具体例的流程图。信号处理电路70执行图12B所示的步骤S301至S317的处理。

在步骤S301中，信号处理电路70基于视线数据J1，计算视线坐标的移动。视线坐标的移动例如可以是视线坐标与前次的采样的定时的视线坐标的差分。

在步骤S303中，信号处理电路70判定差分是否小于阈值。例如，设水平方向为X轴方向，设垂直方向为Y轴方向，信号处理电路70关于X坐标和Y坐标，分别判定视线坐标的差分是否小于±10等的规定的阈值。

在视线位置的差分是阈值以上的情况下，能够判断为视线移动了。在此情况下，将其后的处理省略，向步骤S206前进。另一方面，在视线位置的差分小于阈值的情况下，向步骤S305前进。

在步骤S305中，信号处理电路70计算其视线位置处的滞留时间。滞留时间可以通过对在前次的采样的定时计算出的滞留时间加上采样的时间间隔来计算。

在步骤S307中，信号处理电路70判断计算出的滞留时间是否超过了规定的阈值。在滞留时间小于阈值的情况下，将以后的处理省略，向步骤S206前进。另一方面，在滞留时间是阈值以上的情况下，判断为用户正在注视该部位，向步骤S313前进。

在步骤S313中，信号处理电路70基于在步骤S204中生成的脑血流数据J2，判定相对于脑血流的基准值的变化量是否是阈值以上。例如，关于脑血液中的氧化血红蛋白浓度及脱氧血红蛋白浓度，分别预先设定有相对于基准值的变化量的阈值。信号处理电路70关于脑血液中的氧化血红蛋白浓度及脱氧血红蛋白浓度，分别判定相对于基准值的变化量是否是各自的阈值以上。在该判定为“否”的情况下，推测为用户的兴趣度低，所以将其后的处理省略，向步骤S206前进。在该判定为“是”的情况下，推测为用户的兴趣度高，向步骤S315前进。

这里，参照图13，说明基于脑血流数据J2的判定处理的一例。图13表示脑血液中的氧化血红蛋白(Oxy－Hb)及脱氧血红蛋白(Deoxy－Hb)各自的浓度的随时间的变化的一例。横轴表示时间，纵轴表示各自的浓度相对于基准值的变化量。该数据通过在将视线固定的状态下使用本实施方式的生物体计测装置100计测前头叶的血流量而得到。进行视线不动、在视线的前方依次提示有兴趣的事物和没有兴趣的事物的实验。根据图13所示的结果可知，在看到有兴趣的事物时和看到没有兴趣的事物时，脑血流的随时间的变化的趋势不同。根据图13所示的结果，当看到有兴趣的事物时，有Oxy－Hb的浓度增加、Deoxy－Hb的浓度减小的趋势。因而，基于Oxy－Hb的浓度及Deoxy－Hb的浓度的一方或双方相对于基准值的变化量，能够推测用户的兴趣度。

另外，在本实施方式中推测用户有没有兴趣，但也可以用同样的方法推测恐怖、睡意、愉快感或疲劳感等其他的心理状态或身体状态。例如在非专利文献2中，报告了因不愉快的刺激而Oxy－Hb增加，因由恐怖刺激引起的不安而右前头全皮质(PFC)的Oxy－Hb增加。进而，有对于由心算课题带来的认知性负荷而右侧的oxy－Hb增加、当看到笑脸时眼窝前头皮质(OFC)区域中的Oxy－Hb的脑血流增加等报告。非专利文献3公开了自己感觉的睡意越强，则与不感到睡意的情况相比，实施语言流畅性课题时的前头叶背外侧部(DLPFC)的Oxy－Hb的增加量越小，或Oxy－Hb越减小。非专利文献4公开了如果用近红外分光法(NIRS)研究由语言流畅性课题带来的前头叶的激活，则自己越感觉到疲劳感，两侧的前头叶腹外侧部(VLPFC)的Oxy－Hb的增加量越小。进而，非专利文献5公开了在入迷于课题而专注时前头皮质的Oxy－Hb减少。因而，本实施方式的生物体计测方法并不限于用户的兴趣的程度，以推测其他心理状态或身体状态的目的也能够利用。

再次参照图12B。在步骤S313中，如果判断为“是”，则向步骤S315前进。在步骤S315中，信号处理电路70取得用户正在视听的内容的此时的时刻信息。

在步骤S317中，信号处理电路70将此时的视线坐标与时刻合并而保存到服务器200中。由此，将用户正在注视的内容中的对象的位置与时刻建立关联而保存。

另外，图12B所示的动作不过是一例，能够进行各种各样的改变。例如，如图12C所示，也可以将步骤S301至S307的处理与步骤S313的处理替换。在图12C的例子中，首先在步骤S313中，判定脑血流相对于基准值的变化量是否是阈值以上。在该判定为“否”的情况下，将以后的处理省略，向步骤S206前进。仅在该判定为“是”的情况下，向步骤S301以后的处理前进。即使是这样的动作，也能够得到同样的效果。在图12A的例子中，将步骤S205的动作在用户视听内容的过程中实时地进行。步骤S205的动作也可以在视听中的步骤S201至S204的动作全部完成后进行。在此情况下，信号处理电路70也可以将图12A或图12B的动作以规定的采样间隔反复进行。

通过以上的动作，能够在用户正在视听的内容中，确定用户对哪个对象抱有兴趣。服务器200也可以按每个用户且按每个内容储存将视线坐标与时刻建立关联的数据。各用户的生物体计测装置100中的控制电路60也可以基于储存在服务器200中的数据，进行将向用户提示的刺激或内容变更等的控制。

[4－2.用户的兴趣的判定后的应用处理1]

接着，说明用户的兴趣的判定后的处理的例子。

图14A是表示在内容中确定用户抱有兴趣的对象的处理的一例的流程图。

在步骤S401中，信号处理电路70从服务器200读入内容的数据D1。数据D1是向用户提示的影像、语音、应用、游戏、课题等的内容的数据。

在步骤S402中，信号处理电路70从服务器200读入视线坐标及时刻的数据D2。数据D2在上述的步骤S317中被预先记录。

在步骤S403中，信号处理电路70基于数据D1及D2，在内容中确定用户拥有兴趣的1个以上的对象。对象例如可以是特定的人物、动物、植物、机械、建造物或景色。关于步骤S403的处理的详细情况，参照图14B在后面叙述。

在步骤S404中，信号处理电路70将在内容中用户拥有兴趣的1个以上的对象的确定结果向服务器200记录。

以下，说明步骤S403的动作的详细情况。

图14B是表示步骤S403的动作的详细情况的流程图。信号处理电路70在内容的全部场景中反复进行图14B所示的步骤S511至S514的处理。然后，信号处理电路70执行步骤S521的处理。

在步骤S511中，信号处理电路70取得内容中的各对象的位置信息。对象例如可以是在应用或运动图像中出现的人物、动物、植物等对象。各对象的位置信息既可以包含在内容的数据D1中，也可以通过由信号处理电路70对数据D1进行解析而生成。

在步骤S512中，信号处理电路70取得各对象的提示时间的信息。这里，提示时间表示在内容中的哪个定时该对象出现。关于该时间信息，也既可以预先包含在数据D1中，也可以通过由信号处理电路70对数据D1进行解析而生成。

在步骤S513中，信号处理电路70将对象的位置信息与时间信息合并，向存储器或服务器200记录。

将步骤S511至S513的处理反复进行，直到在步骤S514中判定为关于内容的全部部场景完成了处理。如果关于内容的全部场景完成了步骤S511至S513的处理，则向步骤S521前进。

在步骤S521中，信号处理电路70通过将数据D2所表示的视线坐标及时间与各对象的位置及提示时间进行对照，确定用户拥有兴趣的对象。例如，在视线坐标和对象的位置坐标都被用相同的显示器坐标系表现的情况下，仅通过简单比较，就能够进行坐标的对照。如果步骤S521结束，则向图14A所示的步骤S404前进，记录确定结果。

[4－3.用户的兴趣的判定后的应用处理2]

接着，说明根据用户的兴趣对象将向用户提示的内容变更的处理的例子。

在本实施方式中，在对用户提示应用或运动图像等内容的期间，生物体计测装置100开始生成表示用户的脸的外观的数据和表示脑血流的状态的数据。基于所生成的数据，如果用户的兴趣的对象变得清楚，则能够根据兴趣的对象，使接下来要提示的应用或运动图像等内容(contents)的详细内容适当地变化。例如，当知道了用户在旅行介绍运动图像的视听中该用户对住宿地有兴趣的情况下，能够进行使运动图像的详细内容变化为将焦点放在住宿地信息的详细内容这样的控制。另一方面，当用户观看应用或运动图像的过程中完全没有表示出兴趣的反应的情况下，也可以提示事前决定的模板的详细内容。

这样，能够基于表示用户的脸的外观的运动图像数据和表示用户的脑血流的状态的运动图像数据，对向用户赋予的刺激进行控制。此时，控制电路60中的刺激控制部63能够使刺激装置10输出与生物体反应的分类建立了关联的影像及声音的至少一方。生物体反应的分类例如可以是“有兴趣”及“无兴趣”这样的两值的分类。除此以外，还可以将兴趣及其他的状态的程度分类为3个级别以上。

图15是表示根据用户的兴趣对象使内容的详细内容变化的处理的一例的流程图。

在步骤S601中，信号处理电路70从服务器200读入被提供给用户的内容的信息。在步骤S602中，信号处理电路70读入在图14A的步骤S404中记录的用户拥有兴趣的对象的信息。

在步骤S603中，信号处理电路70访问服务器200，检索兴趣对象的内容。例如，在知道用户对不动产拥有兴趣的情况下，信号处理电路70检索包含不动产信息的内容。

在步骤S604中，信号处理电路70判断是否存在符合用户的兴趣对象的内容。在没有符合的内容的情况下，向步骤S606前进，提示事前决定的模板的内容。在有符合的内容的情况下，向步骤S605前进，提示兴趣对象的内容。

以上的动作被反复进行，直到在步骤S607中判断为内容结束。通过以上的动作，能够向用户提示与用户的兴趣对象相应的适当的内容。

图15所示的动作既可以在图14A所示的动作完成之后执行，也可以与图14A所示的动作同时并行地执行。

图16示意地表示具备能够连接到网络的显示器的刺激装置10将由服务器200提示的运动图像作为刺激向用户赋予的状况。用户被PC或电视机等刺激装置10赋予运动图像等的刺激。在用户正在视听运动图像的期间，内置或外置于PC或电视机的生物体计测装置100取得用户的脑血流信息及外观信息。

图17是表示根据用户的兴趣对象而改变向用户提示的内容的详细内容的系统的一例的图。在该例中，内置或外置于PC、电视机、平板电脑、智能电话、头戴式显示器等的信息设备的生物体计测装置100、和信号处理电路70及服务器200配置在不同的地方，经由网络500被相互连接。如该例那样，图1B所示的信号处理电路70也可以设置于生物体计测装置100的外部。

在该例中，由生物体计测装置100从用户取得的脑血流信息和外观信息经由网络500被发送至信号处理电路70。信号处理电路70使用接收到的信息来判定用户的兴趣对象。基于判定出的兴趣对象，决定接下来向用户提示的运动图像中的场景，将表示该场景的数据向显示器等的刺激装置10发送。向用户提示的影像的刺激可以根据用户的兴趣对象而实时地或每隔一定的时间变化。例如，运动图像由被连续地再现的多个场景构成。关于场景2以后，能够根据之前的场景中的用户的兴趣的分类来决定其详细内容。

[5.其他实施方式]

上述的实施方式不过是一例，也可以进行各种变更。以下，以与上述结构及动作的例子不同的点为中心进行说明，共通的部分的说明省略。

[5－1.基于瞳孔径的理解度判定]

例如，也可以基于从图像传感器30输出的信号来检测用户的瞳孔径。如果脑要拼命地工作，则通过自律神经系统的作用，瞳孔径被扩张，当不是这样时则缩小。用户的瞳孔径的信息可以由搭载有瞳孔识别技术的信号处理电路70取得。信号处理电路70也可以基于检测出的瞳孔径和在图12A所示的步骤S204中生成的表示脑血流的变化的信息，来判定学习中的用户的理解度。例如，生物体计测装置100通过检测外语课中的用户的瞳孔径和脑血流变化，能够判定是否跟上了会话。在瞳孔径变小而没有检测到脑血流变化的情况下，即使用户点头，也有可能没有理解内容。在此情况下，能够构建将该消息向讲师通知的系统。或者，也可以是，搭载有生物体计测装置100的信息发送终端或AI机器人基于从由图像传感器30取得的图像数据检测到的用户的瞳孔径和脑血流变化的信息来读取用户的理解度。能够将本发明的技术应用于根据所读取的理解度而临机应变地变更向用户提示的信息或会话的内容的人机接口。在用户的瞳孔径变大的情况下，有可能用户不知如何理解。在此情况下，也可以将信息的提供或会话重复或使其变慢。

[5－2.使用头戴式显示器或智能电话的应用例]

也可以将生物体计测装置100装进头戴式显示器或智能电话等设备。

图18表示具备生物体计测装置100的头戴式显示器的实施方式。图19表示具备生物体计测装置100的智能电话的实施方式。

在头戴式显示器或智能电话的实施方式中，内置或外置于头戴式显示器或智能电话的相机取得脑血流信息和脸的外观信息。在头戴式显示器或智能电话的实施方式中，能够进行以下这样的利用。

例如，基于图12A的步骤S202中的视线数据J1和步骤S204中的脑血流数据J2，能够确定用户抱有兴趣的显示器上的位置。基于所确定的位置的信息，例如能够进行以下这样的控制。

·将用户抱有兴趣的显示器上的位置强调显示。

·提高该位置的附近的分辨率。

·在该位置处显示指针或光标。

·确定有兴趣的对象，显示该对象的详细信息。另外，对象既可以是实物，也可以是虚拟的事物。

·将有兴趣的对象的信息反馈给信息发送源。例如，将表示所反馈的内容的数据记录到服务器。

·将兴趣信息与用户信息建立关联来记录到服务器。

·在用户长时间心不在焉的情况下，将智能电话的电源关闭或设为休眠状态。

除此以外，还可以代替图12A的步骤S202中的视线数据J1，利用表示用户的眨眼的频度或时间间隔的信息作为表示脸的外观的变化的信息。基于表示眨眼的频度或时间间隔的信息和表示脑血流的变化的信息，能够推测用户的疲劳度或专注度。基于推测出的疲劳度或专注度的信息，例如可以进行以下这样的控制。

·显示促使休息的消息。

·显示有放松效果的图像。

·监视使用者的疲劳度、作业负荷、作业的难易度或作业的熟悉度。

·降低显示器的照度。

·监视使用者对于应用或游戏的熟悉度。

·将智能电话的电源关闭或开启。

除此以外，还可以基于眨眼的频度或时间间隔的信息和脑血流的变化信息来推测用户的睡意。基于推测出的睡意的信息，例如能够进行以下这样的控制。

·将头戴装置的电源关闭或开启。

·显示促使恢复精神的消息。

·显示有清醒效果的图像。

进而，基于瞳孔径的信息和脑血流的变化信息，能够取得对于内容的兴趣程度、或与照度的合适评价有关的信息。基于对于内容的兴趣程度、或关于照度的合适评价的信息，能够进行决定是否切换内容、或提高照度或降低照度等的控制。

在本发明的实施方式中，可以取得表示脸图像的随时间的变化的数据和表示脑血流的随时间的变化的数据。也可以基于这些数据来取得关于用户的确定或认证的信息。基于关于用户的确定或认证的信息，例如能够进行以下这样的控制。

·选择显示的内容。

·在对象外的使用者的情况下，不启动装置。

·设置使用时间的上限，抑制疲劳积累。

通过不仅利用脸图像、还利用脑血流信息，能够防止使用在特殊装扮等中使用的硅面具的变装、照片、或利用人体模型的本人假冒。

[5－3.向车载用途的应用例]

还能够将生物体计测装置100搭载到车辆来利用。图20是示意地表示用户利用搭载于车辆的生物体计测装置100的状况的图。

在该例中，生物体计测装置100既可以在车辆内置，也可以外装。生物体计测装置100既可以是为生物体计测而特制的装置，也可以内置于行车记录仪或车载导航仪等其他装置中。刺激也可以以用户以外的人为对象被提示。

在车辆搭载有生物体计测装置100的情况下，可以考虑以下这样的利用。例如，作为表示脸的外观的变化的信息，可以取得关于视线或眨眼的信息。基于关于视线或眨眼的信息和脑血流的变化信息，例如能够取得心肌梗塞或脑中风等紧急的疾病、或饮酒等的表示不正常的意识状态的信息。基于紧急的疾病或表示不正常的意识状态的信息，例如能够进行以下这样的控制。

·使车辆停止。

·使危险灯或公共汽车的蓝灯闪烁。

·将公共汽车的电光告示板切换为“发生紧急状况”。

·切换为自动驾驶，使车安全地停止。

·发出促使休息或注意的语音消息。

·对最高速度加以限制。

·不使发动机动作。

在这样的例子中，刺激装置10例如可以是车的灯或电光告示板。在此情况下，刺激也可以以用户以外的人为对象而被提示。

进而，还可以基于瞳孔径或视线的信息和脑血流的变化信息，取得表示对注视点的兴趣的信息。基于表示对注视点的兴趣的信息，能够进行例如显示注视点的对象的详细信息如推荐信息或停车场的空位信息、或发出关于该对象的消息等的控制。

除此以外，还能够基于脸图像的变化信息和脑血流的变化信息，取得关于使用者的确定或认证的信息。基于关于使用者的确定或认证的信息，在对象外的使用者要驾驶的情况下，能够进行不启动装置、或停止发动机的工作等的控制。

[5－4.照护或住院时的应用例]

进而，也可以将生物体计测装置100设置到照护或住院时的床上而利用。图21表示对象者即患者在床上利用生物体计测装置100的例子。

在这样的例子中，作为脸外观的变化信息，可以取得关于患者的视线或表情的信息。基于关于视线或表情的信息和脑血流的变化信息，能够取得认知状态、疼痛、尿意或便意等的表示患者的身体状态的信息。基于表示患者的身体状态的信息，能够进行向照护者、护士或医生发送信息等的控制。

作为脸外观的变化信息，也可以取得关于瞳孔径的信息。基于所取得的关于瞳孔径的信息和脑血流的变化信息，能够取得表示意识水平或生命状态的信息。基于表示意识水平或生命状态的信息，能够进行向照护者、护士或医生发送信息等的控制。

产业上的可利用性

本发明的生物体计测装置能够用于以非接触的方式取得用户的内部信息的相机、测量设备或信息设备等各种装置。

标号说明

10 刺激装置

20 光源

30 图像传感器

60 控制电路

70 信号处理电路

80 通信电路

90 记录介质

100 生物体计测装置

200 服务器