基于感兴趣客体的眼动数据分析方法及装置、计算机设备

摘要

本发明实施例公开了一种基于感兴趣客体的眼动数据分析方法及装置、计算机设备、存储介质。该基于感兴趣客体的眼动数据分析方法包括：获取包括多个连续视频帧的目标视频流；利用感兴趣客体OOI检测算法对多个连续视频帧依次进行检测，判断多个连续视频帧中是否存在OOI；在多个视频帧中存在OOI时，确定各个OOI对应的OOI区域的坐标信息；获取被试者观看感兴趣视频流时的眼动数据，其中，感兴趣视频流的起始视频帧为多个连续视频帧中第一个检测到OOI的视频帧；感兴趣视频流的终点视频帧为多个连续视频帧中最后一个检测到OOI的视频帧；基于各个OOI区域的坐标信息以及眼动数据，确定眼动指标。本发明实施例提高了眼动数据分析结果的准确性和效率。

说明书

技术领域

本发明实施例涉及数据分析领域，尤其涉及一种基于感兴趣客体的眼动数据分析方法及装置、计算机设备。

背景技术

在采用视频材料的眼动应用研究中，对采集到的眼动数据进行自动分析有助于提高眼动数据分析的准确性和效率，有助于加速促进人机交互、发展心理学、广告心理学、工程心理学及交通心理学等相关领域的研究进展。

相关技术中，通常获取被试者在观看视频流时的眼动数据，之后由分析人员手动在视频流的各个视频帧中勾画出感兴趣客体(Object Of Interest，OOI)，并基于该OOI和眼动数据，得到被试者在各个OOI的注视轨迹，以及被试者对各个OOI的关注度等。

但是分析人员手动勾画OOI费时费力，效率较低，误差较大，从而导致眼动数据分析结果的准确性较低。

发明内容

本发明提供一种基于感兴趣客体的眼动数据分析方法及装置、计算机设备、存储介质，以实现提高眼动数据分析结果的准确性和效率。

第一方面，本发明实施例提供了一种基于感兴趣客体的眼动数据分析方法，包括：

获取包括多个连续视频帧的目标视频流；

利用OOI检测算法对所述多个连续视频帧依次进行检测，判断所述多个连续视频帧中是否存在OOI；

在所述多个视频帧中存在所述OOI时，确定各个所述OOI对应的OOI区域的坐标信息；

获取被试者观看感兴趣视频流时的眼动数据，其中，所述感兴趣视频流的起始视频帧为所述多个连续视频帧中第一个检测到所述OOI的视频帧；所述感兴趣视频流的终点视频帧为所述多个连续视频帧中最后一个检测到所述OOI的视频帧；

基于各个所述OOI区域的坐标信息以及所述眼动数据，确定眼动指标。

可选地，所述多个连续视频帧中的目标视频帧包括根据分析人员操作确定的目标客体，在利用感兴趣客体OOI检测算法对所述多个连续视频帧依次进行检测之前，还包括：

确定所述目标客体的目标类型；

所述利用感兴趣客体OOI检测算法对所述多个连续视频帧依次进行检测，包括：

利用所述目标类型对应的OOI检测算法分别对所述多个连续视频帧中，位于所述目标视频帧之后的连续视频帧依次进行检测。

可选地，所述利用感兴趣客体OOI检测算法对所述多个连续视频帧依次进行检测，包括：

利用预先设置的至少一种客体类型一一对应的至少一种OOI检测算法对所述多个连续视频帧依次进行检测。

可选地，在获取包括多个连续视频帧的目标视频流之前，还包括：

获取初始视频流；

基于起始时间和/或终点时间，截取所述初始视频流中的所述目标视频流，所述起始时间和/或终点时间根据分析人员操作确定。

可选地，在利用感兴趣客体OOI检测算法对所述多个连续视频帧依次进行检测之前，还包括：

对所述多个连续图像帧进行图像处理，所述图像处理包括平滑处理、膨胀和腐蚀处理以及滤波处理中的至少一种。

可选地，人脸类型的OOI对应的OOI检测算法包括以下至少一种：基于皮肤检测的高斯模型算法、基于弹性模型的人脸检测算法以及特定人脸子空间算法；

运动物体类型的OOI对应的OOI检测算法包括以下至少一种：背景差分法、特征点跟踪算法以及基于主动轮廓的跟踪算法。

可选地，所述OOI检测算法包括基于皮肤检测的高斯模型算法，所述利用感兴趣客体OOI检测算法对所述多个连续视频帧依次进行检测，包括：

将所述多个连续视频帧中的任一视频帧分别通过YC

基于所述C

利用所述高斯肤色模型，检测所述任一视频帧中是否存在人脸类型的OOI。

第二方面，本发明实施例提供了一种基于感兴趣客体的眼动数据分析装置，包括：

第一获取模块，用于获取包括多个连续视频帧的目标视频流；

判断模块，用于利用感兴趣客体OOI检测算法对所述多个连续视频帧依次进行检测，判断所述多个连续视频帧中是否存在OOI；

第一确定模块，用于在所述多个视频帧中存在所述OOI时，确定各个所述OOI对应的OOI区域的坐标信息；

第二获取模块，用于获取被试者观看感兴趣视频流时的眼动数据，其中，所述感兴趣视频流的起始视频帧为所述多个连续视频帧中第一个检测到所述OOI的视频帧；所述感兴趣视频流的终点视频帧为所述多个连续视频帧中最后一个检测到所述OOI的视频帧；

第二确定模块，用于基于各个所述OOI区域的坐标信息以及所述眼动数据，确定眼动指标。

可选地，所述多个连续视频帧中的目标视频帧包括根据分析人员操作确定的目标客体，所述装置，还包括：

第三确定模块，用于确定所述目标客体的目标类型；

所述判断模块，用于：

利用所述目标类型对应的OOI检测算法分别对所述多个连续视频帧中，位于所述目标视频帧之后的连续视频帧依次进行检测。

可选地，所述判断模块，用于：

利用预先设置的至少一种客体类型一一对应的至少一种OOI检测算法对所述多个连续视频帧依次进行检测。

可选地，所述装置，还包括：

第三获取模块，用于获取初始视频流；

截取模块，用于基于起始时间和/或终点时间，截取所述初始视频流中的所述目标视频流，所述起始时间和/或终点时间根据分析人员操作确定。

可选地，所述装置，还包括：

处理模块，用于对所述多个连续图像帧进行图像处理，所述图像处理包括平滑处理、膨胀和腐蚀处理以及滤波处理中的至少一种。

可选地，人脸类型的OOI对应的OOI检测算法包括以下至少一种：基于皮肤检测的高斯模型算法、基于弹性模型的人脸检测算法以及特定人脸子空间算法；

运动物体类型的OOI对应的OOI检测算法包括以下至少一种：背景差分法、特征点跟踪算法以及基于主动轮廓的跟踪算法。

可选地，所述OOI检测算法包括基于皮肤检测的高斯模型算法，所述判断模块，用于：

将所述多个连续视频帧中的任一视频帧分别通过YC

基于所述C

利用所述高斯肤色模型，检测所述任一视频帧中是否存在人脸类型的OOI。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如第一方面任一所述的基于感兴趣客体的眼动数据分析方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面任一所述的基于感兴趣客体的眼动数据分析方法。

本发明通过利用OOI检测算法对目标视频流中的多个连续视频帧依次进行检测，在检测到多个连续视频帧中存在OOI时，确定检测到的OOI对应的OOI区域的坐标信息，之后获取被试者观看目标视频流中的感兴趣视频流时的眼动数据，并根据各个OOI区域的坐标信息和眼动数据，确定眼动指标。由于可以通过OOI检测算法自动检测多个连续视频帧中是否存在OOI，而无需分析人员主观手动勾画OOI，因此解决了相关技术中眼动数据分析结果的准确性及效率较低的问题。

附图说明

图1是本发明实施例提供的一种基于感兴趣客体的眼动数据分析方法的流程图；

图2是本发明实施例提供的另一种基于感兴趣客体的眼动数据分析方法的流程图；

图3是本发明实施例提供的一种基于感兴趣客体的眼动数据分析装置的框图；

图4是本发明实施例提供的另一种基于感兴趣客体的眼动数据分析装置的框图；

图5是本发明实施例提供的再一种基于感兴趣客体的眼动数据分析装置的框图；

图6是本发明实施例提供的又一种基于感兴趣客体的眼动数据分析装置的框图；

图7是本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在采用视频材料的眼动应用研究中，通过对被试者观看视频材料进行眼动追踪得到眼动数据，之后对得到的眼动数据进行自动分析，这样有助于提高眼动数据分析的准确性和效率，有助于加速促进人机交互、发展心理学、广告心理学、工程心理学及交通心理学等相关领域的研究进展。其中眼动追踪指的是测量被试者眼睛的注视点位置或者眼球相对头部的运动情况等。

相关技术中，通常获取被试者在观看视频流中的部分视频流时的眼动数据，之后由分析人员手动在部分视频流的各个视频帧中勾画出OOI，并基于该OOI和被试者的眼球运动，得到被试者在各个OOI的注视时间、注视次数等眼动指标，其中OOI可以由分析人员确定。

但是由于每个视频帧中OOI的位置可能不同，因此需要由分析人员在每个视频帧中都勾画出OOI，而分析人员主观手动勾画OOI的效率较低，且误差较大，从而导致眼动数据分析结果的准确性较低。此外，目前由分析人员主观手动在视频流中拖拽时间点以截取部分视频流，这样容易出现人为误差，影响眼动数据分析结果的准确性。

请参考图1，图1为本发明实施例提供的一种基于感兴趣客体的眼动数据分析方法的流程图，该方法可以由基于感兴趣客体的眼动数据分析装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中，该方法可以适用于对视频流进行处理和分析，以及对眼动数据进行分析的应用场景。该方法可以包括：

步骤110、获取包括多个连续视频帧的目标视频流。

可选地，可以先获取目标视频流，之后对目标视频流进行解析得到该多个连续视频帧。

被试者在观看初始视频流的过程中，通过眼动仪采集其眼动数据，并对眼动数据进行自动分析。该目标视频流可以是初始视频流，或者是初始视频流中的部分视频流。

该初始视频流可以存储在计算机设备中，例如可以存储在计算机的本地磁盘，计算机设备可以从本地读取初始视频流，之后基于初始视频流得到目标视频流。

步骤120、利用OOI检测算法对多个连续视频帧依次进行检测，判断多个连续视频帧中是否存在OOI。

OOI可以包括：人类、动物、运动物体以及植物等能够赋予含义的对象中的至少一种，相应的，OOI算法可以包括人类类型的OOI对应的OOI检测算法、动物类型的OOI对应的OOI检测算法、运动物体类型的OOI对应的OOI检测算法以及植物类型的OOI对应的OOI检测算法中的至少一种。示例地，人类类型的OOI可以包括人脸类型的OOI，OOI算法包括人脸类型的OOI对应的OOI检测算法。

可以利用根据分析人员操作所确定的至少一种OOI检测算法对多个连续视频帧依次进行检测。可选地，分析人员可以直接设置至少一种客体类型，计算机设备根据该至少一种客体类型对应的至少一种OOI检测算法对多个连续视频帧依次进行检测；或者分析人员可以确定至少一种OOI，计算机设备首先确定该至少一种OOI的类型，再利用确定的类型对应的OOI检测算法对多个连续视频帧依次进行检测。

步骤130、在多个视频帧中存在OOI时，确定各个OOI对应的OOI区域的坐标信息。

其中，OOI区域可以是对应的OOI的外部轮廓边缘所围成的区域，OOI区域的坐标信息包括该OOI区域中的所有像素点的坐标集合。可选地，计算机设备可以利用Matlab确定各个OOI区域中的所有像素点的坐标。

步骤140、获取被试者观看感兴趣视频流时的眼动数据，其中，感兴趣视频流的起始视频帧为多个连续视频帧中第一个检测到OOI的视频帧；感兴趣视频流的终点视频帧为多个连续视频帧中最后一个检测到OOI的视频帧。

该感兴趣视频流为目标视频流中的一部分，计算机设备在对多个连续视频帧依次进行检测时，将第一个检测到OOI的视频帧与最后一个检测到OOI的视频帧，以及这两个视频帧之间的连续视频帧所组成的视频流确定为感兴趣视频流。

步骤150、基于各个OOI区域的坐标信息以及眼动数据，确定眼动指标。

该眼动数据包括被试者在各个OOI区域的注视点以及注视点的注视时长等。眼动指标包括以下至少一种：对OOI区域的注视次数、注视时间以及回视次数等。可以基于各个OOI区域的坐标信息以及眼动数据(各个OOI区域的有效注视点以及有效注视点的注视时长)确定眼动指标。

其中，注视次数指的是任一OOI区域中的有效注视点总个数。注视时间指的是任一OOI区域中的所有有效注视点的注视时间总和。回视次数指的是有效注视点落到任一OOI区域时开始，从该任一OOI区域发生回视的次数。例如当有效注视点由任一OOI区域之外的OOI区域转回到该任一OOI区域时，从该任一OOI区域发生回视的次数加1。

进一步地，还可以基于眼动指标确定可视化结果。可选地，该可视化结果包括注视轨迹和/或热点图。注视轨迹指的是任一OOI区域中的有效注视点的顺序和位置，注视轨迹可以包括圆点和圆点中的数字，圆点表示有效注视点，其大小表示对应的有效注视点的注视时间，数字表示各个有效注视点的排列顺序。热点图指的是通过不同颜色表示对一个视频帧的各个区域的关注程度的图，其中红色通常表示有效注视点最多且注视时间最长。

综上所述，本发明实施例提供的基于感兴趣客体的眼动数据分析方法，计算机设备能够利用OOI检测算法对目标视频流中的多个连续视频帧依次进行检测，在检测到多个连续视频帧中存在OOI时，确定检测到的OOI对应的OOI区域的坐标信息，之后获取被试者观看目标视频流中的感兴趣视频流时的眼动数据，并根据各个OOI区域的坐标信息和眼动数据，确定眼动指标。由于可以通过OOI检测算法自动检测多个连续视频帧中是否存在OOI，而无需分析人员主观手动勾画OOI，因此在提高了检测OOI的效率的同时提高了检测OOI的准确性，避免了人为误差，进而提高了眼动数据分析结果的准确性。

在上述技术方案的基础上，本发明实施例提供了另一种基于感兴趣客体的眼动数据分析方法，请参考图2，图2为本发明实施例提供的另一种基于感兴趣客体的眼动数据分析方法的流程图，该方法可以由基于感兴趣客体的眼动数据分析装置来执行，该方法可以包括：

步骤210、获取初始视频流。

初始视频流可以存储在计算机设备中，例如存储在计算机设备的本地磁盘，计算机设备从本地磁盘获取该初始视频流。

步骤220、基于起始时间和/或终点时间，截取初始视频流中的目标视频流，该目标视频流包括多个连续视频帧，起始时间和/或终点时间根据分析人员操作确定。

可选地，可以将初始视频流呈现给分析人员，该初始视频流包括时间进度条，分析人员在时间进度条中选择一个起始点和/或一个终点，再根据分析人员选择的起始点和/或终点获取目标视频流。

示例地，当分析人员选择起始点时，计算机设备将分析人员选择的起始点与初始视频流的终点之间的视频流段确定为目标视频流；当分析人员选择终点时，计算机设备将初始视频流的起始点与分析人员选择的终点之间的视频流段确定为目标视频流；当分析人员选择起始点和终点时，计算机设备将分析人员选择的起始点与分析人员选择的终点之间的视频流段确定为目标视频流。

根据分析人员设置的起始点和/或终点，确定初始视频流中的目标视频流，这样能够使眼动数据分析的结果满足分析人员的需求，提高了该眼动数据分析过程的灵活性。且根据分析人员操作可以直接去除初始视频流中不包括OOI的视频帧，后续可以只对目标视频流进行检测，而无需对初始视频流中不包括OOI的视频帧进行不必要的检测，从而提高了眼动数据分析效率。

步骤230、对多个连续图像帧进行图像处理，图像处理包括平滑处理、膨胀和腐蚀处理以及滤波处理中的至少一种，该多个连续视频帧中的目标视频帧包括根据分析人员操作确定的目标客体。

通过对每个视频帧进行图像处理，能够去除每个视频帧中的噪声块等，从而提高视频帧的分辨率。

其中，平滑处理可以包括：去噪、图像分割以及二值化。示例地，可以通过高斯滤波去除每个视频帧中较为明显的噪声块；之后将每个视频帧进行分割；再对分割后的每个视频帧进行二值化。具体地，可以将分割后的每个视频帧由红绿蓝(RGB)颜色空间迁移至色相/饱和度/明度(Hue/Saturation/Value，HSV)色彩空间。可选地，还可以通过高斯滤波去除二值化后的每个视频帧中较为明显的噪声块。

膨胀和腐蚀处理可以包括：对每个视频帧先进行腐蚀运算，再进行膨胀运算，以消除每个视频帧中零散的噪声点，其中先腐蚀运算，再膨胀运算也称为开运算。

滤波处理可以包括：对每个视频帧进行带通滤波。示例地，可以利用拉普拉斯算子进行带通滤波，从而能够有效消除每个视频帧中无关噪声以及由于设备或天气等原因出现的杂色像素块。

可选地，该目标视频流中的多个连续视频帧中可以包括目标视频帧，该目标视频帧包括根据分析人员操作确定的目标客体。分析人员可以在目标视频帧中勾画出目标客体，例如用方框圈出目标客体。该目标视频帧可以为多个连续视频帧中第一个包括目标客体的视频帧。

该目标客体由分析人员确定，其可以包括至少一种类型的客体，以目标客体包括人脸类型的客体和运动物体类型的客体为例，分析人员可以在目标视频帧中勾画出人脸和运动物体。

步骤240、确定目标客体的目标类型。

目标客体的数量为至少一个。需要说明的是，一个目标客体对应一种目标类型。当目标客体的数量为多个时，可以确定多个目标客体一一对应的多种目标类型。计算机设备可以基于存储的分类数据库对任一目标客体进行分类，以确定该任一目标客体的目标类型。示例地，该分类数据库中包括多种类型的客体一一对应的多个第一特征向量。可以使用分类神经网络对任一目标客体进行特征提取以得到第二特征向量。之后基于K最近邻(k-Nearest Neighbor，KNN)分类算法、第一特征向量、第二特征向量以及分类数据库确定该任一目标客体的目标类型。

步骤250、利用目标类型对应的OOI检测算法分别对多个连续视频帧中，位于目标视频帧之后的连续视频帧依次进行检测，判断多个连续视频帧中是否存在OOI。

目标客体的数量为至少一个，相应地，目标类型的数量为至少一种。一种目标类型对应一种OOI检测算法。当目标类型的数量为多种时，可以利用多种目标类型一一对应的多种OOI检测算法分别对多个连续视频帧中，位于目标视频帧之后的连续视频帧依次进行检测。

示例地，当目标类型包括人脸类型时，其对应的OOI检测算法可以包括人脸OOI检测算法；当目标类型包括运动物体类型时，其对应的OOI检测算法可以包括运动物体OOI检测算法等。例如，人脸OOI检测算法可以包括以下至少一种：基于皮肤检测的高斯模型算法、基于弹性模型的人脸检测算法以及特定人脸子空间算法等。运动物体OOI检测算法可以包括以下至少一种：背景差分法、特征点跟踪算法以及基于主动轮廓的跟踪算法等，本发明实施例对此不做限定。

以目标类型包括人脸类型，OOI检测算法包括基于皮肤检测的高斯模型算法为例对该步骤250进行说明。可以先将多个连续视频帧中的任一视频帧分别通过YC

示例地，可以通过下述公式得到肤色范围集中近似正态分布的C

上式中，Y指亮度分量，C

对于任一视频帧中的样本像素x，通过下述公式计算其相似度：

M＝E(x)

C＝E[(x-M)(x-M)

之后基于相似度判断样本像素x是否服从肤色均值为M，肤色相似度方差矩阵为C的二维高斯正态分布。若样本像素x服从肤色均值为M，肤色相似度方差矩阵为C的二维高斯正态分布，则样本像素x属于人脸。

可选地，在多个连续视频帧中不存在OOI时，可以直接结束后续流程。

步骤260、在多个视频帧中存在OOI时，确定各个OOI对应的OOI区域的坐标信息。

计算机设备可以先确定各个OOI对应的OOI区域，之后获取各个OOI区域中的所有像素在视频帧中的坐标位置。

以OOI包括人脸为例，计算机设备在检测到人脸后，可以根据各个样本像素的相似度确定该人脸的轮廓的外接矩阵的高度宽度及高宽比阈值，从而确定人脸区域。之后再获取人脸区域包括的所有像素在视频帧中的坐标位置，该外接矩阵为用于表征人脸的轮廓的矩阵。

步骤270、获取被试者观看感兴趣视频流时的眼动数据，其中，感兴趣视频流的起始视频帧为多个连续视频帧中第一个检测到OOI的视频帧；感兴趣视频流的终点视频帧为多个连续视频帧中最后一个检测到OOI的视频帧。

示例地，多个连续视频帧包括视频帧A～F，在前述步骤260中，计算机设备在视频帧B中第一个检测到OOI，在视频帧F中最后一个检测到OOI，则将视频帧B～F确定为感兴趣视频流。这样能够自动、客观且准确地确定目标视频流中的感兴趣视频流，无需分析人员手动截取时间段，避免了人为误差，提高了确定感兴趣视频流的效率和准确性，进而保证了获取到的眼动数据的有效性和准确性，提高了眼动数据分析结果的准确性。

其中，眼动数据可以存储在计算机设备中，例如存储在计算机设备的本地磁盘，计算机设备从本地磁盘读取该眼动数据。

步骤280、基于各个OOI区域的坐标信息以及眼动数据，确定眼动指标。

示例地，可以先利用增量视觉跟踪(Incremental visual tracking,IVT)算法确定眼动数据中的有效注视点以及有效注视点的注视时长。再将各个OOI区域的坐标信息添加到眼动数据中，以确定各个OOI区域中的有效注视点以及有效注视点的注视时长。

可选地，当眼动数据中任一数据点到达其相邻数据点的速度小于速度阈值时，将该任一数据点以及其相邻数据点划分为同一注视点，以确定多个注视点。之后将多个注视点中，注视时长大于时间阈值的注视点确定为有效注视点。又一可选地，可以先将眼动数据的各个数据点中，注视时长大于时间阈值的数据点确定为有效注视点。之后当有效注视点中任一注视点到达其相邻有效注视点的速度小于速度阈值时，将该任一有效注视点以及其相邻有效注视点划分为同一有效注视点。

示例地，利用IVT算法确定有效注视点的过程中，先确定多个注视点再确定有效注视点。该过程具体包括：先测量眼动数据中每相邻的两个数据点之间的距离，再基于每相邻两个数据点之间的距离和移动时间确定各个数据点到达其相邻数据点的移动速度。若任一数据点到达其相邻数据点的速度小于基准值(即速度阈值)，则将该任一数据点和其相邻数据点划分为同一注视点；若任一数据点到达其相邻数据点的速度大于或等于基准值，则将该任一数据点和其相邻数据点划分为眼跳。之后确定得到的各个注视点的注视时长，并将注视时长大于时长阈值的注视点确定为有效注视点，从而确定眼动数据中的注视点。其中，眼跳表示视觉从一个数据点快速移动到另一个数据点的眼动行为。这种行为具有快速的初始加速度直到眼睛的移动角速度达到峰值，在达到峰值后开始减速直到眼睛到达目标位置。

进一步地，还可以根据分析人员设置的时间阈值，对确定的有效注视点进行进一步筛选，将注视时间小于时间阈值的有效注视点剔除。这样使得确定的有效注视点能够满足分析人员的需求，提高了眼动数据分析过程的灵活性。

该眼动指标包括以下至少一种：对OOI区域的注视次数、注视时间以及回视次数。可以计算任一OOI区域中的有效注视点总数，得到该任一OOI区域的注视次数；可以计算任一OOI区域中的所有有效注视点的注视时间总和，得到该任一OOI区域的注视时间；当有效注视点由任一OOI区域之外的OOI区域转回到该任一OOI区域时，该任一OOI区域的访问次数加1，从而得到该任一区域的回视次数。

进一步地，计算机设备可以基于眼动指标确定可视化结果。以可视化结果包括注视轨迹和热点图为例，计算机设备可以用圆点表示任一OOI区域中的全部有效注视点，且圆点的大小表示对应的有效注视点的注视时间的长短，并通过圆点中的数字表示各个有效注视点的排列顺序，以得到该任一OOI区域的注视轨迹；计算机设备可以在各个OOI区域标记有效注视点，再基于每个有效注视点的注视时间确定每个注视点对应的颜色，之后通过高斯曲线近似值(Cubic Hermite Spline polynomial，cspline)确定各个有效注视点周围的区域的颜色，以得到热点图。

需要说明的是，上述实施例以基于分析人员勾画的目标客体确定目标类型，再利用各个目标类型对应的OOI检测算法检测目标视频帧之后的视频帧中是否存在OOI为例进行说明的。可选地，分析人员也可以无需勾画目标客体，而直接设置至少一种客体类型，计算机设备可以利用预先设置的至少一种客体类型一一对应的至少一种OOI检测算法对多个连续视频帧依次进行检测。本发明实施例对此不做限定。

综上所述，本发明实施例提供的基于感兴趣客体的眼动数据分析方法，计算机设备能够利用OOI检测算法对目标视频流中的多个连续视频帧依次进行检测，在检测到多个连续视频帧中存在OOI时，确定检测到的OOI对应的OOI区域的坐标信息，之后获取被试者观看目标视频流中的感兴趣视频流时的眼动数据，并根据各个OOI区域的坐标信息和眼动数据，确定眼动指标。由于可以通过OOI检测算法自动检测多个连续视频帧中是否存在OOI，而无需分析人员主观手动勾画OOI，因此在提高了检测OOI的效率的同时提高了检测OOI的准确性，避免了人为误差，进而提高了眼动数据分析结果的准确性。

此外，计算机设备能够自动、客观且准确地确定第一个检测到OOI的视频帧和最后一个检测到OOI的视频帧，从而确定目标视频流中的感兴趣视频流，无需分析人员手动截取时间段，避免了人为误差，提高了确定感兴趣视频流的效率和准确性，进而保证了获取到的眼动数据的有效性和准确性，提高了眼动数据分析结果的准确性。

进一步地，计算机设备可以根据分析人员设置的起始点和/或终点确定初始视频流中的目标视频流，这样能够使眼动数据分析的结果满足分析人员的需求，提高了该眼动数据分析过程的灵活性。且根据分析人员操作可以去除初始视频流中不包括OOI的视频帧，后续可以只对目标视频流进行检测，而无需对初始视频流中不包括OOI的视频帧进行不必要的检测，从而提高了眼动数据分析效率。

可选地，上述实施例中是以基于感兴趣客体的眼动数据分析装置执行基于感兴趣客体的眼动数据分析方法为例进行说明的。在一种示例中，该基于感兴趣客体的眼动数据分析方法中的不同步骤可以由不同的模块来执行。该不同的模块可以位于一个装置中，也可以位于不同的装置中。本发明实施例对执行基于感兴趣客体的眼动数据分析方法的装置不做限定。可选地，基于感兴趣客体的眼动数据分析装置可以集成在计算机设备或者服务器中等，本发明实施例对此不做限定。

请参考图3，图3为本发明实施例提供的一种基于感兴趣客体的眼动数据分析装置的框图，该装置30包括：

第一获取模块301，用于获取包括多个连续视频帧的目标视频流。

判断模块302，用于利用感兴趣客体OOI检测算法对多个连续视频帧依次进行检测，判断多个连续视频帧中是否存在OOI。

第一确定模块303，用于在多个视频帧中存在OOI时，确定各个OOI对应的OOI区域的坐标信息。

第二获取模块304，用于获取被试者观看感兴趣视频流时的眼动数据，其中，感兴趣视频流的起始视频帧为多个连续视频帧中第一个检测到OOI的视频帧；感兴趣视频流的终点视频帧为多个连续视频帧中最后一个检测到OOI的视频帧。

第二确定模块305，用于基于各个OOI区域的坐标信息以及眼动数据，确定眼动指标。

综上所述，本发明实施例提供的基于感兴趣客体的眼动数据分析装置，通过判断模块利用OOI检测算法对通过第一获取模块获取到的目标视频流中的多个连续视频帧依次进行检测，在检测到多个连续视频帧中存在OOI时，通过第一确定模块确定检测到的OOI对应的OOI区域的坐标信息，之后通过第二获取模块获取被试者观看目标视频流中的感兴趣视频流时的眼动数据，并通过第二确定模块根据各个OOI区域的坐标信息和眼动数据，确定眼动指标。由于可以通过OOI检测算法自动检测多个连续视频帧中是否存在OOI，而无需分析人员主观手动勾画OOI，因此在提高了检测OOI的效率的同时提高了检测OOI的准确性，避免了人为误差，进而提高了眼动数据分析结果的准确性。

可选地，该多个连续视频帧中的目标视频帧包括根据分析人员操作确定的目标客体，则请参考图4，图4为本发明实施例提供的另一种基于感兴趣客体的眼动数据分析装置的框图，在图3的基础上，该装置30还包括：

第三确定模块306，用于确定目标客体的目标类型。

此时判断模块302，用于：

利用目标类型对应的OOI检测算法分别对多个连续视频帧中，位于目标视频帧之后的连续视频帧依次进行检测。

可选地，判断模块302，用于：

利用预先设置的至少一种客体类型一一对应的至少一种OOI检测算法对多个连续视频帧依次进行检测。

可选地，请参考图5，图5为本发明实施例提供的再一种基于感兴趣客体的眼动数据分析装置的框图，在图3的基础上，该装置30还包括：

第三获取模块307，用于获取初始视频流。

截取模块308，用于基于起始时间和/或终点时间，截取初始视频流中的目标视频流，该起始时间和/或终点时间根据分析人员操作确定。

可选地，请参考图6，图6为本发明实施例提供的又一种基于感兴趣客体的眼动数据分析装置的框图，在图3的基础上，该装置30还包括：

处理模块309，用于对多个连续图像帧进行图像处理，图像处理包括平滑处理、膨胀和腐蚀处理以及滤波处理中的至少一种。

可选地，人脸类型的OOI对应的OOI检测算法包括以下至少一种：基于皮肤检测的高斯模型算法、基于弹性模型的人脸检测算法以及特定人脸子空间算法等；

运动物体类型的OOI对应的OOI检测算法包括以下至少一种：背景差分法、特征点跟踪算法以及基于主动轮廓的跟踪算法。

可选地，该OOI检测算法包括基于皮肤检测的高斯模型算法，判断模块302，用于：

将多个连续视频帧中的任一视频帧分别通过YC

基于C

利用高斯肤色模型，检测任一视频帧中是否存在人脸类型的OOI。

综上所述，本发明实施例提供的基于感兴趣客体的眼动数据分析装置，通过判断模块利用OOI检测算法对通过第一获取模块获取到的目标视频流中的多个连续视频帧依次进行检测，在检测到多个连续视频帧中存在OOI时，通过第一确定模块确定检测到的OOI对应的OOI区域的坐标信息，之后通过第二获取模块获取被试者观看目标视频流中的感兴趣视频流时的眼动数据，并通过第二确定模块根据各个OOI区域的坐标信息和眼动数据，确定眼动指标。由于可以通过OOI检测算法自动检测多个连续视频帧中是否存在OOI，而无需分析人员主观手动勾画OOI，因此在提高了检测OOI的效率的同时提高了检测OOI的准确性，避免了人为误差，进而提高了眼动数据分析结果的准确性。

此外，该基于感兴趣客体的眼动数据分析装置能够自动、客观且准确地确定第一个检测到OOI的视频帧和最后一个检测到OOI的视频帧，从而确定目标视频流中的感兴趣视频流，无需分析人员手动截取时间段，避免了人为误差，提高了确定感兴趣视频流的效率和准确性，进而保证了获取到的眼动数据的有效性和准确性，提高了眼动数据分析结果的准确性。

进一步地，可以通过截取模块根据分析人员设置的起始点和/或终点确定初始视频流中的目标视频流，这样能够使眼动数据分析的结果满足分析人员的需求，提高了该眼动数据分析过程的灵活性。且根据分析人员操作可以去除初始视频流中不包括OOI的视频帧，后续基于感兴趣客体的眼动数据分析装置可以只对目标视频流进行检测，而无需对初始视频流中不包括OOI的视频帧进行不必要的检测，从而提高了眼动数据分析效率。

本发明实施例所提供的基于感兴趣客体的眼动数据分析装置可执行本发明任意实施例所提供的基于感兴趣客体的眼动数据分析方法，具备执行方法相应的功能模块和有益效果。

图7为本发明实施例提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括处理器70、存储器71、输入装置72和输出装置73；计算机设备中处理器70的数量可以是一个或多个，图7中以一个处理器70为例；计算机设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图7中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于感兴趣客体的眼动数据分析方法对应的程序指令/模块(例如，基于感兴趣客体的眼动数据分析装置中的第一获取模块301、判断模块302、第一确定模块303、第二获取模块304以及第二确定模块305)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及眼动数据分析，即实现上述的基于感兴趣客体的眼动数据分析方法。

存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置72可用于接收输入的数字或字符信息(例如眼动数据)，以及产生与计算机设备的分析人员设置以及功能控制有关的键信号输入(例如目标数据范围)。输出装置73可包括显示屏等显示设备。

本发明实施例还提供一种包含计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的任一基于感兴趣客体的眼动数据分析方法。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

在本发明中，“至少一个”指一个或多个，“多个”指两个或两个以上，“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。除非另有明确的限定。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。