仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统

摘要

本发明公开了一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，包括以下步骤：(1)实时获取仓储拣选工人的离散图像及信息片段并存储；(2)对获取的离散图像进行边缘检测计算，获得仓储拣选工人的多模态认知负荷检测指标数据；(3)采用认知负荷度检测模型对多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；(4)采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。实现对仓储环境拣选工人认知负荷与疲劳的检测。

说明书

技术领域

本发明涉及实时认知负荷与疲劳度检测技术领域，具体涉及一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，以及实现该方法的实时认知负荷与疲劳度检测系统。

背景技术

认知负荷是基于工作记忆理论而提出的，其前提是认知能力固有地受工作记忆资源的可用性限制。认知负荷是指个体从事特定工作时，对个体认知系统的一种负荷。当前认知负荷的检测技术主要可分为主观方法、生理测量方法和行为测量方法三类。主观方法使用主观量表询问受试者进行指定任务时的心智用力指标。合适的量表可以测量认知负荷，但是测量结果可能因为问题措辞，受试者对问题的理解不同而受到影响。生理测量方法采集并处理受试者包括脑电、心率、肌电、皮电等生理信号，以此判断受试者的认知负荷，这种方法较为客观，但对受试者影响较大，受环境和任务形式制约，不能达成非接触的认知负荷检测。行为测量方法则根据受试者在进行任务时的反应时间、眼动状态、表情状态、头部姿态、身体姿态等测量认知负荷。图像识别受试者行为的检测方法对受试者影响小，受环境限制少，可实时、较客观的检测认知负荷，但当前没有针对仓储环境的检测技术。

认知疲劳分为主动疲劳、被动疲劳及睡眠引起的疲劳，主动疲劳是由于长时间高强度的工作造成的，被动疲劳是由单调的工作或注意力不集中造成的。目前，在认知疲劳的检测技术方面有很多研究，有主观问卷方法，脑电波、心率、眼电信号等生理信号测量方法，以及利用计算机视觉进行图像识别的测量方法等。研究涉及的场景也较为广泛，涉及教育、医疗、军事、交通、制造、运动、办公、游戏等。然而，在认知疲劳检测技术方面对认知负荷与疲劳度之间的关联研究，大多关注较高强度的认知活动对受试者心理疲劳的影响。研究任务强度、任务持续时间对认知疲劳度的影响，并与之建立关联模型。

目前，在认知负荷与疲劳度检测技术方面，已采用多种方式，在多种场景下展开研究，但存在以下不足：(1)缺少针对物流仓储环境下工人拣选任务的认知负荷及疲劳度多模态检测方法。仓储情境下拣选任务不同于传统认知负荷检测场景，任务不以形成长期记忆为目标，环境较为单一，有拣选状态、行走状态等仓储特有的认知负荷检测指标。使用传统场景单一检测指标，或不考虑仓储环境特有指标，会导致检测方式不适用，检测结果不准确的问题。(2)缺少结合认知负荷与疲劳度关联性的认知负荷与疲劳度检测方法。当前方法多将认知负荷与疲劳度间接关联，研究高强度任务对疲劳的的影响，没有能够将认知负荷与疲劳度直接关联的方法与模型，对两者之间的关联和相互影响认识不清，影响检测结果的精准性。

发明内容

本发明的目的是提供一种基于认知负荷与疲劳度的相关建模，针对物流仓储环境下工人拣选任务的实时认知负荷与疲劳度检测方法，以及一种实现该方法的实时认知负荷与疲劳度检测系统，加深对仓储环境拣选工人认知负荷与疲劳的检测，以进一步减少不必要的认知负荷并缓解工人在操作中的疲劳度。

为实现上述发明目的，本发明的技术方案为：

一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，包括以下步骤：

(1)实时获取仓储拣选工人的离散图像及信息片段并存储；

(2)对获取的离散图像进行边缘检测计算，获得仓储拣选工人的多模态认知负荷检测指标数据；

(3)采用认知负荷度检测模型对多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；

(4)采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。

优选地，基于离散图像进行人脸识别，当人脸识别结果与数据库不匹配时，则依据将仓储拣选工人的信息片段和人脸图像存入数据库。

优选地，步骤(2)中，对离散图像分别进行人脸识别、眼动检测、头部姿态估计以及表情识别，以获得人脸、眼动、头部姿态和表情这4个模态的认知负荷检测指标数据。

优选地，眼动检测的过程为：提取人脸关键点，包括左右眉，左右眼，鼻子，嘴巴外廓，嘴巴内廓以及下颚，通过计算眼部特征点的横纵坐标来得到眼睛纵横比，得到睁眼幅度、闭眼时间与眨眼频率；采用空洞卷积神经网络模型预测仓储拣选工人注视点，实现眼动检测；

头部姿态估计的过程为：采用FSA-Net对输入的离散图像进行计算，得到人头的二维偏航角度，并且由角度处以转头时间得到转头速度，实现头部姿态估计；

表情识别的过程为：采用表情识别模型通过对离散图像计算得到表情。

优选地，所述认知负荷度检测模型采用多核学习MKL-SVR模型；

多核学习时，每个时刻输入数据为多模态认知负荷检测指标数据x

多核学习时采用多项式核、Sigmoid核和高斯核，并优化MKL-SVR模型的网络参数，获得能够实现多模态认知负荷度检测的认知负荷度检测模型。

优选地，所述认知负荷与疲劳度相关性模型采用多核学习MKL-SVR模型；

多核学习时，每时刻的输入数据X

多核学习时采用高斯核与多项式核，并优化MKL-SVR模型的网络参数，获得能够实现疲劳度检测的疲劳度检测模型。

优选地，认知负荷序列P

一种仓储拣选任务中的实时认知负荷与疲劳度检测系统，包括设置在仓内的采集设备、集成在采集设备上的微数据处理器、与微数据处理器通信的检测器；

所述采集设备包括摄像头，用于采集仓储拣选工人的离散图像，还包手持扫码枪，用于采集信息片段；

所述微数据处理器用于对离散图像分别进行人脸识别、眼动检测、头部姿态估计以及表情识别，获得人脸、眼动、头部姿态和表情这4个模态的认知负荷检测指标数据；

所述检测器包含训练好的认知负荷度检测模型和疲劳度检测模型，用于采用认知负荷度检测模型对输入的多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；还用于采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统，通过以非接触方式获取仓储拣选任务中多仓储拣选工人离散图像及信息片段，并通过多模态特征协同提取和处理以及认知负荷度检测模型与疲劳度检测模型，实现对各个主体疲劳度的实时监测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明仓仓储拣选任务中的实时认知负荷与疲劳度检测方法的流程图；

图2是本发明预测工人注视点的Dilated CNN模型结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了解决现有物流仓储环境，由于封闭且重复单调作业累积疲劳而造成拣选效率显著下降的问题，更加清晰地理解拣选工人的认知负荷与疲劳度变化情况，更深刻地认识认知负荷与疲劳度的相互作用规律，本实施例提供了一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，还提供了一种仓储拣选任务中的实时认知负荷与疲劳度检测系统。

如图1所示，实施例提供的一种仓储拣选任务中的实时认知负荷与疲劳度检测方法，包括以下步骤：

S101，实时获取仓储拣选工人的离散图像及信息片段并存储。

应用设在舱内的采集设备获取远近多名仓储拣选工人的离散图像及信息片段，并通过对离散图像进行人脸识别来验证工人身份以便后续记录多人离散数据。

采集设备包括多个摄像头，摄像头记录多个工人工作记录，在工人开始工作之前，工人需要看向摄像头5秒钟，摄像头将工人的画面帧通过OBS推流至集成在采集设备上的微数据处理器。微数据处理器接收图像后，将图像大小变为192×108，并采用背景相减法，获得单独的人体图像。在背景相减法中调用OpenCV对彩色图像进行灰度化，接着使用门限值对灰度图进行二值化，从而实现增强图像特征。而后使用均值滤波去噪与sobel算子对图像边缘检测，最终得到图像中人体的范围，并截取得到人体图片。这样预处理后，减去图像中多余的背景能够减轻图像体积并增加人脸识别精度。

获得预处理后的人体图片后，微数据处理器调用Face++接口实现人脸识别。通过人脸接口得到Face ID，并将其与数据库的Face ID进行比对，匹配成功后返回得到工人工号，匹配失败则提醒工人识别失败。微数据处理器将信息片段中的工人工号、时间、货架编号为主键录入数据库。

S102，对获取的离散图像进行边缘检测计算，获得仓储拣选工人的多模态认知负荷检测指标数据。

本发明中，多模态包括人脸、眼动、头部姿态和表情这4个模态的数据，统称为多模态认知负荷检测指标数据。

其中，对离散图像进行人脸识别，得到人脸图片，该识别过程与S101中的人脸识别过程相同，即通过背景相减法得到具有强特征与小体积的人体图片。然后基于该人体图片进行眼动检测、头部姿态估计以及表情识别。

针对眼动检测，基于dlib face landmark detector得到人脸关键点，关键点分别包括了左右眉，左右眼，鼻子，嘴巴外廓，嘴巴内廓以及下颚。通过计算眼部特征点的横纵坐标来得到眼睛纵横比，从而得出睁眼幅度、闭眼时间与眨眼频率，其中，睁眼程度P

其中p

除此之外，实施例采用空洞卷积神经网络(Dilated CNN)来预测工人注视点，预测注视点的过程包括训练网络权重与估计注视点坐标。针对训练，实施例使用眼动仪获取工人在校准环节的单个瞳孔图片以及注视坐标并作为眼动跟踪数据集，以映射瞳孔位置与注视点坐标的关系，将眼动跟踪数据集归一化用来训练Dilated CNN。Dilated CNN模型结构如图2所示，输入层后连接2个普通卷积，3个空洞卷积，卷积之间进行一次归一化或神经元丢弃。空洞卷积在增加卷积感受野尺寸的同时保持空间分辨率，这不需要大量增加参数，并且，更宽阔的视野能够让网络检测分割大目标。在卷积层后加入全连接层以展开特征，以及sigmoid函数回归预测注视点坐标。利用上述眼动跟踪数据集对Dilated CNN训练完毕后，将工人的实时瞳孔图片归一化输入训练好的Dilated CNN模型即可得到二维注视坐标。

针对头部姿态估计，实施例使用单幅人脸图像进行头部姿势估计，网络使用的是训练好的FSA-Net，该FSA-Net为一个基于回归和特征聚合的紧凑模型，能将转头偏航角回归问题当作一个分类问题看待，该方法学习寻找细粒度结构映射，将像素级特征空间分组，形成更强大的区域级特征头部姿态估计时，将人体图像输入模型得到人头的二维偏航角度，并且由角度处以转头时间得到转头速度。

针对表情识别。实施例将人脸的表情分为了四类，分别是开心，中立，沮丧，愤怒，微数据处理器调用Face++接口实现表情识别，获得识别的表情，然后将表情分类数值化，以备后续检测认知负荷度。

以上人脸识别、眼动检测、头部姿态估计以及表情识别均在采集设备上的微数据处理器完成，实现了数据处理边缘化，将繁琐的数据处理分布到每个采集设备上，减轻了中心端检测器的计算量，提升了检测效率。

S103，采用认知负荷度检测模型对多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果。

实施例中，认知负荷度检测模型采用多核学习MKL-SVR模型，即采用多核学习MKL-SVR模型进行认知负荷度检测。

支持向量机(SVM)是一种构造超平面来分离不同类的机器学习算法，通常用于分析具有分类输出变量的数据。SVR是SVM的一个重要分支，与SVM分类不同的是，SVR回归的样本点最终只有一类，它所寻求的最优超平面使所有的样本点离超平面的总偏差最小。SVR的基本思想是通过核函数的隐式映射，将样本数据映射到一个高纬特征空间进而进行样本训练学习和预测。但是，当样本特征中出现多维数据分布不规则的情况，或数据在高维特征空间分布不平坦时，采用单一核函数效果并不理想。因此，本发明采用多核学习(MKL)，多核学习即融合多种不同的核进行训练。对于时间序列数据集T＝{(x

实施例中，构造最优决策超平面f(x

其中，C是惩罚常数，在回归模型的复杂性和拟合误差的总代价之间进行权衡。x

在此基础上，引入J(d)作为MKL-SVR对偶问题的目标函数。公式如下所示：

当u作为核权重向量d的最大元素的索引，即d

s.t.d

其中，v是核权重向量d的元素索引。核权重向量d可以由梯度D根据SimpleMKL算法计算得到，最后由SMO算法计算SVR最优决策函数f(x

经过上述过程能够有优化MKL-SVR模型的网络参数，获得能够实现多模态认知负荷度检测的认知负荷度检测模型。

应用时，将S102中获得的9个维度的认知负荷检测指标数据作为输入数据，输入至认知负荷度检测模型中，经计算预测输出输入数据对应的认知负荷度检测结果。

S104，采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。

随着时间的变换，工人认知负荷度越高，工人的疲劳度上升速度越快，并且临界值越高。工人认知负荷度越低，疲劳度上升速度越慢，临界值越低。因此实施例中对认知负荷度和历史疲劳度的时间序列进行建模，以预测未来疲劳度。

与认知负荷度检测模型相同的是，疲劳度检测建模同样是回归问题，因此实施例中疲劳度检测模型同样采用MKL-SVR模型以寻找最优解，基核函数使用的是高斯核与多项式核。与认知负荷度建模不同的是，疲劳度模型的输入数据存在大量噪声，包括错误的值以及偏离期望的孤立点，因此数据在输入模型前需要进行预处理。

对于数据集T＝{(X

预处理包括去除数据中的噪声，补充并修正序列中的离群值。对于认知负荷序列P＝{p

当将输入数据预处理之后，对利用样本数据对MKL-SVR模型进行多核学习，每时刻的输入数据X

为验证认知负荷度检测模型和疲劳度检测模型的鲁棒性，实施例采用稳健性检验。对于认知负荷度检测模型，改变模型输入，将转头次数与转头角度代替转头速度，扫视频率代替扫视长度。对于疲劳度检测模型，将带有时间序列的数据分成两部分，然后将两组不同数据按时间序列输入疲劳度检测模型，得到疲劳度序列，检查疲劳度序列的线性回归系数是否相等，结构性变化是否存在。若如果所得疲劳度序列有间断点，则说明该模型不稳定。检验结果表明，认知负荷度经检测模型与疲劳度检测模型预测的时间序列无间断点，两者均表现出健壮性与稳定性。

除此之外，实施例中根据Dilated CNN预测工人注视方向，来预测工人视觉注意力。视觉注意力能够辅助更好地了解工人的行为，例如工人拣货错误率高时，视觉注意力表现分散。认知负荷度检测模型和疲劳度检测模型能够帮助了解工人所能承受的任务难度与时间，并且及时作出预防并改变任务计划。

实施例还提供了一种实现上述仓储拣选任务中的实时认知负荷与疲劳度检测方法的系统，包括设置在仓内的采集设备、集成在采集设备上的微数据处理器、通信模块，与微数据处理器通信的检测器。

其中，采集设备包括多个与货架插孔相融合的可插拔式摄像装置，利用货架立柱的椭圆孔将摄像装置与货架固定，采用非接触方式捕捉远近仓储拣选工人的图像。采集设备还包括手持扫码枪，工人手持扫码枪获取远近多名不同工人的离散信息片段，即通过采集设备获得拣选工人图像的视频片段，以及拣选的状态与位置信息等边缘端数据，该采集设备对多个工人进行离散化地检测，单独化各员工的各实操动作，并对单一员工的多特征进行捕捉。

集成在采集设备上的微数据处理器用于边缘端数据的处理，具体对采集的画面帧进行边缘计算，实现人脸识别、眼动检测、头部姿态估计以及表情识别，获得多模态的认知负荷检测指标数据。

通信模块用于实现微数据处理器与检测器之间的通信，具体地，可以将微数据处理器的边缘处理获得的认知负荷检测指标数据返送至检测器。

检测器具有一定的预算能力，至少包括计算机处理器和计算机存储器，存储器内存储有训练好的认知负荷度检测模型和疲劳度检测模型，和计算机程序指令，该计算机程序指令被处理器运行时，实现采用认知负荷度检测模型对输入的多模态认知负荷检测指标数据进行协同特征提取和认知负荷检测计算，得到多模态认知负荷度检测结果；还实现采用疲劳度检测模型对认知负荷度序列和历史疲劳度序列进行计算，得到仓储拣选工人下一时刻的疲劳度检测结果。最后，认知负荷度检测结果和疲劳度检测结果以百分比的形式输出。

本发明提供的仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统通过与货架立柱孔相融合的摄像头，以非接触方式获取仓储拣选任务中多主体离散图像及信息片段，并通过多模态特征协同提取和处理以及认知负荷与疲劳度的相关模型，实现对各个主体疲劳度的实时监测。摄像头安装方式及非接触的检测方式减少了对主体作业的影响，针对于仓储环境的多主体离散信息片段的多模态特征处理，以及认知负荷与疲劳度相关性模型的使用，使得认知负荷与疲劳度检测在仓储环境更加准确，适用性更强。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。