结合多模态和注意力机制的人脸活体检测算法

摘要

针对常见人脸活体检测算法从单一RGB模态图像中提取的特征较为单一等问题,提出一种结合注意力机制的多模态双流活体检测算法SE-FeatherNet。首先,基于改进的FeatherNet网络,分别从Intel RealSense300相机拍摄的Depth、近红外(Infrared Radiation, IR)图像中提取特征,然后将获取的特征图叠加在一起进行特征层融合,最后从融合的特征图中继续提取特征,并加入自注意力机制。针对单一评价标准存在偶然性的问题,使用多指标评价标准来验证模型的准确性。仿真结果表明,所提算法在CASIA-SURF数据集中的等错误率(equal error rate, EER)为1.341%,半错误率(half total error rate, HTER)为1.537%,真正类率TPR@FRR=10e-2为96.99%,并且参数量仅仅为0.58M。融合多模态的特征信息可以获取更低的错误率,改进的网络保证了算法的高效性和时效性以满足边缘设备算力有限的需求。