一种基于行为上下文的视频情感识别方法

摘要

视频中的场景与对象等含有丰富的情感线索,传统的视频情感识别方法主要关注视频中人体行为,往往忽略了场景和对象等上下文线索.本文提出一种基于行为上下文的视频情感识别方法.该方法首先基于卷积神经网络提取视频场景、对象、行为等多个模态特征;然后根据各个模态特征信息确定各模态视频帧情感分数;在此基础上基于金字塔架构,建立多模态特征信息融合模型,对视频情感进行识别.我们基于caffe框架实现了该方法,实验结果表明该方法在性能上优于已有方法.