基于人脸表情识别的动画角色面部表情生成方法及系统

摘要

本发明属于动画制作技术领域，公开了一种基于人脸表情识别的动画角色面部表情生成方法，包括以下步骤：S1，人脸数据集和动画数据集通过情绪识别网络识别人脸和动画角色表情，对人脸和动画数据图片进行匹配；S2，通过深度学习相同表情的人脸图片与角色骨骼参数之间的映射关系，获得动画训练网络；S3，针对视频每一帧的输入，利用网络动画训练网络输出骨骼参数结果；S5，对输入图片进行三维重构，获得角色的运动参数，结合人脸图片的几何信息，对骨骼参数进行优化。相应地，本发明还公开了一种基于人脸表情识别的动画角色面部表情生成系统。本发明通过对嘴部和眼睛等人脸几何特征进行更为精细的控制，提高观众对于角色情绪变化感知程度。

说明书

技术领域

本发明属于动画制作技术领域，特别涉及一种基于人脸表情识别的动画角色面部表情生成方法及系统。

背景技术

在人脸面部动作捕捉中，传统的方法例如ARkit，通过使用相机提取人脸几何信息，映射到3D模型中。通过学习二维视频到三维模型参数间映射关系，获得3D模型的参数信息。此外，一些商业软件例如Faceware，通过对二维输入图片进行重构，也可以获得3D模型的参数信息。这些方法能够有效提取人脸几何信息，但是很难让观众感到角色表情的变化。ExprGen，DeepExpr等模型尝试对这个问题进行改进，但是在对表情信息进行优化的同时，可能会丢失重要的面部几何信息，很难对动画角色面部进行细节控制。这些问题导致在准确传达面部信息变化的同时，准确表达出角色的情感信息十分困难。而在观众观看视频时，动画角色的表情和几何细节的变化对观影有着十分重要的影响。

表情识别与分析在人机交互、计算机图像学等领域有着广泛的应用。Ekman在1978年提出可以使用表情行动编码系统(FACS)表征特定表情所具有的面部肌肉状态。一般而言，面部特征可以分为上面部和下面部，这两者之间的关联较小。上面部表情是指眼睛、眉毛和脸颊的表情，下面部表情是指嘴唇、鼻根部和两者之间的表情。表情行动编码系统(FACS)定义了46个基本的行动单元，形成的七千多个组合能够表征大多数观察到的表情。

在动画制作中，FACS被广泛用于动漫人物的情绪感知和操纵。其中FACSGen通过控制行动单元来控制动漫人物三维面部表情。但是微观层面的叠加很难引起用户在整体层次上对动漫情绪进行感知。因此HapFACS对其进行改进，它允许动漫制作者在控制单元和整体情绪两个层次上对角色表情进行控制。但是微观和宏观的控制也限制了角色表情的泛化性能，相同表情很难从一个角色迁移到另一个角色。万贤美发表的《时空人脸表情动画编辑》被用于人脸动画后期编辑，用于满足动画师的特殊应用需求。通过使用基于拉普拉斯的人脸表情合成技术被编辑特征点的位移在空间域传播到人脸模型的其他顶点；使用高斯函数将用户的编辑效果在时间域传播到邻近动画序列，保证人脸表情动画的平滑过渡，同时保留人脸几何细节。蓝天工作室提出使用差分子空间重建的方法，自动生成角色骨骼。通过学习差分坐标的标记信息，然后对子空间网格进行重建，能够有效降低变形误差，提高泛化性能。

对于人脸追踪，传统的方法是使用多层感知机或者集成学习的方法对输入图片的各个窗口进行检测，找到含有人脸的部分，并进行综合。随着深度学习的发展，深度卷积网络及其各种变种的应用，使得人脸检测效果大大提高。例如Fast R-CNN，YOLO等模型能够高效准确地检测出图片中的多张人脸。DeepIR的研究人员Sun X等将RCNN框架与特征级联，多尺度训练、模型预训练以及关键参数的正确校准相结合，在FDDB benchmark中获得了83％的准确率。中国科学院的研究人员Wu S等将分层注意力机制引入人脸识别中，通过使用高斯核模型对人脸局部特征进行提取，以及LSTM对特征间关系进行建模，实现对面部特征的层次化感知。该模型在FDDB数据集、WIDER FACE数据集、UFDD数据集中分别实现了96.42％、94.84％、74.60％的准确率。

通过对人脸面部特征提取，能够有效提取人脸情绪特征信息，作为特征向量用于后续识别和表情迁移。帝国理工的研究人员Zafeirious S等使用从11优化问题衍生出的稀疏信号处理的方法对面部表情进行表征，并结合SVM算法对特征向量进行分类。通过对面部网格化预处理，该算法获得了比直接处理原始图片更好的效果。该算法在CK数据集中获得了92.4％的准确率。

随着深度学习技术的发展，深度神经网络被用于对人脸图像情绪感知。与传统特征提取任务不同的是，在深度学习中，人脸检测和特征提取这两个过程是同时进行的。利用深度学习识别情绪可以分成三个步骤：预处理、深度特征学习和深度特征提取。其中预处理是指对输入图像进行人脸提取、旋转矫正和数据增强等处理。然后通过端到端的学习方式，完成对图片特征的提取。纽约州立大学宾汉顿分校的研究人员Yang H等通过使用一种De-expression Residue Learning(DeRL)的方法学习人脸表情信息。他们首先使用生成模型生成表情对应的中性面部图片，虽然表情信息最终被过滤，但是情绪信息被存储在生成模型的中间层。通过学习中间层中残留的信息，对面部表情进行分类。该算法在CK+数据集，Oulu-CASIA数据集， MMI数据集，BU-3DFE数据集中分别取得了97.30％，88.00％，73.23％，84.17％的准确率。

传统的动画捕捉方法使用深度相机或者3D扫描仪，直接提取人脸面部信息，映射在动画角色中。由于设备昂贵，搭建复杂，很难获得广泛使用。例如洛桑联邦理工学院的研究人员Weise T等将人脸的几何信息与预储存的人脸深度信息结合，通过对概率问题进行优化，获取blendshape参数序列，有效地提高了表情迁移的速度和稳定性。但是具体使用时，由于分辨率有限，很难捕捉到细微的人脸几何和动作变化。同时也很难捕捉人脸表情的变化。清华大学的研究人员Bouaziz S等通过的3D参数优化算法进行改进，获取低维的人脸参数表征，有效提高了blendshape参数提取速度。该算法首先使用RGB-D相机获得人脸深度图片，映射到人脸3D模型中；然后对参数进行PCA降维和几何变换，映射到动画模型中。单独使用2D 图片作为表情输入能够有效降低设备需求，使得动漫表情迁移广泛使用成为可能。浙江大学的研究人员Cao C等提出一种不需要预先标定的方法，实现表情实时迁移。该算法首先DDE (Displaced Dynamic Expression)模型对提取的人脸二维特征点进行回归。然后结合相机的误差对人脸参数进行优化，并映射在动漫头像中。

发明内容

针对目前动画制作中人脸动作不仅需要对人脸几何信息进行模拟，同时需要准确传达人脸表情存在困难，本发明提出了一种基于人脸表情识别的动画角色面部表情生成方法及系统。

为了解决上述技术问题，本发明的技术方案为：

一种基于人脸表情识别的动画角色面部表情生成方法，包括以下步骤：

S1，人脸数据集和动画数据集通过情绪识别网络识别人脸和动画角色表情，对人脸和动画数据图片进行匹配；

S2，通过深度学习相同表情的人脸图片与角色骨骼参数之间的映射关系，获得动画训练网络；

S3，针对视频每一帧的输入，利用网络动画训练网络输出骨骼参数结果；

S5，对输入图片进行三维重构，获得角色的运动参数，结合人脸图片的几何信息，对骨骼参数进行优化。

优选的，步骤S1中：选取人脸数据集中带有六度情绪和中性七类标注的正面人脸图片；动画数据集中的角色包含用于控制角色表情的骨骼参数以及对应六度情绪和中性七类标注。

优选的，步骤S1包括以下步骤：

S11，首先对3D动画角色的特征点进行标注，按照选取的面部标志点，提取动画图片的面部特征向量，并对3D角色进行渲染，获得二维图片；

S12，然后对人脸数据集中的图片搜索其在3D动画数据集中对应最相似的样例。

优选的，步骤S12包括以下步骤：

S121，首先对所有动画数据集进行搜索，找到表情距离最为相近的若干张图片；

S122，然后利用几何距离查找若干张图片中，特征点与人脸最为相近的图片，作为结果输出。

优选的，本发明还包括以下步骤：S4，利用前后关键帧之间的联系对输出骨骼参数进行插值。

优选的，步骤S4包括：

S41，首先利用步骤S1中的情绪识别网络对输入人脸情绪进行分类，获得动画数据集中对应表情的用于集合参数搜索的人脸参数集合；

S42，在所有表情参数中，搜索与优化结果L2距离最近的两个参数组合作为结果，在关键帧间进行插值。

优选的，步骤S2中：将步骤S1中匹配的人脸和动画数据图片作为数据进行训练，用于生成动画角色骨骼参数。

优选的，步骤S5中：人脸几何信息包括左右眉毛间高度、左右眼睛高度、鼻部宽度、左右鼻部高度、嘴部宽度、嘴部高度和嘴唇高度中的任意一个或者多个。

一种基于人脸表情识别的动画角色面部表情生成系统，包括：

数据预处理模块，通过深度卷积网络识别人脸数据集和动画数据集中人脸和动画角色表情，对人脸和动画数据图片进行匹配；

离线训练模块，通过深度学习获得相同表情的人脸图片与角色骨骼参数之间的映射关系；

在线生成模块，首先向所述离线训练模块输入人脸关键帧，获得角色骨骼参数；接着利用前后关键帧之间的联系对获得的角色骨骼参数进行插值；然后对输入的人脸关键帧进行三维重构，获得角色的运动参数，最后结合人脸图片的几何信息，对骨骼参数进行优化。

与现有技术相比，本发明的有益效果是：

传统方法仅考虑角色几何特征，本发明将角色情绪变化引入动画三维建模中，并结合具体几何细节进行优化，提高人类动画捕捉效果；

实现动画角色实时自动控制；

传统动画制作需要深度相机等，提取脸部信息，本发明通过对输入二维人脸进行重建，降低了制作成本；

通过在两个关键帧之间进行插值，有效平滑过渡角色面部表情，提高用户使用体验。

附图说明

图1为本发明一种基于人脸表情识别的动画角色面部表情生成方法的流程图；

图2为本发明动画角色不同阶段优化结果图；

图3为本发明动画角色的插值效果图；

图4为本发明相同人脸迁移结果图；

图5为本发明与现有基于表情信息方法的效果对比图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

一种基于人脸表情识别的动画角色面部表情生成方法，包括以下步骤：

S1，人脸数据集和动画数据集通过情绪识别网络识别人脸和动画角色表情，对人脸和动画数据图片进行匹配；

本实施例使用的人脸数据集来自于CK+，DISFA，KDEF和MMI。其中每个数据集均选取带有六度情绪和中性七类标注的正面人脸图片。对数据集中每个标签下的图片对进行旋转、缩放等操作进行数据增强，使得各标签下的图片数量均等，最后获得大约10000张图片。本实施例中插图和实验结果展示图片均来自上述数据集。

本实施例使用的3D动画数据集来自FERG-3D-DB数据集，包括Mery，Bonnie，Ray，Malcolm四个角色。其中每个角色包含用于控制角色表情的骨骼参数值以及对应六度情绪和中性七类标注，大约有40000个样例。

该过程的目的是训练神经网络，用于2D人脸图片和动漫图片的分类。首先使用表1所示的神经网络对人脸数据集进行训练。将人脸数据集分类成生气、厌恶、恐惧、快乐、悲伤、中性和惊讶七类。在2D动漫数据集中，保持POOL层前面网络结构参数不变，在动漫数据集中对训练好网络的FC层进行微调。将动漫数据集分类成生气、厌恶、恐惧、快乐、悲伤、中性和惊讶七类。

表1情绪识别网络

本实施例使用PyTorch框架对网络进行端到端训练。在训练过程中，将数据集按照8∶1∶1 的比例用于训练，验证和测试。使用SGD(stochastic gradient descent)优化器，其中动量为0.9，权重下降为0.0005，初始学习率为0.01。学习率为每10个周期下降为原来的1/10。在人脸数据集中训练60个周期，在动画数据集中训练50个周期，每个训练批大小为50。

在3D网络中，搜索与人脸数据集图片对应的动画图片作为基准值，用于3D动画网络和角色迁移网络进行训练。

首先在

在表情距离中，本实施例使用JS Divergence作为衡量两张图片表情距离的依据。将人脸图片和动画图片输入表1的CNN网络后，在FC2层输出的512维向量作为表情特征向量，记为H和C。如公式(1)所示，其中

在几何距离中，将上述选取的人脸几何特征作为几何特征向量，并进行归一化。查找归一化后与人脸几何特征向量h最近的动画几何特征向量c作为结果输出。

S2，通过深度学习相同表情的人脸图片与角色骨骼参数之间的映射关系，获得动画训练网络；

该过程的目的是训练神经网络，用于3D动画角色参数生成。本实施例使用上述匹配的人脸-3D参数作为数据进行训练。在表2所示的3D动画训练网络中，将人脸图片作为输入，将网络FC3层输出结果和基准值的交叉熵损失函数作为目标函数进行优化。其中具体公式如 (2)所示，其中y是3D动画训练网络输出结果，y′是人脸-3D参数匹配的基准值。

H(y，y′)＝-∑

表2 3D动画训练网络

本实施例使用PyTorch框架对网络进行端到端训练。在训练过程中，使用SGD优化器，其中动量为0.9，权重下降为0.0005，初始学习率为0.001。学习率为每10个周期下降为原来的1/10。训练50个周期，每个训练批大小为50。

S3，针对视频每一帧的输入，利用网络动画训练网络输出骨骼参数结果；

S4，利用前后关键帧之间的联系对输出骨骼参数进行插值；

因为人脸面部表情读取存在时间间隔，因此可以利用插值算法，对角色表情变化进行插值，使表情过度更加平滑。由于读取时间间隔较短，面部表情一般很难发生较大变化，因此本实施例通过对3D数据集两层过滤获得输入两个关键帧之间情绪距离和几何距离最近的两个骨骼参数作为候选参数进行插值：首先利用上述情绪识别网络对输入人脸情绪进行分类，获得3D数据集中对应表情的参数集合，用于几何参数搜索。在所有表情参数中，搜索与优化结果L2距离最近的两个参数组合作为结果，在关键帧间进行插值。插值结果如图3所示：通过在两个关键帧之间进行插值，能够平滑前后帧之间角色表情过渡问题，使表情更加自然。

S5，对输入图片进行三维重构，获得角色的运动参数，结合人脸图片的几何信息，对骨骼参数进行优化。

通过神经网络的设计能够有效捕捉动画角色的整体特征，例如角色表情等。但是动画角色的细节参数，例如眼睛张开大小，鼻子宽度等，很难保证神经网络能够完全学习。因此本实施例通过将角色几何特征和整体特征进行融合，作为最终骨骼参数进行生成。

对于人脸和动画数据集，我们提取以下面部标志点作为人脸几何特征：左右眉毛间高度 (眉毛最高特征点到最低特征点高度)；左右眼睛高度(眼睛最高特征点到最低特征点高度)；鼻部宽度(鼻部最右特征点到最左特征点宽度)；左右鼻部高度(最左/右边特征点到鼻子底部高度)；嘴部宽度(最右特征点到最左特征点宽度)；嘴部高度(最高特征点到最低特征点高度)；嘴唇高度(上嘴唇到眼底部高度)。对于每张图片缩放到256*256像素大小，用于神经网络输入。

对面部参数进行优化，提取上述获取的面部特征向量映射在对应控制面部角色的参数中。

对转动参数进行优化。利用OpenCV提取的二维图片深度等信息进行3D重建，获得头部转动的xyz坐标值作为结果进行输出。具体方法是利用提取的面部特征点坐标(眼睛两侧，鼻子两侧，嘴巴两侧)，对应角色面部特征点坐标和相机内参通过求解N点透视位姿问题(PNP)，获得面部旋转矩阵。将获得的面部旋转矩阵，转变为对应的xyz坐标值。

经过上述面部参数和转动参数优化后的角色图片如图2所示。图中从左至右依次是：输入人脸图片，角色整体骨骼参数生成结果，角色骨骼参数优化结果和加入运动参数结果。

实施例二

结合图1至图5，一种基于人脸表情识别的动画角色面部表情生成系统，包括：

数据预处理模块，通过深度卷积网络识别人脸数据集和动画数据集中人脸和动画角色表情，对人脸和动画数据图片进行匹配；

离线训练模块，通过深度学习获得相同表情的人脸图片与角色骨骼参数之间的映射关系；

在线生成模块，首先向所述离线训练模块输入人脸关键帧，获得角色骨骼参数；接着利用前后关键帧之间的联系对获得的角色骨骼参数进行插值；然后对输入的人脸关键帧进行三维重构，获得角色的运动参数，最后结合人脸图片的几何信息，对骨骼参数进行优化。

需要说明的是，本实施例可以增加任一模块或者增加上述模块所实现的功能来实现本发明实施例一的发明目的，在此不再赘言。

本发明在训练人脸表情识别网络和角色情绪识别网络时，将其中80％的图片用作训练集进行训练，10％的图片用于验证集进行验证，10％的图片用于测试集进行测试。不同角色的的情绪识别准确率如表4所示。测试结果证明本发明设计的神经网络能够有效地对人脸和动漫角色表情进行识别。

表4情绪识别准确率

本发明提出的算法能够有效将人脸表情迁移到不同的动画角色中。同时针对不同的人脸，也能迁移到相同的角色，保证效果的鲁棒性。图4展示人脸情绪变化的图片序列迁移到Mery 的结果。图5展示不同人脸情绪变化迁移到Mery的结果。从结果可以看出，针对单个人脸，角色迁移系统能够保证关键帧前后表情变换的准确性。针对不同人脸，系统能够准确识别出不同表情，保证不同输入的鲁棒性。

本发明将提出的算法与仅基于情绪进行角色迁移和仅基于几何信息进行角色迁移的动画效果进行对比，最终结果如图5所示：第一行是输入人脸图片，第二行是本文系统输出结果，第三行是基于表情方法输出结果。该结果证明相比于基于情绪的角色迁移方法，本发明的算法能够对嘴部和眼睛进行更为精细的控制，提高观众对于角色情绪变化感知程度。

本发明提出一种结合人脸表情和几何特征的实时动画生成算法。通过对人脸表情迁移，有效提高了观众对于动画人物的角色感知度。同时通过几何特征控制，使得对角色细节操纵成为可能。同时通过插值优化算法，实现了角色实时控制，自动生成。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。