肖像画生成的方法、装置、电子设备及介质

摘要

本申请公开了一种肖像画生成的方法、装置、电子设备及介质。本申请中，可以获取待处理图像，确定待处理图像中的脸部区域，并对脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除面部几何图像中的变形程度，得到目标肖像图像。通过应用本申请的技术方案，可以采用循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数，新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像，利用放宽的像素级重构损失，以消除输入图像和相应目标图像之间的变形，形成一种鲁棒的人物艺术肖像画生成方法。

说明书

技术领域

本申请中涉及图像处理技术，尤其是一种肖像画生成的方法、装置、电子设备及介质。

背景技术

艺术肖像画以高度抽象的方式呈现个人特色同时又保护个人隐私而广受欢迎。现有的方法通常以监督学习的方式生成艺术肖像画。然而，艺术家绘制的艺术肖像画几乎不可能在像素级别与人脸图像相互对应。这样的几何形变会干扰生成模型的学习，影响性能。

由于艺术家绘制的艺术肖像画与真实图像在像素级别存在较大差异，现有的艺术肖像画合成通常采用监督学习的策略，即利用人脸图像以及艺术家绘制的艺术肖像画进行艺术肖像画的生成，其难以兼顾人脸图像与艺术家绘制的肖像画像素差异。

发明内容

本申请实施例提供一种肖像画生成的方法、装置、电子设备及介质，其中，根据本申请实施例的一个方面，提供的一种肖像画生成的方法，其特征在于，包括：

获取待处理图像，所述待处理图像中包含人脸图像；

确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；

通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；

利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像。

可选地，在基于本申请上述方法的另一个实施例中，所述对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像，包括：

检测所述脸部区域图像，获取所述脸部区域图像中包含的眼部关键点区域；

将所述眼部关键点区域中的左右眼中心位置坐标进行仿射变换操作，得到所述人脸对齐处理后的初始肖像图。

可选地，在基于本申请上述方法的另一个实施例中，所述得到所述人脸对齐处理后的初始肖像图之后，还包括：

通过图像深度模型检测所述初始肖像图，得到到人脸解析图像,并对所述人脸解析图像进行图像预处理。

可选地，在基于本申请上述方法的另一个实施例中，所述通过几何损失函数，得到所述初始肖像图像中的面部几何图像，包括：

获取所述几何损失函数，所述损几何失函数中包括松弛型L1范式损失函数、梯度正则化损失函数以及身份损失函数；

通过所述几何损失函数，得到所述初始肖像图像中的面部几何图像。

可选地，在基于本申请上述方法的另一个实施例中，利用下述公式实现所述空间自适应归一化：

其中，设f

可选地，在基于本申请上述方法的另一个实施例中，所述空间自适应归一化，得到所述初始肖像图像中的面部几何图像之后，包括：

利用残差技术，获取多任务生成器，所述多任务生成器用于将单风格画像生成定义为主任务，将对输入人脸语义标签的重构定义为辅任务；

利用所述多任务生成器，得到所述生成画像与待处理图像之间的面部语义结构的误差；

将所述面部语义结构的误差通过梯度发送给所述生成器。

可选地，在基于本申请上述方法的另一个实施例中，所述将所述面部语义结构的误差通过梯度发送给所述生成器之后，包括：

基于所述所述面部语义结构的误差，消除所述面部几何图像中的变形程度，得到所述目标肖像图像。

其中，根据本申请实施例的又一个方面，提供的一种肖像画生成的装置，其特征在于，包括：

获取模块，被配置为获取待处理图像，所述待处理图像中包含人脸图像；

确定模块，被配置为确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；

生成模块，被配置为通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；

消除模块，被配置为利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像。

根据本申请实施例的又一个方面，提供的一种电子设备，包括：

存储器，用于存储可执行指令；以及

显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述肖像画生成的方法的操作。

根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述肖像画生成的方法的操作。

本申请中，可以获取待处理图像，待处理图像中包含人脸图像；确定待处理图像中的脸部区域，并对脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除面部几何图像中的变形程度，得到目标肖像图像。通过应用本申请的技术方案，可以采用循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数，新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像，利用放宽的像素级重构损失，以消除输入图像和相应目标图像之间的变形，形成一种鲁棒的人物艺术肖像画生成方法。

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为本申请提出的一种肖像画生成的方法示意图；

图2为本申请提出的肖像画生成的流程示意图；

图3为本申请肖像画生成的方法电子装置的结构示意图；

图4为本申请显示电子设备结构示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

下面结合图1-图2来描述根据本申请示例性实施方式的用于进行肖像画生成的方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

本申请还提出一种肖像画生成的方法、装置、目标终端及介质。

图1示意性地示出了根据本申请实施方式的一种肖像画生成的方法的流程示意图。如图1所示，该方法包括：

S101，获取待处理图像，待处理图像中包含人脸图像；

S102，确定待处理图像中的脸部区域，并对脸部区域图像进行人脸对齐处理，得到初始肖像图像；

S103，通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到初始肖像图像中的面部几何图像；

S104，利用放宽的像素级重建损失，消除面部几何图像中的变形程度，得到目标肖像图像。

首先，本申请可以对给定的待处理图像进行人脸对齐、人脸解析操作。进一步的，还可以根据编码器、解码器和判别器结构参照pix2pix，去除了dropout 层，形状遵循“U-Net”。通过循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数，新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像，利用放宽的像素级重建损失，以消除输入图像和相应目标图像之间的变形，形成一种鲁棒性的艺术肖像画生成方法。

本申请中，可以获取待处理图像，确定待处理图像中的脸部区域，并对脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除面部几何图像中的变形程度，得到目标肖像图像。通过应用本申请的技术方案，可以采用循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数，新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像，利用放宽的像素级重构损失，以消除输入图像和相应目标图像之间的变形，形成一种鲁棒的人物艺术肖像画生成方法。

可选的，在本申请一种可能的实施方式中，对脸部区域图像进行人脸对齐处理，得到初始肖像图像，包括：

检测脸部区域图像，获取脸部区域图像中包含的眼部关键点区域；

将眼部关键点区域中的左右眼中心位置坐标进行仿射变换操作，得到人脸对齐处理后的初始肖像图。

可选的，在本申请一种可能的实施方式中，得到人脸对齐处理后的初始肖像图之后，还包括：

通过图像深度模型检测初始肖像图，得到到人脸解析图像,并对人脸解析图像进行图像预处理。

进一步的，本申请可以通过人脸关键点中的左右眼中心的位置坐标经过仿射变换操作以人脸对齐。具体的，可以通过纵轴坐标的值计算两眼中心的水平偏差角度，旋转图像使两眼中心保持水平。并通过缩放使两眼之间距离保持固定。本发明将两眼间距设为50，眼睛到图像上边界距离125，最终得到对齐后的肖像图像S

更进一步的，对于人脸解析步骤来说，可以通过图像深度模型检测初始肖像图，得到到人脸解析图像,并对人脸解析图像进行图像预处理。具体的，可以通过预训练好的人脸解析模型对肖像图像/艺术肖像画得到肖像图像/艺术肖像画解析掩码(Mask)图P

需要说明的是，本申请并未将每个像素对应类别采用独热编码的硬标签的方式，而是保留了原始网络输出的每个分类的概率值作为面部组件分类的软标签。因为无论在预训练数据集人脸标注上还是将输入图片通过解析模型输出得到的人脸预测结果上看，都不能达到绝对精确的面部标签结果。采用软标签可以弱化预训练好的解析模型，减弱因预测偏差而在人脸边缘区域预测时产生的几何畸变，以此降低对主体生成模型生成图片结果的影响。

另外，由于采用预训练方式得到输入图片的语义标签，解析模型所生成的语义标签尺度在预训练后即固定。而实际输入图像的尺度与预训练模型生成的标签尺度大都不同，故需要一定的操作来解决该问题。在本申请中，可以首先对输入图片采用零填充的方式，使得图片长宽一致；后采用双线性差值的手段，将实际图片首先放缩至解析模型预测所需的尺度大小；通过解析模型得到面部语义标签后再逆向执行上述尺度变换操作，使得语义标签矩阵恢复至实际图像的大小。这样可保证得到的语义标签精度不受输入图像本身的尺度影响。

可选的，在本申请一种可能的实施方式中，通过几何损失函数，得到初始肖像图像中的面部几何图像，包括：

获取几何损失函数，损几何失函数中包括松弛型L1范式损失函数、梯度正则化损失函数以及身份损失函数；

通过几何损失函数，得到初始肖像图像中的面部几何图像。

可选的，在本申请一种可能的实施方式中，利用下述公式实现空间自适应归一化：

其中，设f

可选的，在本申请一种可能的实施方式中，空间自适应归一化，得到初始肖像图像中的面部几何图像之后，包括：

利用残差技术，获取多任务生成器，多任务生成器用于将单风格画像生成定义为主任务，将对输入人脸语义标签的重构定义为辅任务；

利用多任务生成器，得到生成画像与待处理图像之间的面部语义结构的误差；

将面部语义结构的误差通过梯度发送给生成器。

可选的，在本申请一种可能的实施方式中，将面部语义结构的误差通过梯度发送给生成器之后，包括：

基于面部语义结构的误差，消除面部几何图像中的变形程度，得到目标肖像图像。

进一步的，如图2所示，为本申请提出的肖像画生成的流程图，其中，本申请实施例可以采用松弛型L1范式损失替换了原始L1范式损失、梯度正则化损失函数以及循环一致性损失。

另外，由于原始L1范式损失目的是建立生成画像与真实画像在像素级上的一对一强相关性。但考虑到即使将画像与真实人像进行面部对齐后，真实画家画像中依然存在部分面部组件间的位置偏差。而此时原始的损失函数约束性过强，生成网络无法直接学到几何畸变后的位置信息，导致真实画像与原始人像不对应的部分比如刘海、嘴唇、脸部轮廓的位置在生成时产生模糊。因此提出了一种基于语义标签相似度的加权L1范式损失。

其中，x为原始的待处理图像，y为目标肖像图像，

其中，m

另外，本申请提出了梯度正则化损失函数，使得生成画像

其中，

其中ε是一个很小的值(例如1e

C1-3.使用了身份损失函数，其定义为：

L

其中G为生成器，y为真实画像，m

更进一步的，对于网络结构来说，为了恢复被传统自学习参数的标准化层 (例如批标准化层)，所冲刷的空间结构信息，本发明应用了改进的空间自适应归一化。为了增强通过两个映射变量之间的梯度传播，降低标准化层的学习难度，本发明采用了残差的思想。采用多任务生成器，将单风格画像生成定义为主任务，将对输入人脸语义标签的重构定义为辅任务。

其中，改进的空间自适应归一化,设f

其中

其中

还需要说明的是，为了增强通过两个映射变量之间的梯度传播，降低标准化层的学习难度，采用了残差的思想。本申请可以将空间自归一化操作认为是一个非线性操作F，在得到空间自归一化结果后再与输入F和激活操作之前的

更进一步的，本申请还可以采用多任务生成器，在生成器的第一层和最后一层结构为多任务编解码模块，将单风格画像生成定义为主任务；将对输入人脸语义标签的重构定义为辅任务；在实验中本申请发现，模型对辅任务学习的同时其共享部分的特征对主任务画像生成有一定帮助，生成画像的质量有了较为明显的提升。

在结构设计上，两个任务具有相似的编解码层结构。在网络的第2层到第 n-1层，两个任务共享生成器的这些层结构与参数，使生成器可以学到更为泛化的特征表示。两个任务的编码器使用一层4×4的卷积层作为各任务的编码结构，后在通道维度拼接，融合经过编码后的图像特征和语义结构特征。解码器部分，各任务解码器将前层解码器特征与对应各任务第一层编码器特征在通道维度进行拼接。对于生成画像任务，其解码器结构与Pix2Pix最后层结构相同。对于重构面部语义标签任务，将最后层激活函数修改为Softmax使模型输出预测在每个像素在各类别上的概率分布。对重构语义标签的任务，本申请采用重构的目的是通过该过程，提供生成器关于生成画像与真实目标间面部语义结构的误差，通过梯度回传给生成器辅助画像生成。

在本申请的另外一种实施方式中，如图3所示，本申请还提供一种肖像画生成的装置。其中，包括获取模块201，确定模块202，生成模块203，消除模块204，其中，

获取模块201，被配置为获取待处理图像，所述待处理图像中包含人脸图像；

确定模块202，被配置为确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；

生成模块203，被配置为通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；

消除模块204，被配置为利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像。

本申请中，可以获取待处理图像，确定待处理图像中的脸部区域，并对脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除面部几何图像中的变形程度，得到目标肖像图像。通过应用本申请的技术方案，可以采用循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数，新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像，利用放宽的像素级重构损失，以消除输入图像和相应目标图像之间的变形，形成一种鲁棒的人物艺术肖像画生成方法。

在本申请的另外一种实施方式中，搭建模块201，还包括：

搭建模块201，被配置为检测所述脸部区域图像，获取所述脸部区域图像中包含的眼部关键点区域；

搭建模块201，被配置为将所述眼部关键点区域中的左右眼中心位置坐标进行仿射变换操作，得到所述人脸对齐处理后的初始肖像图。

在本申请的另外一种实施方式中，搭建模块201，还包括：

搭建模块201，被配置为通过图像深度模型检测所述初始肖像图，得到到人脸解析图像,并对所述人脸解析图像进行图像预处理。

在本申请的另外一种实施方式中，搭建模块201，还包括：

搭建模块201，被配置为获取所述几何损失函数，所述损几何失函数中包括松弛型L1范式损失函数、梯度正则化损失函数以及身份损失函数；

搭建模块201，被配置为通过所述几何损失函数，得到所述初始肖像图像中的面部几何图像。

在本申请的另外一种实施方式中，搭建模块201，还包括：利用下述公式实现所述空间自适应归一化：

其中，设f

在本申请的另外一种实施方式中，搭建模块201，还包括：

搭建模块201，被配置为利用残差技术，获取多任务生成器，所述多任务生成器用于将单风格画像生成定义为主任务，将对输入人脸语义标签的重构定义为辅任务；

搭建模块201，被配置为利用所述多任务生成器，得到所述生成画像与待处理图像之间的面部语义结构的误差；

搭建模块201，被配置为将所述面部语义结构的误差通过梯度发送给所述生成器。

在本申请的另外一种实施方式中，搭建模块201，还包括：

搭建模块201，被配置为基于所述所述面部语义结构的误差，消除所述面部几何图像中的变形程度，得到所述目标肖像图像。

图4是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备处理器执行以完成上述肖像画生成的方法，该方法包括：获取待处理图像，所述待处理图像中包含人脸图像；确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述肖像画生成的方法，该方法包括：获取待处理图像，所述待处理图像中包含人脸图像；确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。

图4为计算机设备30的示例图。本领域技术人员可以理解，示意图4仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备30 还可以包括输入输出设备、网络接入设备、总线等。

所称处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，处理器302是计算机设备30的控制中心，利用各种接口和线路连接整个计算机设备30的各个部分。

存储器301可用于存储计算机可读指令303，处理器302通过运行或执行存储在存储器301内的计算机可读指令或模块，以及调用存储在存储器301内的数据，实现计算机设备30的各种功能。存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序 (比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备30的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory， RAM)或其他非易失性/易失性存储器件。

计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。