面向移动端的虚拟试衣的人体模型脸部分区域建模方法

摘要

本发明公开了一种面向移动端虚拟试衣的人体模型脸部分区域建模方法。将人体模型的脸部点云降维渲染为二维图像，检测定位二维人脸界标。根据参考点对，将二维图像界标迁移到三维点云界标，并恢复z值，扩充人体模型的人脸区域界标。基于稀疏三维界标位置和整体性形状约束，对人脸人体模型进行非匹配弱刚性局部配准。使用连接层迭代界标位置，根据整体性形状惩罚人脸模型。切割人体模型的头部区域去除配准干涉，将边界点对作为贝塞尔曲线端点，在配准形成的缺失区域填充插值点并网格化。根据格栅化边界和法向量生成填充环，完成合并拼接。本发明适用于面向移动端虚拟试衣的三维人体重建，提供了身材参考和脸部认同感，有助于虚拟试衣的进一步推广。

说明书

技术领域

本发明属于计算机视觉技术领域，具体地涉及一种面向移动端虚拟试衣的人体模型脸部分区域建模方法。

背景技术

随着移动互联网的发展和电商的繁荣，在线的虚拟试衣为消费者和商家降低了时间和经济成本，消费者通过移动端提交人体和人脸特征信息，搭配挑选的服装，实现快捷方便的个性化虚拟试衣。其中，二维图像人体特征的获取和三维人体模型的重建模型是虚拟试衣的前提，精确的人体形状估计又是三维人体重建的基础，丰富的脸部细节表达则能增强重建人体模型的真实性。

目前研究存在的缺点是，基于统计人体模型的三维人体重建无法捕捉二维图像中的面部特征，重建的模型面部形状和表情为中性，且缺少面部纹理，其模型仅能为虚拟试衣提供身材参考；基于统计人脸模型的三维人脸重建，重建的范围最大仅能延伸到耳部和颈部，缺少真实的人体支撑，仅能增加消费者对虚拟试衣模型的认同感；将面部特征集成到统计人体模型面临数据集缺失的问题，相对于仅具有清晰的人体结构或者面部特征，同时具备两者的二维图像数据集相对缺失；目前的三维人脸界标定位算法由于缺少足够的三维人脸训练集，算法的鲁棒性和计算速度有待提升；非刚性配准在人脸方面的应用依赖于刚度集等初始值的选择，无法鲁棒的应对存在缺失结构和结构不匹配的情形。

发明内容

针对现有技术中存在的问题，本发明提出了一种面向移动端的虚拟试衣的人体模型脸部分区域建模方法，对三维人体和人脸模型进行局部非匹配弱刚性配准，移除两者的干涉区域，缝合插值生成填充环，生成具有细致面部特征和精准人体形状的三维人体模型，其能够精准的表达人体形状和人脸特征，为虚拟试衣提供身材参考和人脸认同。

为实现上述目的，本发明采用的技术方案是：一种面向移动端虚拟试衣的人体模型脸部分区域建模方法，具体包括如下步骤：

(1)消费者在移动端分别提交真实人体图像和真实人脸图像，将所述人体图像经三维人体重建模块处理后生成三维人体模型，将所述人脸图像经人脸重建模块处理生成三维人脸模型；

(2)将步骤(1)获得的三维人体模型的脸部区域进行渲染降维检测，得到二维渲染人体图像，构建三维人体模型中人脸区域与二维渲染人体图像的参考点对，根据所述参考点对求解两者坐标变换，实现在三维人体模型的脸部区域扩充三维点云界标；对齐扩充的三维点云界标，约束惩罚整体性形状，对三维人体模型与三维人脸模型进行局部非匹配弱刚性配准；

(3)将三维人体模型的头部区域切割，移除脸部区域，获取切割后三维人体模型与三维人脸模型的匹配边界点对。在三维人体模型头部区域切割形成的空白区域进行贝塞尔曲线插值，并三角网格化插值点生成拓扑结构，基于格栅化边界和面片法向量，删除生成拓扑结构的鼓面结构以构建填充环，组合填充环、切割的三维人体模型和三维人脸模型生成具有真实人脸的三维人体模型。

进一步地，步骤(2)具体包含以下子步骤：

(2.1)在人体模型正交投影过程中，保持相机的z轴与三维人体模型的z轴平行，同时，满足所述三维人体模型的前景颜色与背景颜色的灰度差超过0.6，渲染生成二维人体图像；分割裁切二维人体图像的脸部区域，利用人脸目标检测，提取所述二维人体图像的脸部区域界标；

(2.2)三维人体模型的点云三维直角坐标系被降维为二维直角坐标系

(2.3)在完成二维人体图像的直角坐标系I

(2.4)求解从三维人脸模型的直角坐标系I

进一步地，步骤(3)具体包含以下子步骤：

(3.1)在完成三维人体模型与三维人脸模型的局部非匹配弱刚性配准后，根据三维人体模型点云的z值移除脸部区域的点云，并对切割后三维人体模型的三角网格结构进行更新；切割的人体模型与配准后人脸模型间仍存在区域空缺Ω

(3.2)以边界点对{(Pf

(3.3)对插值顶点集{P(u)}和边界点对{(Pf

(3.4)根据阈值条件对三维人脸模型的纹理进行肤色分类，对人脸颜色求平均值，并将其迁移至三维人体模型和填充环中。

与现有技术相比，本发明的有益效果是：本发明将三维人体模型和三维人脸模型进行装配缝合，通过降维检测，升维扩充的方式添加三维人体模型的人脸区域的界标。对人脸扩充的三维界标对齐和整体性形状进行约束实现人体和人脸的非匹配弱刚性局部配准。为移除干涉，切割三维人体模型的脸部区域，并对形成的空白区域进行贝塞尔曲线插值，生成填充环，缝合生成具有脸部细节的人体模型。本发明为移动端虚拟试衣提供了人体模型脸部分区域建模方法，为虚拟试衣提供基本的身材参考，同时增强了模型的真实感，进一步促进虚拟试衣的推广。

附图说明

图1是本发明面向移动端虚拟试衣的人体模型脸部分区域建模方法流程图；

图2是人体头部区域三维界标补充与弱刚性局部配准图；

图3是头部切割和填充环构建图。

具体实施方式

为了更清楚地说明本发明，下面结合附图对本发明作进一步说明。本领域技术人员应该了解，下面所具体描述的内容是说明性而非限制性的，不应该限制本发明的保护范围。

如图1为本发明面向移动端虚拟试衣的人体模型脸部分区域建模方法流程图，消费者在移动端提交清晰的人体和人脸图像，经过三维人体人脸重建模块产生三维人体和人脸模型组件，在三维人体模型的人脸区域补充三维点云界标后，对两者进行弱刚性局部配准，为去除配准后产生的干涉，切割三维人体模型的头部区域并构建填充环，最终合并各个组件生成应用于虚拟试衣具有详细面部细节的三维人体模型。

本发明的具体过程包括如下步骤：

(1)消费者在移动端分别提交真实人体图像和真实人脸图像，将所述人体图像经三维人体重建模块处理后生成三维人体模型，将所述人脸图像经人脸重建模块处理生成三维人脸模型；

(2)将步骤(1)获得的三维人体模型的脸部区域进行渲染降维检测，得到二维渲染人体图像，构建三维人体模型中人脸区域与二维渲染人体图像的参考点对，根据所述参考点对求解两者坐标变换，实现在三维人体模型的脸部区域扩充三维点云界标；对齐扩充的三维点云界标，约束惩罚整体性形状，对三维人体模型与三维人脸模型进行局部非匹配弱刚性配准；具体包括如下子步骤：

(2.1)人体模型人脸区域三维界标扩充。

在人体模型的人脸区域扩充三维点云坐标和弱刚性局部配准过程如图2所示。在人体模型正交投影过程中，保持相机z轴与人体模型z轴平行以及人体模型前景与背景的灰度差超过0.6，渲染生成二维人体图像。利用人脸目标检测，提取渲染图像的人脸区域界标，并裁切生成人体模型图像的脸部区域，对裁切的人脸图像进行二维标注。

(2.2)在以上渲染过程中，人体模型的点云三维直角坐标系被降维为二维直角坐标系

α'

式中，[x'

选取二维直角坐标系

式中，N(x

在Ω

(2.3)在完成二维人体图像的直角坐标系I

s.t.z

从而得到脸部区域扩充三维点云界标。

经过坐标转换和恢复z值后，由于三维人体模型的脸部区域表情为中性，形状位移小，三维人体模型的人脸区域三维界标扩充算法的鲁棒性高。但其网格密度小，在恢复z值时，候选点集小，会导致算法精度部分损失，尤其在需要密集界标的唇部，界标精度相对较低，可在配准时降低其权重。

(2.4)人体和人脸模型的弱刚性局部配准。

根据人体和人脸的三维界标，求解从三维人脸模型的直角坐标系I

式中，η为学习率，设定误差梯度

之后根据约束人脸的宽度缩放系数和约束人脸的高度缩放系数惩罚头部区域，完成三维人体模型与三维人脸模型的局部非匹配弱刚性配准。

整体性人脸形状惩罚如下：

式中，C为对角矩阵，c

(3)随后将三维人体模型的脸部区域进行切割，移除脸部区域，获取切割后三维人体模型与三维人脸模型的匹配边界点对，在三维人体模型脸部区域切割形成的空白区域进行贝塞尔曲线插值，并三角网格化插值点生成拓扑结构，基于格栅化边界和面片法向量，删除生成拓扑结构的鼓面结构以构建填充环，组合填充环、切割的三维人体模型和三维人脸模型生成具有真实人脸的三维人体模型；如图3，具体包括如下子步骤：

(3.1)人体模型头部切割及边界点对构建。

由于配准并不改变人脸内部的拓扑结构，并不能保证的人体与人脸模型的边界无缝贴合，可能存在边界翘曲现象。在完成人体和人脸的弱刚性局部配准后，仍存在结构干涉和边界缝隙问题，需要对三维人体模型的头部进行切割，根据三维人体模型点云的z值移除人脸区域的点云，如下：

Ω

式中，Δy

移除三维人体模型人脸区域Ω

Ω

对于变换后的人脸模型，根据每个顶点所构成三角面片的数量Nf

Ω

将三维人脸模型的边界点集Ω

dist(Pf

dist(Pf

...

式中，n与dist(Pf

(3.2)变半径贝塞尔曲线缝合插值。

以边界点对{(Pf

式中，N(Ω

式中，计算Pf

最终计算控制点的顶点坐标如下：

贝塞尔曲线在u∈[0,1]等间隔取值，u为插值参数，得到配准后空白区域的插值顶点集 {P(u)}：

式中，P(u)为虚线上的点，f

(3.3)鼓面结构移除与填充环构建。

基于贝塞尔曲线生成插值点后，需要对插值顶点集{P(u)}和边界点对{(Pf

式中，Avg()为均值函数，(xf

式中，p

(3.4)人体模型，人脸模型和填充环肤色迁移统一。

为了保证视觉上人体模型，人脸模型和填充环的统一，需保证纹理上的协调，因此，将人脸模型的整体性肤色迁移到其他两者以保持整体纹理的统一性。其RGB与CMY颜色空间的转换如下：

K＝min(255-R，255-G,255-B)

C＝(255-R-K)/(255-K)

M＝(255-G-K)/(255-K)

Y＝(255-B-K)/(255-K)

根据阈值条件对人脸模型的纹理进行肤色分类，对

实施例

消费者在移动端提交清晰的人体和人脸图像，经过三维人体人脸重建模块产生三维人体和人脸模型，在三维人体模型的人脸区域补充三维点云界标后，对两者进行弱刚性局部配准，为去除配准后产生的干涉，切割三维人体模型的头部区域并构建填充环，最终合并各个组件生成应用于虚拟试衣具有详细面部细节的三维人体模型。

利用人脸目标检测对渲染人体模型图像界标人脸区域，剪裁出人脸区域。基于现有的人脸图像界标模型方法，标志渲染图像的68个界标，包括眼睛、眉毛、鼻子、嘴巴、牙齿和外轮廓。以图像的鼻点界标为基准点，基于像素的灰度值，分别构建渲染图像的参考点：头点、左耳点和右耳点。利用人体的关节点界标，筛选出脖子以上的点云，以鼻点为基准点，在误差范围内分别构建参考点：头点、左耳点和右耳点。经过坐标转换和恢复z值后，由于人体模型的脸部区域表情为中性，形状位移小，人体模型的人脸区域三维界标扩充算法的鲁棒性高。但其网格密度小，在恢复z值时，候选点集小，会导致算法精度部分损失，尤其在需要密集界标的唇部，界标精度相对较低，可在配准时降低其权重。

在弱刚性局部配准中，设定优化器为Adadelta，其学习率为0.1，梯度下降的早停阈值为，迭代最大步数为3K，在测试集上，稀疏界标位置约束迭代耗时和早停步数统计信息如表1所示：

表1：配准耗时和早停步数

早停步数的平均值在1100左右，在1000步后，迭代梯度明显下降，同时三维界标的位置精度已经达到10

由于配准并不改变人脸内部的拓扑结构，并不能保证的人体与人脸模型的边界无缝贴合，可能存在边界翘曲现象。从头部深度一半处切割人体模型的头部，并去除脸部区域。将切割后的人体模型与人脸进行配准组合，寻找人脸和切合人体模型的边界点，并对边界点配对，其对应关系为一对多或者一对一，一对多的目的在于，防止由于稀疏边界点集中奇点的存在，造成大量稠密边界点只与该奇点配对，影响缝合三角面片分布的均衡性。然后对两者构成的空缺部分基于贝塞尔曲线进行点云插值，对插值点网格化。基于格栅化边界和面片法向量生成填充环，最终合并生成具有脸部细节的人体模型，模型对人体的形状和人脸的形状、纹理、表情都做了详细完整的表达，在虚拟试衣过程中，为测试者提供了身材参照和自我认同感。

本发明人体模型脸部区域的构建方法通过降维渲染、建立参考对和恢复z值的方式补充人体模型的脸部区域的三维界标，利用全连接层对稀疏的三维界标位置进行迭代优化，进一步惩罚约束整体性形状以完成配准转换。将基于贝塞尔曲线的人体模型头部切割和拼接缝合，切割人体模型的头部区域消除对配准后人脸模型的干涉，利用三维贝塞尔曲线插值填充切割导致的空白区域，根据近似边界和法向量移除鼓面结构以创建填充环。与非刚性迭代最近点配准相比，本发明的弱刚性局部配准可以实现全局配准，而不会引起内部结构的变化。

与传统的人体模型构建方法相比，本发明的人体模型脸部区域构建方法具有详细的面部表情和准确的人体形状估计，更适合于移动端虚拟试衣。