一种面向人物肖像的新视图修正生成方法

摘要

本发明公开了一种面向人物肖像的新视图修正生成方法。本发明步骤：步骤(1)任意源人物图像的目标前景与背景实时分离；步骤(2)面部遮挡部位的识别与分割处理；步骤(3)背景的随机光流计算与颜色缓存；步骤(4)人物肖像特征关键点的智能检测与匹配；步骤(5)交互式特征权重设置；步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像；步骤(7)根据步骤(3)的缓存信息进行背景补全。本发明在一定程度上实现了实时人物肖像的新视图生成，并能够同时提供各种修正角度影像，改善与解决了现有方法的低效性与非真实感，为线上人物肖像传播，特别是线上会议通信提供了较好的质量修正机制。

说明书

技术领域

本发明属于计算机图形学、计算机视觉与多媒体技术领域，特别涉及一种面向人物肖像的新视图修正生成方法。

背景技术

现今，在讲求安全与效率的社会中，根据人们的现实通信需求，线上会议、视频或图片的线上分享等云信息交换方式迅速发展起来，打破了地域与时间限制，让人与人之间的沟通交流变得更加及时便利。然而，目前在实际通信中，由于受到硬件设备影像获取镜头(摄像机)位置的影响，经常出现通信目标——对方通信人(即图像主体目标)角度倾斜的现象，使得通信双方的感官体验欠佳，在一定程度上降低了通信的质量。因此，获取与显示正常视角下的图像，对于线上的及时信息交换具有很大的加成作用。

综合国内外研究现状和发展趋势，从新视图生成的角度来看，相对成熟的方法多集中于在平行平面上的平移或者变形操作，而新视图生成的内容所在的成像平面通常与源图像成一定的角度，这对重建或估计图像隐藏的3D几何结构要求更高。目前，专门针对视图变换的工作在伪影与空洞上存在较大的问题，且国内外的现有研究多分布在远焦大场景或者形状相对规则的物品，且由于受到有限数量图像的限制，在不匹配近似三维模型的前提下，这些方法通常仅集中在小范围的视角内变换，又该领域的很多研究会利用到物体的对称性先验，使得上述变换范围大多根据源图像的左右视角确定。然而，针对线上通信来讲，通常受到显示屏幕的影响而导致成像的角度置于俯仰位置，这使得现有的很多规则无法适用。另外，本发明所针对的人物肖像属于近景目标图像，与远景中的人物相比，需要对脸部、头发与肩颈部位进行更加细致清晰的处理与显示，且为了满足线上会议等实际应用需求还需保证实时性。

发明内容

本发明的目的是提出一种面向人物肖像的新视图修正生成方法，该方法能够根据现有用于通信影像获取的硬件设备拍摄得到的固定视角图像，提取具有高度代表性的可用特征信息，进行相应的特征理解、目标特性分析、变形及插值计算处理，最终生成可供用户自主选择显示视角的图像序列。

为实现上述目的，本发明的技术方案包括如下步骤：

步骤(1)任意源人物图像的目标前景与背景实时分离；

步骤(2)面部遮挡部位的识别与分割处理；

步骤(3)背景的随机光流计算与颜色缓存；

步骤(4)人物肖像特征关键点的智能检测与匹配；

步骤(5)交互式特征权重设置；

步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像；

步骤(7)根据步骤(3)的缓存信息进行背景补全。

进一步的，所述步骤(1)任意源人物肖像的目标前景与背景实时分离，具体实现如下：由于本发明所需的应用实时性，需要进行单帧人像的前景与背景分离，而背景相减法、光流法、时间差分法、高斯混合模型等面向视频的分离算法无法实现很好的实时性，且需要运动信息来辅助分离。针对这种实际应用情况，本发明提出了一种近似二值掩码与边缘检测相结合的实时分离算法，通过基本几何形状中的椭圆与梯形掩码快速确定目标前景的大致范围，需要特别注意的是，椭圆与梯形的尺寸设置需要比实际人物肖像稍大，以适配更大相机俯仰范围与不同个体的人像，而后使用边缘检测算法在上述掩码确定的范围内进一步精确提取出人像前景，从而在整体上实现人物肖像目标前景与背景的实时分离。

进一步的，所述步骤(2)面部遮挡部位的识别与分割处理，致力于解决人脸部位的遮挡干扰，由于人物面部的遮挡物如眼镜、口罩、围巾等非人体物品在物理性质与先验特征方面与人物面部存在较大差异，则其独立于人物肖像的变形及生成处理，在保证新视图生成效果上具有非常重要的影响。在所述步骤(1)的基础之上，由于人脸颜色与五官形状具有非常强的先验性，则通过颜色阈值与五官形状掩码设置可以较为准确的定位正常人脸区域，对该正常人脸区域取反得到遮挡人脸区域的掩码，即遮挡物掩码，也可称作反向掩码；利用得到的反向掩码与步骤(1)获取的原目标人像前景进行差值计算，实现遮挡人脸区域的识别与分割，并将识别得到的遮挡物颜色及位置信息存储在预先设定的遮挡模块中，作为后续人物肖像在新相机视角下生成的备用资源。

进一步的，所述步骤(3)背景的随机光流计算与颜色缓存，为了降低背景部分的计算时间复杂度，保证修正影像序列的背景部位相对稳定，本发明从给定的待修正视频影像中随机抽取两帧相邻图像，对其进行轻量级的稠密光流计算，并将光流变换对应的背景颜色信息缓存在预先申请的内存空间中备用，作为最后整体修正内容的背景补全依据。

进一步的，所述步骤(4)人物肖像的特征关键点的检测与匹配，是进行新视图修正生成的关键步骤，决定生成机制所获内容的准确度与真实感。由于人物肖像俯仰变化的新视图生成机制对人物肖像的特征关键点要求较高，因此需要在最小化计算时间复杂度的前提下，提取尽可能稠密的具备高度代表性的特征关键点。考虑上述关键点检测需求，本发明利用人脸的强先验特性通过人脸检测器进行面部轮廓与五官的特征关键点检测，得到正常人脸区域的特征关键点；而后通过结合颜色先验、步骤(1)所得目标前景的轮廓信息以及步骤(2)所得人脸区域的颜色与位置信息，设置皮肤颜色阈值，完成除面部轮廓与五官外的其他人物肖像特征关键点检测。将每个单帧图像的代表性关键点位置信息按照指定索引存储，完成人物肖像特征关键点的智能检测与匹配。

所述的皮肤颜色阈值的设置如下：R∈[235,254]，G∈[210,234]，B∈[194,230]。

进一步的，所述步骤(5)交互式特征权重设置是步骤(4)所得特征关键点的筛选机制。默认五官、面部轮廓、头发区域、遮挡人脸区域、颈部、肩部的特征权重设置相等。使用者可以依照实际应用情况与自身要求交互式地更改权重配比，以控制不同特征区域中关键点的数量。需要强调的是，步骤(5)为可选步骤，其中特征区域的权重比越高，则对应区域范围内的代表性关键点数量越多，能够修正生成的效果越好，但计算时间越长。

进一步的，所述步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像，是产生可用目标输出的关键步骤，特别面向实际通信影像获取的硬件设备拍摄所局限的俯仰视角与人物肖像俯仰角度的非对称性质而提出。利用步骤(4)的检测与步骤(5)的权重设置得到的成对特征关键点来计算基本矩阵；再通过计算两帧图像的投影矩阵而对图像进行预扭曲以将两帧图像对齐到同一平行平面空间；然后根据颜色信息插值生成中间系列视角的新图像序列；最后将生成的新图像序列反扭曲到目标视角平面空间，得到目标视角序列。

所述的成对特征关键点是由俯视角度对应的图像得到的特征关键点和仰视角度对应的图像得到的特征关键点组成。

所述的两帧图像是指俯视角度对应的图像和仰视角度对应的图像。

所述的预扭曲和反扭曲均是形变。

所述的基本矩阵的计算如下：p′Fp＝0，其中,所求基础矩阵F是一个3×3的矩阵,表达了各个相点之间的对应关系,p′＝(x′,y′,1)与p＝(x,y,1)

所述的投影矩阵就是转换实际相机平面空间与标准视图空间的变换矩阵，与上述基本矩阵形状一致，是一个3×3的矩阵，除主对角线元素外，元素值均为0，主对角线上的最后一个元素值为1，主对角线上的第一个与第二个元素值等于基本矩阵对应位置的元素值。

所述的根据颜色信息插值生成中间视角的新图像序列，具体实现如下：

M(x

其中x

所述步骤(7)依照步骤(3)的缓存信息进行背景补全，即在非人物肖像位置将缓存的背景颜色信息填充上去，并将前景与背景的拼合边缘进行中值滤波处理，使得衔接更加自然真实，同时保证前景轮廓的合理清晰性。

进一步的，所述步骤(7)之前可以选择通过交互式目标修正影像选择，即从步骤(6)生成的目标视角序列中交互式地选择符合需求的视图，作为整个视频的修正视角，同时保存所选的修正视角信息，传播给其他帧以指导各帧的修正视角选择，从而得到该视角下所有帧的人物肖像前景修正序列。该步骤作为可选步骤。

与现有新视图生成方法相比，使用本发明面向人物肖像的新视图修正生成方法所带来的有益效果如下：

(1)真实感：通过将不同物理性质与先验特征的区域进行独立预处理，而后使用针对人物肖像俯仰变化的新视图生成机制将所有区域变换至所需的目标视角，最后通过中值滤波实现不同区域的拼合，能够较好地生成所需修正视角下的目标新视图，具有一定的真实感。

(2)实时性：为满足线上通信的及时性需求，快速生成趋近目标视角的新图像序列是相对重要的，本发明通过稠疏混合运动估计、粗细形状掩码检测及特征区域权重平衡三个方法，极大地降低了传统新视图生成的计算时间复杂度，在一定程度上很好地满足了线上人物肖像传播与线上视频会议的实时质量修正需求。

(3)可扩展性：本发明所提方法面向的问题解决场景是人物肖像的视角变换修正，但该方法不局限于人物肖像，针对整个人体或者动态物品对象的视角变换，也可以通过改变掩码、权重与检测目标的设置实现，具有较高的可行性，从侧面反映了本发明的可扩展性。

附图说明

图1是本发明面向人物肖像的新视图修正生成方法的功能实施模块构成图。

图2是本发明面向人物肖像的新视图修正生成方法的具体实施流程图。

具体实施方式

上述说明仅是本发明技术方案的概述，为了让本发明的上述和其它目的、特征与优点能够更明显易懂，以下特举本发明的具体实施方式。

本发明通过对不同物理性质及先验特征部分的识别、独立处理与自然拼合，以可控的交互形式实时获得受限于固定拍摄视角的人物肖像的新视图，创新性地提出了面部遮挡部位的识别与分割处理、针对人物肖像俯仰变化的新视图生成机制及可控的交互式关键点与目标修正影像选择，改善与解决了现有方法的低效性与非真实感，为线上人物肖像传播，特别是线上会议通信提供了较好的质量修正机制。

下面将参考附图并结合实施例，对本发明的技术方案进行清楚、完整地描述，进一步详细介绍本发明的具体功能实施模块、运行方式和实现方法。需要强调的是，以下实施例是本发明的优选实施例，而非全部实施例，仅用以解释本发明，而不是想要限制本发明的范围。

如图1所示，一直面向人物肖像的新视图修正生成方法所使用的系统包括前景与背景分离模块、遮挡对象识别存储模块、随机背景缓存模块、特征关键点检测模、特征区域权重设置模块、人物肖像俯仰变化的新视图修正模块以及背景补全模块。其中

(1)前景与背景分离模块：用于任意源人物肖像的目标前景与背景实时分离；

(2)遮挡对象识别存储模块：致力于解决人脸部位的遮挡干扰；

(3)随机背景缓存模块：降低背景部分的计算时间复杂度，缓存合理稳定的背景信息；

(4)特征关键点检测模块：提取尽可能稠密的具备高度代表性的特征关键点；

(5)特征区域权重设置模块：依照实际应用情况交互式地设置各特征区域的权重配比；

(6)人物肖像俯仰变化的新视图修正模块：依照人物肖像俯仰变化的新视图生成机制计算目标影像，以产生可用目标输出；

(7)背景补全模块：实现缓存背景与修正目标视角下前景视图的合理拼合。

其中，所述前景与背景分离模块，是一种利用近似二值掩码与边缘检测相结合进行实时分离的算法，先通过基本几何形状中的椭圆与梯形掩码快速确定目标前景的大致范围，再利用边缘检测算法在上述掩码确定的范围内进一步精确提取出人像前景。在具体实施过程中，需要特别注意的是，基本几何形状椭圆与梯形的尺寸设置需要比实际人物肖像稍大，以适配更大相机俯仰范围与不同个体的人像。

其中，所述遮挡对象识别存储模块，致力于解决人脸部位的遮挡干扰。由于人物面部的遮挡物如眼镜、口罩、围巾等非人体物品在物理性质与先验特征方面与人物面部存在较大差异，则在具体实施中，独立识别与预处理人物肖像的不同组份在保证新视图生成效果上具有非常重要的影响，组份包括人脸、头发、肩颈、背景和面部遮挡物。依据人脸颜色与五官形状的强先验性，通过颜色阈值与五官形状掩码的设置可以较为准确的定位原本的人脸，对得到了人脸取反以获取非人脸部分的掩码，即合理的遮挡物掩码，也可称为反向掩码，再利用得到的合理遮挡物掩码与原目标人像的前景进行差值计算，实现遮挡对象的识别与分割，并在模块预先申请的内存空间中存储识别得到的遮挡物颜色及位置信息。

其中，所述随机背景缓存模块，是为了降低视频次要背景部分的计算时间复杂度，并缓存合理稳定的背景信息而设置的。具体实施是从给定的视频影像中随机抽取两帧相邻的图像，需要注意的是，抽取的两帧图像应当满足随机性，而后对抽取的图像对进行轻量级的稠密光流计算，并将光流变换对应的背景颜色信息缓存在该随机背景缓存模块中，缓存完成后立即保持该模块的冻结状态，即不对该模块进行任何操作，直到生成最终修正目标前景序列。

其中，所述特征关键点检测模块，提取尽可能稠密的具备高度代表性的特征关键点。具体实施时，需要利用人脸的强先验特性通过人脸检测器进行面部轮廓与五官的特征关键点检测，而后结合颜色特征先验、前景与背景分离模块所得的人物肖像轮廓及遮挡对象识别存储模块所得的遮挡对象信息，在头发、肩部、颈部、面部遮挡物四个特征区域上设置合理的权重阈值，完成除面部轮廓与五官外其他人物肖像部位的特征关键点检测，将每个单帧图像的代表性关键点位置信息按照指定索引存储，完成人物肖像特征关键点的智能检测与匹配。

其中，所述特征区域权重设置模块，是可选的交互控制模块，可以依照实际应用情况与用户的自主需求交互式地设置每个特征区域的权重配比，对智能获取的特征关键点进行重要性筛选，以加强特征关键点的适应性准确度。默认特征权重设置从大至小依次为五官、面部轮廓、头发区域、遮挡对象区域、颈部、肩部。不同的权重配置，可以控制不同特征区域中关键点的数量，具体实施中需要强调的是，特征区域的权重比越高，则对应区域范围内的代表性关键点数量越多，能够修正生成的效果越好，但计算时间越长。

其中，所述人物肖像俯仰变化的新视图修正模块，是产生可用目标输出的关键步骤，特别面向实际通信影像获取的硬件设备拍摄所局限的俯仰视角与人物肖像俯仰角度的非对称性质而提出。在具体实施中，其利用特征关键点检测模块所得的关键点与特征区域权重设置模块的权重筛选功能所得到的成对特征关键点来计算基本矩阵，再通过计算两帧的投影矩阵对图像进行预扭曲以将两帧图像对齐到同一平行平面空间，而后根据颜色信息插值生成中间目标视角的新图像序列，最后将生成的图像修序列正扭曲到目标视角平面空间。

其中，所述背景补全模块，作用于最后的组份拼合工作。在具体实施时，需要在非人物肖像位置将随机背景缓存模块存储的背景颜色信息填充上去，并将前景与背景的拼合边缘进行中值滤波处理，使得衔接更加自然真实，同时保证前景轮廓的合理清晰性。

如图2所示，本发明向人物肖像的新视图修正生成方法具体实施流程如下：

首先输入待修正的人物肖像图像或视频序列，然后在正式进行新视角下图像的修正工作之前，需要利用已知的图像或视频序列提取出检测人物肖像特征关键点所需的信息，包括目标前景与背景的形状特征信息、面部遮挡对象的颜色与形状特征信息及随机背景颜色信息。其中，目标前景与背景形状特征信息是通过前后景实时分离来提取的，具体实施时先使用近似二值形状掩码——稍大于实际人物肖像尺寸的椭圆与梯形掩码确定人物肖像的粗略位置范围，再于该范围内利用边缘检测算法确定前景轮廓的具体位置，以粗细结合的方式在较短时间内完成人物肖像的前后景分离；面部遮挡对象的颜色与形状特征信息则是通过人脸反向掩码获取的，该反向掩码是利用人脸的颜色先验及五官的形状先验取反后得到的；随机背景颜色信息的获取需要在随机选取待修正序列中连续的两帧图像进行轻量级的稠密光流计算，而后将光流变换对应位置的颜色信息缓存在预先申请的内存空间中，且缓存完毕后需要暂时处于冻结状态直至前景修正视图生成。上述信息提取并存储完毕后，先通过现有的人脸检测器确定面部轮廓与五官的特征关键点，再利用上述前景形状特征信息与遮挡物品的颜色及形状信息结合其他各个特征区域(包括头发、颈部、肩部、遮挡物品)的权重配比检测并筛选对应的具备高度代表性的特征关键点，并将每一帧的关键点按照指定的索引进行存储。接着利用成对的特征关键点计算基本矩阵，再通过计算两帧的投影矩阵对这两帧图像进行预扭曲，以将这两帧图像对齐到同一平行平面空间，经过交互式的目标视角选择后，将目标视角下修正后的前景肖像新视图与缓存的背景颜色信息进行拼合。最后，使用中值滤波算法作用于前后景的拼合边缘，以得到自然真实且前景边缘合理清晰的目标新视图。

以上仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不偏离本发明的构思或者超越本权利要求书所定义范围的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。