基于风格迁移的人脸卡通漫画生成方法研究

摘要

卡通漫画是一种重要的艺术风格，它不仅具有独特的绘画效果，同时还体现了人物本身的特点，逐渐受到人们的喜爱。随着图像处理技术的发展，人们对于图像的研究不再局限于图像识别、目标检测与跟踪等领域，而同时展开了对图像转换与生成等方向的研究，其中人脸卡通漫画生成一直备受关注。然而，在现有的一些方法中，处理图像的方法比较复杂，得到的图像合成痕迹明显，效果单一。因此，本文研究使用基于深度学习的方法，对人脸特征进行学习，在保留原有内容特征的情况下对图像风格进行转换，从而自动生成自然的卡通漫画头像。 本文的主要内容如下： 1.本文研究一种基于特征融合的人脸卡通化生成方法。该方法主要针对数据成对的情况。在生成对抗网络的基础上，本文增加一个特征提取网络，提取更有表征性的人脸特征，从而加快网络收敛，提升生成图像的质量。同时利用人脸关键点来对生成图像的重要部位进行约束，让图像细节更加真实。 2.本文研究一种基于内容不变性的人脸卡通化生成方法。在图像风格转换的任务中，基于内容信息的不变性，本文分别构建了一个内容特征提取网络和一个风格特征提取网络，将内容与不同风格特征相融合，再通过解码网络得到不同风格的图像，从而实现风格的转换。为了进一步提升生成图像的质量，本文在判别网络上进行改进，本文提出一种多尺度判别网络，对不同尺寸的图像块进行判别，综合它们的打分作为最终的判别结果，该网络不仅能够提升判别能力，还能够促使生成图像更加的真实。 3.本文研究一种基于特征点偏移的人脸漫画生成方法。本文在图像风格迁移的基础上，增加人脸夸张变形模块，利用人脸的结构内容特征，来定位人脸关键点，并预测夸张变形之后的关键点坐标，最后使用样板插值的方式实现人脸的夸张变形。该模块作为整体网络的一个分支，与风格迁移任务一起训练，能够实现端到端的人脸夸张漫画生成。 为了验证本文算法的有效性，本文构建了专门的卡通漫画数据库，本文方法与所有的对比实验都基于同一数据库进行训练与测试。实验结果表明，本文方法生成的卡通图像在图像质量上有所提升。

目录

声明

第一章 绪 论

1.1课题研究背景与意义

1.2 人脸卡通漫画生成方法的研究现状

1.2.1 人脸风格转换研究现状

1.2.2 人脸形状夸张研究现状

1.3论文的主要研究内容

1.4 本文章节安排

第二章 实验数据库构建

2.1 引言

2.2 数据库介绍

2.3 数据预处理与分析

2.3.1 图像裁剪

2.3.2 数据整理及分析

2.4 本章小结

第三章 基于特征融合的人脸卡通画生成

3.1 引言

3.2 本文算法框架

3.3 基于特征融合的生成对抗网络

3.3.1 特征融合的重要性

3.3.2 基于特征微调的生成对抗网络

3.4 损失函数设计

3.5 实验结果及分析

3.5.1 实验环境

3.5.2 实验数据

3.5.3 网络参数

3.5.4 实验结果对比与分析

3.6 本章小结

第四章 基于内容不变性的人脸卡通画生成

4.1 引言

4.2 本文算法框架

4.3 基于内容不变性的生成网络

4.3.1 内容与风格的平衡关系

4.3.2 生成网络结构

4.4 多尺度判别网络

4.4.1 不同尺度对判别结果的影响

4.4.2 判别网络结构

4.5 损失函数设计

4.6 实验结果与分析

4.6.1 实验数据

4.6.2 网络参数

4.6.3 实验结果对比与分析

4.7 本章小结

第五章 基于关键点偏移的人脸漫画生成

5.1 引言

5.2 本章算法框架

5.3 传统人脸夸张变形方法的局限性

5.4 基于关键点偏移的人脸夸张化

5.4.1 基于结构信息的关键点预测

5.4.2 基于样板插值的图像变形

5.5 网络的训练

5.6 实验结果与分析

5.6.1 实验数据与训练参数

5.6.2 实验结果展示与分析

5.7 本章小结

第六章 总结与展望

6.1 总结

6.2 展望

致谢

参考文献

攻读硕士学位期间取得的成果