一种古代绘画虚拟修复方法及修复模型的构建方法

摘要

本发明提供了一种古代绘画虚拟修复模型构建及古代绘画虚拟修复方法，通过对预构建的古代绘画虚拟修复网络模型进行训练，以获得训练好的古代绘画虚拟修复网络模型M2；采集损坏的古代绘画图像；制作该损坏的古代绘画图像对应的二进制掩膜；将采集的损坏的古代绘画图像和描绘破损区域的二进制掩膜，输入到训练好的古代绘画虚拟修复模型M2，并输出图像修复结果。通过实验结果比较表明，本发明采用的古代绘画虚拟修复方法能够有效地预测破损孔洞的像素值，重建出高品质的古代绘画图像，具有更好的主客观效果。

说明书

技术领域

本发明属于图像处理领域，涉及古代古代绘画虚拟修复，具体涉及一种古代绘画虚拟修复模型构建及古代绘画虚拟修复方法。

背景技术

随着科学技术的进步，文物数字化保护与传承研究成为当今世界各国研究的热点之一，破损的古代绘画严重影响了以绘画为代表的文化遗产鉴赏和传承效果，所以图像虚拟修复是古代绘画高保真数字化研究中亟待解决的关键技术难题，也是后续进行绘画图像鉴赏与传承的前提，但是这个问题迄今也没有得到完善的解决。尽管现有很多文献报道了多种数字图像修复方法，但几乎没有涉及古代绘画图像的空间分辨率不足和残缺破损等特有属性的修复。

过去20年，尽管出现了大量的图像修复方法，其中包括基于扩散的图像修复方法和基于纹理合成的图像修复方法，但它们的修复效果不够理想。基于扩散的图像修复方法仅对颜色和纹理差异较小的孔洞修复有效；基于纹理合成的图像修复方法可以在受损图像中填充更大的孔洞，但是，由于这组方法依赖于低层图像特征，不适合修复复杂结构中的孔洞。近年，基于深度学习的图像修复方法中，深度神经网络以端到端的方式学习语义先验和有意义的隐藏表示，取得较好的效果，其性能超过传统方法，受到人们的极大重视。最近的大部分图像修复工作网络在图像上使用卷积滤波器，用固定值替换已删除的内容，导致修复结果依赖于初始孔值的影响，其通常表现为孔区域缺乏纹理，明显的颜色对比或围绕孔的人造边缘响应，调整孔值的输出最终导致各种类型的视觉伪影，这需要昂贵的后处理，例如，全局和局部一致的图像修复方法使用快速前进和泊松图像混合等方法进行视觉伪影的后处理；许多最近的方法的另一个限制是只能聚焦在矩形孔上进行修复，通常被认为是图像的中心，这些限制可能导致过度拟合矩形孔，并最终限制这些模型的实际应用。基于部分卷积层的不规则孔洞图像修复方法，可以处理不规则形状的孔，实现完整的孔预测，独立于孔初始值，无需任何额外的后处理。该方法使用了部分卷积层正确处理不规则掩膜，其中包括掩膜和重新归一化卷积操作，然后是掩膜更新步骤，这样不仅可以在不规则孔洞情况下进行修复，并产生语义上有意义的预测结果，与图像的其余部分平滑结合，不需要任何额外的后处理或混合操作，该种方法相比于之前的图像修复方法虽然取得了不错的修复效果，但因其编码阶段部分卷积模块中使用的标准卷积和整个网络结构中使用普通的激活函数使得预测图像并没有很大程度接近于真实图像，而且常用于自然图像处理，缺乏考虑古代绘画图像的特有属性，没有针对于古代绘画图像的破损特征建模，很少应用于古代绘画图像处理，所以性能仍不能满足实际应用需求。传统的图像修复方法依赖于低层图像特征，不适合修复复杂结构中的孔洞，限制了其性能和应用范围。

早期基于深度学习的图像修复方法主要集中在位于图像中心附近的矩形区域孔洞进行修复，并依赖于昂贵的后处理；现有的基于深度学习的图像修复方法仅在空间域对特征映射进行建模，而缺乏对图像不同域之间互补性的综合考虑，以及使用普通的激活函数导致修复结果仍然不能令人满意。因此，现有图像修复方法仍然不能满足古代绘画图像修复等实际应用需求。

发明内容

针对现有技术存在的不足，本发明的目的在于，提供一种古代绘画虚拟修复模型构建及古代绘画虚拟修复方法，解决现有技术中因依赖于低层图像特征，不能修复复杂结构中孔洞的技术问题。

为了解决上述技术问题，本发明采用如下技术方案予以实现：

步骤1，获取公开的大型自然图像数据集；采集多张古代绘画，获得古代绘画数据集；

步骤2，对代表黑白颜色的二进制数字0和1进行随机掩膜生成处理，生成不规则掩膜数据集，用于模拟网络模型训练时图像输入集中完整图像的破损区域；

步骤3，预构建古代绘画虚拟修复网络模型M

步骤4，以自然图像输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，以完全无监督训练方式训练预构建的古代绘画虚拟修复网络模型M

步骤5，以古代绘画输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，对古代绘画虚拟修复网络的预训练模型M

本发明还包括如下技术特征：

所述的古代绘画数据集分为古代绘画训练集、古代绘画测试集、古代绘画验证集；所述的古代绘画训练集作为预训练后的网络模型迁移学习训练时的图像输入集。

步骤2还包括以下步骤：

步骤2.1，用二进制随机掩膜生成方法生成不规则掩膜数据集，包括掩膜数据训练集、掩膜数据原始测试集、掩膜数据验证集；

步骤2.2，将掩膜数据原始测试集中的不规则掩膜随机扩展、旋转和裁剪，生成4类具有不同孔图像面积比的掩膜，这4类具有不同孔图像面积比的掩膜分别是[0.01，0.1]，(0.1，0.2]，(0.2，0.3]，(0.3，0.4]；每个类别包含掩膜数相同。

步骤3中所述的预构建的古代绘画虚拟修复网络模型M

所述的编码器以损坏的图像作为输入，以提取的损坏的绘画图像的图像特征作为输出，从输入的损坏的绘画图像中获取特征信息，并对提取的图像特征信息进行解析；所述的编码器用E表示，包含i个下采样层，i＝1,2,3,4,5,6,7；所述的下采样层中包含双域部分卷积层、批量归一化层和空间自适应激活单元层；

所述的解码器以编码器输出的提取的损坏的绘画图像的图像特征作为输入，将编码器解析的特征信息对应成最终输出的图像形式，对缩小后的特征图像进行上采样，对上采样后的图像进行卷积处理，输出修复的图像；进一步完善图像，弥补编码器中将图像缩小造成的细节损失；所述的解码器用D表示，包含k个上采样层，k＝1,2,3,4,5,6,7；所述的上采样层中包含最近邻插值层、部分卷积层、批量归一化层和泄露空间自适应激活单元层；

所述的解码器中D

所述的编码器下采样层中双域部分卷积层中对特征图f

所述的特征图f

其中，X是使用滑动窗口方法进行当前卷积操作的特征值，M是使用滑动窗口方法进行当前卷积操作的二进制掩膜值；W

所述的掩膜m

其中M是使用滑动窗口方法进行当前双域部分卷积操作的二进制掩膜值，

所述的编码器下采样层中空间自适应激活单元层中对特征图进行空间自适应激活处理；

特征图中每个位置特征值X的空间自适应激活单元函数

其中，W表示执行卷积运算，b是偏置项，D代表特征值X的ReLU激活函数值进行多尺度可分离卷积和卷积后并进行通道间融合，BN(·)表示批量归一化层，

一种古代绘画虚拟修复方法，包括以下步骤：

步骤一，采集损坏的古代绘画图像；

步骤二，制作该损坏的古代绘画图像对应的二进制掩膜；

步骤三，将步骤一中采集的损坏的古代绘画图像作为输入图像，将步骤二制作的二进制掩膜作为输入掩膜，输入到如权利要求1中所述的训练好的古代绘画虚拟修复模型M

所述的步骤二中制作损坏的古代绘画图像对应的二进制掩膜，其中未损坏区域的像素标注为1，对应二进制掩膜中的白色部分，损坏区域的像素点标注为0，对应二进制掩膜中的黑色部分。

本发明与现有技术相比，具有如下技术效果：

(Ⅰ)本发明提出一种以编码器-解码器网络框架为基础的古代绘画虚拟修复网络模型，并用于古代绘画图像修复，通过目前最先进的一些图像修复方法与本发明的采用的古代绘画虚拟修复方法在大型自然图像数据集上和古代绘画数据集上的各项修复指数上的实验结果比较表明，本发明采用的古代绘画虚拟修复方法能够有效地预测破损孔洞的像素值，重建出高品质的古代绘画图像，具有更好的主客观效果。

(Ⅱ)本发明采用的双域部分卷积层，同时考虑像素的空间域信息和频域信息，在有效挖掘空间域和频域的互补信息基础上只计算有效特征，探索像素间有效特征的多尺度信息。

(Ⅲ)本发明提出的空间自适应激活单元层能更好的收缩神经网络中的卷积系数，设计的灵活高效网络模型能够修复出更多细微结构，提高了图像修复效果。

附图说明

图1为本发明的古代绘画虚拟修复方法流程图。

图2为本发明的古代绘画虚拟修复网络模型的网络框架示意图。

图3为部分卷积层和双域部分卷积层的体系结构示意图，图3(a)为部分卷积层体系结构示意图，图3(b)为双域部分卷积层的体系结构示意图。

图4为空间自适应激活单元层和泄露空间自适应激活单元层网络结构示意图，图4(a)为空间自适应激活单元层网络结构示意图，图4(b)为泄露空间自适应激活单元层网络结构示意图。

图5为古代绘画虚拟修复网络的预训练模型M

图6为采用本发明的方法进行破损古代绘画虚拟修复的结果示意图，图6(a)和图6(e)为两幅不同的损坏的古代绘画图像示意图，图6(b)和图6(f)为这两幅损坏的古代绘画图像对应的二进制掩膜示意图，图6(c)和图6(g)为损坏的古代绘画图像修复结果示意图。

以下结合实施例对本发明的具体内容作进一步详细解释说明。

具体实施方式

如图2至图4所示，解码器路径与编码器路径相反，DPConv表示双域部分卷积层，BN表示批量归一化层，SUnit表示空间自适应激活单元层，NN表示最近邻插值层，PConv表示部分卷积层，LSUnit表示泄露空间自适应激活单元层。

在空间自适应激活单元层中，如图4(a)所示空间自适应激活单元层网络结构，通过ReLU激活函数构建可学习的空间连接，捕捉相邻元素之间的复杂特征；采用多尺度可分离卷积使SUnit可以更好地获取空间位置信息。在空间自适应激活单元层中，每个元素对应的权值可以通过不同尺度范围的像素得到，从而获得更多的信息。同时采用使用可分离卷积确保通道之间不相互作用，以确保激活的有效性，同时也提高了计算效率，减少了参数的数量。最后结合ReLU激活函数得到每个像素的激活特征值。

所述的自然图像为拍摄于生活中自然景物的图像，所述的大型自然图像数据集，如Places2数据集或ImageNet数据集。

所述的古代绘画图像主要为拍摄于唐代墓葬壁画和古代寺庙壁画的图像。

所述的完全无监督训练方式训练时训练的数据里面不包含标签，在无监督训练的过程中：古代绘画虚拟修复网络模型在没有标签集的情况下从破损的图像中提取特征自动预测破损区域中的像素值，然后通过训练网络模型以最小化联合损失，尽量无损的修复图像，获得训练好的古代绘画虚拟修复网络模型。

以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例1：

本实施例给出一种古代绘画虚拟修复模型的构建方法，如图1所示，该方法包括以下步骤：

步骤1，获取公开的大型自然图像数据集；采集多张古代绘画，获得古代绘画数据集；

在本实施例中，选取一张大型自然图像如图5(a)所示，选取一张古代绘画如图6(a)和图6(e)所示；

步骤2，对代表黑白颜色的二进制数字0和1进行随机掩膜生成处理，生成不规则掩膜数据集，用于模拟网络模型训练时图像输入集中完整图像的破损区域；

在本实施例中任意选取一张不规则掩膜如图5(b)所示，模拟网络模型训练时图像输入集中完整图像的破损区域如图5(c)所示；

步骤3，预构建古代绘画虚拟修复网络模型M

步骤4，以自然图像输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，以完全无监督训练方式训练预构建的古代绘画虚拟修复网络模型M

步骤5，以古代绘画输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，对古代绘画虚拟修复网络的预训练模型M

在本实施例中，古代绘画虚拟修复网络模型M

第一步，首先在1台NVIDIA v 100Gpu(12GB)上对Places2数据集进行训练，为了在有孔的情况下使用批量归一化，先使用0.0002的学习率对Places2数据集进行初始训练，启用批量归一化参数；再使用0.00005的学习速率对经过初始训练的Places2数据集进行微调，并在网络的编码器部分冻结批量归一化参数，在解码器中保持启用批量归一化参数，从而避免不正确的均值和方差问题，实现更快的收敛。在对Places2数据集进行训练的训练过程中，经测试得训练迭代次数达到1000000次时，修复效果最好，获得古代绘画虚拟修复网络的预训练模型M

第二步，用古代绘画虚拟修复网络的预训练模型M

所述的联合损失是由网络输出的修复图像中每个像素的重建损失和整个图像的总变差损失组成。重建损失包括孔区域的每个像素重建损失

其中，I

总变差损失

其中，I

联合损失的定义如下：

训练模型时，通过训练古代绘画虚拟修复网络模型来最小化联合损失，以得到最优训练模型。

作为本实施例的一种优选方案，所述的古代绘画数据集分为古代绘画训练集、古代绘画测试集、古代绘画验证集；所述的古代绘画训练集作为预训练后的网络模型迁移学习训练时的图像输入集。

作为本实施例的一种优选方案，所述的步骤2还包括以下步骤：

步骤2.1，用二进制随机掩膜生成方法生成不规则掩膜数据集，包括掩膜数据训练集、掩膜数据原始测试集、掩膜数据验证集；

步骤2.2，将掩膜数据原始测试集中的不规则掩膜随机扩展、旋转和裁剪，生成4类具有不同孔图像面积比的掩膜，这4类具有不同孔图像面积比的掩膜分别是[0.01，0.1]，(0.1，0.2]，(0.2，0.3]，(0.3，0.4]；每个类别包含掩膜数相同。

作为本实施例的一种优选方案，如图2所示，所述的编码器以损坏的图像作为输入，以提取的损坏的绘画图像的图像特征作为输出，从输入的损坏的绘画图像中获取特征信息，并对提取的图像特征信息进行解析；所述的编码器用E表示，包含i个下采样层，i＝1,2,3,4,5,6,7；所述的下采样层中包含双域部分卷积层、批量归一化层和空间自适应激活单元层；

所述的解码器以编码器输出的提取的损坏的绘画图像的图像特征作为输入，将编码器解析的特征信息对应成最终输出的图像形式，对缩小后的特征图像进行上采样，对上采样后的图像进行卷积处理，输出修复的图像；进一步完善图像，弥补编码器中将图像缩小造成的细节损失；所述的解码器用D表示，包含k个上采样层，k＝1,2,3,4,5,6,7；所述的上采样层中包含最近邻插值层、部分卷积层、批量归一化层和泄露空间自适应激活单元层；

所述的解码器中D

作为本实施例的一种优选方案，如图3(b)所示，所述的编码器下采样层中双域部分卷积层中对特征图f

所述的特征图f

其中，X是使用滑动窗口方法进行当前卷积操作的特征值，M是使用滑动窗口方法进行当前卷积操作的二进制掩膜值；W

所述的掩膜m

其中M是使用滑动窗口方法进行当前双域部分卷积操作的二进制掩膜值，

作为本实施例的一种优选方案，所述的编码器下采样层中空间自适应激活单元层中对特征图进行空间自适应激活处理；

特征图中每个位置特征值X的空间自适应激活单元函数

其中，W表示执行卷积运算，b是偏置项，D代表特征值X的ReLU激活函数值进行多尺度可分离卷积和卷积后并进行通道间融合，BN(·)表示批量归一化层，

在本实施例中，步骤3中所述的预构建的古代绘画虚拟修复网络模型按照以下步骤对图像进行处理：

步骤3.1，将输入图像和二进制掩膜输入古代绘画虚拟修复网络模型，特征提取网络对输入图像和二进制掩膜进行特征提取，得到原始特征图f

步骤3.2，古代绘画虚拟修复网络模型的编码器阶段以原始特征图f

步骤3.2.1，以原始特征图f

所述的原始特征图f

其中，X是使用滑动窗口方法进行当前卷积操作的特征值，M是使用滑动窗口方法进行当前卷积操作的二进制掩膜值；W

所述的原始掩膜m

其中M是使用滑动窗口方法进行当前双域部分卷积操作的二进制掩膜值，

步骤3.2.2，对步骤3.2.1的输出的特征图f

步骤3.2.3，以E

步骤3.3，以编码器阶段最终输出的特征图f

步骤3.3.1，在D

步骤3.3.2，通过跳跃连接将编码器阶段D

步骤3.3.3，将特征图f

步骤3.3.4，对3.3.3的输出特征图f

步骤3.3.5，将D

步骤3.3.6，以步骤3.3.5得到的特征图f

一种古代绘画虚拟修复方法，包括以下步骤：

步骤一，采集如图6(a)和图6(e)所示的损坏的古代绘画图像；

步骤二，制作如图6(b)和图6(f)所示的损坏的古代绘画图像对应的二进制掩膜；

步骤三，将步骤一中采集的损坏的古代绘画图像作为输入图像，将步骤二制作的二进制掩膜作为输入掩膜，输入到如权利要求1中所述的训练好的古代绘画虚拟修复模型M

作为本实施例的一种优选方案，所述的步骤二中制作损坏的古代绘画图像对应的二进制掩膜，其中未损坏区域的像素标注为1，对应二进制掩膜中的白色部分，损坏区域的像素点标注为0，对应二进制掩膜中的黑色部分。

在本实施例中，步骤二中制作损坏的古代绘画图像对应的二进制掩膜具体包括以下步骤：

(1)使用VIA注释工具对损坏的古代绘画图像的损毁区域进行标注，生成一个JSON格式的注释文件，其中包含损坏的古代绘画图像上被标注区域对应的坐标信息；

(2)将JSON注释文件转换为二进制掩膜图像，其中未损坏区域的像素标注为1，对应二进制掩膜中的白色部分；对损坏区域的像素点标注为0，对应二进制掩膜中的黑色部分；

如图5所示为本实施例中古代绘画虚拟修复网络的预训练模型M

如图6所示为本实施例采用本发明的方法进行破损古代绘画虚拟修复的结果示意图，图6(a)和图6(e)为两幅不同的损坏的古代绘画图像示意图，图6(b)和图6(f)为这两幅损坏的古代绘画图像对应的二进制掩膜示意图，图6(c)和图6(g)为损坏的古代绘画图像修复结果示意图。通过最终输出的修复结果可以看出本发明采用的古代绘画虚拟修复方法能够有效地预测破损孔洞的像素值，重建出高品质的古代绘画图像，具有更好的主客观效果。

如表1所述为在本实施例中选取目前最先进的一些图像修复方法，并在Places2数据集上和古代绘画数据集上的各项修复指数上对本发明的图像修复方法进行定量比较。在Places2数据集中的原有测试集中任意选用1000张图像进行测试对比，古代绘画数据集中的绘画数据集测试集中任意选用100张图像进行测试对比。其中，GL表示论文SatoshiIizuka,Edgar Simo-Serra,Hiroshi Ishikawa:Globally andlocally consistent imagecompletion.ACM Transactions on Graphic,36(4):107:1-107:14(2017)中描述的图像修复方法；PCN表示论文Guilin Liu,Fitsum A.Reda,Kevin J.Shih,Ting-Chun Wang,AndrewTao,Bryan Catanzaro.Image Inpainting for Irregular Holes Using PartialConvolutions.InThe European Conference on Computer Vision(ECCV),(11)2018:89-105中描述的图像修复方法；LBAM表示Chaohao Xie,Shaohui Liu,Chao Li,Ming-MingCheng,Wangmeng Zuo,Xiao Liu,Shilei Wen,Errui Ding:Image Inpainting WithLearnable BidirectionalAttention Maps.ICCV 2019:8857-8866中描述的图像修复方法；C3N表示本发明的图像修复方法；HIAR表示掩膜中孔洞和图像面积比；L1表示平均绝对误差，指模型预测值和真实值之间误差的平均值。PSNR表示峰值信噪比，数值越大则失真越小；SSIM表示结构相似性指数，取值范围[0，1]，取值越接近1，则图像失真越小；IScore衡量生成模型的个体特征和整体特征，在一定程度上可以反映出生成图片的质量以及多样性。

从实验结果可以看出，本发明提出的方法相较于其他三种图像修复方法有很大的提升，验证了本发明图像修复的有效性和可行性。

表1图像修复方法比较