一种基于生成对抗网络的单幅图像去天气影响处理方法

摘要

本发明提供了一种基于生成对抗网络的单幅图像去天气影响处理方法，方法包括获取用于训练的数据集，所述数据集包括受天气影响的模糊图片以及未受天气影响的清晰图片；构建用于实现学习模糊图片与清晰图片间关系的深度学习网络，其中所述深度学习网络基于生成对抗网络，所述生成对抗网络包括生成受天气影响的模糊图片的第一生成器和生成未受天气影响的清晰图片的第二生成器；使用所获取的用于训练的数据集对所构建的深度学习网络进行训练，以得到最优的所述第二生成器作为所述图片去天气影响模型；将待处理的图片输入图片去天气影响模型；以及处理输入的图片，并输出与输入的图片对应的清晰图片。

说明书

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种基于生成对抗网络的单幅图像去天气影响处理方法及系统。

背景技术

随着计算机视觉及图像处理技术的成熟与不断发展，各种成像系统被广泛的应用在交通、安全监控领域。但是由于恶劣天气的影响，在室外拍摄到的图片往往质量不佳，会出现模糊，对比度降低以及细节信息丢失等情况，影响了对图片的后续处理，降低了对图片分析以及处理的准确性和可靠性。所以，有雾及有雨图像特征的清晰化有着重要的研究意义。

而常见的恶劣天气可根据其组成颗粒的大小以及视觉特征分为两类：稳态不良天气(如雾、霾)和动态不良天气(如雨雪、沙尘暴)。与稳态不良天气不同的是，类似于雨这样的动态不良天气的组成颗粒较大，其运动轨迹会受风力的影响而产生运动模糊，导致场景的恢复变得更加有挑战。由于稳态不良天气和动态不良天气下场景的恢复有着不一样的处理方式，现有的复原系统大多只能在去雾或者去雨一方面展现出良好的性能，所以现有系统在面对复杂天气的时候要先对天气进行分类，然后对雨、雾分别进行处理。

目前，图像去雾的方法主要有直方图均衡、暗通道先验法、DehazeNet、MSCNN等；图像去雨的方法主要有颜色先验法、频域滤波法、DerainNet、DID-MDN等。频域滤波法通过去除原始图片中的低频信息并保留其高频信息来复原图像，忽略了图像降质的真正原因，所以对于场景复杂的图片无法提高图片的质量，甚至可能丢失图像的某些信息。对于基于深度学习的DehazeNet、DerainNet等方法，主要学习模糊图片及其清晰图片间的映射，从而更好地进行图片复原，这类方法对数据集的要求较高，而且不能直接由模糊图片得到清晰图片，仍需后续操作，较为繁琐。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

针对上述现有技术中存在的不足，本发明提出了一种基于深度学习的单幅图像去天气影响方法和系统，解决了现有技术中要对各种不良天气下的图像需要先进行分类、针对复杂场景无法提高图片质量、细节信息丢失及对数据集要求较高、无法直接由模糊图片得到清晰图片、操作复杂等诸多问题。

根据本发明的一个实施例，提供了一种用于训练图片去天气影响模型的方法，其中所述方法包括：

获取用于训练的数据集，所述数据集包括受天气影响的模糊图片以及未受天气影响的清晰图片；

构建用于实现学习模糊图片与清晰图片间关系的深度学习网络，其中所述深度学习网络基于生成对抗网络，所述生成对抗网络包括生成受天气影响的模糊图片的第一生成器和生成未受天气影响的清晰图片的第二生成器；以及

使用所获取的用于训练的数据集对所构建的深度学习网络进行训练，以得到最优的所述第二生成器作为所述图片去天气影响模型。

根据本发明的进一步实施例，构建用于实现学习模糊图片与清晰图片间关系的深度学习网络进一步包括：

构建第一编码器E

构建第一生成器G

构建第一判别器D

根据本发明的进一步实施例，所述第一生成器G

编码器由卷积层构成，用于提取潜在编码中的浅层特征；

转换器由残差网络构成，用于将源域中图片的特征向量转换到目标域中的特征向量；并且

解码器由反卷积层构成，用于从特征向量中还原出低级特征。

根据本发明的进一步实施例，使用所获取的用于训练的数据集对所构建的深度学习网络进行训练进一步包括：

将受天气影响的模糊图片x

将未受天气影响的清晰图片x

对所述第一编码器E

根据本发明的进一步实施例，所述损失函数被设计为：

其中：

其中λ

根据本发明的进一步实施例，λ

根据本发明的进一步实施例，所述天气影响至少包括雾天影响和雨天影响。

根据本发明的进一步实施例，所述数据集中包括的受天气影响的模糊图片以及未受天气影响的清晰图片不一一对应。

根据本发明的另一方面，提供了一种用于对图片进行去天气影响处理的方法，其中所述方法包括：

获取待处理的图片；

将待处理的图片输入图片去天气影响模型，其中所述图片去天气影响模型是根据本发明的各实施例中所述的方法预训练的用于生成未受天气影响的清晰图片的生成器；以及

处理输入的图片，并输出与输入的图片对应的清晰图片。

根据本发明的又一方面，提供了一种图片去模糊系统，其中系统包括：

存储单元，所述存储单元存储有图片去天气影响模型以及计算机可执行指令，其中所述图片去天气影响模型是根据本发明的各实施例中所述的方法预训练的用于生成未受天气影响的清晰图片的生成器；以及

至少一个处理单元，所述计算机可执行指令在被执行时可致使所述至少一个处理单元执行对图片进行去天气影响处理的方法，所述方法包括：

获取待处理的图片；

将待处理的图片输入所述图片去天气影响模型；以及

处理输入的图片，并输出与输入的图片对应的清晰图片。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。

图1是根据本发明的一个实施例的用于训练图片去天气影响模型的方法的示例流程图。

图2示出了可用于本发明的UNIT网络的示意结构图。

图3是根据本发明的一个实施例的用于图片去天气影响模型的深度学习网络的训练方法的示例流程图。

图4是根据本发明的一个实施例的用于对图片进行去天气影响处理的方法的示例流程图。

图5是根据本发明的一个实施例的图片去模糊系统的示例结构图。

具体实施方式

下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。

图1是根据本发明的一个实施例的用于训练图片去天气影响模型的方法的示例流程图。如图1中所示，方法开始于步骤101，获取用于训练的数据集。天气影响既可包括稳态不良天气(如雾、霾)的影响，也包括动态不良天气(如雨雪、沙尘暴)。在一个示例中，用于训练的数据集可包括分别针对每一种特定天气的数据集，例如可包括分别针对雾天的数据集和针对雨天的数据集。数据集可以是现有的公共数据集，例如雾天数据集RESIDE和雨天数据集DID-MDN，也可以是任何其他合适的用于训练的图片数据集。图片数据集还可被分为供训练用的训练集和供测试效果用的测试集，其中训练集中既包含能够反应雾天和雨天等不良天气条件下拍摄的图片的典型特征的模糊图片，也包含不带有这些特征的清晰图片。根据本发明的一个实施例，模糊图片和清晰图片之间不需要一一对应，这样可以降低对数据集的要求。

在步骤102，构建用于实现学习模糊图片与清晰图片间关系的深度学习网络。作为一个示例，可构建由编码器(Encoder)、生成器(Generator)、以及判别器(Discriminator)组成的UNIT(Unsupervised Image-to-Image Translation Networks)网络。UNIT网络是生成对抗网络GAN(Generative Adversarial Network)的一种扩展。编码器可用于将输入图片映射到潜在空间并转换成编码。生成器可进一步由编码器、转换器和解码器三个部分组成，其中编码器利用卷积层用于提取潜在编码中的浅层特征，转换器由残差网络构成，实现将源域中图片的特征向量转换到目标域中的特征向量。解码器由反卷积层构成，实现从特征向量中还原出低级特征。判别器用于判别输入图片是真实图片还是生成的图片。

图2示出了可用于本发明的UNIT网络的示意结构图。为了便于理解，图2的示例中以雾天或雨天为例来进行说明，但本领域技术人员可以理解，本发明的各实施例适用于各种不良天气场合。如图2中所示，首先，第一编码器E

随后，构建第一生成器G

接着，再构建第一判别器D

在上述UNIT网络中，E

最后，设计损失函数。损失函数包含四个方面：变分自动编码部分、生成对抗网络部分、循环一致性部分、以及感知损失部分。通过构建损失函数，实现生成的图片更加逼真、判别器判别真假的能力极大提高。并且，通过训练以最小化损失函数，从而不断的调整编码器、生成器和判别器，得到最终的最优生成器模型。

回到图1，在步骤103，使用所获取的用于训练的数据集对所构建的深度学习网络进行训练。例如，将上述训练集中的模糊图片和清晰图片分别作为所构建的UNIT网络的输入，训练该网络以最小化损失函数，最终得到最优的生成器模型。以下将结合图3进一步描述训练过程的细节。

图3是根据本发明的一个实施例的用于图片去天气影响模型的深度学习网络的训练方法的示例流程图。如图3中所示，方法开始于步骤301，将受天气影响(例如带有雾或者雨纹)的模糊图片x

在步骤302，将清晰图片x

在步骤303，对第一编码器E

作为一个示例，损失函数可被设计为：

其中：

在上述公式中，λ

图4是根据本发明的一个实施例的用于对图片进行去天气影响处理的方法的示例流程图。方法400开始于步骤401，获取待处理的图片。待处理的图片可包括受天气影响的模糊图片。如之前提到的，天气影响既可包括稳态不良天气(如雾、霾)的影响，也包括动态不良天气(如雨雪、沙尘暴)。根据本发明的另一实施例，待处理的图片也可包括未受天气影响的图片。如之前提到的，本发明的生成器在输入未受天气影响的清晰图片的情况下，可以生成非常接近于原始图片的清晰图片，因而可以省去预先对图片进行判断以区分哪些是受天气影响的图片、哪些是未受影响的图片的步骤。

在步骤402，将待处理的图片输入预训练的图片去天气影响模型。作为一个示例，图片去天气影响模型可以是通过如结合图2－图3描述的图片去天气影响模型中的用于生成清晰图片的生成器，即第二生成器G

在步骤403，生成器处理输入的图片，并输出与输入的图片对应的清晰图片。如上文中描述的，经训练的生成器可将输入图像中的雨或雾等天气影响导致的模糊去除，并得到对应的清晰图片。

图5是根据本发明的一个实施例的图片去模糊系统500的示例结构图。如图5中所示，图片去模糊系统500可包括存储单元501和至少一个处理单元502。存储单元501中存储有预训练的图片去天气影响模型以及计算机可执行指令。生成器可以是通过如结合图2－图3描述的图片去天气影响模型中的用于生成清晰图片的生成器，即第二生成器G

以上描述了本发明的用于对图片进行去天气影响处理的方法和系统，与现有技术相比，至少具有以下技术效果：

(1)设计了第一编码器和第二编码器，将输入图片映射到潜在空间并转换成编码，通过将有雾或有雨的图片输入到该网络中，训练出最优判别器模型；

(2)通过第二生成模型可实现模糊图片清晰化；以及

(3)解决了现有技术中无法实现端到端、数据集要求高、操作复杂、要分类处理有雾有雨图片的问题。

以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。