基于注意力对偶残差生成对抗网络的图像类雨层去除方法

摘要

本发明提供了基于注意力对偶残差生成对抗网络的图像类雨层去除方法，包括如下步骤：改进用于热轧带钢表面类雨层去除的图像数据库构建方法，并制作含有分散水滴、飞溅水线和细小白水珠的成对图像数据库；将干净背景原始图像和相应的类雨层图像成对输入注意力对偶残差生成对抗网络模型中，并在生成器与鉴别器之间引入注意力方案，形成自优化闭环，以挖掘广义类雨层的先验知识；利用训练好的生成器模型定位和去除类雨伪缺陷。本发明能够在保留边缘和纹理细节的前提下去除热轧带钢表面的混合类雨伪缺陷簇，得到的结果更接近真实工业图像，并能有效降低AVI仪器的误检率。

说明书

技术领域

本发明属于数字图像处理技术领域，具体涉及基于注意力对偶残差生成对抗网络的图像类雨层去除方法。

背景技术

钢铁是制造企业的基础材料之一，其质量严重影响到众多后续产业链的生产。自动目视检测仪(AVI)在确保钢铁产品质量方面具有重要价值，它总是被安置在喷雾冷却工艺的后端。受连续不断的工业冷却水的影响，大量分散的水滴、飞溅的水纹和微小的白色水滴(本质上是伪缺陷)随机出现在钢体表面，与真实缺陷混合，导致AVI仪器不可避免地出现误报。更棘手的是，部分真实缺陷被伪缺陷遮盖，使得AVI仪器的检测精度和效率急剧下降。

许多研究试图直接从上述恶劣环境下采集的原始带钢图像中检测和分类各种缺陷，但在实际应用中存在一定局限性。热轧带钢的缺陷一般可分为两类：一类是周期性缺陷，另一类是偶然性缺陷。偶发性缺陷的发生频率较低，因此很难积累足够的样本供神经网络学习，但偶发性缺陷在钢材质量检测中是不可忽视的。因此，基于统计学习的算法经常用于实际的工业生产线，但这类算法会受到类雨伪缺陷的干扰。

欠去雨和过去雨现象也是类雨层去除的一个主要挑战。欠去雨情况下，由于类雨伪缺陷去除不充分，AVI仪器虚警次数增加。相反，过去雨错误地去除了一些真实的缺陷，极大地影响了缺陷检测的准确性。解决这一问题的首要任务是构造一种具有较强鲁棒性的图像恢复方法，以防止欠去雨和过去雨问题。

如何建立用于热轧带钢表面自动检测领域中类雨层去除的图像数据库同样是一个难点。热轧带钢表面的现场图像采集经常发生冷却水分散、机械振动和高温等情况，这种恶劣的工作条件对数据采集要求严格，导致采集成本高。此外，由于带钢在生产线上以相当快的速度移动，因此很难确保为培训提供一对具有相同背景的图像。更令人遗憾的是，热轧带钢的公共数据集非常稀少，这极大地限制了热轧带钢类雨层去除算法的发展。

总而言之，由于冷却水在图像中分布不均匀，现有的雨纹及雨线去除方法无法防止高密度区域造成的欠去雨问题。因此，这些算法不能满足实际工业的需求，

发明内容

本发明所要解决的难点是，克服上述背景技术的不足，提供一种基于注意力对偶残差生成对抗网络的热轧带钢表面图像类雨层去除方法，能够在保留边缘和纹理细节的同时去除热轧钢表面上的混合类雨伪缺陷簇。

本发明解决技术问题所采用的技术方案是，基于注意力对偶残差生成对抗网络的图像类雨层去除方法，包括类雨伪缺陷构建方法、热轧带钢表面类雨层图像数据库和注意力对偶残差生成对抗网络；所述类雨伪缺陷构建方法用于在干净原始带钢图像上还原真实钢厂中混合类雨伪缺陷簇的形状与分布位置，并制作热轧带钢表面类雨层图像数据库；所述热轧带钢表面类雨层图像数据库用于注意力对偶残差生成对抗网络模型的训练及测试分析；所述注意力对偶残差生成对抗网络模型用于在保留真实缺陷边缘和纹理细节的前提下去除带钢图像上的类雨伪缺陷。具体按照以下步骤实施：

S10：针对分散水滴、飞溅水线和细小白水珠这三种类雨伪缺陷，设计相对应的构建方法并制作热轧带钢表面类雨层图像数据库；

S20：搭建注意力对偶残差生成对抗网络模型，它由生成器G、指导器M和鉴别器D三个模块组成；

S30：将S10制作的类雨层图像数据库分成训练集和测试集两部分。

S40：将S30得到的训练集成对地输入S20搭建的注意力对偶残差生成对抗网络模型中，在训练过程中引入注意力方案以挖掘广义类雨层的先验知识，多次迭代更新生成器和鉴别器的权值与损失，并得到多个迭代版本的生成模型。

S50：将S30得到的含类雨层测试集图像输入S40得到的每一个迭代版本的生成模型，对他们进行定量和定性测试，确保生成器G输出保留真实缺陷边缘和纹理细节的干净背景图像，以挑选出全局最优模型。

优选的，步骤S10具体按以下步骤实施：

首先使用高速摄像机来捕获生产线上高速移动的原始带钢表面图像，得到含类雨层图像及干净背景图像。然后针对不同的类雨伪缺陷，设计对应的构建方法：

对于分散水滴，为了提高模型的泛化程度，首先从原始含类雨层图像中提取真实水滴，并将其与人工制作的雨滴混合，然后一同粘贴到干净背景图像中；

对于飞溅水线，利用高斯噪声制作4种倾斜度、6种长宽比的类雨水线，并按一定比例与干净背景图叠加；

对于细小白水珠:仿照钢带高速轧制时产生的细小白水珠在原始图像中的像素级呈现，人为模拟制作不同尺寸的细小白水珠伪缺陷，并与干净背景图叠加。

经过以上制作过程，得到了包含1450对1000×1000像素的热轧带钢表面图像的数据库，其中一半为原始干净图像，对应的另一半是人工制作的带有混合类雨伪缺陷的图像。从中随机抽出1300对图像作为S30所述的训练集，剩下150对用作S30所述的测试集。

优选的，步骤20的具体子步骤如下：

步骤S21：将步骤S30所述的训练集成对输入进生成器中，生成器选择基于编码器-解码器架构的注意力对偶残差网络模型。针对瓶颈层，提出了一个周期性组合结构。它由一个DuRB-P、一个配置双SE模块的DuRB-DS和一个DuRB-P首尾连接组成。该结构可以在每次迭代中重复三次以逐步搜索和恢复类雨伪缺陷，减少一对图像之间的差异。

步骤S22：在训练阶段，在生成器和鉴别器之间导入掩模图像作为指导器，形成一个自优化的闭环。掩模图像的生成方法是一种基于阈值的二值分类策略，方程可以表示为：

其中Pixel

指导器通过构造L1和SSIM损失的加权和来引导生成器恢复掩模的局部细节，并考虑全局特征，以确保生成的图像没有失真。L1或SSIM的总损耗值的构成如下：

其中Loss_Mask表示类雨层的损失值，Loss_Overall表示整个图像的损失值，Loss_Total表示L1或SSIM的总损失。

步骤S23：构建具有颗粒级别多尺度特征的鉴别器Res2Net，输入特征图在卷积后被划分为四个块，辨别不同块中恢复特征的逼真程度。它可以在不增加计算量的情况下提高多尺度特征提取能力，从而引导步骤S21中的生成器更精细地恢复图像纹理。

优选的，步骤S40中所述生成器的损失是基于融合策略的加权和损失。结构相似性(SSIM)可以解决图像的畸变问题，SSIM损失函数表示如下：

其中o表示元素乘法，G表示生成网络。R和I分别表示干净背景图像和含有类雨层的图像，M表示相应的掩膜图像，R～P

生成器中的L1损失函数如下：

最终，生成器基于融合策略的损失函数为:

其中r

本发明提供的基于注意力对偶残差生成对抗网络的热轧带钢表面图像类雨层去除方法兼容通道注意力和空间注意力，从而精确定位类雨伪缺陷的位置并去除；同时，在训练阶段引入的指导器巧妙地挖掘了广义类雨层的先验知识，以解决主动搜索策略导致的偶然误判问题。与著名的几个去雨算法相比，使用本发明所提供的方法去除类雨层后生成的图像最接近真实工业中的干净背景图像，这有效解决了混合类雨伪缺陷簇造成的AVI仪器严重误报问题。此外，本发明设计了用于自动钢表面检测中类雨层去除的高分辨率数据集。这个持续公开的数据集将激发更多用于现实场景中工业板材表面检查的类雨层去除方法。

附图说明

图1为本发明提供的基于注意力对偶残差生成对抗网络的热轧带钢表面图像类雨层去除方法的流程图；

图2为本发明提供的基于注意力对偶残差生成对抗网络的热轧带钢表面图像类雨层去除方法的整体模型结构示意图；

图3为本发明提供的基于注意力对偶残差生成对抗网络的热轧带钢表面图像类雨层去除方法中生成器的模型结构示意图；

图4为本发明提供的基于注意力对偶残差生成对抗网络的热轧带钢表面图像类雨层去除方法中鉴别器的模型结构示意图；

图5a为本发明提供的实验例中含类雨层的真实带钢图像；

图5b为使用Attentive GAN去除类雨层后生成的图像；

图5c为使用Pix2Pix去除类雨层后生成的图像；

图5d为使用PReNet去除类雨层后生成的图像；

图5e为使用IADN去除类雨层后生成的图像；

图5f为使用DuRN-S-P去除类雨层后生成的图像；

图5g为使用PReGAN去除类雨层后生成的图像；

图5h为使用本发明提供的基于注意力对偶残差生成对抗网络的热轧带钢表面图像类雨层去除方法去除类雨层后生成的图像。

具体实施方式

下面结合附图和实施例，对本发明进行详细描述。下述实验例和实施例用于进一步说明但不限于本发明。

请结合参阅图1至图4，本发明提供了基于注意力对偶残差生成对抗网络的图像类雨层去除方法，该方法兼容通道注意力和空间注意力，能够精确跟踪类雨伪缺陷的位置并去除；同时，在训练阶段引入的指导器巧妙地挖掘了广义类雨层的先验知识，以解决主动搜索策略导致的偶然误判问题。本发明提供的所示方法能够生成最接近真实工业的干净背景图像。

具体的，本发明提出的基于注意力对偶残差生成对抗网络的图像类雨层去除方法包括如下步骤：

S10：针对分散水滴、飞溅水线和细小白水珠这三种类雨伪缺陷，设计相对应的构建方法并制作热轧带钢表面类雨层图像数据库。具体按以下步骤实施：

首先使用高速摄像机来捕获生产线上高速移动的原始带钢表面图像，得到含类雨层图像及干净背景图像。然后针对不同的类雨伪缺陷，设计对应的构建方法：

对于分散水滴，为了提高模型的泛化程度，首先从原始含类雨层图像中提取真实水滴，并将其与人工制作的雨滴混合，然后一同粘贴到干净背景图像中；

对于飞溅水线，利用高斯噪声制作4种倾斜度、6种长宽比的类雨水线，并按一定比例与干净背景图叠加；

对于细小白水珠:仿照钢带高速轧制时产生的细小白水珠在原始图像中的像素级呈现，人为模拟制作不同尺寸的细小白水珠伪缺陷，并与干净背景图叠加。

经过以上制作过程，得到了包含1450对1000×1000像素的热轧带钢表面图像的数据库，其中一半为原始干净图像，对应的另一半是人工制作的带有混合类雨伪缺陷的图像。从中随机抽出1300对图像作为S30所述的训练集，剩下150对用作S30所述的测试集。

S20：搭建注意力对偶残差生成对抗网络模型，它由生成器G、指导器M和鉴别器D三个模块组成。具体子步骤如下：

步骤S21：将步骤S30所述的训练集成对输入进生成器中，生成器选择基于编码器-解码器架构的注意力对偶残差网络模型。输入包括：将卷积层、批标准化BN层和ReLU层依次连接，并将上述结构重复三次，再连接一个卷积层。针对瓶颈层，提出了一个周期性组合结构。它由一个DuRB-P、一个配置双SE模块的DuRB-DS和一个DuRB-P首尾连接组成。该结构可以在每次迭代中重复三次以逐步搜索和恢复类雨伪缺陷，减少一对图像之间的差异。在6个DuRB-P中不断增加卷积层的感受野，以充分利用图像的上下文信息，增加多尺度特征表示的能力。在下采样过程中，配置双SE模块的DuRB-DS具有更好的全局注意力，这有助于从真实世界的钢带图像推断雨状伪缺陷的分布。参考图3，DuRB-P包括依次连接的两个卷积层和两个容器，容器包括一个ConvLayers1，用来放成对的操作。DuRB-DS包括依次连接的两个卷积层和两个容器，容器包括一个ConvLayers1卷积层模块和一个SE压缩与激励模块(Squeeze and ExcitationModule)。

步骤S22：考虑到空间维度上的雨纹强度信息，在生成器和鉴别器之间导入掩模图像作为指导器，从而在训练阶段形成一个自优化的闭环。指导器利用广义类雨层潜在的先验知识来解决生成器中对空间特征关注不足而导致的边缘模糊和细节丢失问题。掩模图像的生成方法是一种基于阈值的二值分类策略，方程可以表示为：

其中Pixel

为了保证恢复区域的边缘一致性，指导器通过构造L1和SSIM损失的加权和监督生成器去除类雨层。它能够引导生成器恢复掩模的局部细节，并考虑全局特征，以确保生成的图像没有失真。L1或SSIM的总损耗值的构成如下：

其中Loss_Mask表示类雨层的损失值，Loss_Overall表示整个图像的损失值，Loss_Total表示L1或SSIM的总损失。

步骤S23：构建具有颗粒级别多尺度特征的鉴别器Res2Net，输入特征图在卷积后被划分为四个块，辨别不同块中恢复特征的逼真程度。它可以在不增加计算量的情况下提高多尺度特征提取能力，从而引导步骤S21中的生成器更精细地恢复图像纹理。参考图4，鉴别器包括3个卷积层、1个Res2Net层、1个全连接层和1个Sigmoid层，其中Res2Net层将特征图分为x1、x2、x3和x4四块。除x1外，其它块xi，i＝2～4都需要经过卷积层、批标准化层和ReLU层，得到的结果定义为Ki(即yi)。具体步骤为，x2经过卷积层、批标准化层和ReLU层处理后得到y2，并将卷积层、批标准化层和ReLU层处理的第一结果(K2)和x3一起经过卷积层、批标准化层和ReLU层处理，得到y3，并将卷积层、批标准化层和ReLU层处理的第二结果(K3)和x4一起经过卷积层、批标准化层和ReLU层处理后得到y4，最后将y1、y2、y3和y4进行拼接并输出。

S30：将S10制作的类雨层图像数据库分成训练集和测试集两部分。

S40：将S30得到的训练集成对地输入S20搭建的注意力对偶残差生成对抗网络模型中，在训练过程中引入注意力方案以挖掘广义类雨层的先验知识，多次迭代更新生成器和鉴别器的权值与损失，并得到多个迭代版本的生成模型。

具体的，步骤S40中所述生成器的损失是基于融合策略的加权和损失。结构相似性(SSIM)可以解决图像的畸变问题，SSIM损失函数表示如下：

其中o表示元素乘法，G表示生成网络。R和I分别表示干净背景图像和含有类雨层的图像，M表示相应的掩膜图像，R～P

生成器中的L1损失函数如下：

最终，生成器基于融合策略的损失函数为:

其中r

S50：将S30得到的含类雨层测试集图像输入S40得到的每一个迭代版本的生成模型，对他们进行定量和定性测试，确保生成器G输出保留真实缺陷边缘和纹理细节的干净背景图像，以挑选出全局最优模型。

作为本发明的实验例，我们选用自己的合成数据库进行训练及测试，同时引入另外几种著名的雨水去除方法(Attentive GAN,Pix2Pix,PReNet,IADN,DuRN-S-P,PReGAN)作为对比组，从而突显出本方法的优越性。定量结果请结合参阅图5a至图5h。

表1中汇总了不同方法的定量评价结果。这两个指标说明了我们提出的方法可以使生成的图像更接近真实工业中的干净背景图像。这主要是因为我们的方法对类雨层的去除更加敏感，该方法利用通道注意力和空间注意力来极大地影响处理结果，而无需额外的计算开销。

表1不同方法的定量评价结果.

图5定量结果请结合参阅图5a至图5h。

在图5中，我们将本发明的结果与Attentive GAN、Pix2Pix、PReNet、IADN、DurRN-S-P和PReGAN的结果进行了比较。图5a是含有类雨层的真实热轧带钢图像。图5b显示了Attentive GAN生成的图像，它几乎看不到大水滴，但它无法克服水纹和细小白水珠带来的挑战，还造成了全局失真。从图5c可以看出，尽管生成的图像没有色差，但Pix2Pix不能完全去除类雨层。此外，它还去除了一些真实的缺陷，这将极大地影响后续的缺陷检测准确率。图5d是由具有良好全局注意力的PReNet生成的。然而，原图像背景不明亮的情况下，它无法去除一些微小的水滴。如图5e所示，IADN可以在消除大部分雨纹的同时恢复清晰可见的图像纹理细节，但仍然残留大量微小的类雨伪缺陷。DuRN-S-P生成的图5f和PReGAN得到的图5g也都不能去除细小白水珠和水纹，增大了AVI仪器的误检率。图5h可以看出，本发明所提出的基于注意力对偶残差生成对抗网络的热轧带钢表面图像类雨层去除方法能够去除极细小的类雨伪缺陷，生成的图像更逼真。

本发明提供的基于注意力对偶残差生成对抗网络的热轧带钢表面图像类雨层去除方法兼容通道注意力和空间注意力，从而精确定位类雨伪缺陷的位置并去除；同时，在训练阶段引入的指导器巧妙地挖掘了广义类雨层的先验知识，以解决主动搜索策略导致的偶然误判问题。与著名的几个去雨算法相比，使用本发明所提供的方法去除类雨层后生成的图像最接近真实工业中的干净背景图像，这有效解决了混合类雨伪缺陷簇造成的AVI仪器严重误报问题。此外，本发明设计了用于自动钢表面检测中类雨层去除的高分辨率数据集。这个持续公开的数据集将激发更多用于现实场景中工业板材表面检查的类雨层去除方法。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和修饰，这些改进和修饰也应视为本发明的保护范围。