基于双线性注意力池化机制的细粒度敏感图像检测方法

摘要

本发明涉及一种基于双线性注意力池化机制的细粒度敏感图像检测方法，包括以下步骤：步骤S1：获取敏感图像，并对获取的敏感图片集合进行数据清洗，得到NSFW敏感图像训练数据集；步骤S2：并将NSFW敏感图像训练数据集输入细粒度敏感图像智能审核网络模型，进行特征提取，生成特征图和注意力图；步骤S3：根据得到的注意力图对NSFW训练集进行基于注意力机制的数据增强，并对图像进行注意力裁剪和注意力丢弃；步骤S4：通过双线性注意力池化机制将聚合特征图和注意力图生成局部特征图，并通过卷积和池化提取局部特征，将所有局部特征组合成最终特征；步骤S5：根据最终特征预测敏感图像类别。本发明能够有效提高对难样本场景敏感图像的检测正确率。

说明书

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于双线性注意力池化机制的细粒度敏感图像检测方法。

背景技术

近年来，基于卷积神经网络的深度学习图像分类网络模型被应用于敏感图像智能审核，比较有代表性的是雅虎的敏感图像审核模型OpenNsfw Model，但是雅虎的审核模型在国内敏感图像智能审核场景中的应用效果很差，主要原因是其使用的训练数据与实际应用情况不同，其训练数据集主要来自西方，数据集中收集的图像主要是白色人种，在应用于国内敏感图像审核任务泛化能力不足。

发明内容

有鉴于此，本发明的目的在于提供一种基于双线性注意力池化机制的细粒度敏感图像检测方法，能够有效提高对难样本场景敏感图像的检测正确率。

为实现上述目的，本发明采用如下技术方案：

一种基于双线性注意力池化机制的细粒度敏感图像检测方法，包括以下步骤：

步骤S1：获取敏感图像，并对获取的敏感图片集合进行数据清洗，得到NSFW敏感图像训练数据集；

步骤S2：构建细粒度敏感图像智能审核网络模型，并将NSFW敏感图像训练数据集输入细粒度敏感图像智能审核网络模型，进行特征提取，生成特征图和注意力图；

步骤S3：根据得到的注意力图对NSFW训练集进行基于注意力机制的数据增强，在保留敏感图像中的显著性判别区域基础上对图像进行注意力裁剪和注意力丢弃；

步骤S4：通过双线性注意力池化机制将聚合特征图和注意力图生成局部特征图，并通过卷积和池化提取局部特征，将所有局部特征组合成最终特征；

步骤S5：根据最终特征预测敏感图像类别。

进一步的，所述步骤S1具体为：

步骤S11:通过URL地址批量获取Drawings、Neutral、Sexy、Hentai、Porn五个类别图像；

步骤S12：使用雅虎开源的Open_Nsfw鉴黄模型对Sexy和Porn类别的图像进行分类，并对不属于相应类别或者不可用样本图像进行调整和筛选过滤；

步骤S13：将经过数据清洗后的样本集按照8:1的比例划分成训练集和测试集，构建NSFW数据集。

进一步的，所述步骤S2具体为：

步骤S21：根据得到的NSFW敏感图像训练数据集对预训练的BiT-M模型进行微调，使用ResNet50网络作为主干网络提取特征，得到特征图F；

步骤S22：对得到的特征图F进行1*1卷积操作，得到注意力图A；

步骤S23：采用注意力正则化损失机制来弱监督基于注意力学习的过程。

进一步的，所述步骤S23具体为：对属于同一对象的局部特征的方差进行平衡，同时局部特征f

c

其中L

进一步的，所述步骤S3具体为：

步骤S31：对NSFW敏感图像数据集中的每张训练图像，随机选择该图片的一个注意力图A

其中A

步骤S32：通过数据增强图

步骤S33：设定一个覆盖裁剪掩膜整个选定正域的边界框B

步骤S34：注意力正则化损失监督每个注意力图A

其中

进一步的，所述步骤S32具体为：通过设置元素

其中

进一步的，所述步骤S4具体为：

步骤S41：每个注意力图代表一个特定对象的一部分，将每个注意力图与特征图按元素相乘生成部分特征图，然后通过附加的特征提取函数进一步提取判别性局部特征，得到第k个注意力显著性特征；

步骤S42：将局部特征f

其中Γ(A，F)表示双线性注意力池化函数，g(·)为特征提取函数，a

步骤S43：通过卷积或池化运算从步骤S41中生成的部分特征图中提取局部特征，由所有部分特征组成最终的特征矩阵。

一种基于双线性注意力池化机制的细粒度敏感图像检测系统，包括包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如权利要求1-7任一项所述的方法步骤。

一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如权利要求1-7任一项所述的方法步骤。

本发明与现有技术相比具有以下有益效果：

1、本发明基于双线性注意力池化机制的细粒度敏感图像检测方法能够有效解决在难样本场景下的敏感图像中显著性判别特征提取的难题，充分发挥了深度学习方法提取特征的优势，能够不依赖人工的特征工程，从大量数据集中先学习简单的特征，再逐渐学习到更为复杂抽象的深层特征，完成精细化分类下的细粒度敏感图像智能审核；

2、本发明对收集自互联网的敏感图像数据集进行了基于深度学习Open_Nsfw模型的数据清洗，有效筛选并过滤收集的敏感图像中的无效数据样本，相较于人工筛选，节省大量的时间和人工成本；

3、本发明针对敏感图像数据集的随机数据增强效率较低，尤其是在目标尺寸较小的情况下，还会引入较高比例的背景噪声的问题，提出基于注意力机制的敏感图像数据增强方法，在保留敏感图像中的显著性判别区域基础上对图像进行注意力裁剪和注意力丢弃，有效提高了数据增强的有效性；

4、本发明针对现有敏感图像审核模型存在细化类别较少、对难样本敏感图像表现不佳等问题，提出了基于双线性注意力池化机制的细粒度敏感图像内容智能审核模型。该模型首先通过弱监督学习生成目标特征图和表征目标显著特征的注意力图，接着通过双线性注意力池化机制将聚合特征图和注意力图生成局部特征图并通过卷积和池化提取局部特征，最后将所有局部特征组合成最终特征用以提升模型的判别力。有效增强了难样本敏感图像的判别能力，最终提升敏感图像内容智能审核的正确率。

附图说明

图1是本发明方法流程示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于双线性注意力池化机制的细粒度敏感图像检测方法，包括以下步骤：

步骤S1：获取敏感图像，并对获取的敏感图片集合进行数据清洗，得到NSFW敏感图像训练数据集；

步骤S2：构建细粒度敏感图像智能审核网络模型，并将NSFW敏感图像训练数据集输入细粒度敏感图像智能审核网络模型，进行特征提取，生成特征图和注意力图；

步骤S3：根据得到的注意力图对NSFW训练集进行基于注意力机制的数据增强，在保留敏感图像中的显著性判别区域基础上对图像进行注意力裁剪和注意力丢弃；

步骤S4：通过双线性注意力池化机制将聚合特征图和注意力图生成局部特征图，并通过卷积和池化提取局部特征，将所有局部特征组合成最终特征；

步骤S5：根据最终特征预测敏感图像类别。

在本实施例中，所述步骤S1具体为：

步骤S11:通过URL地址批量获取Drawings、Neutral、Sexy、Hentai、Porn五个类别图像共63486张；

步骤S12：使用雅虎开源的Open_Nsfw鉴黄模型对Sexy和Porn类别的图像进行分类，并对不属于相应类别或者不可用样本图像进行调整和筛选过滤；

步骤S13：将经过数据清洗后的样本集按照8∶1的比例划分成训练集和测试集，构建NSFW数据集。

在本实施例中，所述步骤S2具体为：

步骤S21：根据得到的NSFW敏感图像训练数据集对预训练的BiT-M模型进行微调，使用ResNet50网络作为主干网络提取特征，得到特征图F；

步骤S22：对得到的特征图F进行1*1卷积操作，得到注意力图A；

步骤S23：采用注意力正则化损失机制来弱监督基于注意力学习的过程。

对属于同一对象的局部特征的方差进行平衡，同时局部特征f

c

其中L

在本实施例中，所述步骤S3具体为：

步骤S31：对NSFW敏感图像数据集中的每张训练图像，随机选择该图片的一个注意力图A

其中A

步骤S32：通过数据增强图

通过设置元素

其中

步骤S33：设定一个覆盖裁剪掩膜整个选定正域的边界框B

步骤S34：注意力正则化损失监督每个注意力图A

其中

在本实施例中，所述步骤S4具体为：

步骤S41：每个注意力图代表一个特定对象的一部分，将每个注意力图与特征图按元素相乘生成部分特征图，然后通过附加的特征提取函数进一步提取判别性局部特征，得到第k个注意力显著性特征；

步骤S42：将局部特征f

其中Γ(A，F)表示双线性注意力池化函数，g(·)为特征提取函数，a

步骤S43：通过卷积或池化运算从步骤S41中生成的部分特征图中提取局部特征，由所有部分特征组成最终的特征矩阵。

优选的，在本实施例中，还提供一种基于双线性注意力池化机制的细粒度敏感图像检测系统，包括包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如上任一项所述的方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。