一种基于对抗进攻的视频流人脸隐私保护方法

摘要

本发明提供了一种基于对抗进攻的视频流人脸隐私保护方法。该方法包括：输入原始视频，分别提取所述原始视频中的各个视频帧；分别获取各个视频帧中的人脸区域图像；将各个视频帧中的人脸区域图像输入到神经网络，神经网络输出各个视频帧中的人脸区域图像的对抗扰动，将当前帧之前的所有视频帧中的人脸区域图像的对抗扰动求和之后叠加在了当前帧中的人脸区域图像上，得到进行了人脸隐私保护的当前帧中的人脸区域图像。本发明基于视频流对人脸识别进行信息保护，可以抵抗恶意的视频进攻，达到视频流中的人脸区域无法被识别的目的，可以对抗对视频中的人脸领域的恶意进攻。

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种基于对抗进攻的视频流人脸隐私保护方法。

背景技术

近年来，深度学习技术在理论和应用界都得到了提升，使其在人脸识别这一场景任务下已经有了相当成熟的技术。并且涌现了众多基于视频的人脸攻击技术，以Deepfake这一技术为例，它可以轻易地识别视频流中的人脸，并对人脸进行替换。由于传统深度学习网络并不能良好地处理带有细微扰动的数据，许多不法者通过这些技术虚构假新闻、制造色情视频，为全世界带来了严重负面影响。为克服这一缺陷，有学者对此提出了对抗攻击的思路。对抗攻击指对目标机器学习模型的原输入施加轻微扰动，以生成对抗样本来欺骗目标模型的过程。这有利于暴露机器学习模型的脆弱性，进而提高模型的鲁棒性和可解释性。

目前，现有技术中的用于人脸识别对抗攻击的方法有以下三类：其一是针对抗干扰能力低的对抗进攻，有学者针对CNN网络，设计了针对人脸识别CNN网络的对抗进攻方式；其二是物理性对抗攻击，这类攻击思路是在人脸图像中添加遮挡物，以此攻击LResNet100E-IR；其三是基于几何方法的对抗攻击，它通过对于输入的人脸信息进行旋转、平移等几何操作产生对抗攻击，Deb等人便根据这一思路，通过在面部图像细微处产生几何性扰动，开展对抗攻击。

虽然基于对抗进攻的视频流人脸识别工作尚未广泛开展，但是对抗进攻方法已被应用于视频处理领域，例如一些单帧识别任务。有学者在视频领域首次采用白盒进攻，实现了通过时间相互作用而传播的单帧稀疏性扰动，从稀疏性这一角度提高了模型的防御性能。在黑盒攻击方面，有学者提出了试探性扰动及其修复操作，成功通过对抗进攻提升了模型的鲁棒性。

上述现有技术中的用于人脸识别对抗攻击的方法的缺点为：在人脸识别场景任务中，大多数机器学习模型仅仅针对含有人脸信息的图像采取防御措施，而并未针对整段视频采取防御措施。但是，由于人脸信息往往以视频流的方式而非图像的方式被攻击，所以采取防御措施时，对视频流中的人脸信息进行防御更有意义。

发明内容

本发明的实施例提供了一种基于对抗进攻的视频流人脸隐私保护方法，以实现有效地对抗对视频中的人脸领域的恶意进攻。

为了实现上述目的，本发明采取了如下技术方案。

一种基于对抗进攻的视频流人脸隐私保护方法，包括：

输入原始视频，分别提取所述原始视频中的各个视频帧；

分别获取各个视频帧中的人脸区域图像；

将各个视频帧中的人脸区域图像输入到神经网络，神经网络输出各个视频帧中的人脸区域图像的对抗扰动，将当前帧之前的所有视频帧中的人脸区域图像的对抗扰动求和之后叠加在了当前帧中的人脸区域图像上，得到进行了人脸隐私保护的当前帧中的人脸区域图像。

优选地，所述的分别获取各个视频帧中的人脸区域图像，包括；

对于给定的视频帧图像x∈R

其中，X是视频帧的图像训练集，L是视频帧的图像位置分布集，

优选地，所述的将各个视频帧中的人脸区域图像输入到神经网络，神经网络输出各个视频帧中的人脸区域图像的对抗扰动，将当前帧之前的所有视频帧中的人脸区域图像的对抗扰动求和之后叠加在了当前帧中的人脸区域图像上，得到进行了人脸隐私保护的当前帧中的人脸区域图像，包括；

将L

将第t帧图像之前的前t-1帧图像的扰动求和之后叠加到第t帧图像上，得到更新后的h

其中h

将α定义为可调整的系数，得到最终的h

将所述最终的h

x

优选地，所述的方法还包括；

当对图像添加补丁时，对于给定的视频帧图像x∈R

在对补丁图像的训练优化过程中，将补丁、图像、位置和变换作为输入，对补丁进行训练：

上述公式中X是图像的训练集，T是补丁变换的分布，L是图像位置的分布，

由上述本发明的实施例提供的技术方案可以看出，基于视频流对人脸识别进行信息保护，可以抵抗恶意的视频进攻，达到视频流中的人脸区域无法被识别的目的，可以对抗对视频中的人脸领域的恶意进攻。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于对抗进攻的视频流人脸隐私保护方法的实现原理图；

图2为本发明实施例提供的针对人脸信息基于非对抗进攻和基于对抗进攻后的的示例示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明实施例首先搭建一套基于视频流的人脸信息防御框架，在技术层面从根源上防止视频流中的人脸信息被诸如Deepfakes等网络捕获，从而免受来自外部网络的恶意修改，杜绝隐私信息被修改的可能性。本发明实施例采用了非对抗进攻的思路设计了三类防御方法，采用对抗进攻思路构建基于对抗进攻的防御方法。上述三类非对抗进攻的防御方法包括：基于人脸mask的人脸信息防御方法、基于加密算法的人脸信息防御方法和基于patch的人脸信息防御方法。本发明实施例在视频流领域使用对抗进攻手段，应用fps-PGD算法基于对抗进攻方法保护视频流中的人脸信息。

基于上述思路，该方法的设计过程中需要注意两个原则：其一是精确性原则，即精确锁定视频中的人脸区域，使得原视频帧中的人脸信息完全处于被mask防御的范围内；其二是简易性原则，从机器学习的角度而言，方法的设计应基于奥卡姆剃刀原则，即减少防御方法的复杂度，譬如在能够保护人脸信息的前提下选择面积最小的mask区域。

本发明实施例提供的一种基于对抗进攻的视频流人脸隐私保护方法的实现原理图如图1所示，包括如下的处理步骤：

步骤S1、输入原始视频，分别提取原始视频中的各个视频帧。

步骤S2、分别获取各个视频帧中的人脸区域图像。

第k个视频帧中的人脸区域的计算方法为：

对于给定的视频帧图像x∈R

其中，X是视频帧的图像训练集，L是视频帧的图像位置分布集，

视频流人脸隐私保护方法包括对抗进攻型和非对抗进攻型两部分，对于对抗进攻型的防御，其步骤如图1所示；而非对抗进攻的防御包括全黑处理、补丁等，可以直接对于视频帧操作。

公式1希望寻求一定位置、大小的区域得到最大的防御期望，达到防御目的，公式2则希望在所有满足公式一成立的区域空间中寻求最简单的样本，满足奥卡姆剃刀原则。这两个公式中的输入数据是视频流中的视频帧，对于任何一次的视频帧输入都进行公式一、公式二检查。

步骤S3、将各个视频帧中的人脸区域图像输入到神经网络，神经网络输出各个视频帧中的人脸区域图像的对抗扰动，将当前帧之前的所有视频帧中的人脸区域图像的对抗扰动求和之后叠加在了当前帧中的人脸区域图像上，得到进行了人脸隐私保护的当前帧图像。

Patch的方法是人脸附近框选出一副虚拟眼镜的区域，在这块眼镜区域中的clip值设置的很大，这样采取对抗进攻时就会得到非常大的扰动，就会达到分类器无法识别的目的。这样的补丁图像是叠加在原视频帧中的人脸信息上的图像，一般往往覆盖在人脸区域上。针对每张图像中的补丁可应用平移、缩放等几何变换，在模型训练过程中使用梯度下降进行迭代优化。对于给定的视频帧图像x∈R

在对补丁图像的训练优化过程中，将补丁、图像、位置和任何变换(例如缩放和平移)作为输入，对补丁进行训练，以优化进攻性能：

上述公式中X是图像的训练集，T是补丁变换的分布，L是图像位置的分布，因为这种期望是基于图像的，所以支持了训练无关乎背景的泛化性补丁的工作。

加密的保护思路则是在定位了人脸位置之后，使用加密函数对脸部的信息值进行映射。图像加密可以分为以下几个步骤：首先，选择图像加密算法；然后，根据算法获取密钥；最后根据保存的密钥进行解密。其中，安全哈希算法、信息摘要算法等算法均可作为图像加密算法。加密的方法构建了一组map字典，对每个像素块匹配一个修改值，对像素值进行固定值的替换，结果会得到一个扰动非常大，丧失部分语义信息的视频流。如果没有密钥，就无法还原对应的视频流信息。

借鉴图像领域中对抗进攻的方法，比如FGSM、BIM、PGD等。本发明设计了fps-PGD的方法，实现了视频流领域的保护。PGD思想的核心在于多步的进攻，对每一帧进行多次的迭代，得到更为精准的分类边界。本发明提出的fps-PGD思想就是将攻击分摊到每一帧上，然后将每次的扰动进行累加到后面的帧上，达到多步迭代的效果。

本发明将L

由于只对图像采用了一次的扰动，得到的进攻能力一般；而将对该帧的攻击经行多次迭代的攻击，所以将前面帧得到的扰动叠加到后续帧上，可以得到更新后的h

其中h

而在人脸识别应用场景中，由于前后帧之间的语义信息变化不大，所以图像RGB的表示较为一致，因此前后帧的叠加起来计算是有物理意义的。

此外，为了可以调整两个模块之间的重要性程度，模型引入了滑动平均的方法：将α定义为可调整的系数，得到最终的h

将上述最终的h

x

x

如图2所示，对于原视频帧中的戴眼镜的男士，基于对抗进攻以及基于非对抗进攻(全黑处理、添加补丁、人脸加密)的结果已经呈现于图2中。在对抗进攻方法下，输出的视频帧中的男士人脸周围被对抗性噪声覆盖，这些噪声不会妨碍人们正常地辨认，却能够极大地阻止人脸识别模型提取其中的人脸信息，防御成功率可达95％。在补丁添加、人脸加密、全黑处理的方法下，原图中男士的人脸区域分别被添加了一双眼镜补丁、修改原图人脸语义信息以及将人脸区域的图像修改为全黑区域，这些方法同样能够阻止机器模型识别视频帧中的人脸或提取相关人脸方面的语义信息。

综上所述，本发明实施例的基于人脸mask的人脸信息防御方法和基于加密算法的人脸信息防御方法的实验结果令人满意，原视频流中的人脸信息在这两种方法下受攻击时的防御成功率接近100％。基于patch的人脸信息防御方法的实验结果令人较满意，原视频中的人脸信息在这两种方法下受攻击时的防御成功率接近99％。因此，可认为本发明中的基于视频流的人脸信息防御系统，可以抵抗恶意的视频进攻，达到视频流中的人脸区域无法被识别的目的。

本发明实施例基于视频流对人脸识别进行信息保护，使得该系统更贴近人眼对人脸信息的识别过程，所以本发明的任务适用性较好。提出了一套防御框架模型，可以对抗对视频中的人脸领域的恶意进攻。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。