一种基于深度学习的联盟链场景下视频数据上链有害性审核方法

摘要

本发明公开了一种基于深度学习的联盟链场景下视频数据上链有害性审核方法，具体步骤包括：系统管理员构建联盟链及私有IPFS网络，并允许普通用户及监管机构中的各监管者分别加入所述联盟链及IPFS网络；普通用户可选提交视频信息、请求链上合法视频的授权以及响应收到的视频授权等操作；监管者获取IPFS网络上的视频数据，通过基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并向联盟链提交签名后的审核结果；由链码最终保证仅有合法的视频信息能够上链。本发明能够实现联盟链网络内视频数据信息的内容安全性核查与监管，并解决虚假的视频信息在联盟链上扩散传播的问题。

说明书

技术领域

本发明的涉及联盟链内容监管技术领域，特别是涉及一种基于深度学习的联盟链场景下视频数据上链有害性审核方法。

背景技术

随着区块链技术的不断发展，链上承载的交易内容除最常见的金融数据外，也包含了如短文本、图片、文件等形式的非金融数据。允许非金融数据的注入显著扩展了区块链技术的应用场景，但这同时也带来了有害信息在链上传播的问题。相较于公有链，联盟链虽然能够通过准入机制来实现区块链网络内的成员认证与可控，但潜在的恶意个人发布仍然无法被阻止，即有害信息仍存在上链和传播风险。

相较于具有明显特征的涉及暴恐、色情等话题的敏感信息，区块链上传播的虚假信息更难监测与治理。特别地，Deepfake技术的应用使得虚假的图片、音频、视频等数字内容更具欺诈性，使得用户在海量信息中无法准确分辨真实的数据内容。以Deepfake视频为例，现有的结合区块链技术进行Deepfake视频泛滥治理的研究中，通常是使用区块链来跟踪和验证视频的发布来源，根据发布来源的可靠性进而判断视频的真实性，并通过信任模型来维护网络内用户声誉以及激励优质内容的发布。但是，上述研究仍有如下三个关键问题尚待解决：其一，上述研究仅通过信任模型来对链上视频的真实性进行验证，并未真正有效解决Deepfake视频上链并传播的问题；其二，由于用户能够在视频从捕获到存储的过程中进行一系列更改操作，因此即使追溯该视频至初始发布来源，也不能完全证明该视频内容可信，且信任模型本身存在主观性的问题，同时在区块链网络中计算和维护信任模型会产生相应的开销；其三，经合法授权的二次编辑视频应与Deepfake视频有所区分，因为前者是在原视频作者的同意下进行的创作行为，后者是未经同意的篡改行为，而目前对于上传至区块链的各类视频数据并没有完善的监管方案与事后处理机制。

因此，针对虚假视频信息上链并传播难以监管的问题，本发明提出了一种基于深度学习的视频数据上链有害性审核的方法。本发明将视频分为原创视频与二次剪辑视频两类，通过将完整的数据存储在IPFS网络上以提高区块链存储效率以及降低存储开销；对原创视频使用基于深度学习的Deepfake检测模型来检验是否为Deepfake视频；二次剪辑视频需要审核其是否经过合法的授权认证，数字签名的使用以及链上的防篡改记录将共同用于检测授权的有效性。通过对上述两类视频进行详细的有害性审核，该发明保证只有合法的视频数据才能够成功存储在链上，实现联盟链网络内视频数据信息的内容安全性核查与监管，并解决虚假的视频信息在联盟链上扩散传播的问题。

发明内容

发明目的：本发明提供一种基于深度学习的联盟链场景下视频数据上链有害性审核方法，能够实现联盟链网络内视频数据信息的内容安全性核查与监管，并解决虚假的视频信息在联盟链上扩散传播的问题；由于所述Deepfake检测模型采用局部最大ECR值算法来选择视频关键帧，因此能够有效减少数据冗余并保证视频帧选取的多样性。

技术方案：本发明所述的一种基于深度学习的联盟链场景下视频数据上链有害性审核方法，包括以下步骤：

(1)系统管理员构建联盟链及私有IPFS网络，并允许普通用户及监管机构中的各监管者分别加入所述联盟链及IPFS网络；

(2)普通用户可选提交视频信息、请求链上合法视频的授权以及响应收到的视频授权等操作；

(3)监管者获取IPFS网络上的视频数据，通过基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并向联盟链提交签名后的审核结果；

(4)由链码最终保证仅有合法的视频信息能够上链。

步骤(1)中所述的联盟链网络及私有IPFS网络仅由已认证的普通用户及监管机构加入，该私有IPFS网络将用于存储完整的视频数据。

步骤(2)中所述的普通用户可执行的操作，包括提交视频信息、执行请求链上合法视频的授权操作以及执行响应收到的视频授权操作。

步骤(2)中所述的普通用户提交视频信息的操作限制普通用户发布原创视频及二次剪辑视频共两类视频，完整的视频数据将首先保存至所述IPFS网络，其返回的IPFS地址及其他相关信息将随后由普通用户提交至所述联盟链网络。

步骤(2)中所述的普通用户执行请求链上合法视频的授权操作，是指普通用户首先从链上得到想要获得授权的视频的具体信息，随后根据链上的视频信息，向该视频的作者发出授权请求，相应的请求授权记录由该用户签名，并存储在链上。

步骤(2)中所述的普通用户执行响应收到的视频授权操作，是指普通用户首先从链上得到想要获得授权的视频的具体信息，随后根据链上的视频信息，向该视频的作者发出授权请求，相应的请求授权记录由该用户签名，并存储在链上。

所述步骤(3)包括以下步骤：

(3.1)监管者从所述IPFS网络获取完整的视频数据；

(3.2)监管者调用基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并获得该视频的Deepfake审核结果；

(3.3)监管者使用自己的私钥对该审核结果签名，并向联盟链提交签名后的审核结果。

所述步骤(3.2)具体包括以下子步骤：

(3.2.1)根据完整的视频数据，计算视频各帧的ECR值，具体公式如下：

其中，ECR

(3.2.2)设置窗口大小，对该视频的所有ECR值进行平滑处理，并选择具有最大差异的ECR值的帧作为该视频的关键帧；

(3.2.3)以MesoNet-4模型为基础执行Deepfake检测任务，并在面部提取过程中使用局部最大ECR值算法代替原有的随机帧选择策略，使得从上述关键帧中提取的人脸能够更好地用于后续Deepfake检测任务；

(3.2.4)通过执行(3.2.3)操作，从视频中提取到的人脸图片的分类结果将构成一数组，对该数组进行均值计算，如小于0.5，则认为是Deepfake视频，否则认为是真实视频。

步骤(4)所述的由链码最终保证仅有合法的视频信息能够上链，是指对于拟上链的视频信息，由链码根据视频类型分别审核并判断其有害性，其中，原创视频需要审核其是否为Deepfake视频，链码需要检索链上是否存在该视频的Deepfake审核结果，如其审核结果合法且为真实视频，则予以上链，其他情况则拒绝其上链请求；二次剪辑视频需要审核其是否经过有效的授权认证，链码需要检索链上是否存在该视频的授权记录及响应授权记录，如其授权及响应授权记录合法且结果为同意授权，则予以上链，其他情况则拒绝其上链请求。

有益效果：与现有技术相比，本发明的有益效果为：1.该方案结合IPFS网络进行大数据量的视频存储，提高了联盟链存储效率以及降低了存储开销；2.该方案能够有效审核拟上链的视频数据的有害性，实现联盟链网络内视频数据信息的内容安全性核查与监管，并解决虚假的视频信息在联盟链上扩散传播的问题；3.该方案对MesoNet-4模型进行了改进，通过使用局部最大ECR值算法以进行关键帧选取操作，有效减少了数据冗余并保证了视频帧选取的多样性，使得提取得到的人脸能够更好地用于后续Deepfake检测任务；4.该方案完善了联盟链内容监管领域对于虚假视频数据的处置方案，通过以适当的开销支持监管机构对链上视频数据进行穿透式监管，为进一步维护联盟链生态健康和可持续发展提供了可行的解决思路。

附图说明

图1为本发明所述基于深度学习的联盟链场景下视频数据上链有害性审核的方法流程图；

图2为本发明所述的原创视频的存储及上链流程；

图3为本发明所述的二次剪辑视频的存储及上链流程；

图4为本发明所述基于深度学习的Deepfake检测模型架构；

图5为本发明实施例所述的局部最大ECR值算法及随机帧选择策略下的Deepfake检测模型在测试集上的结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：本发明提出了一种基于深度学习的联盟链场景下视频数据上链有害性审核方法，具体步骤如图1所示。视频数据首先被分为原创视频和二次剪辑视频两类，所讨论的原创视频存储及上链流程如图2所示。普通用户首先将完整的视频存储在IPFS上，并得到相应的IPFS地址；多个监管者会从IPFS网络上获取用户上传的原创视频数据，通过基于深度学习的Deepfake检测模型来审核该原创视频是否为经篡改后的Deepfake视频，并向联盟链提交经签名后的原创视频审核结果；普通用户在向联盟链提交视频信息时，需要填写该视频的IPFS地址、视频类型等其他相关信息；链码会自动检查链上关于该原创视频的审核结果，如审核为真实视频，则该视频信息能够上链，否则不予上链。所讨论的二次剪辑视频的存储及上链流程如图3所示，普通用户需要先通过相应视频授权与响应授权流程以获取原始视频的授权，在向联盟链提交相关视频信息时，链码将根据链上的授权与响应授权记录自动检测授权的有效性，只有具有有效的授权记录的二次剪辑视频才能够成功上链，否则不予上链。

(1)系统管理员构建联盟链及私有IPFS网络，并允许普通用户及监管机构中的各监管者分别加入所述联盟链及IPFS网络；

系统管理员负责构建联盟链网络，并出于数据隐私和维护的考虑，构建私有IPFS网络，该IPFS网络将用于存储完整的视频数据。已认证的普通用户及监管机构分别加入所述联盟链及私有IPFS网络。

(2)普通用户可选提交视频信息、请求链上合法视频的授权以及响应收到的视频授权等操作；

普通用户可选提交视频信息、请求链上合法视频的授权以及响应收到的视频授权等操作，其中提交视频信息操作限制普通用户发布原创视频及二次剪辑视频共两类视频，完整的视频数据将首先保存至所述IPFS网络，其返回的IPFS地址及其他相关信息将随后由普通用户提交至所述联盟链网络；在请求链上合法视频的授权操作时，普通用户首先从链上得到想要获得授权的视频的具体信息，随后根据链上的视频信息，向该视频的作者发出授权请求，相应的请求授权记录由该用户签名，并存储在链上；在执行响应收到的视频授权操作时，普通用户首先从链上得到想要获得授权的视频的具体信息，随后根据链上的视频信息，向该视频的作者发出授权请求，相应的请求授权记录由该用户签名，并存储在链上。提交至链上的视频信息、链上请求授权记录和链上响应授权记录分别如表1、表2、表3所示：

表1链上视频信息

表2链上请求授权记录

表3链上响应授权记录

(3)监管者获取IPFS网络上的视频数据，通过基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并向联盟链提交签名后的审核结果；

监管者从所述IPFS网络获取完整的视频数据，随后调用基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并获得该视频的Deepfake审核结果，该模型结构如图4所示。

局部最大ECR值算法要求首先计算视频各帧的ECR值，具体公式如下：

其中，ECR

在得到该视频的所有ECR值后，设置窗口大小以对该视频的所有ECR值进行平滑处理，并选择具有最大差异的ECR值的帧作为该视频的关键帧。完整的Deepfake检测模型以MesoNet-4模型为基础，并在面部提取过程中使用局部最大ECR值算法代替原有的随机帧选择策略，使得从上述关键帧中提取的人脸能够更好地用于后续Deepfake检测任务。最后，从视频中提取到的人脸图片的分类结果将构成一数组，对该数组进行均值计算，如小于0.5，则认为是Deepfake视频，否则认为是真实视频。

在得到具体视频的Deepfake检测结果后，由监管者使用自己的私钥对该审核结果签名，并向联盟链提交签名后的审核结果。其中，提交至链上的视频审核结果如表4所示。

表4链上视频审核结果

(4)由链码最终保证仅有合法的视频信息能够上链。

对于拟上链的视频信息，由链码根据视频类型分别审核并判断其有害性，其中，原创视频需要审核其是否为Deepfake视频，链码需要检索链上是否存在该视频的Deepfake审核结果，如其审核结果合法且为真实视频，则予以上链，其他情况则拒绝其上链请求；二次剪辑视频需要审核其是否经过有效的授权认证，链码需要检索链上是否存在该视频的授权记录及响应授权记录，如其授权及响应授权记录合法且结果为同意授权，则予以上链，其他情况则拒绝其上链请求。最终，链上仅存有合法的视频信息。

为验证局部最大ECR值算法对MesoNet-4模型的改进效果，使用Celeb-DF数据集对模型以相同的参数(学习率为0.001，轮次为20轮)进行训练和测试，分别应用局部最大ECR值算法(Local-Max-ECR-Frame)和随机帧选择策略(Random-Frame)的模型在测试集上的实验结果如图5所示，其中Accuracy为准确率，Precision为精确率，Recall为召回率，F1_score为综合评价。两模型在准确率和综合评价上的结果不相上下，而应用Local-Max-ECR-Frame策略的模型性能总体略优于应用Random-Frame策略的模型。该性能提升并不显著的原因是，Random-Frame策略下会产生比Local-Max-ECR-Frame策略多约一倍的训练数据，即使包含了较多的图片冗余，但长时间的训练也能够帮助模型提升性能。此外，虽然Local-Max-ECR-Frame策略下的模型精确率略低于Random-Frame策略下的模型，但它拥有更高的召回率，意味着该策略下的模型对Deepfake视频更敏感，因此能够有效应用于视频上链有害性审核工作中以检测出潜在的Deepfake视频。

用户上传原创视频及二次剪辑视频过程中各步骤所花费的时间以及产生的链上存储开销如表5所示。本发明对50个视频进行了Deepfake检测以及相关视频信息的上链操作，表中数据为其平均值。

表5普通用户上传视频信息各步骤所产生的开销

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。