一种使用CNN优化相似度矩阵的视频抄袭检测方法

摘要

本发明公开了一种使用CNN优化相似度矩阵的视频抄袭检测，建立对角卷积神经网络模型；对视频底库中的视频进行抽帧，得到至少一个第一抽取帧，提取各第一抽取帧的第一特征，形成特征数据库，对查询视频进行抽帧，得到至少一个第二抽取帧，提取各第二抽取帧的第二特征，所述第一特征与第二特征是相同类型的特征，将第一特征与第二特征进行相似度匹配，从相似度最大开始选取一定数量的视频作为候选视频对，将所有候选视频对的相似度矩阵输入对角卷积神经网络模型进行运算，增加疑似抄袭位置帧图像的第一相似度，减小非抄袭位置帧图像的第二相似度，优化相似度矩阵，在矩阵中对角线上为抄袭视频位置，提高抄袭视频的检测效率，降低成本。

说明书

技术领域

本发明涉及视频检测技术领域，尤其是涉及一种使用CNN优化相似度矩阵的视频抄袭检测方法。

背景技术

目前网上视频量越来越大，有的视频发布者，为了追求流量，抄袭别人的视频进行播报，对于视频原创者的利益造成损失，还有一些违法视频，需要从天量的视频中找出来，进行追踪，确保网络安全，而从大量的视频中发现抄袭视频，如果由人工来进行，则成本高效率低。

因此，如何快速的实现对抄袭视频的检测，是目前亟待解决的问题。

发明内容

本发明的目的是提供一种使用CNN优化相似度矩阵的视频抄袭检测方法，对待检测检测视频进行抽帧，建立与视频底库中的视频相同特征的相似度矩阵，将相似度矩阵输入对角卷积神经网络模型进行运算，进行优化，从而定位抄袭视频位置，提高抄袭视频的检测效率，降低成本。

第一方面，本发明的上述发明目的通过以下技术方案得以实现：

一种使用CNN优化相似度矩阵的视频抄袭检测方法，建立对角卷积神经网络模型；对视频底库中的视频进行抽帧，得到至少一个第一抽取帧，提取各第一抽取帧的第一特征，形成特征数据库；对待检测视频进行抽帧，得到至少一个第二抽取帧，提取各第二抽取帧的第二特征，所述第一特征与第二特征是相同类型的特征，将第一特征与第二特征进行相似度匹配，从相似度最大开始选取一定数量的视频作为候选视频对，将所有候选视频对的相似度矩阵输入对角卷积神经网络模型进行运算，增加疑似抄袭位置帧图像的第一相似度，减小非抄袭位置帧图像的第二相似度，优化相似度矩阵，定位抄袭视频位置。

本发明进一步设置为：所述第一特征与第二特征同为卷积神经网络特征，在特征数据库中标记各第一抽取帧所属视频ID和在所属视频中的位置。

本发明进一步设置为：分别计算第二特征与特征数据库中的各第一特征的相似度，获得相似度大于设定阈值的所有第一抽取帧，并从中选择设定数量的第一抽取帧作为近邻帧组。

本发明进一步设置为：将近邻帧组中的各视频帧按照视频ID进行归类，计算属于同一视频ID的所有近邻帧的相似度总和，选取相似度总和位于前面的视频作为待检测视频的候选视频，待检测视频与每一个候选视频分别形成候选视频对。

本发明进一步设置为：基于候选视频对，生成相似度矩阵，将相似度矩阵输入对角卷积神经网络模型进行运算，得到优化后相似度矩阵。

本发明进一步设置为：以疑似抄袭视频片段作为正数据集，以非抄袭视频中的随机片段为负数据集，或以被误检测为抄袭视频而实际上为非抄袭视频片段为负数据集，训练卷积神经网络以得到对角卷积神经网络模型。

本发明进一步设置为：将优化后相似度矩阵可视化，得到具有明显对角线特征的相似度矩阵，定位抄袭视频片段位置。

本发明进一步设置为：计算优化后相似度矩阵与理想相似度矩阵的损失函数，优化卷积神经网络模型参数。

本发明进一步设置为：卷积神经网络模型为单通道输入与单通道输出模型。

第二方面，本发明的上述发明目的通过以下技术方案得以实现：

一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现本申请所述方法。

第三方面，本发明的上述发明目的通过以下技术方案得以实现：

一种使用CNN优化相似度矩阵的视频抄袭检测终端设备，包括处理器、存储器，所述存储器存储有能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时能够实现本申请所述方法。

与现有技术相比，本申请的有益技术效果为：

1.本申请通过建立对角卷积神经网络模型，进行相似度矩阵的优化，从而确定抄袭视频位置，提高抄袭视频的检测效率，降低成本；

2.进一步地，本申请对待检测视频进行抽帧与视频底库中的抽帧视频，形成视频对，进行相似度计算，减少了视频检测量；

3.进一步地，本申请将所有的底库视频特征集中在一个数据库中，降低了误检率，加快了检测速度；

4.进一步地，本申请采用优化后的相似度矩阵，缩小了搜索范围，提高检测效率。

附图说明

图1是本申请的一个具体实施例的抄袭视频检测流程示意图；

图2是本申请的一个具体实施例的卷积神经网络结构示意图；

图3是未经过对角化优化的矩阵示意图；

图4是本申请的一个具体实施例的经过对角化优化的矩阵示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

具体实施例一

本申请的一种使用CNN优化相似度矩阵的视频抄袭检测方法，如图1所示，包括以下步骤：视频抽帧、提取视频特征、基于特征选择相似度最大视频对、基于对角化卷积神经网络模型对相似度矩阵进行优化、定位抄袭视频位置。

从待检测视频、视频底库中分别获取一定数量的视频帧，进行检测。获取视频帧的方法很多，本申请采用间隔抽帧的方法进行帧视频的提取。

从视频底库中的视频中，每间隔一定数量帧图像抽取一帧视频图像，作为底库视频帧图像，提取底库视频帧图像的图像特征，包括CNN特征。所有的底库视频图像特征组成快速搜索数据库，对每个底库视频图像特征进行标注，标注中包括记录该底库视频图像所处的视频ID和在视频中的位置。

将所有的底库视频图像特征集中在一个数据库中，一方面降低了误检率，因为相关视频相似度较高，因而被选中的概率较大，而不相关视频的相似度较低，被选中的概率就大为减小；另一方面，采用本申请的方法，检索速度与视频量基本无关，加快了检测速度。

从待检测视频中每隔一定间隔抽取视频帧图像，得到一定比例数量的待检测视频帧，提取待检测视频帧的图像特征，包括CNN特征。

对每一个待检测视频帧特征，从数据库中搜索相似的底库视频帧特征，计算二者之间的相似度值，选取相似度值大于阈值的一定数量的底库视频帧，丢弃相似度值小于阈值的底库视频帧图像。

在本申请的一个具体实施例中，大于阈值的数量取值为100至1000之间，或大于1000；优选地，取200-500帧视频图像。

CNN网络有多种，包括VGG-16网络、Restnet-18等常见CNN网络。通常使用最后一层CNN特征作为输出。在CNN每个通道上使用聚合方法（aggregation）将每个通道上的空间特征图的维度变为1，聚合方法包括Max-Pooling、Average-Pooloing, Regional MaximumActivation of Convolution (RMAC)等，同时可叠加高斯滤波。如果CNN通道数太多，则采用PCA进行降维，一般情况下，维度不超过512。

在选取的一定数量的底库视频帧中，根据其各自的视频ID，将属于同一ID的视频归在一起，得到不同ID的底库视频帧集合，计算同一视频ID中的所有底库视频帧特征的相似度值总和，选取相似度值总和最大的N个底库视频帧集合，作为待检测视频的候选视频，待检测视频与每一个底库视频帧集合形成候选视频对。其中N是大于1的正整数。

所有候选视频中的每一个视频都和待检测视频之间形成一个相似度矩阵，后续优化在这个相似度矩阵上个进行。

建立对角化卷积神经网络模型：

对角化卷积神经网络模型为一个单通道输入、单通道输出。

本申请以CNN网络进行对角化卷积神经网络模型设计，对角化卷积神经网络模型的结构、层数根据需要进行设计。

本申请的一个具体的对角化CNN结构，如图2所示，包括10个模块，其中第一个模块包括第一卷积层+第一批量归一化+第一修正线性单元，其属性为：（In1，Out32，K3，S1，P1），其中：In1（InputChannel）表示输入通道数为1，Out32（OutChannel32）表示输出通道数为32，K3（KernelSize3）表示卷积核的大小为3，S1（Stride1）表示卷积操作的步长为1，P1（Padding1）表示输入的零填充数为1；

第二个模块包括第一最大化池，其属性为：（K2，S2，P0）；

第三个模块包括第二卷积层+第二批量归一化+第二修正线性单元，其属性为：（In32，Out64，K3，S1，P1）；

第四个模块包括第二最大化池，其属性为：（K2，S2，P0）；

第五个模块包括第三卷积层+第三批量归一化+第三修正线性单元，其属性为：（In64，Out128，K3，S1，P1）；

第六个模块包括第一反卷积，其属性为：（In128，Out128，K3，S2，P1）；

第七个模块包括第四卷积层+第四批量归一化+第四修正线性单元，其属性为：（In128，Out64，K3，S1，P1）；

第八个模块包括第二反卷积，其属性为：（In64，Out64，K3，S2，P1）；

第九个模块包括第五卷积层+第五批量归一化+第五修正线性单元，其属性为：（In64，Out32，K3，S1，P1）；

第十个模块包括第六卷积层+第六批量归一化+第六修正线性单元，其属性为：（In32，Out1，K3，S1，P1）；

CNN模型建立后，进行训练，训练数据包括正数据集、负数据集，正数据集采用标注的抄袭视频片段。

负数据集的采集有以下二种方式，采用其中任何一种或两种的组合进行采集。

第一种：从视频中没有抄袭位置，随机截取视频片段作为负数据集。

第二种：实际上为未抄袭片段，而被误检测为抄袭视频的视频片段，作为负数据集。所述误检测是在未采用本申请所述优化算法的基础上获得的。

通常情况下，正样表的数量较少，而负样表数量较多。考虑到正负样表的均衡性，在训练的每个时期（epoch）中使用全部正样表，从实现收集好的负样本中，随机挑选和正样表相同数量的负样表，以达到比较好的训练结果。

采用损失函数对模型进行优化：

基于平均平方误差MSE设定损失函数，损失函数MSE loss表达式如下：

MSE loss = MSE（相似度矩阵S-理想相似度矩阵S’）；

设待检测视频的特征矩阵为Q =[ q1,q2, ..., qn], 底库视频的特征矩阵是 R=[r1, r2, ..., rm], 则相似度矩阵 S = Q R^T。

假设对应Q的抄袭片段出现在k、 k+1、……k+n-1帧，则理想相似度矩阵S’，在抄袭位置对角线上为1，其余全为0，即S’[k,0]=S’[k+1,1]=...=S’[k+n-1,n-1]=1。

使用对角化CNN，能够使相似度矩阵呈现明显的对角线，即，在对角线上亮度比非对角线位置的亮度高。如图3、4所示，其中图3为未使用对角化CNN的效果，图4为使用对角化CNN后的效果。

具体实施例二

本申请一实施例的一种使用CNN优化相似度矩阵的视频抄袭检测终端设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如特征提取程序，所述处理器执行所述计算机程序时实现视频抄袭检测方法。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述使用CNN优化相似度矩阵的视频抄袭检测终端设备中的执行过程。例如，所述计算机程序可以被分割成多个模块，各模块具体功能如下：

1.特征提取模块，用于提取视频特征；

2.对角化卷积神经网络模型模块，用于建立并优化对角化卷积神经网络模型。

所述使用CNN优化相似度矩阵的视频抄袭检测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述上述示例仅仅是使用CNN优化相似度矩阵的视频抄袭检测终端设备的示例，并不构成对使用CNN优化相似度矩阵的视频抄袭检测终端设备的限定，可以包括比图示更多或更少的部件，或组合某些部件，或不同的部件，例如所述使用CNN优化相似度矩阵的视频抄袭检测终端设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器可以是中央处理单元(Central Processing Unit，CPU),还可以是其他通用处理器、数据信号处理器(Digital Signal Processor，DSP) 、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种使用CNN优化相似度矩阵的视频抄袭检测终端设备的控制中心，利用各种接口和线路连接整个所述终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种使用CNN优化相似度矩阵的视频抄袭检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card ,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

具体实施例三

所述一种使用CNN优化相似度矩阵的视频抄袭检测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。