基于大数据的市场调研数据传输方法及系统

摘要

本发明涉及基于大数据的市场调研数据传输方法及系统，首先将市场调研数据按属性分类，利用标准化系数将分类后的数据归至[0,255]，获得第一图像和第一密文；利用设定规则对第一图像处理，获取第二图像和第二密文；将不同组的图像设置编号，将相邻组的图像区域内像素点进行组间替换，获取第三图像；将第一密文、第二密文、第二图像和第三图像打包并发送至接收方；接收方解密第二密文获取第二明文，通过第二明文和第二图像提取对应图像区域特征，根据图像区域特征和步骤三，获取第四图像数据；比较第三图像与第四图像，若一致则验证通过，对第一密文解密获取第一明文，解密完成后，还原数据。即本发明通过增加传输数据的复杂性，提高数据传输的安全性。

说明书

技术领域

本发明涉及基于大数据的市场调研数据分析方法及系统，属于市场调研数据传输技术领域。

背景技术

随着科技的发展，网络成为了人们生活中必不可少的一部分，为人们的日常生活和工作提供了极大的便利。但是，网络在为人们提供便利的同时，用户数据在存储、访问控制以及传输过程中存在泄漏或被篡改的风险，尤其是关于商业机密的市场调研数据，一旦被窃取，影响着整个企业的发展。因此，数据的安全箱也变得尤为重要。

为了提供数据的安全性，现有的技术，通常是通过数据加密的方式提高数据的安全性。在对数据进行加密时，是采用加密算法和密钥的方式对数据进行加密，以避免数据在存储、访问控制以及存储过程中存在泄漏或被篡改的风险，从而提高数据的安全性。

然而，现有的方法仅仅利用对称加密或者非对称加密的方式，对数据进行加密，其加密方式简单，存在安全性不高的问题。

发明内容

本发明的目的在于提供一种基于大数据的市场调研数据分析方法及系统，用于解决现有技术中的数据加密方式简单，安全性不高的问题。

为了解决上述问题，本发明采用以下技术方案：

一种基于大数据的市场调研数据传输方法，包括以下步骤：

步骤1，将市场调研数据按照属性进行分类，其中，分类后的市场调研数据包括至少两组数据；并对不同组的数据进行标准化处理，将标准化后的每组数据构建成二维数组，根据每一组的二维数组，获取每组对应的第一图像；所述标准化处理为利用标准化系数将所述数据归至[0,255]范围内，将所述标准化系数作为第一明文，对所述第一明文进行加密，获取第一密文；

步骤2，利用设定规则对第一图像进行处理，获取第二图像；

所述设定规则为：

1)随机选择第一图像中的一个像素点p，以像素点p为中心，按照设定的半径，确定所述像素点p的图像区域；

2)构建高斯核函数；

3)利用构建的高斯函数，计算所述图像区域内的所有像素点对应的函数值，并将所述函数值按照矩阵的形式组成模板，所述模板的函数值与所述图像区域的像素点是一一对应的；

4)将所述图像区域的像素点与所述模板的函数值一一对应相乘后得到对应的值，将该值替换所述图像区域的像素点，获取第二图像；

其中，将所述模板作为第二明文，并对所述第二明文加密，获取第二密文；

步骤3，将不同组的图像设置编号，按照编号顺序，将相邻组的第二图像中的所述图像区域中的行或列的像素点进行不同组间的替换，获取第三图像；

步骤4，发送方将所述第一密文、第二密文、第二图像和第三图像打包并发送至接收方；接收方首先需要解密第二密文获取第二明文，通过第二明文和第二图像提取出对应的图像区域特征，根据所述图像区域特征，按照步骤三，获取第四图像；

步骤5，判断第三图像与第四图像是否一致，若一致，则验证通过，并获取第一密文，对所述第一密文进行解密，获取第一明文，在解密完成后，利用所述第一明文和所述第二明文还原第二图像，得到所述不同组的数据。

进一步地，所述步骤1中采用的离散对数加密方式对所述第一明文数据进行加密。

进一步地，所述市场调研数据包括市场销售量、潜在需求量、市场占有率、商品价格浮动情况；所述属性包括时间、空间或者功能性。

进一步地，所述高斯核函数为

式中，(I,J)为图像区域内的像素点的坐标，(i,j)为像素点p的坐标，σ

进一步地，在进行步骤3中不同组间的像素点的替换之前，还包括对所述图像区域进行旋转处理的步骤。

进一步地，所述第三图像与第四图像一致性的判断是采用欧式距离计算相似度，当相似度为1时，则验证通过。

本发明还提供了一种基于大数据的市场调研数据传输系统，包括存储器和处理器，所述存储器用于存储计算机程序指令，所述计算机程序指令被处理器执行时实现以下步骤：

步骤1，将市场调研数据按照属性进行分类，其中，分类后的市场调研数据包括至少两组数据；并对不同组的数据进行标准化处理，将标准化后的每组数据构建成二维数组，根据每一组的二维数组，获取每组对应的第一图像；所述标准化处理为利用标准化系数将所述数据归至[0,255]范围内，将所述标准化系数作为第一明文，对所述第一明文进行加密，获取第一密文；

步骤2，利用设定规则对第一图像进行处理，获取第二图像；

所述设定规则为：

1)随机选择第一图像中的一个像素点p，以像素点p为中心，按照设定的半径，确定所述像素点p的图像区域；

2)构建高斯核函数；

3)利用构建的高斯函数，计算所述图像区域内的所有像素点对应的函数值，并将所述函数值按照矩阵的形式组成模板，所述模板的函数值与所述图像区域的像素点是一一对应的；

4)将所述图像区域的像素点与所述模板的函数值一一对应相乘后得到对应的值，将该值替换所述图像区域的像素点，获取第二图像；

其中，将所述模板作为第二明文，并对所述第二明文加密，获取第二密文；

步骤3，将不同组的图像设置编号，按照编号顺序，将相邻组的第二图像中的所述图像区域中的行或列的像素点进行不同组间的替换，获取第三图像；

步骤4，发送方将所述第一密文、第二密文、第二图像和第三图像打包并发送至接收方；接收方首先需要解密第二密文获取第二明文，通过第二明文和第二图像提取出对应的图像区域特征，根据所述图像区域特征，按照步骤三，获取第四图像；

步骤5，判断第三图像与第四图像是否一致，若一致，则验证通过，并获取第一密文，对所述第一密文进行解密，获取第一明文，在解密完成后，利用所述第一明文和所述第二明文还原第二图像，得到所述不同组的数据。

本发明的有益效果为：

本发明通过对市场调研数据进行分类后，再进行标准化处理，获取第一密文数据以及第一图像，利用第一图像代替了市场调研数据，同时对第一图像按照设定规则进行处理获取第二图像，不仅使得传输的图像数据更加复杂，同时也增加了第二密文这一加密数据，使得数据的加密更加安全；然后，对不同组的第二图像中的图像区域的像素点进行调换，形成第三图像，将第三图像作为加密处理的一部分，并结合第一密文和第二密文，使得传输的数据更加复杂且其安全性更高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍：

图1是本发明的基于大数据的市场调研数据传输方法实施例的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行介绍。为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，本发明所针对的具体场景为：某企业的市场调研数据分析场景，所采集数据为市场调研数据，包括市场销售量、潜在需求量、市场占有率、商品价格浮动情况等，所述市场调研数据可根据上述不同类型的数据划分为不同组数据，便于存储和读取。

本发明提供的是一种基于大数据的市场调研数据分析方法及系统，如图1所示，包括如下步骤：

步骤一：将市场调研数据按照属性进行分类，其中，分类后的数据包括至少两组数据；并对不同组的数据进行标准化处理，将标准化后的每组数据构建成二维数组，根据每一组的二维数组，获取每组对应的第一图像；所述标准化处理为利用标准化系数将所述数据归至[0,255]范围内，将所述标准化系数作为第一明文数据，对所述第一明文数据进行加密，获取第一密文；

本实施例中的市场调研数据包括市场销售量、潜在需求量、市场占有率、各商品价格浮动情况；其中的市场调研数据的属性包括时间、空间或者功能等；如按照不同时间进行数据的分类；当然也可以根据实际情况进行数据的分类。

本实施例中，为了降低数据的复杂性，减少计算量，其具体的标准化处理为将分类后的数据通过设置的标准化系数归至[0,255]范围内，满足图像的像素区间，如通过每个数据值乘上标准化系数实现，不同组的数据均对应各自的标准化系数；根据原始数据的实际情况，只要满足将数据归至[0,255]范围内，也可以仅设置一个标准化系数，需要说明的是，本发明将标准化系数作为第一明文数据，采用离散对数加密方式对其进行加密。

具体的加密方式为：

设第一明文数据为m，接收方和发送方约定大于m的质数p，发送方选择随机数c作为发送方密钥，接收方选择随机整数d作为接收方密钥，初始发送方发送x＝m

本实施例中采用每个维度的标准化系数构成明文，数据长度较小，利用离散对数加密的方法，处理速度快，且便于计算。

本实施例中将分类后的每组数据构建成二维数据，将该二维数据按照矩阵的形式，组成第一图像，其中每组数据均对应一张图像，即最终获取多通道第一图像。

需要说明的是，上述实施例中，是将数据以图像的形式进行表示，能够使得杂乱的数据，在进行后续处理时更加的有序。

步骤二：利用设定规则对第一图像进行处理，获取第二图像；所述设定规则为：1)随机选择第一图像中的一个像素点p(i,j)，以像素点p(i,j)为中心，确定所述像素点p(i,j)的图像区域；

步骤2，利用设定规则对第一图像进行处理，获取第二图像；

所述设定规则为：

1)随机选择第一图像中的一个像素点p，以像素点p为中心，按照设定的半径，确定所述像素点p的图像区域；

2)构建高斯核函数；

所述高斯核函数为

式中，(I,J)为图像区域内的像素点的坐标，(i,j)为像素点p的坐标，σ

3)利用构建的高斯函数，计算所述图像区域内的所有像素点对应的函数值，并将所述函数值按照矩阵的形式组成模板，所述模板的函数值与所述图像区域的像素点是一一对应的；

4)将所述图像区域的像素点与所述高斯模板的函数值一一对应相乘后得到对应的值，将该值替换所述图像区域的像素点，获取第二图像；

其中，将所述模板作为第二明文数据，并对所述第二明文数据加密，获取第二密文。

本实施例中的高斯模板是根据选择的图像区域的大小确定的，当然为了保证后续数据的安全性，最优选的方式为：选取的图像区域的大小与第一图像的大小相同。

需要说明的是，上述步骤中是随机在第一图像中选择一个像素点作为中心点，按照设定的半径，选择第一图像中的局部的图像区域，对其进行处理，其目的就是上为了增加图像数据的复杂性，保护图像数据的安全，防止被恶意窃取，而且仅选择图像中的一部分进行处理，计算量较小；当然最优选的实施方式，还可以对整个第一图像进行处理，提高图像的安全。

本实施例中，对于选取的图像区域，通过与获取的高斯模板逐点对应相乘，各像素点相乘后的值作为各像素点的生成值，将第一图像中图像区域内的像素值逐点替换为上述生成值，替换后的图像即为第二图像；反之，当需要第二图像恢复为第一图像，其方式为，对于特殊点邻域内的像素点，均逐点除以高斯模板中的值，各点所得值若均为整数，即以所得值逐点替换特殊点邻域内各像素点的像素值，恢复为第一图像。

本实施例中的高斯模板作为第二明文数据进行加密后，获得第二密文数据，加密方式可采用对称加密方式，提高加密解密的速度，而所损失的安全性由其他加密环节弥补。

步骤三：将不同组的图像设置编号，按照编号顺序，将相邻组的第二图像中的所述图像区域中的行或列的像素点进行不同组间的替换，获取第三图像；

本实施例中，设第二图像中的图像区域为Ci(i表示组数，i＝2,3…)，以三组第二图像为例，其中三组第二图像中的图像区域分别为C1、C2、C3，图像区域的尺寸大小均为5×5，像素点进行组间列像素点的替换的过程，进行具体的介绍：

设图像区域C1为(a1，a2，a3，a4，a5)，图像区域C2为(b1，b2，b3，b4，b5)，图像区域C3为(d1，d2，d3，d4，d5)，其中，将图像区域C1的第2列与图像区域C2的第2列相互替换，将图像区域C2与图像区域C3的第3列相互替换，得到图像区域C1为(a1，b2，a3，a4，a5)，图像区域C2为(b1，a2，d3，b4，b5)，图像区域C3为(d1，d2，b3，d4，d5)。

关于具体的替换手段，这里并不限定具体的替换方式，可以根据实际情况进行设定，但最终的目的都是增加数据的复杂性，进而保证数据的安全。

作为其他实施方式，本实施例中，在进行不同组间的像素点的替换之前，还包括对图像中图像区域进行处理，设图像Ci中的图像区域为km，则对图像区域km进行旋转等操作。

步骤四：发送方将所述第一密文、第二密文、第二图像和第三图像打包并发送至接收方；接收方首先需要解密第二密文获取第二明文，通过第二明文和第二图像提取出所述图像区域，根据所述图像区域结合步骤三，获取第四图像数据；

本实施例，第二密文通过对称加密的密钥进行解密，获取第二明文，也即提取的高斯模板数据(在数据加密过程中，根据图像区域中的像素点结合高斯核函数得到的)；根据该模板，对第二图像进行遍历提取，提取出每组的第二图像对应的图像区域，并将第二图像恢复为第一图像。

步骤五：判断第三图像与第四图像是否一致，若一致，则验证通过，并获取第一密文，对所述第一密文进行解密，解密后获取第一明文，接收者解密完成后，利用所述第一明文和所述第二明文还原第二图像，得到所述不同组的数据。

本实施例中的第三图像与第四图像一致性的判断是采用欧式距离计算相似度，当相似度为1时，则验证通过，获取第一密文数据。

本发明中，数据传输与加密方式通常用于本地端服务器上传至中心服务器过程中，用于避免数据泄露以及提高加密解密的速度，提高传输效率，后续中心服务器对所接收到的不同本地端服务器的数据进行整合分析，实施者可采用频数分析、描述分析、IPA分析、差异分析、帕累托图法、聚类分析、对应分析和回归分析等多种分析方法对市场调研数据进行分析。

基于与方法同样的发明构思，本发明还提供了基于大数据的市场调研数据传输系统系统，包括存储器和处理器，所述存储器用于存储计算机程序指令，所述计算机程序指令被处理器执行时实现以下步骤：

步骤1，将市场调研数据按照属性进行分类，其中，分类后的市场调研数据包括至少两组数据；并对不同组的数据进行标准化处理，将标准化后的每组数据构建成二维数组，根据每一组的二维数组，获取每组对应的第一图像；所述标准化处理为利用标准化系数将所述数据归至[0,255]范围内，将所述标准化系数作为第一明文，对所述第一明文进行加密，获取第一密文；

步骤2，利用设定规则对第一图像进行处理，获取第二图像；

所述设定规则为：

1)随机选择第一图像中的一个像素点p，以像素点p为中心，按照设定的半径，确定所述像素点p的图像区域；

2)构建高斯核函数；

3)利用构建的高斯函数，计算所述图像区域内的所有像素点对应的函数值，并将所述函数值按照矩阵的形式组成模板，所述模板的函数值与所述图像区域的像素点是一一对应的；

4)将所述图像区域的像素点与所述模板的函数值一一对应相乘后得到对应的值，将该值替换所述图像区域的像素点，获取第二图像；

其中，将所述模板作为第二明文，并对所述第二明文加密，获取第二密文；

步骤3，将不同组的图像设置编号，按照编号顺序，将相邻组的第二图像中的所述图像区域中的行或列的像素点进行不同组间的替换，获取第三图像；

步骤4，发送方将所述第一密文、第二密文、第二图像和第三图像打包并发送至接收方；接收方首先需要解密第二密文获取第二明文，通过第二明文和第二图像提取出对应的图像区域特征，根据所述图像区域特征，按照步骤三，获取第四图像；

步骤5，判断第三图像与第四图像是否一致，若一致，则验证通过，并获取第一密文，对所述第一密文进行解密，获取第一明文，在解密完成后，利用所述第一明文和所述第二明文还原第二图像，得到所述不同组的数据。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全软件实施例或结合软件或硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(模块、系统)和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。