一种多维度数据结构集成交互方法

摘要

本发明提供了一种多维度数据结构集成交互方法，涉及数据处理技术领域，包括以下步骤，步骤S10，对初始数据的进行采集、录入并标记；步骤S20，进行前置验证，展开无效数据校验；步骤S30，对数据进行特征提取，并进行分类；步骤S40，判断各个分类中的数据是否异常，输出判断结果；步骤S50，基于判断结果和数据标记，进行数据溯源，输出溯源结果，向用户进行反馈。在存在若干个数据接口时，能判断出数据中的异常部分，使用户能够快速地从众多数据以及众多数据接口中进行回溯，从而能够从根源上来核查数据异常和无效的原因，实用性更好。

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种多维度数据结构集成交互方法。

背景技术

金融企业在风控、反欺诈以及信用调查等方面，大多是通过多个不同的数据接口来获取用户的信息数据，在对数据进行有效性检测之后，再和数据接口产生交互，反馈数据质量。

各个数据接口都会提供海量的原始数据到交互的数据池中，这些数据中会存在大量的无效数据、错误数据或者异常数据，现有的多维数据交互方法中，通常只能进行数据有效性验证，然后将验证无效或者错误的数据进行删除，但是难以判断出数据中的异常数据，并进行溯源，因此，现有的交互方法中，难以判断出数据异常或者无效的原因，进而在根源上来核查数据异常和无效的原因。

发明内容

本发明针对现有技术的不足，提供了一种多维度数据结构集成交互方法。

本发明通过以下技术手段实现解决上述技术问题的：一种多维度数据结构集成交互方法，包括以下步骤，步骤S10，对初始数据的进行采集、录入并标记；步骤S20，进行前置验证，展开无效数据校验；步骤S30，对数据进行特征提取，并进行分类；步骤S40，判断各个分类中的数据是否异常，输出判断结果；步骤S50，基于判断结果和数据标记，进行数据溯源，输出溯源结果，向用户进行反馈。

进一步的，所述步骤S10包括，步骤S11，接收来自于若干个不同的数据接口来的原始数据，基于区块链技术，对数据进行标记；步骤S12，基于原始数据，建立相应的存储数据库；步骤S13，将标记后的原始数据录入至数据库中以及存储器。

进一步的，在步骤S20中，数据前置验证采用MD5校验和数字签名法，导出有效数据和无效数据。

进一步的，在步骤S30中，涉及的分类器为朴素贝叶斯分类器。

进一步的，所述步骤S30包括，步骤S31，通过机器学习模型对数据进行分类，输出分类的结果；步骤S32，基于步骤S31中的分类结果，通过专家评估模型进行评估，输出评估结果，并基于评估结果，对机器学习模型进行针对性地改进。

进一步的，所述步骤S40包括，步骤S41，对数据的异常参数进行定义，展开异常值计算；步骤S42，将异常值与阈值范围进行比对，输出比对结果。

进一步的，所述S50包括，步骤S51，将异常值与阈值范围进行对比，输出检测结果，判断数据为正常数据或是异常数据。

进一步的，如果步骤S51输出结果表示数据为异常数据，步骤S51之后还包括，步骤S52，建立异常数据池，用于对输出的异常数据进行储存；步骤S53，基于通用模板，对储存的异常数据进行封装，并将封装后的异常数据进行输出；步骤S54，调用异常数据，通过比对模块对异常数据上的数据标记进行标对，核验原始来源，输出核验结果；步骤S55，调用核验结果，向用户进行反馈。

进一步的，如果步骤S51输出结果表示数据为正常数据，步骤S51之后还包括，步骤S56，建立正常数据池，将正常数据存入，进行存储以及封装，形成封装数据；步骤S57，调用封装数据，向用户进行反馈。

进一步的，在步骤S55以及步骤S57之后，均包括步骤S66，生成工作日志。

本发明的有益效果：

本发明中，在存在若干个数据接口时，能判断出数据中的异常部分，使用户能够快速地从众多数据以及众多数据接口中进行回溯，从而能够从根源上来核查数据异常和无效的原因，实用性更好。

附图说明

图1为本发明的数据交互方法流程结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。

实施例

如图1所示，本实施例所述一种多维度数据结构集成交互方法，包括以下步骤，

步骤S10，展开初始数据的采集以及录入，并对数据来源进行标记；具体的，所述步骤S10包括以下步骤，

步骤S11，接收来自于若干个不同的数据接口来的原始数据，基于区块链技术，对数据进行标记，固定数据转移的路径；

其中，这若干个数据接口为数据原始来源，如果数据出现错误或者异常，可以对这些数据的来源进行溯源，确认是哪一个数据接口的数据产生了错误。

步骤S12，基于这些直接从数据接口处接收的原始数据，建立相应的存储数据库；用于对原始数据进行存储，也便于后期的调用；通过这个标记，能够便于用户了解到这个数据的来源；

步骤S13，将标记后的原始数据录入至数据库中，同时，数据库还配置有存储器，存入数据库中后就能完成存储；于是，用户在有需求时，能够直接从存储器中调用。

步骤S20，进行前置验证，展开无效数据校验，排除无意义数据；

使用时，由数据接口处接收到的数据中，会存在一定数量的无效数据或者无意义数据，对这类数据，需要进行排除，防止对数据的处理和交互产生干扰。

前置验证主要部分是有效性测试，导出有效数据和无效数据，将通过验证后的有效数据配置到相应的数据库以及储存器中；

在进行有效性测试时，可以采用MD5校验和数字签名法；这种检测完成速度快，能够适应于多种数据，在筛除掉无效数据后，能够减少无效数据的干扰；验证完成后，会导出有效数据和无效数据两个部分，将通过验证后的有效数据配置到相应的数据库以及储存器中，无效乃至于无意义的数据进行筛除，不再采用。

步骤S30，对数据进行特征提取，并且基于提取的特征，利用分类器进行分类；

使用时，通过利用分类器对数据进行分类，便于后续对数据的处理，也方便对数据调用防止数据杂乱无章；其中，分类器可以选用朴素贝叶斯分类器。进一步的，还可以建立若干个数据库以及对应的存储器，将分类后的若干组数据进行一一储存。

具体的，所述步骤S30包括，

步骤S31，通过机器学习模型对数据进行分类，根据数据自身的共同特征进行区分，输出分类的结果；

步骤S32，基于步骤S31中的分类结果，通过专家评估模型进行评估，输出评估结果；如果评估结果不再阈值范围之类时，基于评估结果，对机器学习模型进行针对性地改进，从而使得机器学习模型分类的效果更好。

步骤S40，判断各个分类中的数据是否异常，输出判断结果；

具体的，所述步骤S40包括，

步骤S41，对数据的异常参数进行定义，从各个分类中调用有效数据，展开异常值计算；

步骤S42，将计算出的异常值与用户预先配置好的阈值范围进行比对，判断是否在阈值范围之内，输出比对结果；

基于步骤S42进而就能够得出调用的数据是否异常，用时对上述各个步骤中，数据的处理和转移，基于区块链进行标记和固定，使得数据的转移路径可以追溯。

步骤S50，基于步骤S40输出的比对结果，基于数据标记，判断数据的原始来源，输出溯源结果，向用户进行反馈；

具体的，所述S50包括以下步骤，

步骤S51，计算的异常值预设的阈值范围之外时，则所被检测的数据为异常数据，输出检测结果；

步骤S52，相应地，建立异常数据池，用于对输出的异常数据进行储存；

步骤S53，基于通用模板，对储存的异常数据进行封装，并将封装后的异常数据进行输出，将封装结果存储在相应的数据库或者储存器中；

步骤S54，调用异常数据，通过比对模块对异常数据上的数据标记进行标对，确认异常数据的原始来源；

基于数据原始的来源，就能够确认相应的数据接口，能够得知是哪个数据接口输出了异常数据，需要对数据接口进行维护或者维护，基于这个判断，生成核验结果；

步骤S55，调用步骤S64中的核验结果，对核验结果进行输出，向用户进行反馈；

相应地，如果确认计算的异常值预设的阈值范围之内时，则所述被计算的数据为正常数据，

于是，所述步骤S50还包括，

步骤S56，确认计算的异常值预设的阈值范围之内时，则所被检测的数据为异常数据，输出检测结果；

步骤S57，相应地，建立正常数据池，将正常数据存入，进行存储以及封装；

步骤S58，调用步骤S68中的封装数据，向用户进行反馈；

在步骤S55以及步骤S58之后，均包括，

步骤S66，生成工作日志，从而便于用户进行核查和调用。

使用时，通过基于区块链对数据的转移路径进行标记，当检测出数据接口处输出数据后，能够对这些数据进行验证、分类以及检测，从而筛选出其中的异常数据，封装之后，用户能够根据这些异常数据上的标记和固定的路径，快速地判断出它来自哪个数据接口，能够便利地完成数据溯源工作，从而使用户能够对数据接口进行检修或者维护，完成整个数据交互流程，相对于现有的交互方法中只能对数据进行初步的有效性验证，本方案中，在存在若干个数据接口时，能判断出数据中的异常部分，使用户能够快速地从众多数据以及众多数据接口中进行回溯，从而能够从根源上来核查数据异常和无效的原因，实用性更好。

需要说明的是，在本文中，如若存在第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。