用于处理数据的方法、装置、设备以及存储介质

摘要

本申请公开了一种用于处理数据的方法、装置、设备以及存储介质，涉及数据处理、人工智能、深度学习领域。具体实现方案为：获取待处理数据，待处理数据中包括数据特征；确定数据特征的类型；基于类型，确定数据特征对应的方法函数；利用方法函数处理待处理数据，并输出处理结果。本实现方式通过自动化地对数据特征的类型进行判断并选择合适的方法对各数据特征进行预处理，可以减少对用于机器学习的样本特征进行预处理时的人力和时间成本，从而提高机器学习中的建模效果和效率。

说明书

技术领域

本申请涉及数据处理领域，具体涉及数据处理、人工智能、深度学习领域，尤其涉及用于处理数据的方法、装置、设备以及存储介质。

背景技术

特征预处理是将原始数据转换为机器学习模型可用的数据。在机器学习任务中，特征预处理在机器学习任务中占有相当重要的地位。数据集的质量优劣和特征是否合适对模型训练的结果影响非常大。可以说，一定程度上，是数据和特征决定了机器学习的上限。因此，特征预处理成为机器学习中不可或缺的一个环节。

目前对于机器学习中的特征预处理，往往通过手动预处理特征。比如拿到数据后，首先对数据进行探索，研究数据所在的领域或请教领域专家，利用领域知识对一组一组的数据特征进行预处理。耗时长，且对手动处理者的专业能力素质要求比较高。

发明内容

本公开提供了一种用于处理数据的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种用于处理数据的方法，包括：获取待处理数据，待处理数据中包括数据特征；确定数据特征的类型；基于类型，确定数据特征对应的方法函数；利用方法函数处理待处理数据，并输出处理结果。

根据本公开的另一方面，提供了一种用于处理数据的装置，包括：获取单元，被配置成获取待处理数据，待处理数据中包括数据特征；类型确定单元，被配置成确定数据特征的类型；方法函数确定单元，被配置成基于类型，确定数据特征对应的方法函数；输出单元，被配置成利用方法函数处理待处理数据，并输出处理结果。

根据本公开的再一方面，提供了一种用于处理数据的电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述用于处理数据的方法。

根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如上述用于处理数据的方法。

根据本申请的技术解决了手动预处理入模特征时，耗时长，且对特征处理者的专业能力素质要求高的问题，通过自动化地对数据特征的类型进行判断并选择合适的方法对各数据特征进行预处理，可以减少对用于机器学习的样本特征进行预处理时的人力和时间成本，从而提高机器学习中的建模效果和效率。。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的用于处理数据的方法的一个实施例的流程图；

图3是根据本申请的用于处理数据的方法的一个应用场景的示意图；

图4是根据本申请的用于处理数据的方法的另一个实施例的流程图；

图5是根据本申请的用于处理数据的装置的一个实施例的结构示意图；

图6是用来实现本申请实施例的用于处理数据的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于处理数据的方法或用于处理数据的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如数据处理类应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103采集的待处理数据进行处理的后台服务器。后台服务器可以获取待处理数据，并确定待处理数据中的数据特征的类型，并基于得到的数据特征的类型，确定该数据特征对应的方法函数，利用该方法函数处理待处理数据，并输出处理结果。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请实施例所提供的用于处理数据的方法一般由服务器105执行。相应地，用于处理数据的装置一般设置于服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的用于处理数据的方法的一个实施例的流程200。本实施例的用于处理数据的方法，包括以下步骤：

步骤201，获取待处理数据，待处理数据中包括数据特征。

本实施例中，用于处理数据的方法的执行主体(例如图1中的服务器105)可以通过有线连接或无线连接的方式，从本地存储或外接数据库服务器上获取待处理数据，待处理数据中包括数据特征。数据特征，例如可以是“一周登录次数”、“地区”等。待处理数据，例如可以是包含特征ID、特征名、特征类别、平均值、最大值、最小值、方差、中位数和众数等的数据。待处理数据可以是用于进行神经网络模型训练的数据，本申请对待处理数据的用途不做具体限定。

步骤202，确定数据特征的类型。

执行主体在获取待处理数据后，可以确定待处理数据中的数据特征的类型。具体地，执行主体可以根据待处理数据中的数据特征和预训练的分类模型，确定数据特征对应的类别标识，根据得到的数据特征对应的类别标识可以确定数据特征的类型。其中，预训练的分类模型用于表征数据特征和类别标识的对应关系。示例的，数据特征可以是“一周登录次数”或“地区”，对应的类别标识分别为01，02，其中，01代表数值型特征，02代表类别型特征。由此，可以得到数据特征“一周登录次数”是数值型特征，数据特征“地区”是类别型特征。

步骤203，基于类型，确定数据特征对应的方法函数。

执行主体在得到数据特征的类型后，可以基于数据特征的类型，确定数据特征对应的方法函数。具体地，执行主体可以根据经验，即根据历史数据特征的类型对应的方法函数确定当前数据特征对应的方法函数。作为另一实现方式，执行主体还可以根据各数据特征的类型和预训练的模型，确定各数据特征对应的方法函数，其中，该预训练的模型用于表征数据特征的类型与方法函数之间的对应关系。作为另一实现方式，执行主体还可以通过半自动的方式，根据手动辅助修正选择各数据特征对应的方法函数，以提高对对应数据特征的方法函数确定的准确性。

步骤204，利用方法函数处理待处理数据，并输出处理结果。

执行主体在确定数据特征对应的方法函数后，可以利用确定的方法函数对应处理待处理数据，并输出处理结果。

继续参考图3，其示出了根据本申请的用于处理数据的方法的一个应用场景的示意图。在图3的应用场景中，处理器303获取待处理数据301，待处理数据301中包括数据特征302。服务器303确定数据特征的类型304。服务器303基于该类型304，确定数据特征对应的方法函数305。服务器303利用方法函数305处理待处理数据301，并输出处理结果306。

本实施例通过自动化地对数据特征的类型进行判断并选择合适的方法对各数据特征进行预处理，可以减少对用于机器学习的样本特征进行预处理时的人力和时间成本，从而提高机器学习中的建模效果和效率。

继续参考图4，其示出了根据本申请的用于处理数据的方法的另一个实施例的流程400。如图4所示，本实施例的用于处理数据的方法，可以包括以下步骤：

步骤401，获取待处理数据，待处理数据中包括数据特征。

步骤402，确定数据特征的类型。

步骤401～步骤402的原理与步骤201～步骤202的原理类似，此处不再赘述。

具体地，步骤402可以通过步骤4021来实现：

步骤4021，根据数据特征的字段是否是数字，确定数据特征是类别型特征或是数值型特征。

执行主体在获取待处理数据后，可以根据数据特征的字段是否是数字，确定数据特征是类别型特征或是数值型特征。具体地，执行主体可以通过判断待处理数据中的平均值、最大值、最小值、方差、中位数和众数字段中是否包含数字，来确定该待处理数据中的数据特征是类别型特征还是数值型特征。例如，当特征名为：“一周登录次数”，平均值为：“7”，最大值为：“22”，最小值为：“1”，方差为：“43”，中位数为：“15”，众数为：“6”时，确定该待处理数据中的数据特征是数值型特征。

本实施例通过根据数据特征的字段是否是数字，以此来准确确定数据特征是类别型特征还是数值型特征，可以提高对数据特征的类型确定的准确性。

步骤403，基于类型，确定数据特征对应的方法函数。

步骤403的原理与步骤203的原理类似，此处不再赘述。

具体地，步骤403可以通过步骤4031～步骤4033来实现：

步骤4031，响应于确定数据特征为类别型特征，对待处理数据进行平均数编码。

执行主体在确定数据特征为类别型特征后，可以对待处理数据进行平均数编码处理。平均数编码，是用来处理类别特征的有监督编码。当一个类别特征列包括了极多不同类别时，可以采用平均数编码进行处理。可以极大提升利用该数据进行训练的模型的性能。作为示例，平均数编码，例如，一个二值分类问题，Y∈{0,1}，数据中,颜色这一类别型特征有[深蓝、浅蓝、湖蓝、碧蓝、靛蓝、钴蓝、蔚蓝、宝蓝、藏蓝、冰蓝、宝石蓝、海蓝、湛蓝、橙红、粉红、紫红……](N＝1600)，如果使用onehot编码处理，仅颜色这一个类别型特征，我们将会得到1600维特征，这可能会造成整体的数据量暴增。利用平均数编码，对于特征的取值，例如，颜色＝深蓝，我们用它对应的目标Y值的概率(看到这种特征取这个值，这个样本的分类是Y＝1的概率)来对其进行编码表示，这样处理后，颜色这一类别特征只用一维特征即可完成编码表达。在实际应用中，可以极大提升模型的性能。

本实施例通过将确定出的类别型特征进行平均数编码，可以提高数据处理的准确性，可以极大提升利用该数据进行训练的模型的性能。

步骤4032，获取对应待处理数据的配置信息。

执行主体在确定数据特征的类型后，可以获取对应该数据特征的待处理数据的配置信息。具体地，配置信息可以是是否需要进行缺失值填充、输出值的数值范围、是否选择降低过拟合以及是否有输出要求等信息。

步骤4033，响应于确定数据特征为数值型特征，根据配置信息，确定数据特征对应的方法函数。

执行主体在获取对应待处理数据的配置信息后，响应于确定数据特征为数值型特征，可以根据配置信息，确定数据特征对应的方法函数。具体地，方法函数可以包括缺失值填充、标准化、归一化、log变换、特征二值化和平均数编码。其中，平均数编码用于处理类别型特征。

具体地，执行主体首先可以根据配置信息中的是否需要进行缺失值的填充，进行缺失值的处理，具体地，执行主体可以对特征存在缺失值的数据特征进行处理，可使用均值，众数，中位数等进行缺失值的填充。

然后，执行主体可以判断特征值的分布，如果特征值的分布是右偏或左偏分布，则可以对对应的数据特征进行log变换，其中，如果平均数＝中位数＝众数，则是对称分布；如果平均数<中位数<众数，则是左偏分布；如果众数<中位数<平均数，则是右偏分布；如果方差大于设定阈值，则数据较为分散。log变换通常用来创建单调的数据变换。它的主要作用是帮助稳定方差，始终保持分布接近于正态分布并使得数据与分布的平均值无关。当特征值倾斜分布时，也就是左偏或右偏分布时，可以进行log变换，log变换倾向于拉伸落在较低的幅度范围内自变量的范围，压缩或减少更高幅度范围内的自变量值的范围，从而使得倾斜分布更可能地接近正态分布。例如，针对一些数值连续特征的方差不稳定，特征值重尾分布，采用log变换可调整整个数据分布的方差，属于方差稳定型数据转换。

如果，执行主体确认配置信息中选择输出是在0～1范围内，则进行归一化处理。具体地，是利用边界值(最大、最小值)信息，将特征值缩放到[0，1]范围内。

如果，执行主体确定配置信息中没有输出要求，则优先选择标准化处理。标准化处理，可以消除指标之间特征值不同量级的影响，可基于原始需处理特征数据的均值和标准差进行数据的标准化，也称标准差标准化。经过标准化处理后的数据成正态分布，均值为0，标准差为1。

如果，执行主体确定配置信息中选择降低过拟合，则选择二值化方法函数。二值化方法函数，即进行特征二值化，设定一个阈值，大于该阈值的特征赋值为1，小于等于该阈值的特征赋值为0。在一些场景中，特征的二值化可以降低模型过拟合的情况。

本实施例通过根据配置信息，确定数值型特征对应的方法函数，可以实现自动化地选择合适的方法对特征进行预处理，从而提高机器学习中的建模效果和效率。

步骤404，利用方法函数处理待处理数据，并输出处理结果。

步骤404的原理与步骤204的原理类似，此处不再赘述。

步骤405，合并各处理结果，得到目标数据，并输出。

执行主体在得到处理结果后，可以合并各处理结果，得到目标数据，并输出。目标数据可以是输入到待训练模型中的数据，其合并了各方法函数的处理结果，得到较为完善的入模样本数据。具体地，本实施例中，执行主体可以根据特征所需要进行的处理方法不同，生成特征id-处理方法函数映射字典，然后在各方法函数处理阶段，会针对每个不同方法，读取对应的特征id对应的数据，并利用对应的方法函数，将读取的数据中的各维特征进行变换处理，分别生成对应各方法函数的独立文件。最终，在合并阶段，会按照特征id的顺序，将变换后的对应各方法函数的独立文件按特征id的顺序合并成一个新文件，得到目标数据，并输出至指定位置。

本实施例通过合并各方法函数得到的独立文件，得到完善的用于输入模型进行训练的质量较高的样本数据，可以提高机器学习中的建模效果和效率，减少人力和时间成本。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于处理数据的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的用于处理数据的装置500包括：获取单元501、类型确定单元502、方法函数确定单元503和输出单元504。

获取单元501，被配置成获取待处理数据，待处理数据中包括数据特征。

类型确定单元502，被配置成确定数据特征的类型。

方法函数确定单元503，被配置成基于类型，确定数据特征对应的方法函数。

输出单元504，被配置成利用方法函数处理待处理数据，并输出处理结果。

在本实施例的一些可选的实现方式中，类型确定单元502进一步被配置成：根据数据特征的字段是否是数字，确定数据特征是类别型特征或是数值型特征。

在本实施例的一些可选的实现方式中，方法函数确定单元503进一步被配置成：响应于确定数据特征为类别型特征，对待处理数据进行平均数编码。

在本实施例的一些可选的实现方式中，方法函数确定单元503进一步被配置成：获取对应待处理数据的配置信息；响应于确定数据特征为数值型特征，根据配置信息，确定数据特征对应的方法函数。

在本实施例的一些可选的实现方式中，装置还包括图5中未示出的合并单元，被配置成：合并各处理结果，得到目标数据，并输出。

应当理解，用于处理数据的装置500中记载的单元501至单元504分别与参考图2中描述的方法中的各个步骤相对应。由此，上文针对用于处理数据的方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例的用于处理数据的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线605互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线605与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的用于处理数据的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于处理数据的方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及单元，如本申请实施例中的用于处理数据的方法对应的程序指令/单元(例如，附图5所示的获取单元501、类型确定单元502、方法函数确定单元503和输出单元504)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于处理数据的方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于处理数据的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至用于处理数据的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用于处理数据的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线605或者其他方式连接，图6中以通过总线605连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与用于处理数据的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过自动化地对数据特征的类型进行判断并选择合适的方法对各数据特征进行预处理，可以减少对用于机器学习的样本特征进行预处理时的人力和时间成本，从而提高机器学习中的建模效果和效率。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。