一种神经网络机器学习模型训练用分布式计算方法

摘要

本发明公开了一种神经网络机器学习模型训练用分布式计算方法，涉及领域，包括以下计算步骤：S1、数据采集：应用于对神经网络机器学习训模型训练系统的整体数据进行采集，并进行汇总处理；S2、数据输入：应用于将采集之后的整体数据输入至神经网络机器学习训模型训练系统内部；S3、数据分散：应用于将输入进系统内部的数据进行分散分配与处理，本发明的有益效果是：设置有采集模块，提高了神经网络机器学习训模型训练系统有关的整体数据采集的效率；设置有分散模块，方便了后续进行分别计算处理，降低了最终的误差值；设置有分析模块，提高了最终的分析结果；设置有输出模块，避免了出现意外导致的数据丢失，提高了整体的工作效率。

说明书

技术领域

本发明涉及神经网络模型训练技术领域，具体为一种神经网络机器学习模型训练用分布式计算方法。

背景技术

随着深度学习技术的发展，深度学习广泛应用于计算机视觉，语音识别，自动驾驶等领域，这些应用产生越来越多的训练数据，更大的训练数据集大大增加了神经网络模型的训练时间。为了尽可能地缩短神经网络模型的训练时间，大多数研究人员提出了分布式同步训练方法对神经网络模型进行分布式训练，分布式训练方式为加速训练过程的收敛提供了一个潜在的解决方案。现有技术较为死板，现有技术未对收集的数据进行分散处理，都是直接进行收集、处理到最终结果，使得后期研究人员进行对其数据分析时，容易发生偏差，使得达不到预期效果，而且未进行有效的模型训练对比与及时备份，使得整体效率低下，因此本发明需要设计一种神经网络机器学习模型训练用分布式计算方法来解决上述出现的问题。

发明内容

本发明的目的在于提供一种神经网络机器学习模型训练用分布式计算方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种神经网络机器学习模型训练用分布式计算方法，包括以下计算步骤：

S1、数据采集：应用于对神经网络机器学习训模型训练系统的整体数据进行采集，并进行汇总处理；

S2、数据输入：应用于将采集之后的整体数据输入至神经网络机器学习训模型训练系统内部；

S3、数据分散：应用于将输入进系统内部的数据进行分散分配与处理；

S4、数据分析：应用于将分散之后的数据分别进行分析处理；

S5、数据记忆：应用于将完成采集、输入、分散与分析之后的系统数据进行记忆学习，形成模拟训练；

S6、数据输出：应用于将完成记忆学习之后的数据进行正常输出。

优选的，包括学习模型训练系统，所述学习模型训练系统包括采集模块、输入模块、分散模块、分析模块、记忆模块、输出模块和控制终端；所述步骤S1数据采集基于采集模块实现，所述步骤S2数据输入基于输入模块实现，所述步骤S3数据分散基于分散模块实现，所述步骤S4数据分析基于分析模块实现，所述步骤S5数据记忆基于记忆模块实现，所述步骤S6数据输出基于输出模块实现。

优选的，所述采集模块还包括图片采集单元、视频采集单元和数据采集单元，所述图片采集单元应用于图片的分辨率采集，所述视频采集单元应用于采样速率的控制，所述数据采集单元应用于对神经网络机器学习训模型训练系统的整体数据进行采集。

优选的，所述分散模块还包括用户终端，所述用户终端包括手机和PAD，所述手机和PAD应用于将输入进系统内部的数据进行分散分配与处理。

优选的，所述分析模块还包括计算单元和模型训练单元，所述计算单元应用于将分散之后的数据分别进行计算处理，所述模型训练单元应用于将分散之后的数据分别进行模型训练处理。

优选的，所述计算单元还包括计算公式和计算工具，所述计算公式应用于将分散之后的数据分别带入公式进行计算处理，所述计算工具应用于将分散之后的数据分别带入公式辅助计算处理。

优选的，所述输出模块还包括备份单元，所述备份单元应用于将完成记忆学习之后的数据进行正常输出的同时进行备份处理。

优选的，单个所述计算公式为：

其中A

优选的，总体所述计算公式为：

优选的，所述采集模块、输入模块、分散模块、分析模块、记忆模块和输出模块均与控制终端电性连接。

与现有技术相比，本发明的有益效果是：

1、设置有采集模块，通过安装有图片采集单元，提高了后期图片的分辨率采集，通过安装有视频采集单元，提高了采样速率的控制，通过安装有数据采集单元，提高了神经网络机器学习训模型训练系统有关的整体数据采集的效率；

2、设置有分散模块，通过安装有用户终端如手机和PAD，将输入进系统内部的数据进行分散分配与处理，方便了后续进行分别计算处理，降低了最终的误差值；

3、设置有分析模块，通过安装有计算单元和模型训练单元，将分散之后的数据分别带入公式进行计算处理，将计算工具应用于将分散之后的数据分别带入公式辅助计算处理，提高了最终的分析结果；

4、设置有输出模块，通过安装有备份单元，及时将完成记忆学习之后的数据进行正常输出的同时进行备份处理，避免了出现意外导致的数据丢失，提高了整体的工作效率。

附图说明

图1为本发明计算方法结构图；

图2为本发明的结构流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：一种神经网络机器学习模型训练用分布式计算方法，包括以下计算步骤：

S1、数据采集：应用于对神经网络机器学习训模型训练系统的整体数据进行采集，即应用于神经网络机器学习训模型训练系统有关的整体数据采集，并进行汇总处理；

S2、数据输入：应用于将采集之后的整体数据输入至神经网络机器学习训模型训练系统内部；

S3、数据分散：应用于将输入进系统内部的数据进行分散分配与处理；

S4、数据分析：应用于将分散之后的数据分别进行分析处理；

S5、数据记忆：应用于将完成采集、输入、分散与分析之后的系统数据进行记忆学习，形成模拟训练；

S6、数据输出：应用于将完成记忆学习之后的数据进行正常输出，配合工作人员进行正常查看。

其中，包括学习模型训练系统，所述学习模型训练系统包括采集模块、输入模块、分散模块、分析模块、记忆模块、输出模块和控制终端；所述步骤S1数据采集基于采集模块实现，所述步骤S2数据输入基于输入模块实现，所述步骤S3数据分散基于分散模块实现，所述步骤S4数据分析基于分析模块实现，所述步骤S5数据记忆基于记忆模块实现，所述步骤S6数据输出基于输出模块实现。

其中，所述采集模块还包括图片采集单元、视频采集单元和数据采集单元，所述图片采集单元应用于图片的分辨率采集，所述视频采集单元应用于采样速率的控制，所述数据采集单元应用于神经网络机器学习训模型训练系统有关的整体数据采集。

其中，所述分散模块还包括用户终端，所述用户终端包括手机和PAD，所述手机和PAD应用于将输入进系统内部的数据进行分散分配与处理。

其中，所述分析模块还包括计算单元和模型训练单元，所述计算单元应用于将分散之后的数据分别进行计算处理，所述模型训练单元应用于将分散之后的数据分别进行模型训练处理。

其中，所述计算单元还包括计算公式和计算工具，所述计算公式应用于将分散之后的数据分别带入公式进行计算处理，所述计算工具应用于将分散之后的数据分别带入公式辅助计算处理。

其中，所述输出模块还包括备份单元，所述备份单元应用于将完成记忆学习之后的数据进行正常输出的同时进行备份处理。

其中，单个所述计算公式为：

其中A

其中，总体所述计算公式为：

其中S

具体实施例一：

单个计算公式：

总体计算公式：

当样本数量为1时，带入如上公式中可得：S

具体实施例二：

单个计算公式：

总体计算公式：

当样本数量为5时，带入如上公式中可得：

其中，所述采集模块、输入模块、分散模块、分析模块、记忆模块和输出模块均与控制终端电性连接。

具体的，使用本发明时，设置有采集模块，通过安装有图片采集单元，提高了后期图片的分辨率采集，通过安装有视频采集单元，提高了采样速率的控制，通过安装有数据采集单元，提高了神经网络机器学习训模型训练系统有关的整体数据采集的效率；设置有分散模块，通过安装有用户终端如手机和PAD，将输入进系统内部的数据进行分散分配与处理，方便了后续进行分别计算处理，降低了最终的误差值；设置有分析模块，通过安装有计算单元和模型训练单元，将分散之后的数据分别带入公式进行计算处理，将计算工具应用于将分散之后的数据分别带入公式辅助计算处理，提高了最终的分析结果；设置有输出模块，通过安装有备份单元，及时将完成记忆学习之后的数据进行正常输出的同时进行备份处理，避免了出现意外导致的数据丢失，提高了整体的工作效率。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。