一种动态调整Batch-size的神经网络分布式训练方法

摘要

本发明公开了一种动态调整Batch‑size的神经网络分布式训练方法，涉及计算机神经网络分布式训练技术领域，该方法从处理训练数据集的角度出发，对于分布式集群中的每一计算节点，根据其计算力，动态调整Batch‑size和子数据集的划分。从而实现分布式训练集群的负载均衡处理。动态调整Batch‑size的分布式神经网络训练方法不仅可以充分利用各个计算节点的计算能力，还能保证各个计算节点完成本地数据集训练的时间大致相同，从而减少集群的同步开销，提高神经网络分布式训练效率，减少神经网络训练时间。