基于Hadoop集群的数据处理方法、装置、设备及存储介质

摘要

本发明公开了一种基于Hadoop集群的数据处理方法、装置、设备及存储介质，所述基于Hadoop集群的数据处理方法，包括：基于相同的软硬件资源和配置规则，对至少两个Hadoop集群进行部署；其中，至少两个Hadoop集群异地部署，且两个Hadoop集群之间的距离大于距离阈值；使用调度平台对至少两个Hadoop集群同步完成数据导入和数据加工；对至少两个Hadoop集群的运行状态进行监测，确定可用Hadoop集群；从可用Hadoop集群中确定目标Hadoop集群，以对数据需求方提供数据服务。通过上述技术方案，提升了Hadoop集群对外部环境变化的适应能力，增强了Hadoop集群对外提供数据服务的稳定性。