面向煤炭开采的大数据处理平台构建关键技术

摘要

针对我国煤炭开采技术已步入机械化、自动化、智能化无人开采及建设智慧矿山阶段,煤炭开采与其他工业领域一样逐步进入新的依靠数据生产的时代,由此产生的海量数据处理的问题,提出构建煤炭开采的大数据处理平台。在分析了我国煤炭开采生产中产生的数据量大、多样性、时效性强、数据失真可能性大、预判性要求高、数据价值密度低等特点,提出了以大数据理论和技术为基础,从硬件和软件两部分架构平台。硬件部分:提出基于原有信息化建设所选配服务器基础上,应用服务器集群技术搭建服务器集群,对其进行升级改配,不足部分再根据运行需要不断增配和调整;对集群服务器中的结点名称服务器内存大小,根据管理文件数量多少、文件块的大小、管理服务器的数量及每个服务数据的存储量,并结合服务器CPU的虚拟内核数及超线程数计算出其内存配置;对于服务器的CPU,提出主结点服务器用多内核多线程的CPU;对于集群存储系统,提出将服务器应用软件存储与海量数据储存分离,服务器本机选用固态盘用于存储应用软件,海量数据存储系统采用网络接入存储和存储区域网络集成整合模式,实现数据统一、集中管理、扩充容易、容错,保障网络无单点故障,提高集群I/O速度。软件部分:经分析平台构建需满足实现批量处理和流式计算及透明性,实现增量计算、分布式内存并行计算、高可用高可扩展的内存计算;满足煤炭开采生产中对各类数据的计数、求和、平均等计算,各类大量实时数据采集传感器数据的融合决策中的方差、标准差等实时计算等需要;满足多维度、长时间、多次重新计算等需要,提出采用Hadoop及Storm为主构建分布式大数据处理系统,其服务器操作系统用CentOS、日志消息处理用Flume软件、数据接入缓冲用kafka软件等关键技术,平台数据可视化软件使用户可根据需要做相应的选择,并不影响平台对数据的处理。