基于递归随机搜索算法的Hadoop平台大数据软件系统研究

摘要

随着互联网时代的到来,互联网数据的产生和收集数量呈爆炸式发展.使用金融机构大数据抓取软件系统处理和存储相关数据成为许多商业机构和研究机构的常态化选择,金融机构大数据抓取软件系统可以简化使用者对于信息传输和信息计算的具体操作,便于提高使用者的使用效率和准确率.本文研究的金融机构大数据抓取软件系统通过Python和Java语言完成,主要包括:金融机构大数据抓取软件系统分析模块、金融机构大数据抓取软件系统优化模块、金融机构大数据抓取软件系统预测模块.在研究的过程当中本文采用了递归随机搜索算法、Java图形界面、Hadoop平台进行设计研究.经过测试,在选用服务器为Intel Atom D510时,金融机构大数据抓取软件系统优化模块在Hadoop集群上开展优化,系统任务执行时间变短,比原来的数据时间缩短了5％以上,优化有效.