一个基于Web的轻量级大数据处理与可视化工具

摘要

科研人员在日常研究中经常使用Excel,Spss等工具对数据进行分析加工来获得相关领域知识.然而随着大数据时代的到来,常用的数据处理软件因单机性能的限制已经不能满足科研人员对大数据分析处理的需求.大数据的处理和可视化离不开分布式计算环境.因此,为了完成对大数据的快速处理和可视化,科研人员不光需要购置、维护分布式集群环境,还需要具备在分布式环境下编程的能力和相应的前端数据可视化技术.这对很多非计算机科班的数据分析工作者来讲是非常困难且不必要的.针对上述问题,提出了一种基于Web的轻量级大数据处理和可视化工具.通过该工具,数据分析工作者只需通过简单的点击和拖动,便可以在浏览器中轻松地打开大型数据文件(GB级别)、快速对文件进行定位(跳转到文件某一行)、方便地调用分布式计算框架对文件内容进行排序或求极大值、便捷地对数据进行可视化等操作.最后进行了相应的实证研究,证明该解决方案是有效的.