一个基于Web的轻量级大数据处理与可视化工具

摘要：

科研人员在日常研究中经常使用Excel,Spss等工具对数据进行分析加工来获得相关领域知识.然而随着大数据时代的到来,常用的数据处理软件因单机性能的限制已经不能满足科研人员对大数据分析处理的需求.大数据的处理和可视化离不开分布式计算环境.因此,为了完成对大数据的快速处理和可视化,科研人员不仅需要购置、维护分布式集群环境,还需要具备分布式环境下的编程能力和相应的前端数据可视化技术.这对很多非计算机科班的数据分析工作者而言是非常困难且不必要的.针对上述问题,提出了一种基于Web的轻量级大数据处理和可视化工具.通过该工具,数据分析工作者只需通过简单的点击和拖动,便可以在浏览器中轻松地打开大型数据文件(G B级别)、快速地对文件进行定位(跳转到文件某一行)、方便地调用分布式计算框架来对文件内容进行排序或求极大值、便捷地对数据进行可视化等.实证研究证明,该解决方案是有效的.

关键词：数据分析、分布式系统、并行计算、数据可视化、大数据

所属期刊栏目：45

分类号：TP399(计算技术、计算机技术)

资助基金：国家重点研发计划2016YFB1000105 ,国家自然科学基金61690201 ,61421091

在线出版日期：2018-10-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：60-64,93