基于Spark的交互式数据预处理系统

摘要：

高质量的决策依赖于高质量的数据,数据预处理是数据挖掘至关重要的环节.传统的数据预处理系统并不能很好的适用于大数据环境,企业现阶段主要使用Hadoop/Hive对海量数据进行预处理,但普遍存在耗时长、效率低、无交互等问题.提出了一种基于Spark的交互式数据预处理系统,系统提供一套通用的数据预处理组件,并支持组件的扩展,数据以电子表格的形式展现,系统记录用户的处理过程并支持撤销重做.本文从数据模型、数据预处理操作、交互式执行引擎以及交互式前端四个方面描述了系统架构.最后使用医疗脑卒中的真实数据对系统进行验证,实验结果表明,系统能够在大数据场景下满足交互式处理需求.

关键词：数据预处理、Spark、交互式、大数据

所属期刊栏目：25

分类号：TP3;G43

资助基金：国家自然科学基金U1435220

在线出版日期：2016-12-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：84-89