10.16208/j.issn1000-7024.2017.09.051
基于Spark的并行ETL
针对大数据中的"海量"特征,基于Spark研究并行ETL技术的相关内容,提出并设计一种分布式ETL方案,对不同的转换处理分别采用对应的并行方法.针对一般的非聚集处理,如常见的数据清洗、数据格式标准化处理,采用基于分区的并行管道处理算法,使数据处理在分区单元中快速完成,提高数据转换的效率;对于相应的聚集处理,如数据仓库中常见的数值数据的聚合处理,使用分区预聚合方式,最大限度降低数据传输的频次.相关实验结果表明,两种并行处理方法能够有效提高分布式ETL的处理效率和性能,加速大数据量的转换过程.
大数据、数据仓库、抽取、转换、加载、转换处理、分布式、火花大数据平台
38
TP311(计算技术、计算机技术)
上海市信息化发展基金项目XX-XXFZ-05-16-0139
2017-10-12(万方平台首次上网日期,不代表论文的发表时间)
共6页
2580-2585