基于MapReduce的数据立方体分区优化算法研究

摘要：

文章利用并行计算框架MapReduce,探索数据立方体的计算问题.数据立方体的计算存在两个关键问题,一个是计算时间的问题,另一个是立方体的体积问题.随着维度的增加,计算时间将呈现指数级的增长,立方体的体积也是如此.尽管MapReduce是一个优秀的并行计算框架,但在处理数据倾斜时,分区算法不够完善,导致一些计算任务时间过长,影响整个作业的完成时间.本文通过数据采样的方式,优化数据分区,实验结果表明,数据立方体的计算的性能明显提升.为解决数据立方体体积过大的问题,在Reduce阶段将最终的结果输出到基于NoSQL的HBase数据库进行存储,HBase方便水平扩展,同时也便于日后对数据立方体的查询.

关键词：数据立方体、数据分区、数据分析

所属期刊栏目：5

分类号：TP3;TU9

在线出版日期：2014-05-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：18-23