轻量级大数据运算系统Helius

摘要：

针对Spark数据集不可变,以及Java虚拟机(JVM)依赖环境引起的代码执行、内存管理、数据序列化/反序列化等开销过多的不足,采用C/C++语言,设计并实现了一种轻量级的大数据运算系统-Helius.Helius支持Spark的基本操作,同时允许数据集整体修改;同时,Helius利用C/C++优化内存管理和网络传输,并采用stateless worker机制简化分布式计算平台的容错恢复过程.实验结果显示:5次迭代中,Helius运行PageRank算法的时间仅为Spark的25.12％～53.14％,运行TPCHQ6的时间仅为Spark的57.37％;在PageRank迭代1次的基础上,运行在Helius系统下时,master节点IP接收和发送数据量约为运行于Spark系统的40％和15％,而且200 s的运行过程中,Helius占用的总内存约为Spark的25％.实验结果与分析表明,与Spark相比,Helius具有节约内存、不需要序列化和反序列化、减少网络交互以及容错简单等优点.

关键词：内存计算、大数据运算、分布式计算、有向无环图调度、容错恢复

所属期刊栏目：37

分类号：TP311.133.1(计算技术、计算机技术)

资助基金：the CAS Hundred Talents Program,the General Project of the National Natural Science Foundation of China61572468;the Innovative Community Project of the National Natural Science Foundation of China 61521092.中国科学院“百人计划”项目;国家自然科学基金面上项目61572468;国家自然科学基金创新群体项目61521092

在线出版日期：2017-04-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：305-310