使用内存缓存的迭代应用编程框架

摘要：

迭代式计算是一类重要的大数据分析应用.在分布式计算框架MapReduce上实现迭代计算时,计算会被分解成多个作业并按作业依存关系顺序运行,这使得程序与分布式文件系统(DFS)有多次交互而影响程序执行时间.对这些交互相关数据的缓存会降低与DFS的交互时间,进而提升程序总体的性能.考虑到集群中的大量内存在多数情况下会处于空闲状态,提出了一种使用内存缓存的迭代式应用编程框架MemLoop.该系统从作业提交API、调度算法、缓存管理模块实现缓存管理以充分利用内存缓存迭代间可驻留数据与迭代内依存数据.我们将此框架与已有相关框架进行了比较,实验结果表明该框架能够提升迭代程序的性能.

关键词：作业依存、内存缓存、迭代程序、迭代间可驻留数据、迭代内依存数据

所属期刊栏目：24

分类号：TP3;TN9

资助基金：国家自然科学基金61100067

在线出版日期：2015-05-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：44-49