HPMR内存管理模块优化设计

摘要：

HPMR系统是一个采用MapReduce模型的高性能计算软件支撑平台,它改进了MapReduce模型以适应高性能计算的需求.高效的HPMR系统内存管理模块是保证其效率的重要模块.HPMR系统中有两个角色,Master和Worker.Master负责从输入数据文件中读入数据块并分配给Workers.Worker负责接收master分配的数据块、管理map函数的输入输出模块的输入输出数据、管理reduce函数输入输出数据.目前的内存管理模块存在管理通信冗余、管理低效、数据处理并行不足等缺点.本文根据成熟的内存优化理论,重新设计了HPMR底层的数据管理机制,提出了基于内存池的内存管理.实验表明,新的内存管理模块是保证HPMR系统高效的必要条件.

关键词：MapReduce、HPMR、内存池、数据管理

所属期刊栏目：20

分类号：TP3;TP2

资助基金：工信部核高基重大专项2009X01028-002-003;安徽省自然科学基金090412068

在线出版日期：2011-12-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：104-109