HDFS平台上以能效为考量的小文件合并

摘要：

为了解决Hadoop分布式文件系统(HDFS)平台上小文件的存在带来MapReduce程序运行能耗成本偏高问题，建立Hadoop节点集群的能耗模型进行分析推导，证明了在Hadoop平台上，存在能使程序运行能耗成本最低的最优文件大小，并在此基础上结合经济学边际分析理论提出一种基于能耗成本和访问成本考虑的最优文件大小判定策略。此策略可以对存放在HDFS上的小文件合并进行效益计算，将小文件合并为成本最优文件大小以获得最佳收益。通过实验证明了能效最优数据块大小的存在，并证明了成本和效益相结合利用边际分析理论来确定数据块大小的合理性和有效性。

关键词：云计算、Hadoop分布式文件系统、Hadoop、能效、边际分析

分类号：TP338.8(计算技术、计算机技术)

资助基金：国家自然科学基金项目61272148,61301136;高等学校博士学科点专项科研基金项目20120162110061,20120162120091

在线出版日期：2016-03-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：34-38