一种面向分布式文件系统的文件预取模型的设计与实现

摘要：

如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点.文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现.启发式文件预取对上层应用透明,采用在文件系统内部建立预取线程池的方法,以组成文件块的数据存储文件为预取单位,在分布式文件系统内部实现.这种设计思路具有一定的普适性,适合推广应用于多种分布式文件系统.实验结果表明,所述的启发式文件预取,能够有效提升分布式文件系统的I/O性能.

关键词：分布式文件系统、文件预取、启发式、HDFS

所属期刊栏目：41

分类号：TP393(计算技术、计算机技术)

资助基金：国家“十二五”863计划信息技术领域重大项目“云计算关键技术与系统”课题:以公众汉语服务为主的搜索引擎研制2011AA01A205

在线出版日期：2014-09-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：30-35