面向Hadoop分布式文件系统的小文件存取优化方法

摘要：

为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法——SmartFS.SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS;当从HDFS获取文件时,根据基于文件关联关系的预取算法来提高文件访问效率,并提出基于预取的缓存替换算法来管理缓存空间,从而提高文件的命中率.实验结果表明,SmartFS有效减少了HDFS中NameNode的元数据空间,减少了用户与HDFS的交互次数,提高了小文件的存储效率和访问速度.

关键词：Hadoop分布式文件系统、小文件、文件关联、预取、缓存

所属期刊栏目：34

分类号：TP316.4(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61300100,61402100;中央高校基本科研业务费专项资金资助项目14D111210;上海市自然科学基金资助项目13ZR1451000

在线出版日期：2015-01-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：3091-3095,3099