一种基于混合索引的HDFS小文件存储策略

摘要：

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.

关键词：Hadoop分布式文件系统(HDFS)、小文件、元数据服务器、缓存、混合索引

所属期刊栏目：27

分类号：TP393(计算技术、计算机技术)

资助基金：重庆市教委科学技术研究项目KJ120513;工信部2012年物联网发展专项资金2-5;The Scientific and Technological Research Program of Chongqing Municipal Education CommissionKJ120513;The MIIT 2012 IOT Development Funds Project2-5

在线出版日期：2016-01-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：97-102