基于Hadoop的小文件存储优化方案

摘要：

Hadoop作为成熟的分布式云平台，对较大的文件提供了可靠高效的存储服务，但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案，利用教育资源小文件间的关联关系，将小文件进行合并成大文件以减少文件数量，并索引机制访问小文件、元数据缓存和关联小文件预取机制来提高文件的读取效率。实验结果表明，该方法提高了Hadoop文件系统存储小文件的存取效率。

关键词：Hadoop、索引机制、关联关系、小文件存储

分类号：TP391.6(计算技术、计算机技术)

资助基金：教育部-中国移动科研基金MCM20121041；国家自然科学基金61133016,61103206；国家863计划2011AA010706

在线出版日期：2016-03-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：141-145