HDFS中高效存储小文件的方法

摘要：

为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题，将NameNode职责分离，使用单独的NFS服务器同步存储元数据信息，以降低Client数据请求压力，提供大吞吐量数据访问并改善访问延迟；设计文件与数据块的对应模式，允许在同一块中存储多个小文件，并对系统加以实现，为海量小文件的存储提供了一个有效的解决方案。实验结果表明，该机制可以在数据迅速增长的背景下实现海量小文件的高效存取。

关键词：Hadoop分布式文件系统、海量小文件、性能优化、职责分离、合并小文件

分类号：TP338.8(计算技术、计算机技术)

在线出版日期：2015-03-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：406-409