基于 HBase 的小文件高效存储方法

摘要：

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system， HDFS）通过分布式的工作方式，负责处理海量文件数据。对 HDFS 而言，海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况，提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法，利用 HBase 的存储优势，将小文件直接存储于 HBase，从而有效减少元数据节点服务器（Name-Node）的负载，并对上层应用系统提供透明的访问接口。实验结果表明，该方法可以实现海量小文件的高效存储，提高 HDFS 环境下小文件的读写效率。

关键词：Hadoop 分布式文件系统(HDFS)、海量数据、HBase、小文件存储、读写性能

分类号：TP393.0(计算技术、计算机技术)

在线出版日期：2016-04-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：125-130