10.3979/j.issn.1673-825X.2016.01.019
基于 HBase 的小文件高效存储方法
基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统(Hadoop distributed file system, HDFS)通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase(Hadoop database)的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器(Name-Node)的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。
Hadoop 分布式文件系统(HDFS)、海量数据、HBase、小文件存储、读写性能
TP393.0(计算技术、计算机技术)
2016-04-01(万方平台首次上网日期,不代表论文的发表时间)
共6页
125-130