基于HDFS的复合式大数据存储研究

摘要：

Hadoop中的HDFS是大数据存储处理的关键技术之一，HDFS有着存储超大数据集高效可靠等优点，HDFS存储小文件有着明显的缺陷。HBase是有着非常高效的数据查询能力，本文目标是结合HDFS和HBase各自的优点，设计一个复合式的大数据存储系统，将大于64MB文件存储在HDFS中；大于10M小于64MB文件存储在HDFS中，将文件目录存储在HBase中，提高检索速度；小于10M的文件直接存储在HBase中，较好的解决了大量小文件存储时NameNode内存瓶颈问题。实验证明这种设计能够提高存储效率。

关键词：HDFS、复合式、大数据存储

分类号：TP333(计算技术、计算机技术)

在线出版日期：2015-09-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：51-53