Hadoop中处理海量小文件的方法

摘要：

针对Hadoop中提供底层存储的HDFS对处理海量小文件效率低下、严重影响性能的问题.设计了一种小文件合并、索引和提取方案,并与原始的HDFS以及HAR文件归档方案进行对比,通过一系列实验表明,本文的方案能有效减少Namenode内存占用,提高HDFS的I/O性能.

关键词：Hadoop、HDFS、小文件、HDFS的I/O性能

所属期刊栏目：24

分类号：TN9;F27

资助基金：2013年度科技部科技支撑计划2013BAJ10B14-5

在线出版日期：2016-08-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：157-161