海量样本数据集中小文件的存取优化研究

摘要：

针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在海量样本数据集存储方面存在内存占用多、读取效率低的问题,以及分布式数据库HBase在存储文件名重复度和类似度高时产生访问热点的问题,结合样本数据集的特点、类型,提出一种面向样本数据集存取优化方案,优化样本数据集中小文件的写入、读取、添加、删除和替换策略.该方案根据硬件配置测得大、小文件的分界点,通过变尺度堆栈算法按样本数据集的目录结构将小文件合并存储至HDFS;结合行键优化策略将文件索引存储在HBase数据表中;搭建基于Ehcache缓存框架的预取机制.实验结果表明,该方案降低了主节点的内存消耗,提高了文件的读取效率,实现了对海量样本数据集中小文件的高效存取.

关键词：Hadoop分布式文件系统(HDFS)、小文件、样本数据集、缓存预取、分布式数据库、HBase

所属期刊栏目：54

分类号：TP311(计算技术、计算机技术)

资助基金：新疆维吾尔自治区自然科学基金2016D01C048

在线出版日期：2018-12-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：80-84,98