10.3778/j.issn.1002-8331.1806-0350
海量样本数据集中小文件的存取优化研究
针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在海量样本数据集存储方面存在内存占用多、读取效率低的问题,以及分布式数据库HBase在存储文件名重复度和类似度高时产生访问热点的问题,结合样本数据集的特点、类型,提出一种面向样本数据集存取优化方案,优化样本数据集中小文件的写入、读取、添加、删除和替换策略.该方案根据硬件配置测得大、小文件的分界点,通过变尺度堆栈算法按样本数据集的目录结构将小文件合并存储至HDFS;结合行键优化策略将文件索引存储在HBase数据表中;搭建基于Ehcache缓存框架的预取机制.实验结果表明,该方案降低了主节点的内存消耗,提高了文件的读取效率,实现了对海量样本数据集中小文件的高效存取.
Hadoop分布式文件系统(HDFS)、小文件、样本数据集、缓存预取、分布式数据库、HBase
54
TP311(计算技术、计算机技术)
新疆维吾尔自治区自然科学基金2016D01C048
2018-12-14(万方平台首次上网日期,不代表论文的发表时间)
共6页
80-84,98