基于EHDFS的海量小文件存储与检索方法

摘要：

为有效解决HDFS面对多类型的海量小文件存在存储效率与检索速率低下的问题,构建一种基于EHDFS架构的存取方案.存储阶段,引入最优化策略,建立新的合并存储模型,使小文件最大化填满且均匀分布于Block,提高DataNode空间利用,降低NameNode内存开销.检索阶段,改进MapFile映射关系结构、索引存储位置与组成元素以建立新的文件索引模型,避免跨跃式文件搜索,实现小文件的集中检索.实验结果表明,对比多种大数据存储模型,在不同数据量的分组压力测试下,该方案有效提高了HDFS的存取效率.

关键词：海量小文件;EHDFS架构;最优化合并存储模型;MapFile映射关系结构;文件索引模型

所属期刊栏目：43

分类号：TP302(计算技术、计算机技术)

资助基金：陕西省重点项目2019NY-164

在线出版日期：2022-03-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：376-383