基于LZO的Hadoop文件归档优化方法

摘要：

Hadoop分布式框架被广泛应用于各行业大数据处理领域,但在存储大量小文件时会产生更多的元数据信息,导致名称节点的内存占用过多,影响其对外提供高性能和高并发访问的能力.对小文件进行归档存储,是有效解决该问题的常用方案.同时,考虑到数据压缩可有效减少数据存储空间大小与网络数据传输负载,本文提出一种基于实时无损压缩算法LZO的Hadoop文件归档优化方法LA(LZO-Archive).该方法先对小文件进行归档合并,在索引文件生成阶段融合LZO压缩算法,减少索引文件的生成时间.同时,设计一种文件压缩存储算法,对数据文件和索引文件进行压缩存储,有效减少了数据所占用的数据节点磁盘空间大小和名称节点内存空间占用大小.实验结果表明,相对于原始的HDFS数据存储方法、基准的文件归档方法HAR以及对比方法LHF,本文提出的LA方法在文件归档时间、名称节点内存占用、数据节点磁盘空间占用、文件访问时间等方面表现更好.

关键词：Hadoop、HDFS、小文件、归档方案、LZO算法

分类号：TP311;TP333(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;江西省自然科学基金资助项目;江西省放射性地学大数据技术工程实验室开放基金资助项目;江苏省高等学校基础科学自然科学研究项目

在线出版日期：2023-07-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1-6,26