10.16208/j.issn1000-7024.2018.05.049
航空货运中海量小文件的存储优化
针对Hadoop分布式文件系统在航空货运中海量小文件存储方面存在的低效率问题,提出一种面向航空货运中海量小文件的存储优化方法.通过分析航空货运数据交换平台中历史报文数据,构建用户的报文类型访问模型,计算报文类型的关联度,根据关联度将小文件合并成大文件后存储至HDFS;建立小文件索引以及数据缓存和相关小文件预取机制.实验结果表明,该方法对于Hadoop分布式文件系统存取航空货运海量小文件时NameNode的压力有明显缓解,提升了存取文件的时间效率,为航空货运中海量小文件的存储问题提供了技术支持.
航空货运数据交换平台、Hadoop分布式文件系统、海量小文件、网页排序算法、预取缓存
39
TP302(计算技术、计算机技术)
中国民航大学中央高校基金项目31220106A001;民航科技重大专项基金项目MHRD20140106、MHRD20160109
2018-09-29(万方平台首次上网日期,不代表论文的发表时间)
共6页
1484-1489