基于NoSQL的海量航空物流小文件分布式多级存储方法

摘要：

为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于NoSQL的海量小文件分布式多级存储方法.充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相关性将文件合并,然后采用分布式多级存储,使用内存式Redis数据库做缓存,HDFS做数据的持久化存储,其过程采用预取机制.实验结果表明,该方法有效提高了小文件的存取效率和磁盘的利用率,显著地降低了网络的带宽占用和集群NameNode的内存消耗,适合解决航空领域海量小文件存储问题.

关键词：小文件、Redis、HDFS、多级存储、预取机制

所属期刊栏目：34

分类号：TP311(计算技术、计算机技术)

资助基金：民航局科技创新重大专项基金资助项目MHRD20140106,MHRD20150107;中央高校基金资助项目3122014P004,3122016A001;中国民航大学天津市智能信号与图像处理重点实验室开放基金资助项目2015ASP02

在线出版日期：2017-07-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1433-1436,1441