海量GNSS小文件云存储优化方法研究
GNSS数据量呈指数级趋势增长,Hadoop分布式文件系统(HDFS)解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题.针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提出了一种新的GNSS小文件云存储方法,优化了GNSS小文件的写入、读取、添加和删除策略.该方法分别按观测文件和解算成果的类型进行合并,对合并后的文件构建压缩Trie树索引,索引切分后,根据匹配算法分布式地存储索引块.实验采用国际GNSS服务(IGS)28 d的数据和产品进行云存储优化.结果表明,该方法降低了各节点内存消耗,提高了海量GNSS小文件写入、读取和删除的效率,实现了对海量GNSS小文件的高效云存储.
全球卫星导航系统、小文件、Hadoop分布式文件系统、云存储、压缩Trie树索引
42
P228.41(大地测量学)
国家自然科学基金41674019;国家重点研发计划2016YFB0501701;地理信息工程国家重点实验室开放基金SKLGIE2016-M-1-2.The National Natural Science Foundation of China,No.41674019;the National Key Research and Development Program of China,No.2016YFB0501701;State Key Laboratory of Geo information Engineering,No.SKLGIE2016-M-1-2
2017-09-15（万方平台首次上网日期，不代表论文的发表时间）
共7页
1068-1074
