Spark下遥感大数据特征提取的加速策略

摘要：

提出一种基于Spark分布式内存计算框架的遥感大数据特征提取策略.采用Landsat8为数据源,以计算归一化植被指数(NDVI)、差值植被指数(DVI)、比值植被指数(RVI)为例开展实验.实验结果表明,在相同硬件环境、处理任务、数据量的条件下,Spark处理遥感大数据的速度较单机模式下的处理遥感大数据提升了约2倍,基于Hadoop分布式文件系统(HDFS)处理模式较Spark-standalone处理模式处理速度提升了约1.2倍,基于Spark下的HDFS存储模式下,栅格切分遥感大数据较非栅格切分处理速度提高了约1.5倍.

关键词：Spark分布式内存计算框架、Hadoop分布式文件系统、遥感大数据、内存计算、栅格切分

所属期刊栏目：38

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目61562086、61462079、61363083、61262088;新疆“万人计划”后备基金项目wr2015bj01;新疆自治区研究生科研创新基金项目XJGRI2016029

在线出版日期：2018-04-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：3279-3283