基于Hadoop的海洋位置大数据平台架构设计

摘要：

海洋位置大数据类型多样、变化高速、规模海量且数据价值密度低,如何建立海洋位置大数据的高效存储、计算与分析平台是一个亟需研究的问题.论文设计了基于Hadoop的海洋位置大数据架构,从数据类型层、存储层、计算层和基本操作层对其进行了拓展.其中存储层在HDFS的基础上插入了两级空间索引结构,支持R-tree等空间索引;计算层基于MapReduce框架增加了两个新组件,支持基于空间索引的并行计算.基于平台可以提供对大型海洋位置数据集的基本的空间分析操作,以此作为后台数据处理引擎可对统计和时空数据挖掘应用提供有效的数据支持.

关键词：大数据、海洋位置数据、空间Hadoop、空间索引

所属期刊栏目：39

分类号：TP311.13(计算技术、计算机技术)

资助基金：国家自然科学基金项目61272110;国家863创新基金项目2011AAJ168;湖北省自然科学基金项目2011CDB053;武汉市青年晨光计划201150431136

在线出版日期：2019-12-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：115-118,198