10.3979/j.issn.1673-825X.2016.04.014
大数据分析中基于 MapReduce 的空间权重创建方法研究
大数据空间分析是 Cyber-GIS 的重要方面。如何利用现有的网络基础设施(比如大规模计算集群)对大数据进行并行分布式空间分析仍然是一大难题。为此,提出一种基于 MapReduce 的空间权重创建方法。该方法依托Hadoop 框架组织计算资源,基于 MapReduce 模式从大规模空间数据集中高效创建出空间权重:大空间数据被分为多个数据块,将映射器分布给计算集群中的不同节点,以便在数据中寻找出空间对象的相邻对象,由约简器从不同节点处收集相关结果并生成权重文件。利用 Amazon 公司弹性 MapReduce 的 Hadoop 框架,从人工空间数据中创建基于邻近概念的权重矩阵进行仿真。实验结果表明,该方法的性能优于传统方法,解决了大数据的空间权重创建问题。
大数据空间分析、MapReduce、空间权重、附近邻居、可扩展性
28
TP391(计算技术、计算机技术)
广东省交通运输厅科技项目2013-02-093 Foundation ItemThe Guangdong Provincial Communications Department Project 2013-02-093
2016-08-09(万方平台首次上网日期,不代表论文的发表时间)
共6页
533-538