并行处理技术在全球海量地理信息数据质量控制中的应用

摘要：

针对全球海量地理信息数据成果数据量大、数据类型丰富、质量检查内容多的特点,本文将分布式并行计算技术、多线程技术应用到地理信息数据质量控制体系中,基于MapReduce框架实现了多源多时相海量数据并行质量控制,把算法结构由一个周期执行一个操作改造为一个周期执行多个操作的并行处理,从根本上解决重复操作多、计算慢的质量检查难题.选取核心矢量要素、DOM成果、DEM成果作为典型数据案例开展效率对比试验.试验结果表明,该技术方案的处理效率比传统技术方案提高2～3倍,有效地压缩了任务执行时间,节约了任务执行成本,实现了对海量地理信息数据的快速质量控制,保障了全球地理信息数据的成果质量.

关键词：海量地理信息数据、质量控制、分布式并行计算、多线程、MapReduce框架

分类号：P208(一般性问题)

资助基金：全球地理信息资源建设与维护更新;科技部国家重点研发计划

在线出版日期：2020-08-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：29-33