地理国情大数据基本统计的多进程并行计算

摘要：

地理国情监测数据具有精度高、数据量大等特性,随着新型硬件构架(单机多核、集群等)计算机资源能力的不断升级,传统的数据处理技术和串行计算技术难以满足高精细化地理国情大数据处理的需求.对此,本文提出了一种基于TPL和管道技术的多进程并行计算方法.通过实例验证,在同一台计算机上该方法比串行方法的计算效率提高了12倍;并且在此基础上,实现了计算节点的负载均衡及可扩展,满足了多核应用,有效地提高了地理国情监测大数据处理的实际效率.

关键词：地理国情基本统计、并行计算、大数据、多进程、管道技术

所属期刊栏目：39

分类号：P208(一般性问题)

资助基金：国家科技支撑计划项目2012BAH28B03

在线出版日期：2014-06-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：13-17