Hadoop在气象数据密集型处理领域中的应用

摘要：

气象资料的统计分析计算属于数据密集型计算,目前的处理方式多为单机处理,对大量数据的处理比较慢,难以应对日益增长的数据,对气象资料的研究形成一定的制约.针对数据密集型气象数据的处理,尝试应用Hadoop的MapReduce思想提高计算效率;对Hadoop在处理大量小文件组成的气象数据时的低效率,提出对原始文件进行预处理,将多个小文件整合成能直接用于计算的大文件.试验证明,该方法解决了Hadoop处理大量小文件时的低效率问题,通过与Oracle入库检索的比较,应用Hadoop处理数据密集型气象资料具有实际意义.

关键词：Hadoop、HDFS、MapReduce、气象数据、数据密集型计算

所属期刊栏目：43

分类号：TP3;F83

在线出版日期：2015-12-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：823-828