数值预报产品分布式处理与存储系统设计

摘要：

气象数值预报产品数据日益增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低.针对上述问题,设计了分布式的数值预报产品处理与存储系统.通过Quartz任务调度定时采集数值预报产品文件;运用Kafka分布式消息队列解耦数值预报产品解码与入库程序;将解码日志文件、原始产品文件和解码得到的要素GRIB文件写入HDFS分布式文件系统,应用MapReduce分布式程序将解码日志记录存入HBase.因HBase对Rowkey的一级索引支持较好,而对多条件查询支持不足,需辅助Solr索引加以优化.HBase接收数据时自动触发协处理器同步记录到Solr索引库,实现了HBase的二级索引.测试结果表明,产品文件写入Hadoop文件系统平均速度为82.54 MB/s,而HBase最快入库速度可达每秒13677条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时效的要求.

关键词：Quartz、解码日志文件、Kafka、HBase、Solr、协处理器

所属期刊栏目：28

分类号：TP302(计算技术、计算机技术)

资助基金：中国气象局关键技术集成项目CMAGJ2015M29;安徽省气象局科技发展基金项目KM201604

在线出版日期：2018-03-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：167-172