基于流程控制的国际气象通信数据收集管理系统的设计与实现

摘要：

近年来,天气和气候业务对国外数据种类和时效要求不断提高,为解决大量数据的收集分发压力以及管理问题,设计并实现了基于流程控制的国际气象通信数据收集管理系统.系统应用数据收集器Logstash、Inotify监听机制与分析平台Kibana等技术,支持多种通信协议,扩展Scrapy网络爬虫功能,通过流程控制、任务调度等方式实现大量数据快速高效收集和集成管理,有效提高数据并行处理能力和可扩展性,且设计了全流程监视,保障数据时效.系统已经上线提供服务,为业务/科研用户提供全球观测数据、国外卫星数据和数值预报产品等300余种,日收集数据量约2 TB.

关键词：国际气象通信、国外数据、收集处理、调度管理、Scrapy

所属期刊栏目：51

分类号：P409(一般理论与方法)

在线出版日期：2023-03-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：31-39