面向决策分析的海量气象数值预报数据快速提取

摘要：

以海量半结构化的气象数值预报数据产品为研究对象,针对传统数据抽取方法效率不高的问题,基于多进程处理技术,设计了一种基于精准位置寻址的快速数据块定位算法,实现了数据块的精准定位;设计了可按需在空间范围内进行裁剪的截取算法,可按需根据数据的属性维度、经纬度范围等信息实现数据按需抽取;基于上述算法实现了全流程统一控制的多进程数据读取的业务流程.并以单平面耗时为主要考核指标,分别采用1进程,4进程、8进程以及16进程进行数据处理,实际测试结果表明,采用16进程处理比单个进程处理的速度由257 ms提高到37 ms.该方法有效的提升非结构气象数值预报产品数据的抽取效率,已在面向城市治理等气象决策分析业务中业务化应用.

关键词：非结构化模型、数据抽取、数据分析、决策分析、可视化分析

所属期刊栏目：31

分类号：TP393;U283.4;F272.91

资助基金：广东省科技计划2018B020207012

在线出版日期：2022-09-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：319-323