基于流式计算的空间科学卫星数据实时处理

摘要：

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法.首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求.对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29％.可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性.

关键词：流式计算、数据流、Storm、空间科学卫星、数据处理

所属期刊栏目：39

分类号：TP319(计算技术、计算机技术)

资助基金：中国科学院十三五信息化专项XXH13505-04;北京市科技计划项目Z181100002918002

在线出版日期：2019-07-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1563-1568