基于Flink的空间科学卫星数据实时处理方法

摘要：

为满足地面数据处理系统高吞吐率、低延迟地处理空间科学卫星下行数据的需求,提出一种基于流式计算的空间科学卫星下行数据实时处理方法.方法借助消息中间件Kafka的分区实现数据分流,分流后的数据依次流入Flink集群中的并行单元实现并行处理.使用GECAM空间科学卫星下行数据进行仿真,结果表明,上述方法具有较高的吞吐率和较低的延迟,并且可以通过扩展服务器数量实现更高吞吐率和更低延迟,满足空间科学卫星下行数据的高速实时处理需求.

关键词：空间科学卫星、流式计算、实时数据处理、吞吐率

所属期刊栏目：40

分类号：TP311(计算技术、计算机技术)

资助基金：空间科学先导专项XDA15040100

在线出版日期：2023-08-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：26-31,290