基于分布式集群架构的遥感数据传输机制

摘要：

对地观测遥感卫星数据传输系统采用Linux虚拟服务器集群架构传输遥感卫星数据,而该集群中承载传输任务的新旧服务器在实现断点续传的过程中由于控制信息不同步会造成数据片重复.设计一种基于分布式系统架构的遥感卫星数据处理机制DPM,采用Kafka消息队列快速存储数据包,利用代码模块使Spark Streaming精准提交消息偏移量,并通过数据传输速率与进度统计实时记录DPM运行状态信息.测试结果表明,DPM机制可精准记录与提交消息偏移量并实现数据续传功能,从而确保遥感卫星数据的准确稳定传输.

关键词：数据传输系统;遥感卫星数据;分布式系统架构;数据处理机制;Kafka消息队列

所属期刊栏目：47

分类号：TN919

资助基金：国家民用空间基础设施"十二五"陆地观测卫星地面系统建设项目HK-KJSEW-CS-XCD-01

在线出版日期：2021-10-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：180-185