基于Spark的有效载荷参数解析处理方法

摘要：

为解决单机多线程有效载荷实时参数解析处理方法存在的吞吐率低、扩展能力弱问题,提出一种基于Spark集群的有效载荷实时参数解析处理方法.采用Kafka和Spark相结合的处理方式,利用Kafka将有效载荷实时数据转换为消息队列流,Spark通过Kafka获取消息队列流的数据,利用内存对数据进行迭代运算,提高数据运算速度,实现实时的、高吞吐率的有效载荷参数解析.仿真结果表明,使用该方法在实时吞吐率上较单机多线程处理方法有较高提升,能有效满足实时参数解析的要求.

关键词：有效载荷、参数解析、实时数据处理、吞吐率、集群

所属期刊栏目：41

分类号：TP311(计算技术、计算机技术)

在线出版日期：2020-04-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：587-591