基于Spark Streaming的实时交通数据处理平台

摘要：

交通大数据是解决城市交通问题的最基本条件,是制定宏观城市交通发展战略规划和进行微观道路交通管理与控制的重要保障.针对于智能交通系统中数据产生快、实时性强、数据量大的特点,本文基于Spark Streaming和Apache Kafka的组合构建了一个实时交通数据处理平台,用于处理通过双基基站采集的数据,采用时间窗口机制从持续的Kafka分布式消息队列中获取数据,并按照规则将数据分类处理后保存到数据库.本文对平台的系统架构和内部结构进行了详细的介绍,并通过实验验证了系统的实时处理能力,完全可以在大规模高并发的数据流下进行应用.

关键词：大数据、流处理系统、双基基站数据、Spark Streaming、Apache Kafka

所属期刊栏目：27

在线出版日期：2018-11-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：133-139