基于Spark的实时视频分析系统

摘要：

视频监控技术在交通管理、公共安全、智慧城市等方面有着广泛的应用前景,且向着智能识别、实时处理、大数据分析的方向发展.本文针对大规模实时视频监控提出了新的解决方案.基于Spark streaming流式计算、分布式存储及OLAP框架,使多路视频处理在可扩展性、容错性及数据多维聚合分析上具有明显的优势.系统根据视频处理算法划分为单机处理与分布式处理.并将视频图像处理与数据分析耦合,利用Kafka消息队列与Spark streaming完成对多路视频输出数据的进一步操作.结合分布式存储方案,并利用OLAP框架实现对海量数据实时多维聚合分析与高效实时查询.

关键词：Spark、视频分析、数据分析、实时计算

所属期刊栏目：26

资助基金：国家科技支撑计划2013BAH09F01;临港地区智能制造产业专项ZN2016020103

在线出版日期：2018-04-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：51-57