基于Spark的FP-Growth伴随车辆发现与应用

摘要：

随着大数据技术在交通管理中的广泛应用,在海量车牌数据中检测伴随车辆,引起了研究者们的关注.但目前大多数方法在庞大的数据量下运行效率低,且停留在理论研究阶段,并未与实际应用相结合.提出了一种针对于此应用的新颖方法.采用Spark分布式并行计算框架提高运行速度,利用负载均衡原理对数据进行均衡化处理,再提出基于改进的FP-Growth的伴随车辆发现算法,利用置信度对结果进行后处理,剔除车辆随机伴随的情况,提高了检测正确率.该方法应用于长沙市交警大联合交管中心系统,其中将海量车牌识别数据存储在Hadoop大数据平台下的Hive数据库中,在交通PGIS(Police Geographic Information System)上可视化分析结果,实验证明了方法的高效性和可行性.

关键词：伴随车辆、Spark计算框架、FP-Growth算法、随机伴随、片伴随

所属期刊栏目：54

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金61379109

在线出版日期：2018-05-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：7-13,35