10.3969/j.issn.1673-629X.2016.09.043
VFDT算法基于Storm平台的实现方案
以提升流数据的分类效率为目标,研究如何在流数据处理平台 Storm上实现快速决策树算法-VFDT。设计了VFDT基于Storm的分布式并行化实现方案,将VFDT算法分为建树、分类和评价共三个模块,建树模块负责决策树的初始化和增量建树,分类模块负责对待分类样本进行分类标记,评价模块负责用已标记的样本对VFDT决策树进行评价。通过正确设计Storm拓扑中的Spout/Bolt实现各模块的功能,通过为分类Bolt设定多个Task来实现分类模块的并行化;用内存数据库Redis实现三个模块的有效衔接和决策树的保存;用消息中间件Kafka来提高算法对流数据突增的容忍度。基于该方案的VFDT算法实现与测试结果表明:在Storm集群环境下的VFDT算法分类效率相对于单机环境有显著提高,而且合理设定分类Bolt的Task数可使分类效率进一步提高。
流数据、快速决策树算法、分布式、并行化、Storm
26
TP311(计算技术、计算机技术)
国家自然科学基金资助项目61302158,61571238;中兴通讯产学研项目
2016-10-19(万方平台首次上网日期,不代表论文的发表时间)
共5页
192-196