基于Spark的分布式时序分类学习模型

摘要：

LearnNSE算法保留了所有基分类器进行集成,基分类器权重调整较慢,对长期累积大数据的分类学习效率不高,且仅关注累积大数据,缺乏对短时间内突发产生大数据的关注,为此在所提PFLearnNSE-Pruned-Age算法基础上,研究一种基于Spark的分布式时序分类学习模型DSCLM-spark.实验结果表明,DSCLM-spark能够取得非常接近、在许多场景下甚至优于LearnNSE的准确率,进一步提高集成分类学习的效率,兼顾短时产生及长时间累积的大数据,适用于对分类挖掘实时性要求较高的场合.

关键词：分类算法、大数据挖掘、集成学习、增量学习、非稳定环境、分布式系统、计算机集群

所属期刊栏目：44

分类号：TP181(自动化基础理论)

资助基金：江苏省产学研合作基金项目;国家自然科学基金;教育部卓越工程师教育培养计划项目产学合作协同育人项目;江苏省基础研究计划自然科学基金基金项目;全国统计科学研究基金项目

在线出版日期：2023-05-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1042-1049