基于Spark的情感分析集成算法

摘要：

在使用分布式内存计算的机器学习算法进行情感分析时,其训练效率还亟需提升,同时使用单个机器学习算法的准确率也不是很高,因此提出了一种基于Spark的集成算法来进行情感分析.在进行情感分析过程中通过Spark分布式内存计算,来实现算法的并行操作,有利于机器学习算法处理大数据集.Spark自带的机器学习库,使开发过程变得更加简单和快速.采用改进后的T F-IDF特征提取算法,以AdaBoost算法集成决策树和SVM,降低了单个算法的偶然性,提高了整个结果的准确性.实验结果表明:Spark分布式计算提高了效率,集成算法的情感识别更准确.

关键词：情感分析、TF-IDF、Spark、AdaBoost、决策树、SVM

所属期刊栏目：48

分类号：TP391.1(计算技术、计算机技术)

资助基金：浙江省自然科学基金资助项目LZ14F020001

在线出版日期：2020-07-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：405-410,434