基于Hadoop架构的数据驱动的SVM并行增量学习算法

摘要：

针对传统支持向量机(SVM)算法难以处理大规模训练数据的困境,提出一种基于Hadoop的数据驱动的并行增量Adaboost-SVM算法(PIASVM).利用集成学习策略,局部分类器处理一个分区的数据,融合其分类结果得到组合分类器;增量学习中用权值刻画样本的空间分布特性,对样本进行迭代加权,利用遗忘因子实现新增样本的选择及历史样本的淘汰;采用基于HBase的控制器组件用以调度迭代过程,持久化中间结果并减小MapReduce原有框架迭代过程中的带宽压力.多组实验结果表明,所提算法具有优良的加速比、扩展率和数据伸缩度,在保证分类精度的基础上提高了SVM算法对大规模数据的处理能力.

关键词：Hadoop、HBase、支持向量机、增量学习、集成学习、遗忘因子、控制器组件

所属期刊栏目：36

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61170177;国家863计划重点项目2015AA020101;国家973计划项目2013CB32930X;National Natural Science Foundation of China61170177;the Key Projects of National High Technology Research and Development Program 863 Program of China2015AA020101;the National Basic Research Program 973 Program of China2013CB32930X

在线出版日期：2017-01-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：3044-3049