基于随机平衡采样的不确定大数据流在线分类算法

摘要：

不确定大数据流具有动态性和不平衡性特点,导致分类结果不精准,为此提出基于随机平衡采样的不确定大数据流在线分类算法.根据Spark框架大数据筛选结构,过滤筛选不确定大数据,释放不满足条件的大数据.应用Hoeffding算法计算实际值与观测值之差,判断差值与属性差值之间的关系,确定最佳分类属性.随机设定最小类别与最大类别数目,对非平衡样本抽样,避免因样本规模过大而造成的样本损失.建立在线分类器,逐级筛选不确定大数据.通过计算不确定信息增益,获取归类最大可能性类别,实现大数据流的在线分类.由实验结果可知,该算法对数据集W1、W2、W3 分类的准确率最低值分别达到90%、94%、83%,具有精准分类效果.

关键词：随机平衡采样、不确定、大数据流、在线分类、属性差值、最佳分类属性

所属期刊栏目：46

分类号：TN911.1-34;TP393

资助基金：北方国际大学联盟第六期教育教学研究课题;校级教学质量工程及教育教学改革建设项目;广东省教育科学规划课题;广东省本科高校教学质量与教学改革工程建设项目

在线出版日期：2023-10-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：125-128