基于自适应随机梯度下降方法的非平衡数据分类

摘要：

对于不平衡数据分类问题,传统的随机梯度下降方法在求解一般的支持向量机问题时会产生一定的偏差,导致效果较差.自适应随机梯度下降算法定义了一个分布p,在选择样例进行迭代更新时,其依据分布p而非依据均匀分布来选择样例,并且在优化问题中使用光滑绞链损失函数.对于不平衡的训练集,依据均匀分布选择样例时,数据的不平衡比率越大,多数类中的样例被选择的次数就越多,从而导致结果偏向少数类.分布p在很大程度上解决了这个问题.普通的随机梯度下降算法没有明确的停机准则,这导致何时停机成为一个很重要的问题,尤其是在大型数据集上进行训练时.以训练集或训练集的子集中的分类准确率为标准来设定停机准则,如果参数设定恰当,算法几乎可以在迭代的早期就停止,这种现象在大中型数据集上表现得尤为突出.在一些不平衡数据集上的实验证明了所提算法的有效性.

关键词：随机梯度下降、非均匀分布、停机准则、支持向量机、损失函数

所属期刊栏目：45

分类号：TP181(自动化基础理论)

资助基金：河北省自然科学基金F2015201185

在线出版日期：2018-08-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：487-492