基于次梯度的L1正则化Hinge损失问题求解研究

摘要：

Hinge损失函数是支持向量机(support vector machines,SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.

关键词：L1正则化、Hinge损失、稀疏性、大规模数据、机器学习

所属期刊栏目：49

分类号：TP301(计算技术、计算机技术)

资助基金：国家自然科学基金项目60975040

在线出版日期：2012-09-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1494-1499