基于随机谱梯度的在线学习

摘要：

考虑一类学习问题,问题的目标函数可表示为大量组函数的平均,并且假设每一个组件函数都是光滑的.在众多机器学习方法中,在线学习操作流程简洁、收敛速度快,而且可以实现模型的自动更新,为大数据的学习提供了有利的工具.针对这类问题,提出了一种基于随机谱梯度下降(Stochastic Spectral Gradient Descent,S2GD)的在线学习方法.该方法利用Rayleigh商收集目标函数的二阶信息来构造Hessian阵逆的近似.S2GD方法可以看作是谱梯度方法从确定性优化到随机优化的延伸.算法每次迭代所产生的搜索方向具有下降性,且现有结论表明算法收敛.在LIBSVM数据库上的初步实验表明S2GD方法是可行的、有效的.

关键词：在线学习、随机优化、凸优化、随机梯度、谱梯度

所属期刊栏目：43

分类号：TP301(计算技术、计算机技术)

资助基金：国家自然科学基金面上项目61472423;国家自然科学基金重点项目U1135005,61432008;江苏省普通高校研究生科研创新计划项目KYZZ15.0123

在线出版日期：2016-10-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：47-51