R-线性收敛的重要样本抽样随机梯度下降算法

摘要：

针对机器学习中一类有限光滑凸函数和的最小化问题,提出一种新的随机方差约简梯度下降算法.新算法的特点是将随机方差约简梯度算法和一种谱梯度BB步长方法有机结合,从而可以充分发挥两种方法的优势.另外,初始步长可以任意选取,且步长在算法运行中可以自适应地计算更新.此外,新算法使用了重要样本抽样方法,可以大大减少计算工作量.最后,在通常的假设条件下证明了新算法具有R-线性收敛速度,并给出了复杂度分析.数值实验验证了新算法是可行有效的.

关键词：机器学习、随机梯度下降、重要样本抽样、线性收敛、BB步长

所属期刊栏目：40

分类号：O224(运筹学)

在线出版日期：2023-10-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：833-842