AdaSVRG:自适应学习率加速SVRG

摘要：

在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率.然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率.基于随机方差衰减梯度法,借鉴动量加速思想并对梯度估计采取加权平均策略,对学习率利用历史梯度信息进行自动调整,提出了自适应随机方差衰减梯度法.基于MNIST和CIFAR-10数据集,验证提出的自适应随机方差衰减梯度法的有效性.实验结果表明,自适应随机方差衰减梯度法在收敛速度和稳定性方面优于随机方差衰减梯度法和随机梯度下降法.

关键词：深度学习、随机方差衰减梯度法、自适应学习率、动量法

所属期刊栏目：58

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家自然科学基金;贵州省科技计划

在线出版日期：2022-05-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：83-90