基于非单调线搜索的随机梯度下降算法

摘要：

提出了一种用于解决大规模问题的基于非单调线搜索技术的随机优化算法,并给出了该算法在强凸条件下的收敛性分析.对两种学习模型分别在不同规模的数据集下进行了实验,数值结果表明该算法能很好地降低损失函数值,且比固定步长下的随机梯度下降算法以及几种自适应算法的收敛速度快.

关键词：随机梯度下降、非单调线搜索方法、凸优化

所属期刊栏目：45

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金;湖南省教育厅重点项目

在线出版日期：2023-09-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：74-86