基于对偶平均的动量方法研究综述

摘要：

对偶平均(dual averaging)方法是一种颇具潜力的优化算法,它巧妙地利用过往所有梯度的信息,克服了传统一阶梯度算法无法摆脱的梯度消失的弊端,并得到稳定的收敛速率.而恰恰类似的是,动量方法同样是利用过往的梯度信息,目的在于在非凸优化问题中能够有效地逃离局部最小点和鞍点,而今年来动量方法也广泛活跃在凸优化领域,不单对一般的梯度下降算法起到加速作用,同时在没有光滑性条件的情况下,得到最优个体收敛速率.论文对对偶平均方法和动量方法的研究现状和存在的问题进行综述,分析两者的联系和区别,并在此基础上指出一些值得研究的问题.

关键词：机器学习、对偶平均、动量方法、个体收敛性、稀疏性

所属期刊栏目：50

分类号：TP181(自动化基础理论)

在线出版日期：2023-02-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：2443-2448