10.3969/j.issn.1672-9722.2022.11.017
基于对偶平均的动量方法研究综述
对偶平均(dual averaging)方法是一种颇具潜力的优化算法,它巧妙地利用过往所有梯度的信息,克服了传统一阶梯度算法无法摆脱的梯度消失的弊端,并得到稳定的收敛速率.而恰恰类似的是,动量方法同样是利用过往的梯度信息,目的在于在非凸优化问题中能够有效地逃离局部最小点和鞍点,而今年来动量方法也广泛活跃在凸优化领域,不单对一般的梯度下降算法起到加速作用,同时在没有光滑性条件的情况下,得到最优个体收敛速率.论文对对偶平均方法和动量方法的研究现状和存在的问题进行综述,分析两者的联系和区别,并在此基础上指出一些值得研究的问题.
机器学习、对偶平均、动量方法、个体收敛性、稀疏性
50
TP181(自动化基础理论)
2023-02-22(万方平台首次上网日期,不代表论文的发表时间)
共6页
2443-2448